無線通信では、無線チャネルを介して送信される信号は、エネルギー減衰やノイズ干渉の影響を受けることが多く、ユーザーが受信する信号と基地局から送信される信号との間にある程度の差異が生じます。これは、実際の道路状況によって目的地への到着時間が予想時間と異なることに似ています。旅行において、予想と現実を一致させるためには、正確な道路状況情報が不可欠です。同様に、無線通信において信号伝送の精度と有効性を保証するには、正確なチャネル状態情報（CSI）が必要であり、受信信号に基づいて送信信号を再構成する必要があります。

チャネル予測は、効率的なCSI取得の中核技術です。過去のCSIシーケンスに基づいて将来のCSIを予測することで、チャネル推定とフィードバックのオーバーヘッドを大幅に削減します。これは、チャネル予測の重要性がますます高まっている5G/6G MIMO無線通信システムにおいて特に重要です。しかし、パラメトリックモデルとディープラーニングに基づく既存のチャネル予測手法は、予測精度が低く、汎化能力に乏しいため、複雑な実世界のチャネル環境への適用が困難です。

近年、自然言語処理などの分野における大規模言語モデル（LLM）の驚異的な成功により、ますます多くの研究チームがこの分野に注目しています。しかしながら、通信タスクにおけるLLMの応用は、言語形式のプロトコル理解などのタスクに限定されており、無線通信における非言語的な物理層タスクをLLMが強化できるかどうかについては依然として疑問が残ります。

第一に、チャネル状態情報は「空間・時間・周波数」という複雑な三次元関係を持つ高次元構造データであるため、処理の複雑さが増します。第二に、チャネル領域と自然言語領域の知識の間にはドメインギャップがあり、知識移転の難易度がさらに高まります。

上記の課題を克服するために、北京大学電子工学学院の Cheng Xiang 氏のチームは、TDD (時分割複信) および FDD (周波数分割複信) 通信システムに適用できる、事前トレーニング済みの大規模言語モデルに基づく MIMO-OFDM チャネル予測方式 LLM4CP を提案しました。

「LLM4CP: チャネル予測のための大規模言語モデルの適応」と題された関連する研究結果は、「Journal of Communications and Information Networks」誌に掲載されました。

具体的には、研究チームは、事前学習済みのGPT-2に基づくチャネル予測ニューラルネットワークを構築しました。このネットワークには、前処理モジュール、埋め込みモジュール、事前学習済みLLMモジュール、および出力モジュールが含まれています。これにより、大規模言語モデルのチャネル予測における予測および汎化能力が向上し、実世界のアプリケーションシナリオへの展開の可能性が高まりました。

研究のハイライト:

• この研究は、事前学習済みの大規模言語モデルをチャネル予測タスクに適用した初めての研究であり、事前学習済みの大規模言語モデルが自然言語の限界を超え、無線通信の物理層の設計を強化できることを実証しています。*設計されたチャネル機能強化ニューラル ネットワークは、チャネル空間を大規模モデルの特徴空間に合​​わせ、事前学習済みの大規模モデルからチャネル予測タスクへの一般知識の適切な転送を実現します。
• シミュレーション結果によると、提案された方式は、TDD および FDD チャネル予測タスクで最先端のフルサンプルおよび少数サンプルの予測性能を実現し、既存の方式と比較して大幅に優れた周波数一般化性能を備えながら、トレーニングと推論の時間コストを小規模なディープラーニング モデルに匹敵するレベルに維持しています。

論文の宛先:
https://ieeexplore.ieee.org/document/10582829
データセットのダウンロード:

https://go.hyper.ai/G0plJ

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、膨大なデータセットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

データセット: 3GPP標準に完全準拠

研究の実験段階では、チームはQuaDRiGaシミュレータを使用して、パフォーマンス検証のために3GPP標準に準拠した時間変動チャネルデータセットを生成しました。

研究チームは、基地局側に偏波共用UPA（Uniform Planar Array）を、ユーザー側に無指向性アンテナを1本配置し、中心周波数におけるアンテナ間隔を波長の半分としたMISO-OFDMシステムを構築した。上り・下りチャネルの帯域幅はともに8.64MHz、パイロット周波数間隔は180kHzとした。TDDモードとFDDモードの両モードでは、上り・下りチャネルの中心周波数はともに2.4GHzに設定した。FDDモードでは、上り・下りチャネルは隣接している。予測実験では、パイロット周波数間隔は0.5msとした。

• TDD: 通信システムのデュプレックス モード。モバイル通信システムで受信チャネルと送信チャネルを分離するために使用されます。
• FDD: 2 つの異なる周波数 (一定の周波数間隔要件あり) で動作するアップリンク (移動局から基地局へ) とダウンリンク (基地局から移動局へ) を指します。

本研究では、3GPP都市マクロチャネルモデルと見通し外シナリオを考慮しました。21のクラスターがあり、各クラスターには20のパスがありました。ユーザーの初期位置はランダムに設定され、移動軌跡は直線に設定されました。

トレーニングデータセットと検証データセットには、それぞれ8,000と1,000のサンプルが含まれており、ユーザーの速度は10～100 km/hの範囲で均等に分散されています。テストデータセットには、10 km/hから100 km/hまでの10種類の速度が含まれており、各速度ごとに1,000のサンプルが含まれています。

モデルアーキテクチャ：大規模言語モデルに基づくチャネル予測

既存のダウンリンク CSI 取得方法には、2 つの大きな欠点があります。第 1 に、CSI 推定およびフィードバック プロセスによって追加の計算および送信時間のコストが発生し、非常に動的なシナリオで「チャネル エージング」が発生します。第 2 に、追加のダウンリンク パイロットによって時間周波数リソースが消費され、特に FDD システムのスペクトル効率が低下します。

本論文で提案するLLM4CPは、LLMベースのMISO-OFDMチャネル予測手法であり、過去のアップリンクCSIシーケンスに基づいて将来のダウンリンクCSIシーケンスを予測します。この手法は、ダウンリンクパイロットのオーバーヘッドとフィードバック遅延を効果的に回避できるため、前述の2つの欠点を解決するためのより実用的なアプローチを提供します。

テキストベースの事前トレーニング済み LLM を CSI データの複雑なマトリックス形式に適応させるために、研究チームは、下の図に示すように、プリプロセッサ、埋め込みモジュール、事前トレーニング済み LLM モジュール、出力モジュールなど、形式変換と特徴抽出のための LLM4CP 用の特定のモジュールを設計しました。

LLM4CP ネットワークアーキテクチャ図

前処理モジュールは、主に空間、時間、周波数の3次元的な関係を含むCSIの複雑な高次元構造データに対応します。空間領域における高次元問題を解決するために、チームはアンテナ次元処理を並列化し、送信アンテナと受信アンテナの各ペアのCSIを個別に予測することで、ネットワークオーバーヘッドを削減し、タスクのスケーラビリティを向上させました。周波数領域の特徴を包括的に捉えるために、チームはチャネルの構造特性を十分に考慮し、マルチパス遅延の特徴を直接的に特徴付けるために遅延領域を導入しました。時間領域の特徴を効果的に抽出するために、チームはブロック処理を採用し、局所的な時間領域変動の特徴を捉え、計算の複雑さを軽減しました。

埋め込みモジュールは、主にLLM前の予備的な特徴抽出、特にCSIアテンションと位置埋め込みのために設計されています。テキスト情報とCSI情報の間には大きな違いがあるため、事前学習済みのLLMは非言語データを直接処理できません。そのため、研究チームはLLMの一般的なモデリング機能を活用してチャネル予測タスクを完了しようと試みました。埋め込みモジュールは、事前処理済みの特徴をさらに処理し、事前学習済みLLMの特徴空間に整合させることで、ドメインの違いを克服するように設計されています。

本研究では、研究チームはLLMのバックボーンネットワークとしてGPT-2を選択しました。GPT -2のバックボーンは、学習可能な位置埋め込み層と積層型Transformerデコーダーで構成されており、スタック数と特徴量サイズは必要に応じて柔軟に調整できます。学習中は、事前学習済みLLMのマルチヘッドアテンション層とフィードフォワード層は固定された状態（上図の青い枠で示す）に保たれ、事前学習済みLLMの一般的な知識が保持されます。同時に、加算、層の正規化、位置埋め込みを微調整することで、LLMをチャネル予測タスクに適応させます。

注目すべきは、この論文で提案された方法では、 GPT-2 バックボーン ネットワークを他の大規模言語モデルに柔軟に置き換えることもできるとチームが指摘していることです。

最後に、出力モジュールは、LLM の出力機能を最終的な予測結果に変換するように設計されています。

研究結果: LLM4CP は、予測精度、達成可能率、ビット エラー率において既存の方式を上回ります。

提案手法の優位性を検証するため、研究チームは干渉のない条件下で、LLM4CPを、PAD、RNN、LSTM、GRU、CNN、Transformer、予測なしなど、モデルベースまたはディープラーニングベースの複数のチャネル予測手法と比較しました。NMSE（正規化二乗平均平方根誤差）、SE（スペクトル効率）、BER（ビット誤り率）の3つの性能指標を設定しました。その結果、LLM4CPはチャネル予測精度、達成可能レート、ビット誤り率の点で既存のチャネル予測方式よりも優れていることが示されました。

研究チームは、TDD システムと FDD システムの両方で、LLM4CP の 3 つのパフォーマンス メトリックを他の方法と比較しました。

TDD システムでは、 LLM4CP の SE と BER パフォーマンス インデックスはそれぞれ 7.036 ビット·(s·Hz)⁻¹ と 0.0039 です。FDDシステムでは、次の図に示すように、それぞれ 6.303 ビット·(s·Hz)⁻¹ と 0.0347 です。

TDDシステムLLM4CPおよびその他の方法のSEおよびBER性能

FDDシステムLLM4CPおよびその他の方法のSEおよびBER性能

LLM4CP は、TDD および FDD システムの両方において、最先端の SE および BER パフォーマンスを実現します。

ノイズ耐性試験において、LLM4CPは最も低いNMSEと最も高い信号対雑音比を示し、CSIノイズに対する高い耐性を示しました。下の図をご覧ください。

TDDシステムのCSIの過去のNMSE性能と信号対雑音比

FDDシステムCSIの過去のNMSE性能と信号対雑音比

少数のサンプルを用いた学習は、モデルの迅速な展開に不可欠です。研究チームは、提案手法の少数のサンプルを用いた学習能力を、データセットのわずか10%をネットワーク学習に使用してテストしました。全サンプルを用いた学習と比較して、LLM4CPは少数サンプルの予測シナリオにおいて他の手法よりも大きな優位性を示しました。

周波数汎化試験では、TDDシステムの2.4GHz周波数で学習したモデルを、より少ない学習サンプル数とゼロサンプル数で4.9GHz周波数に適用しました。その結果、 LLM4CPはわずか30サンプルでパラメータ化モデルの予測性能を達成し、優れた汎化能力を示しました。下図をご覧ください。

TDDシステムにおける周波数間一般化性能とサンプルサイズの関係

高性能かつ低コストの実現可能なソリューション

モデルの実用化においては、コストが重要な要素となります。本研究では、提案手法を現実世界のシナリオに適用する際の難易度を評価し、関連する比較を下図に示します。

トレーニングパラメータとコスト

PADはモデルベースの手法であるため、モデルパラメータの数が比較的少なく、学習プロセスを必要としません。しかし、処理の複雑さが高いため、推論時間は最も長くなります。一方、LLMの推論時間はTransformerに比べて大幅に短縮されているため、LLM4CPはリアルタイムのチャネル予測にも活用できる可能性があります。

さらに、研究チームは、GPT-2 レイヤーの数の違いがチャネル予測性能、パラメータコスト、推論時間に与える影響を評価しました。(下の図を参照)

異なるGPT-2層数を持つLLM4CPのNMSEパフォーマンス、ネットワークパラメータ、干渉時間

トレーニングデータセットの10%を使用したTDDシステムセットアップでのテストでは、ネットワークパラメータと推論時間の両方がGPT-2レイヤー数の増加に伴って増加し、テスト範囲ではGPT-2レイヤー数が6のモデルが最高のパフォーマンスを発揮することが明らかになりました。これは、レイヤー数が増えても必ずしも予測精度が向上するわけではないことを示唆しています。実際の導入では、LLMバックボーンの種類とサイズを選択する際に、予測精度の要件だけでなく、デバイスのストレージとコンピューティングリソースの制約も考慮する必要があります。

AIは無限の可能性に満ちたコミュニケーションを実現する

無線通信の急速な発展、特に現在の5G時代と将来の6G時代においては、AIと通信の融合の重要性は明白です。関連技術分野において、AI技術の応用は既に産業界から広く注目され、研究されています。

例えば、南京郵電大学の楊麗華氏率いるチームによる先行研究「深層学習に基づく新たな時変チャネル予測法」では、高速モバイル環境に適した深層学習に基づく時変チャネル予測法が提案されています。この手法はバックプロパゲーション（BP）ニューラルネットワークをベースとし、オフライン学習とオンライン予測を行います。論文では、この手法によって時変チャネル予測の精度が大幅に向上し、計算量も少ないことが指摘されています。
論文の宛先:

https://www.infocomm-journal.com/dxkx/CN/10.11959/j.issn.1000-0801.2021011

これまでの研究とは異なり、この研究は無線通信の物理層の設計に大規模言語モデルを適用した初めての研究であり、間違いなくAIと通信技術の統合における新たな章を開くものとなるでしょう。

論文で言及されているように、事前学習済みの大規模言語モデルを非自然言語タスクに適用した例はこれまでありませんでした。これは前例のない成功した試みであり、事前学習済みの大規模言語モデルが言語形式を突破し、無線通信にも役立つことを証明しています。

さらに重要なのは、この実験と試みを通して、大規模言語モデルがエンパワーメントの新たな一章を必ず開くということです。同時に、大規模言語モデルの独自の推論能力により、AIと関連技術の垂直産業への統合が必然的に加速し、AIとあらゆる分野との融合への近道が見つかると確信しています。