2012年以降、AIモデルの学習に必要な計算能力は3～4ヶ月ごとに倍増し、年間成長率は最大10倍に達しています。これは、 AIをより高速かつ効率的にするにはどうすればよいかという課題を提起しています。その答えは、光の世界にあるかもしれません。

有望な分野である光コンピューティングは、光の速度と特性を活用して、機械学習アプリケーションの速度とエネルギー効率を新たな高みへと引き上げることを目指しています。しかし、この目標を達成するには、大きな課題を解決する必要があります。それは、これらの光学モデルを効果的に学習させる方法です。これまで、光学システムのシミュレーションと学習にはデジタルコンピュータが利用されていましたが、高精度なモデルと大量の学習データが必要となるため、これらのシステムの能力は著しく制限されていました。さらに、システムの複雑さが増すにつれて、これらのモデルの構築と維持はますます困難になっています。

最近、清華大学の戴瓊海院士と方陸教授の研究チームは、光子伝播の対称性に着目し、ニューラルネットワークの学習における順方向伝播と逆方向伝播の両方を光の順方向伝播とみなし、完全順方向モード（FFM）学習法を開発しました。FFM学習により、研究者は数百万のパラメータを持つ深層光ニューラルネットワーク（ONN）を学習できるだけでなく、超高感度認識と高効率な全光処理を実現し、AIによる光学システムのモデリングにおける限界を軽減することができます。

「光ニューラルネットワークの完全順方向モードトレーニング」と題されたこの研究は、トップジャーナル「ネイチャー」に掲載されました。

研究のハイライト:

• これにより、現場での機械学習操作の効率的な並列実行が可能になり、数値モデリングの制限が緩和されます。
• 与えられたネットワーク サイズに対して最先端のパフォーマンスを備えた光学システムが導入され、FFM 学習により、数百万のパラメータを持つ最も深い光ニューラル ネットワークをトレーニングすることで、理想的なモデルに匹敵する精度を実現できることも実証されました。
• FFM 学習は学習プロセスを桁違いに加速するだけでなく、ディープラーニング ニューラル ネットワーク、超高感度知覚、トポロジカル フォトニクスなどの分野の進歩も促進します。

論文の宛先:

https://doi.org/10.1038/s41586-024-07687-4

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、膨大なデータセットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

7 つの大規模なデータセットを集約して、マルチレベル分類実験で位相がゼロに設定された入力複合フィールドを作成しました。

本研究では合計7つのデータセットを使用しました。多段階分類実験では、各サンプルを用いて位相をゼロに設定した入力複素フィールドを作成しました。

MNIST データセットは、60,000 個のトレーニング サンプルと 10,000 個のテスト サンプルで構成される、10 個のカテゴリに分類された手書きの数字のコレクションです。

Fashion-MNIST データセットには、10 種類のカテゴリのファッション製品が含まれており、60,000 サンプルのトレーニング セットと 10,000 サンプルのテスト セットで構成されています。

CIFAR-10データセット。このデータセットは、8,000万枚の小規模画像データセットのサブセットであり、50,000枚のトレーニング画像と10,000枚のテスト画像が含まれています。

ImageNet データセットは WordNet 階層で構成される画像データベースで、各ノードは数百または数千の画像で表され、トレーニング用に合計 1 億 2,000 万枚の画像とテスト用に 5 万枚の画像が含まれます。

MWDデータセットには、4つの異なる屋外シナリオ（日の出、晴れ、雨、曇り）の気象状況の画像が含まれています。合計1,125個のサンプルが含まれており、そのうち800個がトレーニング用、325個がテスト用です。

アイリスデータセット。このデータセットは3種のアイリスから構成され、種ごとに50個のサンプルが含まれています。データセット内の各オリジナルサンプルには、アイリスの花の形を記述する4つのエントリが含まれています。PIC実験では、各エントリを複製して4つの同一データポイントを作成し、最終的に合計16チャンネルの入力データが生成されました。

Chromiumターゲットデータセットは、異なる領域（反射領域と半透明領域）を持つガラスのクロム板で構成されています。反射領域は物理的なシーンそのもの（文字ターゲットT、H、U）を表します。トレーニングでは、1つの反射領域を同一平面内で移動させることで、9つの異なるトレーニングシーンを生成します。

光学システムは、微分可能な埋め込み型フォトニック ニューラル ネットワーク FFM を構築するために再パラメータ化されます。

従来、光学関連の人工知能は、図aに示すように、オフラインモデリングと最適化によって設計されていました。しかし、この方法では設計効率とシステム性能が制限されます。さらに、様々な機能を実現するために、典型的な光学系は、図bに示すように、屈折率の調整可能性に基づいて、変調領域（濃い緑）と伝搬領域（薄い緑）という2つの異なる領域に分割されます。

従来の光学系の設計図

本研究では、マクスウェル方程式によって制御される光学系を微分可能な埋め込み型光ニューラルネットワークに再パラメータ化できること、そしてこれらのネットワークの勾配降下法による学習がそれらの開発の重要な推進力となっていることを明らかにしました。そこで、本研究では図cに示すようにFFMの機械学習原理を構築します。光学系の特定の領域をニューラルネットワーク内のニューロンにマッピングできるため、入力と出力の間に微分可能なオンサイトニューラルネットワークを構築できます。

FFMの機械学習原理

次に、本研究では空間対称性の相互性を利用し、順方向物理伝搬と測定値をデータおよび誤差計算に共有し、オンサイト勾配を計算して設計領域（図cの右上および左下領域）の屈折率を更新します。オンサイト勾配降下法によって、光学系は徐々に収束します（図cの右下領域）。

オブジェクト分類用の単層光ニューラル ネットワークをトレーニングすると、FFM 学習は理想的なモデルに匹敵する精度を実現できます。

FFM学習の有効性を実証するため、本研究ではまずベンチマークデータセットを用いて単層光ニューラルネットワークを物体分類用に学習させた。図aは、FFM学習を用いた深宇宙における光ニューラルネットワークの自己学習プロセスを示し、図bはMNISTデータセットにおける学習結果を視覚化したものである。

単層光ニューラルネットワークのトレーニング図

図cに示すように、実験的光場と理論的な光場の構造類似度指数（SSIM）は0.97を超えており、高い類似性を示しています。図dでは、Fashion-MNISTデータセットにおける分類のための多層光ニューラルネットワークの使用についてさらに分析しています。層数を2層から8層へと段階的に増やしていくことで、FFM学習を用いることでニューラルネットワークの性能がそれぞれ86.5%、91.0%、92.3%、92.5%に向上し、理論的なコンピュータシミュレーションの精度に近づくことがわかりました。

多層光ニューラルネットワークの学習結果

上記の結果に基づき、本研究では図fに示すように、非線形FFM学習をさらに提案する。データ伝播中、出力は次の層に入る前に非線形活性化を受け、これにより非線形活性化の入力が記録され、関連する勾配が計算される。FFMが提案する非線形学習パラダイムは順方向伝播のみを必要とするため、一般的な測定可能な非線形関数に適用可能であり、したがって光電子工学および全光非線形光ニューラルネットワークに適している。さらに、図gに示すように、非線形光ニューラルネットワークの分類精度は90.4%から93.0%に向上した。

非線形FFM学習の訓練結果

FFM 学習により、複雑な光子システムの設計が簡素化され、動的に隠されたオブジェクトの全光学的なインサイチュー再構成と分析が可能になります。

本研究では、 FFM学習がオフライン数値モデリングの限界を克服し、複雑な光子システムの設計を簡素化することも明らかになりました。例えば、下の図aとbは、ポイントスキャン散乱イメージングシステムと、粒子群最適化（PSO）を用いた様々な最先端の最適化手法を示しています。結果は、勾配ベースのFFM学習がより高い効率を示し、両方の実験において25回の設計反復後に収束し、2つの散乱タイプに対する収束損失はそれぞれ1.84と2.07であることを示しています。対照的に、PSO法では収束に少なくとも400回の設計反復が必要であり、最終的な損失はそれぞれ2.01と2.15でした。

この図は、点走査散乱イメージング システムとその最適化方法の比較を示しています。

下図cに示すように、本研究では自己設計FFMの進化を分析し、当初ランダムに分布していた強度プロファイルが徐々に狭い点に収束することを示しています。下図dでは、FFMとPSOを用いて最適化された焦点の半値全幅（FWHM）とピーク信号対雑音比（PSNR）をさらに比較しています。FFMを用いた場合、平均FWHMは81.2μm、平均PSNRは8.46dBでした。

FFM自己設計進化分析とPSO最適化の焦点の比較

本研究では、in-situ FFM学習が、特に見通し外（NLOS）ミッションなど、正確なモデリングが不可能なシナリオにおいて、従来とは異なる画像パターンを設計するための貴重なツールとなることも明らかになりました。図aに示すように、FFM学習により、動的に隠れた物体の全光学的なin-situ再構成と分析が可能になります。図bはNLOS画像を示しています。FFMによって設計された波面は、3つの文字すべての形状を復元し、各ターゲットの構造類似度指数は1.0でした。

非従来型撮影モードとNLOS撮影の図解

FFM学習法は、動的画像化能力に加え、NLOS領域における隠れた物体の完全光学的分類も可能にします。本研究では、FFMの分類性能を人工ニューラルネットワーク（ANN）の分類性能と比較します。結果は下の図cに示されています。十分な光子がある場合、FFMとANNは同等の性能を示しますが、FFMは正確な分類に必要な光子数が少なくなります。

FFMとANNの分類性能の比較

FFM 学習は集積光子システムの自己設計に拡張でき、シミュレーションの収束には約 100 サイクルが必要です。

本研究では、FFM学習法を集積光子システムの自己設計に拡張できることを明らかにした。図aに示すように、本研究では、直列および並列に接続された対称光子カーネルで構成される集積ニューラルネットワークを用いてFFM学習を実現した。結果は、行列の対称性により、誤差伝播行列とデータ伝播行列が等価になることを示している。

集積光子システムの拡張におけるFFM

下の図eは、ニューラルネットワーク全体の誤差を視覚化したものです。この結果から、80回目の反復において、 FFM学習はコンピュータシミュレーションによる学習よりも勾配誤差が低いことがわかります。

ニューラルネットワークエラーの可視化

下の図 f に示すように、設計精度の進化において、理想的なシミュレーションと FFM 実験はどちらも収束するまでに約 100 サイクルかかりますが、FFM 方式の精度が最も優れています。

理想的なシミュレーションとFFMの設計精度の比較

インテリジェント光コンピューティング産業チェーンは徐々に成熟し、新しい時代の波に乗る準備が整っている可能性があります。

特筆すべきは、本論文の研究成果に基づき、研究チームが「Taiji-II」光トレーニングチップを発売したことです。 「Taiji-II」の開発は前世代の「Taiji」の発売からわずか4か月後に行われ、その成果はScience誌に掲載されています。論文に掲載された実験結果によると、 「Taiji」のエネルギー効率はNVIDIA H100の1,000倍です。この強力なコンピューティング能力は、研究チームが開発した先駆的な分散型広域インテリジェント光コンピューティングアーキテクチャに基づいています。
論文リンク:

https://www.science.org/doi/10.1126/science.adl1203

Taijiシリーズの新製品の発売は、インテリジェント光コンピューティングへの業界の関心を再び呼び起こしました。しかし、現実には、インテリジェント光コンピューティングは、物理的なハードウェア、ソフトウェア開発、そしてアプリケーションの面で、さらなる最適化と探求を必要としています。実際、インテリジェント光コンピューティングの研究システムは大きく成熟しており、北京大学、浙江大学、華中科技大学など、多くの大学や研究機関が参加し、関連する学術交流もますます活発になっています。しかし、具体的な応用分野においては、各大学のリーダーが率いる研究チームの焦点はそれぞれ異なります。例えば、

清華大学の戴瓊海院士率いるチーム：このチームが本論文の著者です。彼らの次世代AI光電子融合チップは、インテリジェント画像認識、交通状況、顔認識によるウェイクアップなどの応用シナリオにおける実験を完了しました。報道によると、チームの研究成果は、既存のGPUと比較して、同じ精度で計算能力を3,000倍、エネルギー効率を400万倍向上させ、自動運転、ロボットビジョン、モバイルデバイスなどの分野における従来のコンピューティング手法に革命をもたらす可能性を秘めています。

華中科技大学の董建吉氏が率いるチーム：同チームが開発した光電子ハイブリッドチップは、人間の表情認識に応用されている。

上海交通大学の徐少富氏が率いるチーム：同チームが開発した一連の光電子融合チップは、人工知能、信号処理などの分野に応用されており、医療画像再構成などの分野での計算実験も完了している。

研究者たちのたゆまぬ努力のおかげで、我が国のインテリジェント光コンピューティングチップ開発は、他国に匹敵するレベルに達しており、心強い限りです。過去5年間で、光コンピューティングに注力する世界の企業は、わずか数社から数十社へと急速に増加しました。国際的に最も代表的な例としては、世界最高峰のAIスーパーコンピュータの構築に取り組むLuminous Computing社と、光技術を用いてAIおよび高性能コンピューティングのワークロードの性能とエネルギー効率を向上させるLightmatter社が挙げられます。両社とも1億ドルを超える資金調達を確保しています。

中国では、希智科技や光子算術といった企業も光コンピューティング産業における国際競争に参入しています。これらのスタートアップ企業は光コンピューティングに注力し、光チップをベースとした光コンピューティングアクセラレータの開発に加え、ソフトウェア、システム、プロトタイプの研究開発も同時に進めています。つまり、中国の光コンピューティング産業チェーンは着実に成熟し、関連する産学研システムが効率的かつ効果的に機能しているということです。私たちは、この新たな時代において、インテリジェント光コンピューティングがデジタル経済と新たな生産力の発展に強力な推進力をもたらすと期待しています。