密度汎関数理論（DFT）は、物質特性の予測と解釈のための重要なツールとして、物理学、化学、材料科学において不可欠な役割を果たしています。しかしながら、従来のDFTは通常、膨大な計算リソースと時間を必要とするため、その適用範囲は大きく制限されています。

深層学習と密度汎関数理論（DFT）を組み合わせ、大規模な計算シミュレーションを通じて新材料を予測・発見する、新興の学際分野として、従来のDFT計算の時間と複​​雑さという欠点を徐々に克服しつつあり、計算材料データベースの構築において大きな応用可能性を秘めています。ニューラルネットワークアルゴリズムは、より大規模な材料データベースの構築を加速し、より大規模なデータセットはより強力なニューラルネットワークモデルを学習させます。しかしながら、現在の深層学習DFT研究では、DFTタスクとニューラルネットワークを別々に扱うことがほとんどであり、両者の共同開発には大きな制約があります。

ニューラルネットワークアルゴリズムとDFTアルゴリズムをより有機的に統合するため、清華大学の徐勇氏と段文輝氏らの研究グループは、ニューラルネットワークDFTフレームワークを提案しました。このフレームワークは、ニューラルネットワークにおける損失関数の最小化と密度汎関数理論におけるエネルギー関数最適化を統合しています。従来の教師あり学習法と比較して、より高い精度と効率性を備えており、深層学習DFT法の開発に新たな道を切り開きます。

「変分エネルギー最小化に基づくニューラルネットワーク密度汎関数理論」と題されたこの研究は、Phys. Rev. Lett. 誌に掲載されました。

研究のハイライト:

• この研究では、変分密度汎関数理論と等価ニューラルネットワークを組み合わせた、ニューラルネットワーク密度汎関数理論の理論的枠組みを提案します。
• 本研究では、Juliaプログラミング言語とZygote自動微分化フレームワークに基づいて、AI2DFTと呼ばれる計算プログラムをゼロから開発しました。AI2DFTでは、自動微分化（AD）を変分DFT計算とニューラルネットワークの学習の両方に使用できます。

論文の宛先:
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.133.076401

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、膨大なデータセットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

ディープラーニングと DFT を統合すると、物理情報の教師なし学習が可能になります。

コーン・シャム密度汎関数法（Kohn-Sham DFT）は、材料シミュレーションにおいて最も広く用いられている第一原理計算法です。この手法は、複雑な電子相互作用を、有効単粒子コーン・シャムハミルトニアンで記述される簡略化された非相互作用電子問題にマッピングすることで簡略化し、近似交換相関関数を用いて複雑な多体効果を考慮します。コーン・シャム方程式は変分原理から正式に導出されており、理論物理学では非常に好まれていますが、微分方程式の反復解法の方が効率的であるため、この手法はDFT計算ではあまり使用されていません。

しかし、ディープラーニングと DFT のさらなる統合により、この開発パラダイムは完全に変化しました。

ディープラーニング（DFT）の研究では、主にデータ駆動型の教師あり学習技術が利用されています。図aに示すように、従来のデータ駆動型の教師あり学習手法では、通常、異なる材料構造に対してDFT SCF計算を実行することで学習データを生成し、その後、DFT結果に類似したデータを予測するニューラルネットワークを設計・学習します。このプロセスでは、ニューラルネットワークとDFTは別々のプロセスです。

ディープラーニングとDFTを統合する2つの異なるアプローチ

現在、上図bに示すように、ニューラルネットワークのDFTに基づく物理情報の教師なし学習は、DFTにおけるエネルギー関数の最適化とニューラルネットワークにおける損失関数の最小化を組み合わせることで、ニューラルネットワークアルゴリズムとDFTアルゴリズムの共有と相乗効果を実現しています。さらに重要なのは、DFTをディープラーニングに明示的に導入することで、ニューラルネットワークモデルは従来のデータ学習手法よりも優れた現実の物理環境のシミュレーションが可能になることです。

自動微分やバックプロパゲーションなどの技術を導入することで、ニューラル ネットワーク DFT が数値的に実装されました。

本研究では、さらなる研究のためにエネルギー関数E[H]を選択し、3次元ユークリッド群におけるマッピング{R} → Hの共分散を確保するためにDeepH-E3を使用しました。

• DeepH-E3は、Xu Yong氏のチームによって等価ニューラルネットワークに基づいて設計された第2世代DeepHアーキテクチャです。このフレームワークは、3次元ユークリッド群の下で共変ニューラルネットワークを用いて、微視的原子構造に対応する密度汎関数理論（DFT）ハミルトニアンを予測し、第一原理電子構造計算を大幅に高速化します。

具体的には、下図に示すように、本研究では、材料構造情報の埋め込みを等変ニューラルネットワークの入力条件として用い、ハミルトン行列を出力してニューラルネットワークの重みパラメータ化Hθを得る。エネルギー関数E[H]は、ニューラルネットワークの損失関数E[Hθ]ともみなせる。

ニューラルネットワークDFTのアーキテクチャと実装パス

ニューラル ネットワーク DFT では、DFT プログラムはニューラル ネットワーク パラメータを最適化するために ∇HE を提供する必要があり、これは DFT プログラミングの大きな課題です。

自動微分（AD）は∇HEの計算に適していますが、現在のDFTコードのほとんどはAD機能を完全にサポートしていません。そこで本研究では、Julia言語を用いて自己完結型の自動微分可能なDFTプログラム「AI2DFT」を開発しました。注目すべきは、AI2DFTでは自動微分（AD）がDFT計算とニューラルネットワークの学習の両方に適用されていることです。

DFTでは、AI2DFTはHからρとnを導出し、それによって全エネルギーを計算します。次に、連鎖律に基づいて、逆モードADを用いて∇nE、∇ρE、∇HEを順に計算します。ニューラルネットワークでは、勾配情報∇θEをニューラルネットワークの最適化に利用できます。

研究結果: ニューラル ネットワーク DFT は信頼性が高く、予測精度に優れたパフォーマンスを発揮します。

本研究では、ニューラルネットワークDFTの理論的枠組みを確立し、微分可能なAI2DFTコードを使用した数値実装を完了した後、H2O分子、グラフェン、単層MoS2、体心立方Naなどのさまざまな材料に対して包括的なテストを実施しました。

具体的には、本研究ではまず、AI2DFTのSCF反復法がSIESTAコードのベースライン結果を良好に再現できるかどうかを検証し、次に同じ物質に変分DFTを適用しました。下の図aとbに示すように、数十回の変分ステップを経て、全エネルギーはμeVスケール以下に収束し、エネルギー勾配、ハミルトニアン、密度行列、電荷密度などの他の物理量も指数関数的な収束を示しました。これは、変分DFTの信頼性と堅牢性を検証するものです。

AI2DFT検証

さらに、上の図cとdに示すように、AI2DFTは変分DFTとDeepH-E3ニューラルネットワークの性能を、従来のデータ駆動型教師あり学習法と比較して組み合わせています。例えば、

• H2O分子の場合、ニューラルネットワークDFTを用いてDFTハミルトニアンを最適化することで高精度を実現できます。ニューラルネットワークDFTの精度は0.06 meV、データトレーニングの精度は0.02 meVです。
• グラフェンの場合、どちらの手法も0.004 meVという高い精度を達成しました。これにより、ニューラルネットワーク法の信頼性が検証されました。
• さらに、エネルギー予測精度の点では、ニューラルネットワークDFTはデータトレーニングを大幅に上回ります。例えば、H2O分子の場合、ニューラルネットワークDFTは0.013μeVのエネルギー予測精度を達成しました。これは、データトレーニングで達成された0.83μeVの60倍以上です。

最後に、本研究ではニューラルネットワークDFTを様々な物質構造の計算に適用し、その教師なし学習能力を実証しました。図aに示すように、H2O分子を例にとると、本研究ではまずDeepH-E3法に基づくデータ駆動型教師あり学習によって事前学習済みのニューラルネットワークモデルを取得し、その後、ニューラルネットワークDFTを用いて300個の学習構造を微調整することで、ハミルトニアンなどの物理量の高精度予測を実現しました。

ニューラル ネットワーク DFT を使用した複数の H2O 構造の教師なし学習。

さらに、本研究では、学習済みのニューラルネットワークモデルを用いて、学習中には見ら​​れなかった435個のテスト構造を予測し、図bおよびcに示すように、良好な汎化能力を示しました。データ駆動型の教師あり学習と比較すると、ニューラルネットワークDFTによって生成されたハミルトニアンは平均絶対誤差がわずかに大きいものの、予測精度において優れた性能を示しており、ニューラルネットワークがニューラルネットワークDFTプロセスを通じてより多くの物理パターンを学習していることを示唆しています。

DFT と第一原理計算に重点を置き、AI は材料科学の新しい時代をリードします。

清華大学の徐勇教授と段文輝教授が率いる研究チームは、李楊氏、唐澤塵氏、陳澤州氏らとともに、密度汎関数理論（DFT）と第一原理計算において一連の成果を達成しました。彼らの研究は、材料科学および物理学研究におけるディープラーニング技術の広範な応用を促進しました。

2022年以降、徐勇と段文輝の研究チームは第一原理計算の分野で大きな進歩を遂げてきました。彼らは、深層学習に基づく理論的枠組みとアルゴリズム、DeepH（Deep DFT Hamiltonian）を開発しました。この手法は電子物性の局所性原理を最大限に活用し、小規模なデータセットで学習したモデルで大規模な物質系に対する正確な予測を可能にし、非磁性材料における電子構造の計算効率を大幅に向上させました。

「効率的な第一原理電子構造計算のためのディープラーニング密度汎関数理論ハミルトニアン」と題されたこの研究結果は、『Nature Computational Science』誌に掲載された。
論文リンク:
https://www.nature.com/articles/s43588-022-00265-6

2023年、徐勇と段文輝の研究チームは、磁性材料のDFTハミルトニアンが原子構造および磁気構造にどのように依存するかをさらに調査するため、xDeepH（拡張DeepH）法を提案しました。この手法は、深層等変ニューラルネットワークフレームワークを用いて磁性材料のDFTハミルトニアンを表現することで、効率的な電子構造計算を可能にします。この成果は、磁性構造研究のための効率的かつ高精度な計算ツールを提供するだけでなく、DFTの精度と効率を両立させる実現可能な道筋も提示しています。

関連する研究結果は、「磁気超構造のディープラーニングによる電子構造計算」というタイトルで『Nature Computational Science』に掲載されました。
論文リンク:
https://www.nature.com/articles/s43588-023-00424-3

事前知識と対称性要件を考慮したニューラルネットワークモデルを設計するために、研究者らはさらにDeepH-E3法を提案しました。この手法は、少量のDFTデータを用いて小規模システムを学習させ、大規模物質システムの電子構造を迅速に予測することができます。計算速度を数桁も大幅に向上させるだけでなく、サブミリ電子ボルトレベルの高精度も達成します。

関連する研究結果は「密度汎関数理論ハミルトニアンのE(3)同変ニューラルネットワーク表現の一般的な枠組み」というタイトルでNature Communicationsに掲載されました。
論文リンク:
https://www.nature.com/articles/s41467-023-38468-8

DeepHは理論的枠組みの継続的な最適化により、非磁性材料から磁性材料までを網羅的にカバーし、予測精度も大幅に向上しました。こうした背景から、徐勇と段文輝の研究チームはDeepH法をさらに活用し、汎用的なDeepH材料モデルを構築しました。このモデルは、複数の元素や複雑な原子構造を含む材料系に対応し、材料特性の予測において優れた精度を示します。

関連する研究成果は、「ディープラーニング密度汎関数理論ハミルトニアンの普遍的な材料モデル」というタイトルで Science Bulletin に掲載されました。
論文リンク:
https://doi.org/10.1016/j.scib.2024.06.011

現在、徐勇と段文輝の研究グループは、ニューラルネットワークアルゴリズムとDFTアルゴリズムを有機的に融合させ、深層学習DFT法の開発に新たな道を切り開いています。深層ニューラルネットワークアルゴリズムの継続的な進歩と大規模データセットの構築により、AIは間違いなくよりインテリジェントになるでしょう。近い将来、第一原理計算、材料発見、設計のすべてがニューラルネットワークによって完了する可能性は非常に高いでしょう。これは、AIが材料科学を全く新しいデータ駆動型時代へと導くことを示しています。