青飛寺の白焦発

量子ビット | WeChat公式アカウント QbitAI

大人気ニューラルネットワークアーキテクチャKANに新しい機能が追加されました!

KAN2.0 。

科学的な疑問とのより深い統合により、古典物理学の研究を解決しやすくなります。

例えば、ラグランジュ関数（物理システム全体の動的状態を記述するために使用される関数）の発見

さらに、研究者は専門知識を補助変数として入力に追加することで、独自の KAN2.0 をカスタマイズできます。

以前、KANは突如現れ、テクノロジー界に一夜にして火をつけた。200万パラメータのモデルアーキテクチャを持つKANは、30万パラメータのMLPを用いて数学定理を発見したDeepMindの研究を直接再現した。後者の研究はNatureの表紙を飾ったことは特筆に値する。

KAN はその優れたパフォーマンスにより、Transformer の MLP レイヤーを置き換えることができるかどうかという議論を巻き起こし、誰もが「そうだ、KAN だ!」と叫びました。

MIT博士課程の学生Liu Ziming氏が再びこの論文の第一著者となった。

分野の学者らが駆けつけ、祝辞を述べた。

KAN2.0はAIと科学を統合します。

AI + 科学の大きな課題の 1 つは、それらの本質的な非互換性にあります。現在の AI は主にコネクショニズムに基づいていますが、科学は象徴主義に依存しています。

新しいフレームワークKAN2.0は、KANと科学をシームレスに統合することに重点を置いています。この統合は双方向であり、科学からKAN（科学的知識をKANに統合）とKANから科学（KANから科学的知見を抽出）の双方向の統合です。

具体的には、KAN2.0 は、単純で初歩的なものから、ますます洗練され複雑になるものへと進化し、主に次の 3 つの方法で科学的発見に貢献します。

主要な特徴を識別し、モジュール構造を明らかにし、記号式を発見します。

これら 3 つの新機能は、主にオリジナルの KAN に基づいて導入されました。

1. MultKAN: 乗算ノードを持つ KAN 。

2. kanpiler: 記号式を KAN にコンパイルするコンパイラ。

3.ツリーコンバーター。KAN2.0 アーキテクチャ (または任意のニューラル ネットワーク) をツリー ダイアグラムに変換します。

KAN2.0は、以前のバージョンと比較して、解釈の汎用性が向上しました。例えば、記号式では表現が難しい化学や生物学などの分野を、モジュール構造とキー特性を用いて記述できます。

たとえば、ユーザーは KAN2.0 にモジュール構造を組み込むことができます。

KAN2.0 ニューロンを MLP ニューロンと交換することで、モジュール構造を直接観察できます。

さらに、チームは、事前の知識を KAN2.0 に組み込む方法を検討しました。

これらのアップデートに基づいて、チームは KAN2.0 がさまざまな古典的な物理法則を発見できることを実証しました。

例えば、2次元調和振動子の保存量が発見されました。

シュワルツシルトブラックホールの隠れた対称性が、MLP と KAN2.0 を使用して再発見されました。

KAN2.0とのインタラクションを通じて構築法則を発見するといった例もあります。

次に、チームには 2 つの方向性があります。1 つはフレームワークをより大規模な問題に適用すること、もう 1 つはそれを物理学以外の他の科学分野に拡張することです。

MIT中国人第一著者

この研究には、MIT、カリフォルニア工科大学、MIT CSAILなどの機関の研究者5人が参加しており、そのうち3人は中国人だった。

KAN の初期バージョンと比較すると、元のチームメンバーの多くがまだ関与しており、MIT の Liu Ziming 氏が依然として第一著者を務めています。

Liu Zimingは現在、MITの博士課程4年生で、Max Tegmark氏を指導教員としています。彼の研究分野は人工知能と物理学の交差点にあり、具体的にはAI科学者、物理学に着想を得たディープラーニング、ディープラーニング科学、機械的解釈可能性といった分野です。

KAN が広く注目を集めているため、コア著者である彼は、KAN を設計してコードを書く際に、数学的および物理的な例 (規模が非常に小さい!) を考慮したため、効率性と再利用性に関する最適化は考慮しなかったことを GitHub ページで具体的に述べています。

機械学習に重点を置くユーザーにとって、KAN はすぐに使用できる単純なプラグインではないかもしれない (まだそうではない) と彼は率直に認めました。

KAN と MLP は互いに置き換えることはできません。それぞれ特定の状況では利点があり、他の状況では制限があります。

興味があれば、下のリンクをクリックして詳細をご覧ください〜

論文リンク: https://arxiv.org/abs/2408.10205 参考リンク: [1]https://github.com/KindXiaomi... [2]https://kindxiaoming.github.io/ [3]https://x.com/ZimingLiu11/sta...