姚其志院士の指揮のもと、大規模モデル向けの新しい推論フレームワークが発表され、CoTの「王冠」はもはやかぶることができなくなった。

マインド マッピング(思考図) の概念は、大規模なモデルをより人間のように考えさせることを目的としています。

チームはさらに、Topos 理論を通じて DoT を形式化し、その論理的一貫性と合理性を確保することで、この推論プロセスの数学的基盤を提供しました。

推論プロセスを線形シーケンスとして表現する CoT と比較して、DoT は人間の推論の複雑さをより適切に捉えることができます。

分岐構造を導入する ToT や GoT と比較すると、DoT は外部制御メカニズムや複数モデル間の連携を必要とせず、トレーニングと展開が簡単になります。

その秘密は、DoT が LLM の反復推論を、単一のモデル内で有向非巡回グラフ (DAG) を構築するものとしてモデル化している点にあります。

有向非巡回グラフ（DAG）は、命題、批判、改良、検証を表すノードで構成されます。エッジは、それらの間の論理的な関係または依存関係を表し、すべてのエッジには方向があり、循環パスはありません。

この非循環的な特性により、推論プロセスは循環的な依存関係の影響を受けず、合理的な論理的推論をより正確に反映できるようになります。

「9.11 と 9.8 ではどちらが大きいですか？」や「Strawberry には 'r' がいくつありますか？」などの質問はすべて、DoT の助けを借りて簡単に解決されました。

注目すべきは、最新のトップクラスの大規模モデルであるOpenAI o1が、現在、CoTをネイティブに生成するように学習済みであるということです。さらに強力なDoTが利用可能になった今、強化学習を通じてDoTもモデルに組み込むことは可能でしょうか？もし可能であれば…

この研究は提案されて以来、大きな注目を集めています。

ネットユーザーたちはこれが正しい道だと主張している。

保存して、保存して、保存して

DoT がどのようなものか、詳しく見てみましょう。

大規模モデルにおける複雑な推論のための新しいフレームワーク

前述のように、DoT は、論理的推論プロセスを、単一の LLM 内で有向非巡回グラフ (DAG) を構築するものとしてモデル化します。

そのフレームワークは、次の 3 つの主要な役割を管理します。

• 提案者: 命題または推論ステップを生成し、新しいノードを追加します。
• 批評家: 命題を評価し、誤り、矛盾、または論理的誤りを特定し、批評ノードを追加します。
• サマライザーは検証された命題を一貫した思考の連鎖に統合し、DAG のトポロジカル ソートを効果的に実行して最終的な推論出力を生成します。

これらの3つの役割は、次のような特別なトークンを使用します。 、 、これはモデルの出力で明示的に定義されています。LLMは生成プロセス中にこれらの役割をシームレスに切り替え、自己回帰機能を活用してコンテキストに基づいて次のトークンを予測します。

推論プロセスは、提案者が提案を提示し、DAG にノードを追加することから始まります。

次に、コメント投稿者はその発言を評価したり批判したりします。批判が行われた場合は、新しいノードが追加され、発言と批判の間にエッジが確立されます。

批判に基づいて、提案者は洗練され改善された提案を生成し、DAG 内の新しいノードとして表されます。

このプロセスは繰り返され、命題は検証されるまで継続的に改良されます。

十分に有効な命題が確立されると、要約ツールはこれらの推論を統合し、DAG に対してトポロジカル ソートを実行して、一貫した思考の連鎖を生成します。

DoT では、モデルを正しい推論と誤った推論の両方にさらすことで、LLM が間違いから学習し、時間の経過とともに推論を改良できるようになります。これは、人間が問題を解決する方法に似ています。

このアプローチは、推論の非線形かつ反復的な性質を捉えるだけでなく、自然言語批評を通じてバイナリ信号よりも豊富なフィードバックも提供します。

DoTのトレーニングでは、役割固有のトークンやDAG表現を含むDoT構造でフォーマットされたトレーニング例を使用します。推論中、モデルは文脈的な手がかりと役割固有のトークンに基づいて、命題、批評、要約を生成します。

このアプローチにより、展開が簡素化され、複数の LLM コラボレーションや外部制御メカニズムの必要性がなくなり、標準の LLM トレーニング パラダイムとの一貫性が維持されるため、既存のワークフローに簡単に統合できます。

著者らはまた、トポス理論を使用して推論プロセスを正式に記述し、DoT フレームワークに厳密な数学的基礎を提供しました。

このフレームワークでは、命題はトポロジー内の終端オブジェクトのサブオブジェクトとしてモデル化され、論理関係と推論ステップは射として表現され、批判と改善のプロセスはそれぞれサブオブジェクト分類子の射と命題間の射に対応します。

PreNet スコープを導入することで、推論プロセスの動的かつ同時的な特性もうまく捉えることができました。

この数学的基礎は、推論プロセスの論理的一貫性と完全性を保証するだけでなく、推論に特化した次世代 AI モデルを設計するための概念的フレームワークも提供します。

清華大学学際研究院の姚奇志氏と袁洋氏が主導

この論文は、清華大学学際情報科学研究所のYao Qizhi氏とYuan Yang氏が主導し、Zhang Yifan氏が筆頭著者となった。

チャン・イーファン

張一凡さんは2021年に北京大学元培学院を卒業し、学士号を取得しました。現在は清華大学学際情報科学研究所で博士課程に在籍し、袁洋助教授の指導を受けています。

主な研究分野は、基本モデル（大規模言語モデル）、自己教師学習、信頼できる人工知能の理論とアルゴリズムです。

袁陽

袁洋氏は清華大学学際情報科学研究所の助教授および博士課程の指導者です。

2012年に北京大学コンピュータサイエンス学部を卒業し、2018年にコーネル大学でコンピュータサイエンスの博士号を取得し、2018年から2019年までMITのビッグデータサイエンス学部で博士研究員として勤務しました。

主な研究分野は、インテリジェントヘルスケア、AIの解釈可能性、大規模AIシステムです。非凸最適化理論、ニューラルネットワーク最適化理論、メカニズム設計において多大な研究成果を上げています。

ヤオ・チージー

姚其之氏は中国科学院院士であり、清華大学学際情報科学研究所所長です。また、チューリング賞創設以来初のアジア人研究者であり、現在までにこの栄誉を受賞した唯一の中国人コンピュータ科学者でもあります。

姚其志教授は2004年にプリンストン大学の終身在職権を持つ職を辞し、清華大学に戻って教鞭をとりました。2005年には清華大学のコンピューターサイエンス学部生向けに「姚クラス」を設立し、2011年には「清華量子情報センター」と「学際情報科学研究所」を設立しました。そして2019年には清華大学の学部生向けに「志クラス」と略​​される人工知能クラスを設立しました。

現在、彼が率いる清華大学学際情報科学研究所は広く知られるようになり、姚クラスと志クラスはともに学際情報科学研究所に所属している。

姚其志教授の研究分野にはアルゴリズム、暗号、量子コンピューティングが含まれており、これらの分野における国際的な先駆者であり権威です。

もう一つ

ちょうど1年前の同時期に、院士の姚其之氏が累積推論法（CR）を提唱しました。

DoT は CR をさらに発展させたものです。

当時、CR はさまざまな特化した大規模言語モデルを含む反復的なプロセスを調整し、さまざまなモデルが提案者、検証者、報告者の役割を担っていました。

DoT は、外部の制御メカニズムや複数のモデルに依存せずに、単一のモデル内に有向非巡回グラフを直接構築し、トレーニングとデプロイメントを簡素化します。

さらに、DoTでは、モデルによって生成される批判フィードバックは、CRのように単なるバイナリ信号ではなく、自然言語形式で提供されます。これにより、モデルはエラーに関する詳細な説明を受け取ることができ、提案をより効果的に改善するのに役立ちます。

今回、DoT には強力な数学的基礎も設けられ、DoT 推論プロセスとカテゴリ ロジックの関係が明確になり、推論の一貫性と信頼性が理論的に保証されました。

論文リンク: https://arxiv.org/abs/2409.10038

参考リンク: [1]https://x.com/omarsar0/status... [2]https://hub.baai.ac.cn/users/... [3]https://hub.baai.ac.cn/users/...