OpenAI o1 の出現により、大規模モデルの進化における新しいパラダイム、つまり推論法が導入されました。

NVIDIA の AI 科学者Jim Fan 氏が述べたように、O1 の出現は、大規模モデル開発者がトレーニング段階から推論プロセスに重点を移し始めていることを示しています。

ジム氏はまた、機械学習の先駆者であるリッチ・サットンの古典的な論文「The Bitter Lesson」を引用し、（AI）コンピューティングの可能性を無限に拡大できるのは学習と検索という2つの技術だけだと述べました。

さて、ここでは後者に焦点を当てます。

推論側にさらに多くのリソースを投資すると、モデルの思考プロセスがより完全なものとなり、投資の増加によって質的な改善がもたらされます。

中国では、 360の創業者である周紅義氏の哲学がこれと一致しており、360は早くから「スローシンキング」という概念を提唱し、自社の技術アーキテクチャや製品に適用していました。

一方、360 は AI 製品におけるマルチモーダル コラボレーションも重視しており、異なるメーカーの大型モデルが「温かさのために一緒になる」ことを可能にし、国内モデルが OpenAI に追いつくための実現可能な道筋を見つけています。

O1の「ゆっくり考える」モデルを見る

o1 の具体的な思考プロセスはこれまで OpenAI の厳重に守られた秘密でしたが、Chain of Thought (CoT) が重要な役割を果たしたことは確かです。

OpenAIはo1に関するレポートで、マインドチェーンによりモデルがエラーを認識して修正したり、難しいステップをより単純なステップに分解したり、さらにはさまざまなアプローチを試したりすることを学習できるようになり、モデルの推論能力が大幅に向上すると述べています。

今年のトップAIカンファレンスICLRでは、Google Brain推論チームの創設者であるデニー・ジョウ氏と、清華大学ヤオ・クラスの卒業生でスタンフォード大学助教授、スローン賞受賞者の馬騰宇氏による論文が発表され、思考連鎖の無限の可能性が明らかになった。

表面的な部分を超えて考えてみると、思考の連鎖の本質は、ある程度、2002年のノーベル経済学賞受賞者であるダニエル・カーネマンが著書『ファスト＆スロー』で提唱した「システム2」、つまり「スローシンキング」システムにあります。

いわゆる「システム 2」または「スロー シンキング」は、単純で無意識的な直感である「システム 1」または「ファスト シンキング」とは対照的に、複雑で意識的な推論を指します。

O1 のパフォーマンスは、人間に当てはまるこの「ゆっくり考える」という概念が、大規模モデルにも同様に当てはまることを証明しています。

しかし、これら 2 つのシステムは人間の脳内で同時に存在し、相互に連携しており、大きなモデルでは分離すべきではないことに注意する必要があります。

周紅一氏は、O1 は高速システムと低速システムの協調動作を核とする「二重過程理論」に従っている可能性があると考えています。

「100モデルの戦い」の出場者として、周紅毅氏と360氏は「スローシンキング」と「マルチシステムコラボレーション」の思想家であり先駆者でもある。

7月末のISC.AIカンファレンスで、周紅一氏は「大規模モデルのスローシンキング能力を高めるためのスローシンキングシステムを構築する」と発表した。

360は、「マルチシステムコラボレーション」メカニズムに基づいて、複数のモデルで構成されたインテリジェントエージェントフレームワークを使用して、大規模モデルの「高速思考」から「低速思考」への変換を実現し、 360 AI Searchと360 AI Browserという2つのスターAI製品を生み出しました。

異なる大型モデルを「暖かさのためにくっつける」

360AI Searchには、簡潔な回答、標準的な回答、詳細な回答の3つのモードがあります。1つの詳細な回答には、7～15回の大規模なモデル呼び出しが必要になる場合があります。

たとえば、意図認識モデルへの呼び出しが 1 回、検索語書き換えモデルへの呼び出しが 1 回、検索呼び出しが 5 回、Web ページ ランキング モデルへの呼び出しが 1 回、メインの回答を生成する呼び出しが 1 回、フォローアップの質問を生成する呼び出しが 1 回などが含まれる場合があります...

複数のモデルの共同作業を通じて、360AI Search は次のワークフローを形成しました。

• まず、意図分類モデルを使用して、質問におけるユーザーの意図を識別します。
• 次に、タスクルーティングモデルを用いて問題を細分化します。様々な問題は「単純なタスク」「複数ステップのタスク」「複雑なタスク」に分類され、複数のモデルがスケジュールされます。
• 最後に、複数の大規模モデルが共同で動作できるようにする AI ワークフローが構築されます。

たとえば、中国の古典詩を英語に翻訳するという質問に直面した場合、ルーティング モジュールは翻訳やリフレクションなどの複数のモデルを呼び出し、これらのモデルが連携してタスクを完了できるようにします。

さらに、最新バージョンでは、回答生成プロセスにおけるマルチモデルの連携がさらに強化され、独立した回答モードとして扱われるようになりました。

3 つの異なるモデルは、それぞれ、最初の回答を生成する専門家、回答をチェックするリフレクター、最終的な回答を提供する要約者として機能します。

例えば、このケースでは、専門家であるKimiさんは問題の鍵となる部分を指摘しましたが、表現が明確ではありませんでした。Doubaoさんは、 360 Brainの反射モデルによるアドバイスを受けて、それを改めて要約し、問題に直接対処する解決策を導き出しました。

この実用的なモデルは、AI アプリケーションに高速思考と低速思考のコラボレーションと反映のメカニズムを導入するだけでなく、さまざまなモデルの相互検証を通じて全体的なパフォーマンスをさらに向上させます。

もう一つの AI 製品である 360AI ブラウザでは、 16 社のメーカーから 54 の大規模モデルが集められており、従来のブラウザにはない多くの機能を実現しています。

AIブラウザは数万語に及ぶ英語の学術論文を10秒で要約することができ、詳細について質問することも可能です。

PDF ドキュメントの没入型翻訳が可能になり、元のテキストと翻訳されたテキストが同期してスクロールし、いつでも簡単に比較できるようになります。

さらに、「AIデータ節約のエキスパート」へと変貌を遂げ、オンライン動画の内容を数分で要約し、重要なポイントをハイライト表示します。動画の構造に基づいてマインドマップを作成したり、クリエイティブスタイルを分析したりすることも可能です。

オンライン文書やビデオを解析できるだけでなく、この一連の分析機能はローカルファイルにも適用できます。

さらに便利なことに、360AI ブラウザにはモバイル バージョンもあり、ユーザーは AI のサポートを受けていつでも携帯電話でインターネットを閲覧できます。

360AIブラウザにすでに統合されており、CoEアーキテクチャに基づいたAIアシスタント（bot.360.com）は、タスクの種類とモデルの強みに基づいて、最適な大規模モデルを自動的にスケジュールできます。

プラットフォームを切り替えることなく 54 の大型モデルと直接対話することも、さらに強力なハイブリッド モデルと対話することもできます。お好みに合わせて選択してください。

AIアシスタントは「マルチモデルコラボレーション」もサポートしており、ユーザーは54のオプションから任意の3つのモデルを選択し、それぞれエキスパート、リフレクター、サマライザーとして機能させることができます。

360 では今後、5 人以上のモデルが協力してタスクを完了するバージョンもリリースされる予定です。

360AIブラウザでは、AIアシスタントが54種類の大型模型製品に対応し、「同じステージで競い合う」ことができる「模型アリーナ」 （bot.360.com）をリリースしました。最新バージョンでは、「チームバトル」「匿名対戦」「ランダムバトル」などの機能も追加されています。

要約すると、360AI Search と 360AI Browser は焦点が異なりますが、同じコアコンセプトを体現しています。

「ゆっくり考える」際には、1 人のモデルの能力を制限するのではなく、むしろモデルが「一緒に温かくまとまる」ようにし、多くの人の強みを生かして「多くの手で仕事を楽にする」状況を作り出す必要があります。

もちろん、これを行うことの意義は、ユーザーに優れた AI エクスペリエンスをもたらすだけでなく、さまざまなモデルの開発者へのインセンティブとなることにもあります。

大規模モデルの開発には莫大な投資が必要であり、十分な数のユーザーだけがそのコストを回収できることはわかっています。

360 は、360 AI 検索、ブラウザ、セキュリティ ガードなどのエントリ ポイントを活用することで、大規模モデル開発者に 10 億人のユーザーにリーチできるアクセス ポイントを開放しました。

これは、アリババ、テンセント、バイドゥなどの大手企業や、6つの主要なAI企業が360 AIアーキテクチャに参加した主な理由でもあります。

そこで、360とこれら10社以上のメーカーが協力し、モデルとAIアプリケーションが相互に促進し、共に発展していく好循環を実現しました。

モデルアリーナは、国内で生産された大型モデルが競争を通じて学ぶためのプラットフォームと、ユーザーからのフィードバックを得るための絶好の機会を提供し、より積極的で進取的な雰囲気を育みます。

プロンプトプロジェクトを排除する

技術的な観点から見ると、コンセプトと製品の間のギャップを埋めるのは、360 独自の CoE (Collaboration-of-Experts) アーキテクチャです。

CoE アーキテクチャは、多数の大規模で専門的なモデルを統合し、思考の連鎖と「マルチシステムコラボレーション」を通じて「速い思考」と「遅い思考」の有機的な組み合わせを実現します。

アプローチの点では、CoE と o1 は同様のルートを選択しましたが、深さの点では CoE の方がはるかに進んでいます。

O1 はどれだけ統合しても、あくまで OpenAI 独自のモデルにすぎませんが、CoE は包括的であり、多数の大規模モデルと専門家モデルを統合しています。

△ CoEアーキテクチャ概略図

さらに、CoEアーキテクチャは、数十億、あるいはそれ以下のパラメータを持つ多数のエキスパートモデルを統合することで、システム全体をよりインテリジェントにします。これにより、高品質な回答を得ると同時に、推論リソースを節約し、応答速度を向上させます。

CoE アーキテクチャが最初にリリースされた当時、さまざまなアプローチの長所を組み合わせたハイブリッドな大規模モデルを作成する能力は、当時最も強力だった GPT-4o の能力を上回っていました。

ハイブリッド大規模モデルは、翻訳とライティングを含む12の指標で総合スコア80.49を達成し、GPT-4oの69.22を上回りました。さらに、コードを除く11の指標すべてでGPT-4oを上回りました。

さらに、CoE アーキテクチャはすべてのモデルを採用しており、オープン コラボレーションの面で OpenAI よりもさらに進んでいます...

さらに、OpenAIのO1と360のCoEは、大規模モデルの開発を新たなトレンドへと導くだろう。

複雑な手動プロセスが自動化されます。具体的には、大規模モデルでは、これはプロンプト プロセスを「排除」することを意味します。

一見すると、これは直感に反するように思えるかもしれません。なぜなら、大規模なモデルを使用する場合、プロンプトの品質が生成されるコンテンツに決定的な影響を与え、その重要性は自明だからです。

しかし、詳しく調べてみると、それは矛盾ではありません。AI モデルなどの大規模な AI アプリケーションは、最終的には人類に役立つことを目的としています。

一方、促すエンジニアリングは、モデルの動作方法に人間を適応させることを強制しますが、これは単純に「自然の秩序を逆転させる」ことです。

したがって、ガイダンスを提供することは重要ですが、それが一般ユーザーにとって大規模モデルの使用の障害になってはなりません。

解決策は、プロンプトの設計を他のタスクと同様に思考プロセスの一部として扱い、それをより大きなモデルに委任することです。

このモデルでは、プロンプトシステムの本質は保持されますが、ユーザーの視界から徐々に消えていき、「消滅」の感覚が生まれます。

このモデルは、360 の AI の将来の発展に対する期待も反映しています。

AI をより多くの人々が利用できるようにする。これにより、大規模なモデルはもはや「権力の中に位置する」ものではなく、日常生活の一部となる。