清華大学姚クラスのトップ学生である姚舜宇さんが正式にOpenAIに加入した。

この短いメッセージは、業界関係者から多くの注目を集め、祝福されました。その衝撃を感じてみましょう。

その中には、米国のOpenAIおよびIOIコーチのフロンティア研究責任者であるマーク・チェン氏や、AI分野の教授や投資家などの人物が含まれています。

では、なぜ姚俊宇はこれほど注目を集めたのでしょうか?

彼の過去の経験から、次のキーワードを抽出できます。

• 清華大学ヤオクラス
• ヤオクラス合同会議議長
• 清華大学学生ラップクラブの共同創設者
• プリンストン大学コンピュータサイエンス博士号

△姚舜宇、画像出典：個人ホームページ

しかし、素晴らしい経歴以外にも、姚俊宇が世間の注目を集めたのは、数々の科学研究の成果でした。

• 思考の樹: LLM 学習者が繰り返し考えることを奨励し、推論能力を大幅に向上させます。
• SWE-bench : 大規模なモデル能力評価データセット。
• SWE-agent : オープンソースの AI プログラマー。

ほぼすべての研究がこの分野に大きな波紋を巻き起こしたと言っても過言ではありません。そして、それらの研究はすべて大規模なモデルを中心に展開されていることは明らかです。

これはおそらく、姚舜宇の公式発表の一節を反映していると思われる。

私たちの研究ビジョンを現実のものにするときが来ました。

この「研究ビジョン」について、もう少し詳しく見てみましょう。

研究キーワード: 言語エージェント

姚俊宇のホームページ、特に研究論文のセクションを見ると、「言語エージェント」というフレーズが頻繁に登場します。

X ホームページのプロフィールでも、最初の文は「言語エージェント」です。

そして、これは彼の博士論文のタイトルでもあります： 「言語エージェント：次のトークンの予測からデジタル自動化まで」 。

言語エージェント、または言語インテリジェントエージェントは、Yao Shunyu によって提案されたインテリジェントエージェントの新しいカテゴリです。

従来のインテリジェントエージェントとは異なり、このアプローチでは推論とアクションに言語モデルを使用し、デジタル自動化を実現することを目指しています。

具体的な実装方法としては、次の 3 つの主要な技術 (それぞれ独立した論文があります) があります。

• ReAct : 言語モデルを使用して推論の軌跡とアクションを生成し、さまざまな言語推論および意思決定タスクを解決する、推論とアクションを組み合わせた手法。
• マインド ツリー: 複雑な問題を解決するための複数の思考パスを生成および評価することで、言語モデルの推論能力を向上させるツリー検索ベースのアプローチ。
• CoALA : 記憶、行動空間、意思決定などの側面を含む言語エージェントを編成および設計するための概念フレームワーク。

この研究では、ReAct を例にとると、言語モデルのアクション空間をアクションセットと言語空間の結合に拡張します。

言語空間におけるアクション（思考や推論の軌跡など）は外部環境に影響を与えませんが、現在のコンテキストに関する推論を通じてコン​​テキストを更新し、将来の推論やアクションをサポートすることができます。

例えば、下の図に示すダイアログでは、ReAct メソッドによってエージェントが「アイデアの生成 → アクションの実行 → 結果の観察」というプロセスを繰り返すように誘導できます。

このように、推論の軌跡と動作を組み合わせることで、モデルは動的推論を実行できるようになり、エージェントの決定と最終結果が改善されます。

ReAct メソッドがエージェントに「行動する理由」を与えることに限定されるとすれば、次のメソッドであるマインド ツリーは、エージェントに「計画を立てる理由」を与えることに重点を置きます。

マインド ツリーは、問題をツリー構造上の検索として表現します。各ノードは部分的な解決を表す状態であり、ブランチは状態を変更する操作に対応します。

主に次の 4 つの問題があります。

• マインド分解: 複雑な問題を一連の中間ステップに分解します。各ステップはツリー内のノードとして見ることができます。
• 思考生成: 言語モデルを使用して、各ノードの潜在的な思考を生成します。これは、問題解決のための中間ステップまたは戦略です。
• ステータス評価: 言語モデルを使用して各ノードのステータスを評価し、問題解決の進捗状況と可能性を判断します。
• 検索アルゴリズム: さまざまな検索アルゴリズム (幅優先探索 (BFS) や深さ優先探索 (DFS) など) を使用して、マインド ツリーを探索し、最適なソリューションを見つけます。

「24 ポイント」ゲームにマインド ツリーを適用すると、以前のマインド チェーン (CoT) 方式に比べて精度が大幅に向上しました。

言語エージェントの最後の主要技術であるCoALA は、言語エージェントを編成および設計するための概念フレームワークです。

下の構造図からわかるように、大きく分けて情報保存、行動空間、意思決定の3つの主要モジュールに分かれています。

情報記憶とは、言語エージェントが短期作業記憶と長期記憶（意味記憶、エピソード記憶、手続き記憶など）を含む複数のメモリモジュールに情報を保存することを指します。

これらのメモリ モジュールは、感覚入力、知識、経験などのさまざまな種類の情報を保存するために使用され、エージェントの意思決定プロセスで役割を果たします。

さらに、CoALA はインテリジェント エージェントのアクション空間を外部アクションと内部アクションに分割します。外部アクションには、ロボットの制御、人間とのコミュニケーション、デジタル環境での操作の実行など、外部環境との相互作用が含まれます。

内部アクションには、推論、検索、学習などの操作を含む、エージェントの内部状態およびメモリとの対話が含まれます。

最終的に、言語知能は意思決定プロセスを通じて実行するアクションを選択することを学習します。このプロセスには、さまざまな要因とフィードバックに基づいて最適な解決策を見つけることも含まれます。

また、 SWE-agentなど、オープンソースのAIプログラマーの作品なども存在し、業界内で広く流通しています。

しかし、言語エージェント以外にも、姚俊宇の多くの研究プロジェクトの中には、彼が追求しているもう1つのキーワードである「計算思考」も見られます。

実はこれは彼が学部生の頃にすでに明かしていたことだった。

2015年卒業予定の4年生、ヤオ・シュンユさんは、コンピューターサイエンスの博士号取得を目指してプリンストン大学に向かう前に、2019年清華大学独自選抜再試験の開会式で、清華大学での学びと成長の経験を受験生たちと共有しました。

関連情報は、彼自身の記事「清華大学ヤオ授業で何を学んだか？ ヤオ・シュンユ：世界を変えるほどに」に記録されている。

当時、彼は理論的および実践的観点から計算思考を共有することに重点を置き、過去 4 年間で最大の収穫は計算思考であったことを明らかにしました。

理論的には、今は不可能に思えることがたくさんあります。理論が実践を導くという考え方は、システムの能力の限界とタスクの難易度を高次の視点から理解し、何ができ、何が意味のあることなのかを選択する必要があることを意味していると思います。

「明るく元気な少年」というタグがしっかりとついている姚俊宇さんは、清華大学の南方イマージョンプログラムの一環としてアルゼンチンに行った経験もシェアした。

アルゼンチンの子供たちのグループに会いました…英語はあまり話されていません。アルゼンチン人はスペイン語を話します。スペイン語を勉強しようとしたのですが、コンピューターサイエンスを勉強しているので諦めました。そこでGoogle翻訳を使いました。北京の紫禁城と万里の長城について話しました…

△出典：清華大学入学公式WeChatアカウント

彼の考えでは、今の時代、コンピューティングはどんな分野とも組み合わせることができ、世界は広大であるため、清華大学ではやりたいことは何でもできるという。

ヤオ・シュンユについて話した後、ヤオのクラスで他に誰が大型模型に取り組んでいますか?

大人気の大型模型、ヤオクラスでは他に誰が作っているのでしょうか？

馬騰宇と陳丹奇も言及する価値がある。

２人は２００８年に清華大学姚クラスの同級生となり、後にノーベル賞の「先駆け」として知られるスローン賞を受賞した。

馬騰宇博士はプリンストン大学で学んでおり、指導教官は理論計算機科学者でゲーデル賞を2度受賞したサンジーヴ・アローラ教授です。

博士号を取得後、馬騰宇はMIT、ハーバード大学、スタンフォード大学といった一流大学から助教授のオファーを受けたが、最終的にスタンフォード大学を選んだ。

馬騰宇氏は昨年末、大規模モデルスタートアップ「Voyage AI」の設立を正式に発表し、チームを率いてこれまでで最高の組み込みモデルを作成するほか、特定の分野や企業に特化したカスタマイズモデルも提供していくと明らかにした。

スタンフォード人工知能研究所所長のクリストファー・マニング教授や、AI分野の著名な中国人学者フェイフェイ・リー氏を含む3人の教授が、Voyage AIの学術顧問を務めています。

陳丹奇氏は清華大学姚学院で学部課程を修了し、2018年にスタンフォード大学で自然言語処理（NLP）を専攻し博士号を取得しました。その後、プリンストン大学コンピュータサイエンス学部の助教授、プリンストン言語・知能プロジェクトの副ディレクターに就任し、プリンストンNLPグループの共同リーダーを務めています。

彼の個人ホームページには、「最近は主に大型モデルの開発に取り組んでいる」と書かれており、彼が研究しているテーマには次のようなものがある。

• 検索が次世代モデルで重要な役割を果たし、現実感、適応性、解釈可能性、信頼性を向上させる方法について説明します。
• 大規模モデルの低コストのトレーニングと展開、トレーニング方法の改善、データ管理、モデル圧縮、下流のタスク適応の最適化。
• 私はまた、経験的にも理論的にも、現在の大規模モデルの能力と限界についての理解を真に深める仕事にも興味があります。

QuantumBitは、Chen Danqi氏のチームの大規模モデル作業にも注目しています。

たとえば、大規模モデルのコストを削減するために提案されている方法である LESS データ選択アルゴリズムでは、タスクに最も関連性の高い 5% のデータのみを選択して指示を微調整するため、データセット全体を使用するよりも効果があります。

指示を微調整することは、ベースモデルを ChatGPT のようなアシスタント モデルにするための重要なステップです。

彼は、非常に人気のある「アルパカ シアリング」手法 (LLM-Shearing 大規模モデル プルーニング) を提案しました。この手法は、わずか 3% の計算と 5% のコストで最先端の結果を達成し、1B-3B 規模のオープンソースの大規模モデルを圧倒しています。

この二人以外にも、産業界や学界には大型模型の開発に携わるヤオクラスの卒業生が大勢います。

大人気の大型模型ネイティブアプリ「あらら！大型模型に囲まれちゃった！」とその続編「大型模型を壊しちゃった！」は、ヤオクラスの優秀な学生が率いるチームによって開発されました。

このゲームの開発者であるファン・ハオチアン氏は、Megviiの6人目の従業員です。IOI金メダル獲得、清華大学ヤオクラスへの無試験合格、高校2年生でのインターンシップ修了など、伝説的な業績から天才児と称されました。現在、彼はMegvii Technologyの研究部門ゼネラルマネージャーを務め、Google Scholarのh指数32を誇る業界リーダーです。

マスク氏とAIの最初の研究成果であるTensor Programs VIにも、共著者の中にヤオクラスの卒業生が名を連ねている。

Tensor Programs VIは、xAIの創設メンバーであり、Shing-Tung Yauの教え子でもあるGreg Yangによる、以前のTensor Programsシリーズの続編です。この論文は、「無限深層ネットワークの学習方法」に焦点を当てています。

テンソルプログラムに関する成果は既にGPT-4に適用されていると言われています。この論文を説明するため、ヤング氏自身もXでライブ配信を行い、自身の知見を共有しました。

共同筆頭著者のディンリー・ユー氏は、清華大学姚学院を卒業し学士号を取得し、プリンストン大学でコンピューターサイエンスの博士号を取得する予定です。

他にもたくさんあります...

姚俊宇氏がOpenAIに採用されたという話題に戻ると、OpenAIの採用活動はまだ進行中です。

OpenAI エンジニアの Karina Nguyen が新しい求人情報を投稿しました。

OpenAIのモデル行動チームが募集中です！これは、デザインエンジニアリングとトレーニング後の研究を組み合わせた夢の仕事であり、世界でも最も希少な仕事の一つです❤️

私たちは、RLHF/RLAIFなどのアライメント手法を用いてモデルのコアとなる動作を定義し、基本的な価値を反映し、AGIの創造的知能を強化しています。これらの成果を通して、私たちは製品、モデル設計、エンジニアリングの各チームと連携し、AIインターフェースとインタラクションの新たなパラダイムを開拓し、何百万人ものユーザーに影響を与えています。

興味深いことに、Karina Nguyen 氏は実は以前 Anthropic AI (Claude 氏のチーム) の研究員であり、昨年 5 月には、MindChain の「創設論文」の第一著者である OpenAI の Jason Wei 氏と X (旧 Twitter) 上でキューワード対決を行ったことさえあります。

Karina Nguyen がこんなに早く OpenAI に転職するとは思っていませんでした...

ちなみに、昨日はGoogle DeepMindの研究者であるThibault Sottiaux氏もOpenAIに引き抜かれたとの報道がありました。

Thibault Sottiaux が最初の Gemini や Gemini 1.5 などの論文の主要な貢献者であったことは注目に値します。

これは、大型の模型レーストラックが現在人気を集めていることを示しており、さまざまな企業がトラックと人材の両方を求めて競争しています。

もう一つ

姚舜宇さんと同じ年に清華大学を卒業した姚舜宇さんは他に2人いました！

2019年に姚順宇さん3人が卒業したとき、清華大学は微博に3人の集合写真を掲載した。

OpenAIに加わったヤオ・シュンユさんの他に、人文学部で日本語を専攻している女子学生のヤオ・シュンユさんがいる。

もう一人の姚俊宇は、物理学科の姚俊宇です。彼は2018年に学部生特別賞を受賞しました。学部生時代には、物理​​学のトップジャーナルであるPRL（Physical Review Letters）に筆頭著者として2本の論文を発表し、PRB（Physical Review B）にも1本の論文を発表しました。

参考リンク: [1]https://x.com/ShunyuYao12/sta... [2]https://ysymyth.github.io [3]https://x.com/karinanguyen_/status/1819082842238079371 [4]https://weibo.com/1676317545/..._flag=1001030103_