史上初の「AI科学者」が登場！

デビューすると、 10 本の完全な学術論文を一気に生成しました。

△ AIが生成した普及モデル論文

研究アイデアの提案、新規性のチェック、実験の設計、コードの記述、GPU での実験の実行と結果の収集、そして論文の完成まで、すべてが一度に完了しました。

この「AI科学者」はすべてを自動的に処理しました。

1枚あたりの価格はおよそ15ドル（約107.62元）です。

これは、科学的研究とオープンな発見を自動化するための最初の包括的な AI システムであるAI サイエンティストです。

Transformerの作者の一人、リオン・ジョーンズ氏が設立したスタートアップ、 Sakana AIより。

そして！

この会社は AI 科学者を作成しただけではなく、 AI レビュー担当者も作成しました。

査読者は AI によって書かれた論文を評価し、改善の提案を行うことができます。

助けて！自分の槍が自分の盾を攻撃するなんて、これは一体どういうネストループなんだ？

結局、それは人間の学術サークルそのものというよりも、むしろ人間の学術サークルのようでした（実際はそうではありません）。

そしてもう一つ！

Sakana AI は、AI 科学者から AI レビュアーまですべてをオープンソース化しています。

ネットユーザーたちはそれを見た後に拍手喝采した。

いいですね、いいですね、とても興味深い仕事です！

そして、すでに「悪いアイデア」を思いつき始めている人もいます。

トップクラスの AI カンファレンスに論文を投稿することをお勧めします。

AIは独自に10本の機械学習論文を完成させました。

数十年にわたって、AI における大きな進歩のたびに、研究者たちはよく「 AI に論文を書かせる方法を研究する時期が来た」と冗談を言ってきました。

今、このアイデアはついに冗談から現実のものとなりました。

具体的には、AI 科学者が 10 本の論文を作成し、各研究分野から高得点の論文 1 本が選ばれて発表されました。

最初の論文は拡散モデルに焦点を当てており、「デュアルスケール拡散：低次元生成モデルにおける適応型特徴バランス」というタイトルが付けられています。

既存の拡散モデルでは低次元空間におけるグローバル構造とローカル詳細の両方を捉えるのが難しいという問題を改善するために、適応型デュアルスケールノイズ除去法が提案されています。

方法：

• グローバル ブランチとローカル ブランチを含むデュアル スケール アーキテクチャを設計します。
• 学習可能な時間ステップ条件付き重み付けメカニズムの導入
• 2つのブランチの出力を組み合わせてノイズ除去予測を行う

実験結果:

• KL ダイバージェンス指数は、ベースライン モデルと比較して 2.5% 減少して 12.8% になりました (低いほど良い)。
• しかし、計算時間はほぼ 2 倍になり、複雑なデータ分布 (Dino データセットなど) ではパフォーマンスが不安定になりました。

本文をざっと見ると、数式やグラフが目立ち、非常にプロフェッショナルに見えます。

2 番目の論文は言語モデルに焦点を当てており、「StyleFusion: 文字レベル言語モデルにおける適応型マルチスタイル生成」というタイトルです。

この論文では、学習可能なスタイル埋め込みとスタイル分類ヘッドを導入することで、文字レベルの言語モデルのスタイル認識と一貫性を強化する、マルチスタイル アダプタと呼ばれる新しいアプローチを提案します。

すべてのデータセットでほぼ完璧なスタイル一貫性スコア (Shakespeare_char の場合は 0.9667、Enwik8 と Text8 の場合は 1.0) を達成し、検証損失ではベースライン モデルを上回りましたが、推論速度はわずかに低下しました (約 400 トークン/秒 vs. ベースライン 670 トークン/秒)。

3 番目の記事では、Transformer と強化学習を組み合わせます。「Q 学習による Transformer の適応学習率の実現」。

この研究では、検証損失と現在の学習率を状態として使用して学習率を動的に調整し、トレーニングプロセスを最適化し、トランスフォーマーモデルのトレーニング中に学習率を動的に調整するための強化学習の適用を検討します。

結果は、すべてのデータセットでベースライン モデルを上回り、トレーニング時間でも優位性を示しました。

4 番目の論文では、Google チームによって提案された「Grokking」現象を検証しており、「Grokking のロック解除: Transformer モデルにおける重み初期化戦略の比較研究」と題されています。

この論文は、重みの初期化が理解に与える影響を体系的に研究した初めての論文であり、ニューラル ネットワークの学習ダイナミクスを最適化するために 5 つの重みの初期化戦略を比較しています。

消す：

• Xavier 初期化はほとんどのタスクで最高のパフォーマンスを発揮し、99% の検証精度を達成するために必要なステップ数を最大 63% 削減しました。
• 直交初期化は、一部のタスクでは適切に機能しますが、他のタスクでは適切に機能しません。

これらの論文に付随するコード（これも AI によって生成）は GitHub でオープンソース化されており、その再現性が強調されています。

さらに、研究チームは「AI 科学者」たちの興味深いがやや危険な行動をいくつか発見した。

ある実験では、研究を完了するために自身のコードを修正し、システムが自分自身を繰り返し呼び出すようにし、最終的に無限に入れ子になった人形に変化しました。

別の機会には、人間が設定した時間制限に直面した際、AIは効率を上げようとはせず、代わりに要求を緩和し、制限時間を2時間から4時間に延長しました。

最初の「AI科学者」はいかにして誕生したか

この研究のアイデア全体は、サカナAIの設立以来のいくつかの成果の継続です。

まず、複数の大規模モデルから得られる知識を自動的に統合し、新しいモデルを進化させる手法を開発しました。最近の研究では、大規模モデルを用いて、他のモデルを調整するための新たな目的関数を発見しました。

これらのプロジェクトで、チームは常に最先端のモデルの創造性に驚嘆し、それがより大きな夢へとつながりました。大規模なモデルを使用して研究プロセス全体を自動化できるだろうか？

最終的な成果は、サカナAI、オックスフォード大学のフォースター研究室、ブリティッシュコロンビア大学のチームの共同作業によって生まれました。

「AI サイエンティスト」システムは4つの部分で構成されています。

アイデア創出:

開始テンプレートが与えられると、AI はまず一連のさまざまな新しい研究方向を「ブレインストーミング」し、Semantic Sc​​holar で検索して、これらのアイデアが以前に実行されたことがあるかどうかを確認します。

実験の反復:

最初の部分で提示されたアイデアについては、「AI 科学者」がまず提案された実験を実行し、次に結果を視覚化するためのグラフを生成します。

論文執筆：

私は標準的な機械学習カンファレンスのスタイルで簡潔かつ情報量の多い LaTeX 記事を書き、また Semantic Sc​​holar を使用して関連論文を検索し引用しました。

自動ピアレビュー:

生成された論文を人間に近い精度で評価できる自動化された「AI レビュアー」が開発され、継続的なフィードバック ループが可能になり、「AI 科学者」が研究結果を反復的に改善できるようになります。

合計 10 件の論文が生成されました。内容は次のとおりです。

実験では、チームは、DeepSeek チームの国内コードの大規模モデルを含む、さまざまな主流の大規模モデルをシステム全体に統合した場合の効果も比較しました。

結果は、アイデアの独創性、実験の成功率、論文の完成度において、Claude-Sonnet-3.5 が最も優れたパフォーマンスを示したことを示しました。

GPT-4o と DeepSeek Coder のパフォーマンスは似ていますが、後者の方が 30 倍安価です。

もちろん、現段階では、AI が独自に完成させた論文は完璧ではなく、トップレベルの会議ですぐに発表できるわけでもありません。

人間の研究者は、いくつかの限界と課題を特定しました。

• 現在の「AI サイエンティスト」システムには視覚機能がまだ統合されていないため、グラフが読みにくかったり、表がページ幅を超えてしまったり、ページレイアウトが悪くなったりすることがあります。
• AI 科学者は正しいアイデアを持っていても、それを間違って実行したり、基準と不公平な比較を行ったりして、誤解を招く結果をもたらす可能性があります。
• AI 科学者は、幻覚を経験するなど、結果の記述や評価を行う際に重大な間違いを犯すことがあります。

彼らはまた、地域議長と新しい AI サミットを設立したいと考えています。

要約すると、これらの初期の AI 科学者によって書かれた論文には、まだ時折バグが含まれています。

しかし、サカナAIは、このプロジェクト自体と、論文1本あたり15ドルという費用を「非常に有望」であり、科学の進歩を加速させるのに役立つ可能性があると述べている。

サカナAIも、AI科学者の究極のビジョンは完全にAIによって駆動される科学エコシステムであると述べた解説記事を発表しました。

このシステムには、大規模モデルによって駆動される研究者だけでなく、査読者、地域議長、新しいトップ会議も含まれます。

Sakana AI が次のことを信じていることは重要です。

AI 科学者の出現によって人間の科学者の役割が縮小されることはありません。

比較しなければならない場合、科学者は新しい技術の出現と応用、そしてその結果として生じる自らの役割の変化に適応し、「食物連鎖の上位に進む」必要があります。

さらに、AI 科学者が本当に新しいパラダイムを提案できるかどうかはまだ分からない。

結局のところ、これはまだ Transformer 上に構築されています。

トランスフォーマーや拡散モデルのように強力なものを提案できるでしょうか？あるいは、人工ニューラルネットワークや情報理論のような理論的概念を提案できるでしょうか？

私たちには分からないし、言うこともできない。

サカナアイさんは以下のようにも書いています。

私たちは、AI 科学者が人間の科学者の素晴らしいパートナーになると信じています。

人間の創造性と偶然の革新の瞬間が、制限のない人工的な発見を通じてどの程度再現され、「奇跡」を生み出すことができるかは、時が経てばわかるだろう。

△サカナAI：完全自動AI魚が世界を探検します。

Transformerの著者のスタートアップから

「人間の新しい創造」を完成させたサカナアイさんは、厳密に言えば私たちの古くからの友人です。

Transformer 論文の 8 人の著者の最後の 1 人であるLlion Jonesによって設立され、「世界クラスの人工知能研究ラボ」を作ることを目的としています。

同社は東京に拠点を置いており、「sakana」は日本語の「魚」をローマ字で発音したものです。

おそらく企業文化を考慮したため、Llion 氏は LinkedIn で自分の名前を日本語で「ライオン」(Lion のカタカナ。以下では愛情を込めて Lion Bro と呼ぶ) と訳したと述べています。

同社は昨年8月に設立された。

当時、ライオン氏はグーグルに対する意図を隠さなかったが、グーグルは彼を「閉じ込めている」と感じさせた。

ライオン氏は自身のビジネスを始める前、Google で 8 年間働いていました。

△顔を半分見せているのは誰でしょう？

彼はバーミンガム大学で学士号と修士号を取得し、Delcam、YouTube、Googleで勤務しましたが、最も長く在籍した企業はGoogleでした。

FourWeekMBAによると、彼は以前の職歴の中で「Googleでの仕事を2度逃した」という。

一度目は、卒業後すぐに就職活動をしていた時でした。Google Londonにソフトウェアエンジニアとして履歴書を提出し、2回の電話面接を通過したものの、最終的にはGoogleではなく、英国のCAD/CAMソフトウェア企業であるDelcamを選びました。

特筆すべきは、Googleからのオファーを受ける前に、彼が2009年の経済危機に遭遇したことです。彼は仕事を見つけることができず、数ヶ月間生活保護に頼らざるを得ず、かろうじて生活を維持しました。

2度目は、18ヶ月勤務した後、Googleから再応募のオファーを受けた時でした。しかし、彼は結局Googleには入社せず、YouTubeに入社しました。

YouTube でソフトウェア エンジニアとして 3 年間勤務する間に、彼は人工知能に興味を持ち、Coursera の機械学習コースを独学で学び、最終的に 2015 年に Google Research にシニア ソフトウェア エンジニアとして入社しました。

この時期に、彼と他の 7 人の著者は、有名なトランスフォーマー論文「Attention Is All You Need」を出版しました。

さらに、Lion は ProtTrans や Tensor2Tensor など、Google の多くの研究にも参加しています。

彼が Google を辞めることを選んだのは、会社が彼の望む仕事を続けることが不可能になるほど大きくなっていたからである。

毎日、他の人のバグのトラブルシューティングに時間を浪費するだけでなく、特定のデータにアクセスするために社内のリソースを探すのにも時間を費やす必要がありました。

事業開始後、サカナアイの仕事は順調に進んでいます。

AI 科学者や AI レビュアーを導入する前に、大規模なモデル統合進化アルゴリズムも開発し、Tranformer の内部情報フローを研究していました。

AIサイエンティストおよびAIレビュアープロジェクトは、Sakana AI、オックスフォード、UBCとの連携により完成しました。

共著者3名は以下の通りです。

クリス・ルーさんはサカナAIのインターンであり、同社で研究科学者として働いています。

彼はカリフォルニア大学バークレー校を卒業し、現在はオックスフォード大学で博士課程3年目であり、指導教官はヤコブ・フォルスターです。

クリスの現在の主な研究は、進化に着想を得た手法をメタ学習とマルチエージェント強化学習に適用することです。

2022年の夏、彼はDeepMindで研究科学者としてインターンシップを行いました。

Cong Lu氏は、UBC (ブリティッシュコロンビア大学) の博士研究員であり、指導教官は Jeff Clune 氏です。

コング氏はRGU（ロバート・ゴードン大学）で学び、2019年にオックスフォード大学で博士号を取得しました。主な研究分野は、オープン強化学習とAIによる科学的発見です。

彼は以前、Waymo と Microsoft でインターンをしていました。

サカナAIの創設メンバーの一人であるロバート・チャルコ・ランゲ氏は、同社の研究科学者でもある。

彼は現在、ベルリン工科大学で博士課程の最終年を終えようとしており、進化的メタ学習を研究しています。

この若者は、インペリアル・カレッジ・ロンドンでコンピュータサイエンスの理学修士号、ポンペオ・ファブラ大学でデータサイエンスの理学修士号、ケルン大学で経済学の理学士号を取得しました。

昨年、彼はGoogle DeepMindの東京チームでフルタイムの学生研究者として働いていました。

論文の宛先:
https://arxiv.org/abs/2408.06292

参考リンク:
[1]https://x.com/SakanaAILabs/st... [2]https://sakana.ai/ai-scientist/