データホエール

データホエールの共有

出典：Machine Heart、編集者： Datawhale

OpenAI からの流出は続く...

今回退職したのは、OpenAIの上級研究員兼マネージャーであるマイルズ・ブランデージ氏だ。

彼は 2018 年に OpenAI に入社し、退職する前は AGI 準備チームのシニア アドバイザーを務め、以前はポリシー リサーチ チームを率いていました。

OpenAIを退職するにあたり、彼は5,000語を超えるブログ記事を執筆し、OpenAIでの職務経験を振り返り、退職の理由、AIに対する見解、そして今後の計画について語りました。また、OpenAIの業務方法や企業文化の隠れた側面についても触れています。

このニュースが発表された後、ポーカーAIの父で現在もOpenAIに所属し、a16zのパートナーでもあるNoam Brown氏や、AI分野の多数の研究者や起業家など、AI分野の多くの人々が祝福のメッセージを残した。

ケンブリッジ大学の AI ガバナンスおよびポリシー研究者であるヘイデン・ベルフィールド氏は、マイルズ・ブランデージ氏が OpenAI を去ったことは、一つの時代の終わりを意味するとさえ考えている。

マイルズ・ブランデージが「長文の公開辞表」に書いた内容を見てみましょう。

辞職届の概要

2015年12月、OpenAIが組織として発表されました。それ以来、私はずっと興奮しています。OpenAIの発表後、私はその重要性について一晩中考えを書き留めていました。それより12年ほど前、私はOpenAIの全体的な使命（AGIが全人類に利益をもたらすことを保証する）に関連する分野に人生を捧げようと決意しました。

これは私にとってほぼ夢のような仕事でした（OpenAIの幹部と取締役会にAGIの進歩について助言すること）。ですから、辞める決断は決して容易ではありませんでしたし、多くの疑問をお持ちの方もいらっしゃると思います。以下では、私の退職と関連するトピックについてより正確な議論を導くために、いくつかの質問に答えたいと思います。

長すぎるので読まないでくださいバージョン:

• 私は、AI 業界全体に関わる問題にもっと時間を費やし、より自由に発表し、より独立したいと思っています。
• 私は、非営利団体を設立したり、既存の団体に参加したりして、AI 政策の研究と提唱に重点的に取り組みます。なぜなら、私たちが協力しなければ、AI は最大限に安全で有益なものにはならないと考えているからです。
• 私が興味を持っている研究分野には、AI の進歩の評価と予測、最先端の AI の安全性に関する規制上の問題、AI の経済的影響、有益な AI アプリケーションの開発の加速、計算ガバナンスなどがあります。
• OpenAI は今後も多くの研究や仕事にとって刺激的な場所であり続けると信じており、チームが安全文化とプロセスに多大な投資を続けていることを嬉しく思います。

私は誰？OpenAIで何をしているの？

今週の金曜日の終わりまで、私はOpenAIで研究者兼管理者を務めていました。OpenAIでの勤務は6年以上になりますが、OpenAIの基準からするとかなり長い期間です（この6年間でOpenAIは本当に大きく成長しました！）。最初は政策チームの研究科学者として働き始め、その後政策研究チームの責任者となり、現在はAGI準備チームのシニアアドバイザーを務めています。それ以前は、アリゾナ州立大学で人文社会科学分野の科学技術博士号を取得し、オックスフォード大学でポスドク研究を行い、米国エネルギー省でしばらく勤務していました。

私の見解では、私が率いたチーム（ポリシー研究と AGI の進歩）は、外部レッドチーム プロジェクトの立ち上げや最初のいくつかの OpenAI システム カード（セキュリティ レポート）の推進、言語モデルと AI エージェントの社会的影響、最先端の AI 規制、計算ガバナンスなどのトピックに関する影響力のある多数の出版物の発行など、OpenAI の展開プラクティスを形作る非常に重要な作業を数多く行いました。

OpenAIで過ごした時間に心から感謝しています。また、長年にわたり私を信頼し、より多くの責任を担わせていただいた上司の方々にも深く感謝しています。管理職として多くのことを学び、多くの従業員を率いる機会に恵まれたこと、そして様々なチームで共に働いた数え切れないほどの才能ある同僚たちにも感謝しています。彼らのおかげで、OpenAIでの勤務は魅力的でやりがいのある経験となりました。

私はなぜ去ったのか？

私は、AIの発展に業界内ではなく、業界外から影響を与え、推進することを決意しました。この結論は、以下の考察に基づいています。

機会費用は非常に高くなっています。重要だと考えるさまざまなトピックを調査する時間がなく、場合によっては、業界外で調査した方が影響が大きいと考えています。OpenAIは現在非常に目立つため、その調査結果はさまざまな角度から検討されており、すべてを公開することは困難ですが、いくつかのトピックは私にとって重要に思えます。誤解のないよう明確に述べれば、私は常にOpenAIの出版検閲に関する立場に同意してきたわけではありませんが、業界内のいくつかの出版制限は合理的であると考えています（私はOpenAIのポリシーのいくつかのバージョンの起草に協力しました）。しかし、私にとって、制限はすでに多すぎます。

私は偏見を減らしたいと思っています。組織の一員として日々そこで働く人々と密接に仕事をしていると、組織に対して公平かつ客観的な立場を維持するのは難しいですし、経済的利益の対立を考えると、業界の政策案に疑問を呈する権利はあります。

私は OpenAI で行う予定だった作業のほとんどを完了しました。

AGI の進歩に関する上級顧問を務め始めてから、私は 2 つの AGI の進歩についてより明確に考えるようになりました。それは、OpenAI がますます強力になる AI 機能を管理する準備ができているかどうか、そして世界がこれらの機能を効果的に管理する準備ができているかどうか(OpenAI や他の企業を規制することを含む) です。

前者に関しては、OpenAIに何が必要で、どのようなギャップが残っているかを、すでに幹部や取締役会（私のアドバイスの相手）に伝えており、後者に関しては、外部からの方が効果的に実現できると考えています。

上記の点のうち、どれが一番重要でしょうか？それは難しいですね。それらは様々な形で相互に関連していますが、どれも私の決断に影響を与えました。

OpenAI と世界は AGI に対してどの程度準備ができているでしょうか?

つまり、 OpenAI や他の最先端の研究室は準備ができていなかったし、世界も同様だったのです。

正確に言うと、OpenAIの経営陣内でこの発言について異論はないと思います。これは、「企業と世界はいつか準備が整うのか？」という問いとは異なることを明確にしておくことが重要です。（しかし、埋めるべきギャップは依然として非常に大きく、私にとって残りの人生をAI政策に捧げるのに十分なほどです。）

企業と世界は準備態勢を整えつつあるのでしょうか？これは、セキュリティ文化の長期的な変化（最近の新しい取締役の就任は正しい方向への一歩）、規制が組織のインセンティブに与える影響、AIの能力とセキュリティ上の課題に関する様々な事実の影響、その他さまざまな要因が絡み合った複雑な問題です。

ちなみに、AGIという言葉はあまりにも複雑で、非現実的な二元論的な考え方を暗示しているように思います。私のチームが最近取り組んでいるテーマの一つは、「AI階層」フレームワークの拡充です。OpenAIと私がこのテーマに関する論文を近いうちに発表できることを願っています。しかし今のところは、「AGIへの準備」とは、「ますます強力になるAIシステムを、安全かつ確実に、そして有益に開発、展開、管理するための準備」を意味していることを指摘しておきたいと思います。

人々は OpenAI で働くべきでしょうか?

OpenAIで働くことは、ほとんどの人が憧れる最も影響力のある仕事の一つなので、多くの場合、答えは「はい」です。もちろん、人によってスキルや機会は異なるため、一概に述べるのは難しいですが、OpenAIにおけるあらゆる役割における丁寧な仕事への献身、そしてOpenAIの企業文化への貢献が重要だと考えています。より強力な人工知能への道のりにおいて、あらゆる製品の展開は、規範、AIの認識や規制などに影響を与える上で重要な役割を果たします。ここで影響を与える機会を逃してしまったことを残念に思いますが、より広範なエコシステムに大きな影響を与えたいと考えています。

OpenAI のセキュリティに関する取り組みは特に影響力があると信じています。

OpenAIで働くすべての人は、自らの行動と発言が企業文化に影響を与え、OpenAIが非常に高度な機能の管理を開始するにつれて、プラスにもマイナスにも経路依存性を生み出す可能性があるという事実を真剣に受け止めるべきです。文化はあらゆる組織にとって重要ですが、最先端の人工知能の分野では特に重要です。なぜなら、ほとんどの意思決定は規制ではなく従業員によって行われるからです。

上で述べたように、そして私の決断が示唆するように、一部のポリシー研究は外部で実施するのが最善だと考えています。ポリシー研究はセキュリティやセーフガードの作業よりも一般的である可能性が高いため、OpenAIは組織内に健全なポリシーポジションを推進する人材を間違いなく必要としています。

AGI 準備チームに何が起こったのでしょうか?

最近まで、経済研究チームはパメラ・ミシュキン氏が率いるAGI準備サブチームでしたが、今後はOpenAIの新チーフエコノミスト、ロニー・チャタジー氏が率います。AGI準備チームの残りのメンバーは、他のチームに分散されます。

次に何をすべきでしょうか?

新しい非営利団体を設立するか、既存の団体に参加する予定で、AI政策の研究とアドボカシー活動に取り組みます。研究とアドボカシー活動を組み合わせる可能性もありますが、詳細は未定であり、今後数ヶ月かけて共同設立者や協力者候補の方々と話し合い、決定する予定です。

人工知能政策についての私の見解は何でしょうか?

人工知能の利点はすでに大きく、欠点も同様にさらに大きな影響を与える可能性があると私は信じています。

人工知能と汎用人工知能が人類全体にもたらす恩恵は、自動的にもたらされるものではないと私は考えています。政府、非営利団体、社会、そして産業界の政策立案者による思慮深い選択と、活発な公的議論が不可欠です。これは、リスクの軽減だけでなく、電力や現代医学といった分野における利益の公平な分配の確保にも当てはまることを忘れてはなりません。

AIの能力は急速に進歩しており、政策立案者はより迅速に行動する必要があると考えています。これは私が最も独自に研究したい分野の一つです。なぜなら、こうした主張が業界から出てくると、誇大広告と見なされることが多いからです。業界を離れると、最新の技術情報の一部にはアクセスできなくなりますが、この緊急性を正当化する情報は公開されていると思いますし、これまでの説よりもこの緊急性をうまく説明できるアイデアもいくつかあります。数年前、私は効果的利他主義者（特定のAI能力が出現するまでにどれくらいの時間がかかるかに強い関心を持つ人々）と、これらの予測はほとんど役に立たないと主張しました。取るべき政策措置の多くは、正確なタイムラインとは無関係でした。しかし、その後考えを変え、ほとんどの政策立案者は緊急だと判断しない限り行動を起こさないだろうし、緊急である、あるいは緊急になる可能性が高い場合は、その理由を納得のいく形で説明する必要があると考えるようになりました。

AI政策に関する必要なアイデアを私たちはまだすべて把握できていないと考えています。多くの一般的なアイデアは、定式化が不十分であったり、曖昧すぎて信頼できる判断を下すことができません。これは特にAIをめぐる国際的な競争において顕著で、既存の提案は特に貧弱で曖昧だと感じています。ただし、一部のアイデアはよりニュアンスに富んだ議論の対象となっており、その傾向は良好です。最先端のAIの安全性とセキュリティの多くの側面においても、創造的な解決策が求められています。

一方で、必要なアイデアもいくつかあり、それらの分野では迅速に行動を起こすべきだと考えています。だからこそ、研究だけにとどまりたくはありません。場合によっては、認識や政治的意思が欠けているのです。例えば、議会は米国AIセキュリティ研究所に多額の資金を投入し、政府がAI政策についてより明確な判断を下せるようにすべきです。また、高度なAIチップが輸出された後に何が起こるかを政府関係者が理解できるよう、産業安全保障局にも資金を投入すべきです。

将来、どんなトピックを研究することに興味がありますか?

AIの進歩の評価と予測

同時に、AIの評価と予測は最終的には非常に厳格なレベルにまで引き上げられる可能性があるものの、政策措置は依然として比較的緩やかなものになるだろうと認識しています。そのため、AIの進歩をより深く理解するために人々と協力するだけでなく、進歩のペースを分かりやすい形で伝えていきたいと考えています。AGIは産業界への導入が容易だと強く感じていますが、具体的な理由は分かりません。というのも、研究室で利用可能な機能と一般公開されている機能の間には、実際には大きな差がないからです。

いくつか検証したい仮説があります。特定の政策課題がなぜ緊急性があると判断されたのか、あるいはそうでないと判断されたのか、歴史的な事例を研究することに興味があります。例えば、第二次世界大戦やヒトラーの台頭、気候変動などです。

最先端AIの安全性とセキュリティに関する規制

最先端AIの安全性とセキュリティの向上は最優先事項であると考えています。なぜなら、多くの企業（数十社）が、間もなく（遅くとも今後数年以内に）壊滅的なリスクをもたらす可能性のあるシステムを保有するようになるからです。全く新しい規制機関を設立するための時間は限られているため、私は既存の法的枠組みの中で行動する機会と、EU AI法などの認められた法律の施行に特に重点を置いています。

前述の通り、また論文「責任あるAI開発における協力の役割」でも詳述されているように、企業や政府はAIの安全性とセキュリティに必ずしも暗黙的に十分な注意を払っているわけではありません（これはOpenAIに限ったことではありません）。この現象には多くの理由があります。一つは、私的利益と社会的利益の不一致であり、これは規制によって軽減できる可能性があります。安全性レベルに関する信頼できるコミットメントと検証を達成することも困難であり、コスト削減をさらに促進します。人々は、他者が優位に立つために手抜きをするだろうと想定し、真実が明確でないことや、後になって考えが変わる可能性についても確信が持てないからです。コスト削減は、有害なバイアスや錯覚的な出力の防止、差し迫った壊滅的なリスクの軽減への投資など、多くの分野で行われています。一部のビジネスインセンティブが安全性を促進できることは明らかですが、これらのインセンティブが、特に曖昧、新規、分散、あるいは低確率／高振幅の安全性リスクに対して十分であると想定するのは無責任だと私は考えています。

企業が、価値があり、かつ悪用される可能性のある知的財産を保護しながら、セキュリティを確実に実証する方法を学ぶことに、私は大きな期待を抱いています。機密情報を開示することなくコンプライアンスを実証することは、管理プロトコルの実現における大きな障害であり、革新的なソリューションが求められます。この問題は、効果的な国内規制においても中心的な役割を果たします。この問題をはじめとするAIガバナンスに関する技術的課題の解決に尽力されている方々と協力できることを大変嬉しく思います。

AIの経済的影響

人工知能が税制に与える影響についても、革新的な分析を行う必要があります。例えば、「ロボット税」という提案もありますが、具体的にどのような影響があるのでしょうか？コンピューティング税やAI付加価値税とはどのように異なるのでしょうか？AIに特化した対策は控え、AIによって他の種類の課税がより緊急性を増す（例えば、資本と労働の収益率に大きな差がある場合）ことを認識するだけでよいのでしょうか？

有益なAIの応用を加速する

AIは一定の利益をもたらし、それらの利益は政府の関与や支援をほとんど必要とせずに（多くの人々の努力によって）「自動的に」現れつつあるものの、まだ完全には実現していないと私は考えています。産業界で働く人々にとって、私たちが理想からどれほどかけ離れているか、そしてAIリテラシーの不足と限られたリソースがAIの恩恵の広範な普及をどれほど阻害しているかは明らかです。

AIのリスク軽減に（ほぼ）専念している人々であっても、AIの有益な応用について真剣に検討することは理にかなっていると私は考えています。なぜなら、AIの有益な応用は、様々な競争相手の間で共有される利益に対する認識を変え、彼らが近道を取ろうとする可能性に影響を与える可能性があるからです。さらに、有益な応用は、リスク軽減においてより大きな余裕をもたらす可能性があります（例えば、より高度なAIの導入や誤用に対する社会の適応性を高めるなど）。

計算ガバナンス

ソフトウェア、データ、人材と比較して、コンピューティング ハードウェアには、人工知能ポリシーの主要な焦点となる独自の属性があります。 「検出可能、除外可能、定量化可能であり、高度に集中化されたサプライ チェーンを通じて生産されます。」

学術文献はコンピューティングガバナンスについて真摯な分析を行ってきたものの、一般的に業界の発展には大きく遅れをとっています。例えば、近年、主要なAI企業では、より高いパフォーマンスを実現するために、推論（学習だけでなく）をスケールさせる傾向が強まっていますが、その政策的影響に関する公的な分析はごく最近になって始まったばかりです。政府を通じて学術界にコンピューティングパワーをより多く提供するといった、コンピューティングパワー（およびAIがもたらすメリット）をより幅広く配分するというアイデアは、しばしば規模が小さすぎ、時期尚早であり、進化する世界における具体的な課題を見落としています。

どうすれば独立性を維持できるでしょうか?

この研究が研究と助言の両面で独立したものであり、またそう見なされることを望みます。そして私自身もそう見なされることを願っています。しかし、人工知能において最先端に近いレベル（SOTA）を維持しながら、実際にそうすることは容易ではありません。産業界、学界、市民社会、そして政府など、人工知能に関して異なる視点を持つセクターの方々と、今後も建設的な議論を続けていきます。

OpenAIが、この新しい研究のために資金、APIクレジット、そしてモデルへの早期アクセスを提供してくれたこと、そしてこの支援について出版前の審査は行わないことを保証してくれたことに感謝しています。しかしながら、これらの申し出を受け入れることで私の独立性が損なわれる可能性があるという現実や認識を踏まえ、まだ最終決定はしていません。同僚と共同で決定を下すつもりです。

オリジナルリンク: https://milesbrundage.substac...

いいね！ （3件のいいね！）↓