ディープラーニングの三大巨頭の一人、ヨシュア・ベンジオ氏が、AIセキュリティに関する次の動きを明らかにした。

彼はSafeguarded AIというプロジェクトに科学ディレクターとして参加しました。

報告によると、Safeguarded AI は次のことを目指しています。

科学的な世界モデルと数学的な証明を組み合わせることで、他の AI エージェントのリスクを理解し軽減する役割を担う AI システムを構築できます。

その主な焦点は定量的なセキュリティ保証を提供することにあります。

このプロジェクトは英国の先端研究発明庁（ARIA）の支援を受けており、同庁は将来的に総額5,900万ポンド（約5億3,700万人民元）を投資する予定だ。

ベンジオ氏は次のように述べた。

テクノロジーを導入する計画を立てている場合、異常な AI の動作や誤用によって非常に深刻な結果が生じる可能性があることを考慮すると、AI システムが適切に機能することを保証するために、できれば堅牢な数学的保証を伴う強力な根拠を示す必要があります。

「保護されたAI」

Safeguarded AI プロジェクトは、それぞれ特定の目標と予算を持つ 3 つの技術分野に分かれています。

• Scaffolding は、現実世界のモデル/仕様を維持し、証明をチェックするための、スケーラブルで相互運用可能な言語とプラットフォームを構築します。
• 機械学習は最先端の AI を使用して、ドメイン専門家が複雑な現実世界のダイナミクスのクラス最高の数学モデルを構築し、高度な AI を使用して自律システムをトレーニングできるように支援します。
• アプリケーションは、重要なサイバーフィジカル運用環境に「ゲートキーピング AI」によって保護された自律 AI システムを展開し、定量化されたセキュリティ保護手段を通じて大きな経済的価値を実現します。

公式声明によれば、ベンジオ氏の関与はTA3とTA2に特に重点を置き、プロジェクト全体を通じて科学的・戦略的な助言を提供するとのことだ。

ARIA はまた、TA2 の研究開発を主導する非営利団体を設立するために 1,800 万ポンド (約 1 億 6,400 万人民元) を投資する予定です。

Safeguarded AI プロジェクトのディレクターは、Twitter の元シニア ソフトウェア エンジニアで、昨年 9 月に ARIA に加わったDavid “davidad” Dalrymple 氏です。

ベンジオの到着に応えて、ダルリンプルもX（旧Twitter）に2人が一緒に写っている写真をアップロードした。

David “davidad” Dalrymple、Yoshua Bengioらは、「他のAIエージェントのリスクを理解し軽減する役割を担うAIシステムを構築する」ための具体的な方法に関する文書を執筆しました。

これは、「保証された安全な AI 」と呼ばれるモデルを提案しており、主に 3 つのコア要素の相互作用を通じて AI システムの安全性保証を定量化します。

• 世界モデルは、 AI システムが外部世界にどのように影響を与えるかを数学的に記述し、ベイズとナイトの不確実性を適切に処理します。
• 安全仕様では、どの効果が数学的な記述として許容されるかを定義します。
• バリデーターは、AI がセキュリティ標準に準拠していることを証明する監査可能な証明書を提供します。

彼らはまた、世界モデルを作成するための戦略を L0 ～ L5 のセキュリティ レベルに分類しました。

• レベル0：明示的な世界モデルは存在しません。世界に関する仮定は、AIシステムのトレーニングデータと実装の詳細に暗黙的に含まれています。
• レベル 1: トレーニング済みのブラック ボックス ワールド シミュレーターをワールド モデルとして使用します。
• レベル 2: 機械学習によって生成された確率的因果モデルを使用する生成モデルは、特定の人間が作成したモデル (科学文献で提案されているモデルなど) に十分な信頼性が割り当てられているかどうかを確認することでテストできます。
• レベル 3: 機械学習の助けを借りて生成された可能性のある 1 つ以上の確率的因果モデル (またはその分布) を使用して、これらのモデルは人間のドメイン専門家によって完全にレビューされています。
• レベル 4: 基本的な物理法則の合理的な抽象化として正式に検証された現実世界の現象の世界モデルを使用します。
• レベル 5: 特定の世界モデルに依存するのではなく、すべての可能な世界をカバーするグローバル セキュリティ仕様を使用します。

「AIリスク」は学界から大きな注目を集めています。

「AI リスク」は、常に業界リーダーにとって重要な懸念事項でした。

ヒントン氏はAIのリスクについて自由に議論するためにGoogleを辞めた。

以前は、アンドリュー・ン氏、ヒントン氏、ルカン氏、ハサビス氏などの AI 界の巨人たちの間で、大規模なオンライン「炎上戦争」さえありました。

アンドリュー・ン氏はかつてこう言いました。

AIに関する最大の懸念は、そのリスクが過大評価され、厳しい規制によってオープンソースとイノベーションが抑制されることです。

金儲けのためだけに、AIが人類を絶滅させるという恐怖を広める人もいます。

DeepMindのCEOであるハサビス氏は次のように考えている。

これは脅威ではありません。AGIのリスクは、今すぐ議論を始めなければ深刻な結果をもたらす可能性があります。

危険が襲ってくるまで予防策を講じるのを待つことは望まないと思います。

ベンジオ氏は以前、ヒントン氏、ヤオ・チージー氏、チャン・ヤチン氏などのAI専門家と共同で「急速な進歩の時代におけるAIリスクの管理」と題する公開書簡を執筆した。

この報告書は、今後10年ほどでAGIが多くの主要分野で人間の能力を超える可能性を人類は真剣に受け止めなければならないと指摘しています。規制当局はAI開発について包括的な理解を深め、特に数十億ドル規模のスーパーコンピューターで訓練された大規模モデルには注意を払うよう勧告しています。

ちょうど1ヶ月前、ベンジオ氏は「AIの安全性を真剣に受け止めることに反対する議論を考察する」というタイトルの記事を執筆し、自身の最新の考えを共有しました。ご興味のある方はぜひご覧ください！

AIの安全性を真剣に受け止めることに反対する議論を論じる

安全なAIの保証:

https://arxiv.org/abs/2405.06624

参考リンク: [1]https://www.technologyreview.... [2]https://www.reddit.com/r/sing...\_godfather\_yoshua\_bengio\_has\_joined\_a\_uk/ [3]https://x.com/davidad/status/...