先ほど、OpenAIのセキュリティを担当し、OpenAIの研究（セキュリティ）担当副社長を務めていた北京大学卒業生のWeng Li氏が辞任した。

Weng Li 氏は OpenAI の中国人科学者であり、ChatGPT の貢献者です。

北京大学を卒業後、2018年にOpenAIに入社。その後、GPT-4プロジェクトにおいて、主に事前トレーニング、強化学習とアライメント、モデルの安全性などに携わった。

彼女はまた、最も有名なエージェントの公式を提案しました。それは、 「エージェント = 大規模モデル + メモリ + アクティブプランニング + ツールの使用」です。

つい最近、彼女は2024ビリビリスーパーサイエンスナイトイベントに出演し、「AIセキュリティと『栽培』の方法」と題した基調講演を行いました。

彼女が退職を発表した後、OpenAI を含む多くの同僚がお祝いの言葉を送った。

翁立氏の辞表

ツイートの中で、ウェン・リーはチームへの最後の別れも共有した。

以下は辞任届の全文です。

親愛なる友人の皆様

私は11月15日にOpenAIを退職するという非常に難しい決断をしました。これが私の同社での最終日となります。

OpenAIは、私が科学者として、そしてリーダーとして成長できた場所であり、ここで同僚たちと過ごした時間をいつまでも大切にしています。OpenAIチームは常に私の良き相談相手であり、メンターであり、そして私のアイデンティティの一部です。

2017 年の初めに OpenAI に入社したとき、私が感じた好奇心と熱意を今でも覚えています。当時、私たちは不可能なことや SF のような未来を夢見る人々の集まりでした。

ここから、深層強化学習アルゴリズムから知覚、ファームウェア開発まで、フルスタックのロボティクスへの挑戦が始まりました。目標は、シンプルなロボットアームにルービックキューブを解く方法を教えること。チーム全体で2年かかりましたが、最終的には成功しました。

OpenAIがGPT分野に参入した際、最先端のAIモデルを現実世界に適用する方法を模索し始めました。私は最初の応用研究チームを立ち上げ、微調整API、組み込みAPI、監査エンドポイントの初期バージョンをリリースし、アプリケーションセキュリティの基盤を築き、初期のAPI顧客向けに多くの革新的なソリューションを開発しました。

GPT-4 のリリース後、私は新たな課題に取り組み、OpenAI の安全なシステムに対するビジョンを再考し、すべての作業をまとめて、セキュリティ アーキテクチャ全体を担当するチームを結成するよう求められました。

これは私がこれまで経験した中で最も困難で、ストレスが多く、そして刺激的な経験の一つでした。現在、セキュリティシステムチームは80名を超える優秀な科学者、エンジニア、プロジェクトマネージャー、そして政策専門家で構成されており、チームとして成し遂げてきたすべてのことを非常に誇りに思っています。

GPT-4とそのビジョンおよびTurboバージョンから、GPTストア、音声機能、バージョン01まで、各リリースの中核を目の当たりにしてきました。責任ある有益な目標を達成するために、これらのモデルをトレーニングするための新しい業界標準を確立しました。

私は、当社の最新の成果である o1 プレビュー バージョンを特に誇りに思っています。これは、これまでで最も安全なモデルであり、モデルの使いやすさを維持しながら優れたハッキン​​グ対策機能を発揮しています。

私たちの総合的な成果は注目に値します。

• 当社では、機密性の高いリクエストや安全でないリクエストの処理方法（リクエストを拒否するタイミングを含む）についてモデルをトレーニングし、明確な一連のモデル セキュリティ動作ポリシーに従うことで、セキュリティと実用性の適切なバランスを実現しています。
• 各モデルのリリースごとに、ハッキングに対する防御、命令階層、推論による堅牢性の大幅な強化など、敵対的堅牢性が向上しました。
• 当社では、モデルが準備フレームワークに準拠していることを確認するために厳格かつ革新的なテスト方法を設計し、各最先端モデルに対して包括的なセキュリティ テストとレッド チーム テストを実施しました。
• 詳細なモデル システム カードで透明性への取り組みを強化しました。
• 私たちは、業界をリードするマルチモーダル機能を備えた監査モデルを開発し、一般公開しています。現在、より汎用的な監視フレームワークと強化されたセキュリティ推論機能の開発に取り組んでおり、これにより、より多くのセキュリティワークフローが強化されます。
• 安全なデータ ログ、メトリック、ダッシュボード、アクティブ ラーニング パイプライン、分類子の展開、推論時間のフィルタリング、新しい迅速な対応システムのためのエンジニアリング基盤を構築しました。

私たちのこれまでの成果を振り返ると、セキュリティシステムチームの全員を心から誇りに思います。そして、このチームがこれからも成長し続けると確信しています。皆さん、大好きです。

OpenAIから7年、新たなスタートを切り、新たな境地を開拓する準備が整いました。OpenAIはロケットのような勢いで成長を続けており、ここにいる皆様の幸運を祈っています。

追伸：ブログは引き続き更新していきます。更新する時間が増え、コードを書く時間も増えるかもしれません。

みんな大好き
リリアン

OpenAI は変わらないが、そのセキュリティ責任者は入れ替わる。

OpenAI の設立以来、セキュリティ ディレクターの重要な役職は何度か交代しています。

ダリオ・アモデイ氏は2016年からOpenAIのセキュリティ責任者を務めていました。彼のリーダーシップの下、セキュリティシステムチームは既存のモデルや製品の悪用リスクの軽減に注力し、GPT-3のセキュリティに関する徹底的な調査を実施しました。

Amodei 氏は、GPT-3 の包括的なセキュリティ評価を主導し、モデルがリリース前に厳格なセキュリティ テストと評価を受け、悪用の潜在的なリスクを最小限に抑えられるようにしました。

OpenAI での彼の仕事は、人工知能のセキュリティ ガバナンスの重要な基盤を築きました。

2021年、アモデイ氏はOpenAIを離れ、Anthropicを設立し、人工知能の安全性に関する研究を継続し、より信頼性が高く安全なAIモデルの構築に取り組んでいます。

アモデイ氏に続いて、2か月という短い任期で治安責任者を務めたアレクサンドル・マドリ氏もいた。

在職中、彼は主に新しいモデルの機能を評価し、潜在的なセキュリティ リスクを特定して軽減するための社内レッド チーム テストを実施することに注力しました。

彼の在任期間は短かったものの、レッドチームのテストと脅威予測における大きな進歩は、OpenAI のセキュリティ対策に新たな視点と方法論をもたらしました。

マドリッド氏は2023年7月以降、「AI推論」の取り組みに重点を移し、セキュリティ責任者の職を退いた。

彼に続く3人目のセキュリティ責任者はヤン・ライケ氏で、2023年7月から2024年5月までその職を務め、イリヤ氏とともに「スーパーアライメント」プロジェクトを主導し、4年以内に超知能AIのアライメント問題を解決することを目指している。

この期間中、ヤン・レイクは、小規模モデルを使用して大規模モデルを監視および評価する研究を先導し、超人能力モデルを経験的に調整する新しい方法を開発しました。

このアプローチは、高度な人工知能モデルの動作を理解し、それに対応することに大きな影響を与えます。

しかし、安全性と製品の優先順位について会社と意見の相違があったため、ジャン・レイクは2024年5月に退社を発表した。

それでも、アライメント研究に対する彼の貢献は、その後の人工知能の制御可能性に関する研究の理論的かつ実践的な基礎を築きました。

ウェン・リー氏は2024年7月にOpenAIのセキュリティ責任者に就任した。

ウェン・リーについて

ウェン・リーはOpenAIの中国人科学者であり、ChatGPTの貢献者です。北京大学で学士号を取得し、インディアナ大学ブルーミントン校で博士号を取得しました。

卒業後、ウェン・リーさんはまずFacebookで短期間インターンをし、その後Dropboxでソフトウェアエンジニアとして働くことが最初の仕事でした。

彼女は 2018 年に OpenAI に入社し、主に GPT-4 プロジェクトの事前トレーニング、強化学習とアライメント、モデルの安全性に携わりました。

昨年末にOpenAIが設立した安全性諮問チームでは、Weng Li氏が安全性システムチームを率いて、ChatGPTのような既存モデルの誤用を減らすなどの問題に取り組んでいます。

Weng Li 氏の研究は Google Scholar で 13,000 回以上引用されています。

彼女がLLM（外因性幻覚）の概念を提唱した以前のブログ記事も非常に人気がありました。

翁立氏は外部幻覚に焦点を当て、「幻覚の原因は何か」「幻覚の検出と幻覚に対抗する方法」という3つの疑問について議論しました。

研究の詳細については、こちらをクリックしてください: 抵抗方法、幻覚の原因、検出方法を説明した 10,000 語のブログ。

翁立氏の退社後の今後の計画については、QuantumBitは引き続き状況を注視していくとしている。

参考リンク:
[1]https://x.com/lilianweng/stat... [2]https://www.linkedin.com/in/l...