OpenAI の新しいモデルは、本当にもうすぐ登場するかもしれません。

謎の「ストロベリー」モデルが今秋発表されるという噂！

ちなみに、 GPT-4の後継も登場しています。

The Information は、OpenAI が「Strawberry」をひっそりと公開したと報じている。これは、「 Orion 」というコードネームの新しいモデルの改良にも使用されている。

Orion は、GPT-4 の次世代となる新たなフラッグシップとして位置付けられています。

興味深いことに、OpenAI は現在、自社の従業員を調査する専門の人材を募集しており、その職種は「社内技術リスク調査員」です。

次の 5 つの責任を見てみましょう。

• さまざまなデータ ソースを統合して、潜在的な内部脅威を検出し、分析し、軽減します。
• 内部脅威を特定するための主要なメトリックと実際のアプリケーション シナリオを構築、維持、改善します。
• 疑わしい行動を調査し、法務部門および人事部門と連携します。
• 学際的なチームと連携して監視の盲点を補い、セキュリティ対策を改善します。
• データ損失防止制御の実装を特定し、監督します。

どの文章も、内部統制を強化し、内部のスパイを捕まえることを暗示しているようです。

GPT-4o のリリース前にも、さまざまな虚偽の情報を拡散する内部のスパイを見つけるための調査の波があったことを思い出してください。

まず、彼らはSearchGPT検索エンジンの宣伝に大騒ぎしました。ロイターやブルームバーグといった権威あるメディアがこのニュースを報じたまさにその時、OpenAIは驚くべき行動に出ました。

この変更は ChatGPT と GPT-4 へのアップグレードとなり、後に GPT-4o のリリースとなることが発表されました。

OpenAI の最近の内部統制を考えると、彼らが何か新しいことを計画している可能性は高い。

謎に包まれた新モデル「ストロベリー」と「オリオン」に関する新たな詳細を詳しく見てみましょう。

「Strawberry」は合成データを生成するために使用されます。

「ストロベリー」モデルが初めて「リーク」されたのは1ヶ月前でした。今回、The Informationは以下の情報を明らかにしました。

OpenAI は、ChatGPT エコシステムに統合されたチャットボットとして、この秋できるだけ早く「Strawberry」をリリースすることを目指しています。

「ストロベリー」は、これまで経験したことのない数学的推論問題を解くことができ、プログラミング問題に特化した訓練を受けています。その能力は技術的な質問に答えることに限定されません。

より多くの時間を「考える」ようにすれば、製品のマーケティング戦略など、より主観的な質問に答えることができるようになるほか、ニューヨーク・タイムズのゲーム欄の「コネクション」セクションにあるような複雑な単語パズルも解けるようになる。

先ほど述べたように、「ストロベリー」は別の新しいモデル「オリオン」の改良にも使用されます。

関係筋によると、OpenAIは「合成データ」と呼ばれる「Orion」のトレーニング用データを生成するために、「Strawberry」の拡大版を使用したという。

つまり、「Strawberry」には複数のバージョンが存在する可能性があります。

チャットボット版は、オリジナルのイチゴモデルを簡略化した「小さなイチゴ」版であり、より大きなモデルと同じ性能を維持しながら、操作がより簡単かつ安価になることを目指しています。

さらに、「Strawberry」は OpenAI の今後のエージェントにも役立ちます。

GitHub Copilotの元チーフアーキテクトでスタートアップ企業Minion AIのCEOであるアレックス・グレイブリー氏は、「イチゴ」を使ってより高品質のトレーニングデータを生成することで、OpenAIのモデルが作り出す「錯覚」を減らすことができると述べた。

同紙によると、アルトマン氏は5月のイベントで「次のモデルに十分なデータがある。合成データの生成など、さまざまな実験を行ってきた」と述べており、これはオリオンを指している可能性がある。

OpenAIはThe Informationの報道についてまだコメントしていない。

ネットユーザーの間で議論は白熱し、多くの人が「Orion」は GPT-5 であるべきだと示唆した。

一部のネットユーザーは、昨年、OpenAIの情報漏洩で有名なジミー・アップルズが投稿したオリオン座の写真も発掘したが、これもまた「予測」なのだろうか？

ネットユーザーのモース氏は分析を続け、昨年はOpenAIで内部抗争があり、ウルトラマン氏が11月17日に解雇され11月22日に復職し、ジミー・アップルズ氏が上記のオリオンスレッドを投稿して11月25日に行き詰まったと述べた。

イリヤが見たのはこれだったのだろうか？

一部のネットユーザーは、Strawberry/Q* はモデルというよりもむしろテクノロジーだと考えています。

100個の仮説または回答を生成し、それらをランク付けして最適な解決策を選択するといった具合です。このプロセスは非常に計算負荷が高いものの、誤情報を大幅に削減し、推論能力を最大5倍向上させる可能性を秘めています。

「ストロベリー」のより技術的な詳細については、以前のリークでは次のようなことが示唆されていました。

「Strawberry」は非常に大規模なデータセットで事前トレーニングされており、特殊な処理方法を使用しています。

これには、大規模なトレーニング後にベースモデルを調整してパフォーマンスを「洗練」すること、つまり事後トレーニングが含まれます。事後トレーニングには、ファインチューニングやヒューマンフィードバック強化学習（RLHF）などの一般的な手法が含まれます。

なお、「Strawberry」は、2022年（ChatGPTがリリースされる前）にスタンフォード大学が提案したSelf-Taught Reasoner（STaR）と呼ばれる手法と非常によく似ています。

もう一つ

OpenAI チームからさらに新たな情報が明らかになった。

元OpenAI従業員のダニエル・ココタジロ氏は、スーパーAIの長期的なリスクに焦点を当てていたセキュリティチームの従業員のほぼ半数が同社を去ったことを明らかにした。

参考リンク：[1]https://www.theinformation.co... [2]https://www.reddit.com/r/sing...\_shows\_strawberry\_ai\_to\_the\_feds\_and\_uses/ [3]https://www.reddit.com/r/sing...\_at\_openai\_nearly\_half\_of\_agi\_safety/ [4]https://x.com/apples\_jimmy/status/1728239862346903924 [5]https://www.businessinsider.c... [6]https://openai.com/careers/te...