無料！GPT-4o の微調整は期間限定で提供され、毎日数百万のトレーニングトークンが配布されます。

目が覚めると、OpenAI が新しい機能をリリースしていた。

GPT-4o は微調整機能を正式にリリースしました。

さらに、公式チームはボーナスを提供しており、各組織は9月23日まで毎日100万のトレーニングトークンを無料で受け取ることができます。

つまり、開発者はカスタムデータセットを使用して GPT-4o を微調整できるようになり、低コストで独自のアプリケーションを構築できるようになります。

OpenAI が発表の中で次のことを明らかにしたことは注目に値します。

GPT-4o の微調整トレーニングコストは、 100 万トークンあたり 25 ドルです (つまり、1 日あたり 25 ドルの節約になります)。

メールを受け取った開発者たちは、この素晴らしい特典をぜひ利用したいと、興奮しながら情報を広めました。

使い方も非常に簡単です。微調整ダッシュボードに直接アクセスし、「作成」をクリックして、基本モデルのドロップダウンリストからgpt-4o-2024-08-06を選択します。

ちなみに、OpenAI はデータセット内の数十の例のみをトレーニングすることで良好な結果が得られるとも述べています。

彼らは成功事例も共有しました。

ニュースが発表された後、多くのネットユーザーがそれを試してみたいと熱望し、微調整後のモデルの実際の効果を知りたいという希望を表明した。

OpenAI は十分な準備を整えており、発表に合わせてパートナーが GPT-4o を微調整した実際の例を公開しました。

まず最初に紹介するのは、AI スタートアップ企業 Cosine が開発した、ソフトウェア開発者を支援するためのコードアシスタント Genieです。

Cosine の公式紹介によると、Genie の開発プロセスでは独自のワークフローを採用し、数十億の高品質データポイントを使用して非公開の GPT-4o バリアントをトレーニングおよび微調整しました。

これらの数字には、JavaScript と Python が 21%、TypeScript と TSX が 14%、その他の言語 (Java、C++、Ruby を含む) が 3% 含まれています。

いくつかの調整を経て、Genie は先週火曜日に OpenAI が新たにリリースしたSWE-Bench Verifiedコード機能ベンチマークで43.8%という最先端 (SOTA) スコアを達成しました。

同時に、Genie は SWE-Bench Full でも30.08% のSOTA スコアを達成し、これまでの 19.27% という SOTA 記録を破りました。

比較すると、Cognition のDevin は、SWE-Bench の一部のテストで 13.8% のスコアを獲得しました。

もう 1 つの例は、Fortune 500 企業に AI ソリューションを提供し、最近主要なテキストから SQL へのベンチマーク BIRD-SQL で1 位にランクされたDistyl社です。

微調整後、モデルはリーダーボードで71.83%の実行精度を達成し、クエリの再構築、意図の分類、思考の連鎖、自己修正などのタスク、特に SQL 生成で優れたパフォーマンスを発揮しました。

OpenAI は、ケーススタディの提供に加えて、発表の中でデータのプライバシーとセキュリティの問題にも特に重点を置きました。要約すると、次のようになります。

開発者のビジネスデータ (入力と出力を含む) は共有されず、他のモデルのトレーニングにも使用されません。
微調整モデルに対して、自動セキュリティ評価を継続的に実行し、その使用状況を監視するなど、階層化されたセキュリティ緩和策が微調整モデルに実装されました。

活発な議論が交わされる中、ネットユーザーの中には、わずかな調整ではキーワードキャッシングには勝てないと考える者もいる。

微調整はクールですが、それでもキーワードキャッシュほど優れていません...

QuantumBit が以前に説明したように、プロンプトキャッシュの目的は、モデルに大量のプロンプトを一度に送信し、モデルがこれらの内容を記憶して後続のリクエストで直接再利用し、繰り返し入力を回避することです。

今年 5 月、Google の Gemini はすでに単語候補のキャッシュをサポートしていましたが、Claude は先週この機能を追加しました。

同じスクリプトを繰り返し入力する必要がなくなるため、プロンプトワードキャッシュには、速度の高速化とコストの削減という2 つの大きな利点があります。

一部のネットユーザーは、プロンプトワードのキャッシュ機能は開発者にとってより使いやすく（非同期の微調整が不要）、微調整とほぼ同じ利点を実現できると考えています。

キューワードキャッシュを使用すると、1% の労力で 99% のメリットを得ることができます。

しかし、微調整はレスポンスの形成に効果的であると信じ、称賛する人もいました。例えば、JSON形式の正確性を確保すること、レスポンスをより簡潔にすること、絵文字を使用することなどが挙げられます。

OpenAI の競合他社が次々とプロンプトワードキャッシュを採用しているのを見て、興味を持つ人もいます。

OpenAI は微調整を続けるのか、それともキューワードのキャッシュに移行するのか (あるいはその両方か) が気になります。

他のネットユーザーもこの問題に関するいくつかの手がかりに気づいている。

OpenAI は、レイテンシ最適化ガイドラインの中でキャッシュ技術について言及しています。

私たちはすぐに元のガイドを調べました。入力トークンを削減する方法について説明する際に、次のように述べられていました。

動的部分（RAG結果、履歴など）をヒントの後方に配置することで、共有ヒントプレフィックスを最大限に活用します。これにより、リクエストはKVキャッシュに適したものになり、リクエストごとに処理される入力トークンの数が少なくなります。

しかし、一部のネットユーザーは、この文章だけに基づいて、OpenAI がプロンプトワードキャッシング技術を使用していると直接結論付けることはできないと考えています。

ちなみに、論争はさておき、私たちは依然として OpenAI のメリットを活用しなければなりません。

GPT-4oに加えて、 GPT-4o miniも無料で微調整できます。OpenAIは9月23日まで、1日あたり200万のトレーニングトークンを無料で提供します。