最上級の「特権」。

目が覚めたら、OpenAI とクロード氏の親会社が両方とも DeepSeek に対して行動を起こしていたことがわかった。

フィナンシャル・タイムズによると、OpenAIは、DeepSeekが自社のモデルをトレーニングに使用していた証拠を発見したと発表しており、これは知的財産権を侵害している疑いがあるという。

具体的には、DeepSeekがOpenAIモデルを「蒸留」している兆候を発見しました。つまり、より大きなモデルの出力を用いてより小さなモデルの性能を向上させ、特定のタスクにおいてより低コストで同様の結果を達成しているということです。

Microsoft は、DeepSeek が OpenAI の API を使用しているかどうかの調査も開始しました。

そのニュースは嘲笑の嵐に巻き込まれた。

ニューヨーク大学のマーカス教授が最初に批判した。

OpenAI: 私たちの作品を露骨に盗んだとして DeepSeek を訴えるための費用を節約するために、すべてのアーティストと作家の作品でモデルを無料でトレーニングする必要があります。

有名なテクノロジーメディア404 Mediaの創設者兼編集長であるジェイソン氏も記事の中でOpenAIを直接批判し、権力者だけが好き勝手できると示唆した。

ちょっと笑っちゃいますね、ハハハ。OpenAIが「無許可」で大量のデータを取得し、一部の組織の利用規約に違反していたにもかかわらず、今になって自らの行動を責めているなんて、実に皮肉ですね。

一方、Claude の親会社である Anthropic の創設者 Dario Amodei 氏は、DeepSeek について論じた長い記事を公開しました。

同氏は、DeepSeek が脅威であるという発言は誇張であり、 「それは 7 ～ 10 か月前の状況に過ぎない」とし、 Claude 3.5 Sonnet は依然として多くの社内および社外の評価で競合製品をはるかに上回っていると述べた。

しかし、我々の優位性を維持するためには、おそらくさらなる制約を設けるべきだと思います。

なんと、DeepSeek を抑制するために、競合の OpenAI と Anthropic が珍しい動きで協力したのです。

対照的に、Microsoft のアプローチははるかに興味深いものです。

マイクロソフトは、DeepSeek を著作権侵害で告発してからわずか数時間後、DeepSeek モデルを自社の AI プラットフォームに統合しました。

ネットユーザー：諺にあるように、否定は受け入れへの第一歩です。

一般的なAI技術だが、OpenAIの規約に違反している

さまざまな情報源によると、Microsoft と OpenAI による DeepSeek に対する告発は依然として調査中である。

Microsoft のスタッフによると、DeepSeek は昨年秋に OpenAI の API を呼び出し、それがデータ侵害につながった可能性があるとのことです。

OpenAI の利用規約によれば、誰でも OpenAI の API の使用に登録できるが、出力データを使用して OpenAI に競争上の脅威となるモデルをトレーニングすることはできない。

OpenAIはFinancial Timesに対し、モデル蒸留の証拠を発見したと語り、これはDeepSeekによって行われたと疑われている。

OpenAIはそれ以上のコメントや証拠の詳細の提供を拒否した。

まず、物議を醸しているモデル蒸留とは何かを見てみましょう。

これは、複雑で計算コストが高い大規模なモデル (教師モデルと呼ばれる) の知識を、より小さく効率的なモデル (生徒モデルと呼ばれる) に「抽出」するモデル圧縮手法です。
このプロセスの主な目的は、教師モデルのパフォーマンスを可能な限り維持しながら、生徒モデルを軽量化することです。

ノーベル賞受賞者でありディープラーニングの父であるヒントンは、論文「ニューラルネットワークにおける知識の抽出」の中で次のように指摘している。

蒸留は、統合モデルまたは大規模で高度に正規化されたモデルから小規模な蒸留モデルに知識を転送するのに非常に効果的です。

たとえば、Together AI の最近の取り組みでは、Llama 3 を Mamba に抽出し、最大で推論速度が 1.6 倍向上し、さらに強力なパフォーマンスを実現しました。

IBMの知識蒸留に関する記事では、多くの場合、最先端のLLMは計算量とコストに過大な要求を課すと述べられています…知識蒸留は、大規模モデルの高度な機能を（通常は）オープンソースの小規模モデルに移植するための重要なツールとなっています。したがって、生成AIを民主化するための重要なツールとなっています。

業界内では、一部のオープンソースモデルがサービス利用規約で蒸留を許可しています。例えば、Llamaです。DeepSeekは以前、論文の中でLlamaを使用していると述べています。

さらに、そして重要なのは、DeepSeek R1は単なる蒸留モデルではないということだ。OpenAIの主任科学者マーク・チェン氏は次のように述べている。

DeepSeek は、OpenAI が o1 の実装に採用したコア概念のいくつかを独自に発見しました。

また、彼はDeepSeekのコスト管理における取り組みを認め、蒸留技術の動向に言及し、OpenAIもコスト削減のためにモデル圧縮と最適化技術を積極的に研究していると述べた。

要約すると、モデル蒸留は学界や産業界で非常に一般的で認められた手法ですが、OpenAI の利用規約に違反しています。

それはビーバーですか？わかりません。

しかし、問題は、OpenAI自体に重大なコンプライアンスの問題があることです。

(よく知られているように) OpenAI は、無料で公開されている知識コンテンツだけでなく、著作権で保護された多数の記事も含むインターネット上のすべてのデータをスクレイピングしてモデルをトレーニングしました。

2023年12月、ニューヨーク・タイムズはマイクロソフトとOpenAIを知的財産権侵害で提訴しました。訴訟は現在も係争中で、OpenAIは過去1年間にわたり、自らの行動について裁判所に複数回にわたり説明を行ってきました。

以下を含みますが、これらに限定されません：

1. AIモデルの学習に、公開されているインターネットデータを利用することは合理的です。AI分野では既に多くの前例があり、これはクリエイターにとって公平であり、イノベーションに必要不可欠であると考えています。

2. 著作権で保護された作品の非営利的な使用（大規模モデルのトレーニングなど）は、長い間、適切に保護されてきました。

3. 大規模言語モデルの鍵はスケーリングです。つまり、盗まれたコンテンツ1つだけでは大規模言語モデルの学習をサポートできないということです。まさにこれが、OpenAIのモデルが業界をリードしている理由です。

つまり、OpenAI自身がニューヨーク・タイムズのデータ​​を違法に利用し、大規模なクローズドソースの商用モデルを訓練しているということです。現在、OpenAIはこの違反を理由に、一連のオープンソースモデルを開発しているDeepSeekを調査しています。

さらに一歩進めると、OpenAI の現在の成果も Google の基盤の上に構築されており (Transformer アーキテクチャは Google によって提案されました)、Google の成果は以前の学術研究に基づいています。

404 Mediaは、これが実は人工知能分野の発展の基本的なロジックであると述べました。

「DeepSeek モデルはコスト面のみで優れています。」

OpenAIが紛争を巻き起こしていたちょうどその時、Anthropicも介入してきた。

創設者の Dario Amodei 氏は、自身の個人ブログで DeepSeek についての見解を述べました。

彼は、DS の最新モデルは 7 ～ 10 か月前の DeepSeek のモデルに匹敵するが、大幅なコスト削減が行われているだけであり、DeepSeek を競合相手とは考えていないと述べました。

(Claude 3.5) Sonnet は 9 ～ 12 か月前にトレーニングされましたが、DeepSeek のモデルは 11 月または 12 月にトレーニングされましたが、それでも Sonnet は多くの内部および外部同等性において依然として大幅に優れています。

したがって、「DeepSeek は、7 ～ 10 か月前の Claude のパフォーマンスに近いパフォーマンスを低コスト (ただし宣伝ほど低いわけではない) で実現するモデルを生成した」というのが正しい記述であると私は考えます。

また、DeepSeek の全体的なコスト (単一のモデルをトレーニングするコストではない) は、Anthropic の AI ラボのコストと同程度であると彼は考えています。

ウルトラマンもほぼ同様の水準を保っています。

彼は、DeepSeek R1 が（特にコストの面で）印象的であったことを認めたが、OpenAI は「明らかにより優れたモデルを用意している」と述べた。

これは彼のいつものやり方だ。V3がリリースされたとき、彼は皮肉を込めてこう言った。「確かに役に立つものは、比較的簡単にコピーできるものだ」

では、DeepSeek R1 の価値とは何でしょうか?

アナリストのミンチー・クオ氏の最新のブログ投稿では、次のような参考資料が提供されています。

DeepSeek R1 の出現により、2 つの傾向がさらに注目されるようになりました。これらの傾向は R1 がなくても存在していたでしょうが、R1 によってその発生が加速されました。

まず、スケーリング則が減速したとしても、AI の計算能力は最適化されたトレーニング方法を通じて成長し続けることができ、新しいアプリケーションの探索に役立ちます。

過去1〜2年、AIサーバーのサプライチェーンにおける投資家の投資ロジックは、スケーリングの法則が維持される限りAIサーバーの出荷量は増加し続けるという前提に主に基づいていました。

しかし、スケーリング則の限界利益は徐々に減少し始めており、市場はスケーリング則以外の方法でモデル効率を大幅に向上させる DeepSeek などのパスに注目し始めています。

2 つ目の傾向は、API/トークン価格の大幅な低下であり、これは AI アプリケーションの多様化の加速につながります。

ミンチー・クオ氏は、生成AIのトレンドから利益を得る現在の方法は、新しいビジネスを創出したり、既存のビジネスの付加価値を高めたりすることではなく、主に「シャベルを販売」してコストを削減することだと考えている。

DeepSeek-R1 の価格戦略により、生成 AI の使用にかかる全体的なコストが削減され、AI コンピューティング能力の需要が高まり、AI 投資が収益性をもたらすかどうかについての投資家の懸念が軽減されます。

しかし、使用量の増加が値下げの影響を相殺できるかどうかはまだ分からない。

一方、ミンチー・クオ氏は、大規模な展開においてのみスケーリング則の限界利益の鈍化が見られるため、限界利益が再び加速した場合でも、Nvidia が依然として勝者となるだろうと述べています。

参考リンク:
[1]https://www.404media.co/opena... [2]https://www.ft.com/content/a0...\_gHeh-pg.MEYCIQCGjo04z0mtOsKbDspQLq2BMXyw8SbQnlYePOuqiqr6QgIhAI nK67eBkYuZS-77ljnP-y–EJdN1wwRQ8GIR8sKMFgE&sharetype=gift&token=1eebbaa7-a4e6-4251-b665-c2f2562b38e4 [3]https://x.com/GaryMarcus/stat... [4]https://mingchikuo.craft.me/g...