618ZXW

「私たちには堀がない」:オープンソースAIの急速なイノベーション

Jim Zemlin オープンソース ソサエティ カイユアンシェ

2023年5月、匿名のGoogle AIエンジニアによるメモが流出し、テクノロジーニュースコミュニティ全体に瞬く間に広まり、Hacker Newsで数千件のコメントが寄せられました。「私たちには堀がない…OpenAIにもない」と題されたこのメモは、本質的には「次世代のメガモデルの構築に注力するのをやめ、オープンソースコミュニティと協力しよう。なぜなら、最終的に彼らが私たちを負かすからだ」と述べていました。

私たちはOpenAIを注視してきました。次のマイルストーンを誰が達成するのか?その先は?しかし、不都合な真実は、この軍拡競争において私たちに勝ち目はなく、OpenAIも同様だということです。私たちが議論している間にも、サードパーティは静かに私たちの市場シェアを奪いつつあります。オープンソースの話をしています。簡単に言えば、彼らはすでに私たちを追い抜いています。私たちが「重大な未解決問題」と考えていた問題は、今日解決され、人々の手に委ねられています。

この記事は当初、Meta社が最初のLlamaモデルをリリースしたことを受けて書かれたものです。このリリースは、用途に特化した多数の派生モデルを生み出しました。当時、オープンソースモデルは多くの点でクローズドソースモデルに遅れをとることが多く、追いつくまでに数ヶ月を要しました。しかし、その後、この傾向は明確になりました。今日、インスタントAIモデルとDeepSeekの時代において、この市場応答時間の優位性は24時間にまで縮小しました。オープンソースAIは勝利を収めているだけでなく、急速に発展しているため、Sam Altman氏はより厳格なオープンソース戦略を追求する必要があるかもしれないと公に認めています(Samさん、私のカレンダーはいつでもあなたのために空いていますよ!)。

先週、DeepSeekとオープンソースAIが短期的にも長期的にも普及する理由について書き、DeepSeekが重視するアプローチがAIモデルにおける急速なイノベーションの波を引き起こすだろうと予測しました。当時すでに、企業はDeepSeek R1ベースモデルのより信頼性が高く商業的に実現可能なバージョンを開発しており、株価暴落を引き起こしました。その数日後、OpenAIは独自の高度な研究製品であるDeep Researchをリリースしました。これは、大規模言語モデル(OpenAIの現在のLLMリスト(4o、o1、o3など)から選択可能)と、LLMにWeb検索などのツールの使用方法やプロセスを論理的なステップに整理する方法を指示する「エージェントフレームワーク」を組み合わせたものです。

このツールは高度な推論能力を備え、リサーチアナリストのように機能し、事実上あらゆるトピックについて複雑な分析を提供します。AI専門家のイーサン・モリック氏も絶賛しており、多くのオンラインユーザーから「これまで見た中で最高の汎用エージェントツール」と称賛されています。

翌日、HuggingFaceはDeep Researchのオープンソース版をリリースしました。これはまだ完全には比較できませんが、非常に近いものでした。HuggingFaceは、データセットやトレーニングコードなど、R1の不足部分を再構築する作業を続けていました。Deep Researchは、DeepSeekとそのR1モデルのデータ、ベースモデル、そしてトレーニングから間違いなく恩恵を受けています。まさにこれが、オープンソースAIが非常に柔軟で強力である理由です。(この点に関するAI2のNathan Lambertの意見[1]を参照してください。)オープンソース設計には堀はありませんが、むしろ全体的な進歩を促進します。

一方、コミュニティには、オープンソースのディープリサーチの競合相手が5社登場しています(dzhng、assafelovic、nickscamara、jina-ai、mshumer。発見してくれたHuggingFaceに感謝します)。この記事を読む頃には、さらに多くのAI開発者がアップデート版や改良版をリリースしているでしょう。機能の急速な複製は多くの人を驚かせましたが、私は驚きませんでした。オープンソースのイノベーションはクローズドソースのイノベーションよりもはるかに速く、これはLinux Foundationで何十年も目撃してきたことです。オープンソースソフトウェアはソフトウェアの世界を席巻しています。誤解のないように言っておきますと、オープンソースソフトウェア自体は何もしません。単なるソースコードです。世界最高の開発者たちが、オープンで科学的なピアレビュープロセスを通じて貢献し、協力することで、より優れたソフトウェアが生まれます。そして、他の多くの開発者も、それが他の選択肢よりも優れているため、そのソフトウェアを使用することを選択します。

潮が満ちているので、跳ね橋を下ろせ。

ジム・ゼムリン

肝心なことは何でしょう?オープンソースAIは加速しています。大規模で成長を続ける世界的な才能あるコミュニティのおかげで、コミュニティが新たな開発に迅速に適応する能力は、オープンソースAIのスピードとパワーを明確に証明しています。さらに重要なのは、AIイノベーションを封じ込めることが極めて困難になるということです。モデル蒸留(より大規模で複雑なモデルを用いて、より小型で効率的なバージョンをトレーニングする)の進歩により、研究者は公開されているAIシステムをより効果的に分析できるようになります。蒸留によって重要なトレーニングの洞察が抽出されるため、同等、あるいはさらに効率的なモデルの開発が可能になります。この機能は研究開発を加速させるだけでなく、より幅広いコミュニティを実験に参加させ、既存のモデルを改善することで、イノベーションエコシステムを拡大します。DeepSeekは蒸留を活用してQwenモデルとLlamaモデルの推論機能を強化し、推論タスクにおけるパフォーマンスを効果的に向上させました。

ほぼ同時に、スタンフォード大学の研究者らは、オープンLLMをわずか26分の学習時間と30ドル(もちろん、ベースモデルははるかに高価)のコストで推論モデルに変換する簡単な方法を示す論文[2]を発表しました。その秘密は? 1,000個のよく構造化された推論例を与え、思考プロセスを拡張することです。このシンプルな(そして現在では公に知られている)方法を用いることで、彼らはマッチング問題においてGPT o1の性能にほぼ匹敵する結果を出すことができました。

AIの基礎機能がオープンソースで急速に普及するにつれ、最高のセキュリティ、使いやすさ、そして開発者と消費者のエクスペリエンスを提供するプロバイダーへと価値が流れていくでしょう。これは大きな勝利と言えるでしょう。わずか1年前、テクノロジー業界の多くの人々は、世界がGPUを持つ富裕層と持たない貧困層、つまり強力なAIにアクセスできる者とアクセスできない者に分断されつつあるのではないかと懸念していました。しかし、私たちは既にそうではないことを目の当たりにしており、これは大きな意義深いことです。AI機能を国、企業、NGOに民主化することは、今後数年間、複数の分野におけるイノベーションの基盤となるでしょう。共通の利益を生み出すテクノロジーにおいては、オープン性は常に勝利を収めます。

参考文献

[1] 意見: https://www.interconnects.ai/...

[2] 論文: https://arxiv.org/pdf/2501.19393

転載元:LFAPAC

編集:王俊

関連資料

ウルトラマン: オープンソースAIについて、私たちは間違っていました!DeepSeekがOpenAIの優位性を侵食しました。次はGPT-5です。

オープンソース:人工知能の「シェアバイク時代」 - DeepSeekと技術民主主義の革命のケーススタディ

オープンソース協会の紹介

2014年に設立されたオープンソース協会(KAIYUANSHE)は、オープンソースの理念に献身的に貢献する個々のボランティアで構成されるオープンソースコミュニティであり、「貢献、合意、そして共同統治」の原則に基づき活動しています。KAIYUANSHEは、「ベンダー中立性、公益性、非営利性」の原則を堅持し、「中国を拠点とし、世界に貢献し、新時代のライフスタイルとしてオープンソースを推進する」というビジョンを掲げています。その使命は「オープンソースのガバナンス、国際的な連携、コミュニティの発展、そしてプロジェクトのインキュベーション」であり、健全で持続可能なオープンソースエコシステムの共創を目指しています。

オープンソース協会は、オープンソースを支援するコミュニティ、大学、企業、政府機関と積極的に連携しています。また、世界的なオープンソースライセンス認証組織であるOSIの中国初の会員でもあります。

2016年以降、中国オープンソースカンファレンス(COSCon)が毎年開催され、「中国オープンソース年次報告書」が継続的に発表されています。また、「中国オープンソースパイオニアリスト」と「中国オープンソースコードパワーリスト」も共同で立ち上げ、国内外で幅広い影響力を発揮しています。