大規模モデルアプリケーション実装の初年度において、より注目に値するビジネスはどれでしょうか?

トークンの使用は最も重要な指標になりつつあります。

QuantumBitの市場データ分析によると、中国における大規模商用アプリケーションにおける1日あたりのトークン消費量は2024年後半に10倍近く増加し、わずか6ヶ月で1,000億から1兆へと成長し、月間複合成長率は45%に達しました。この成長は10月から12月にかけてさらに加速しました。

その中で、毎日の商用トークン消費量の月間複合成長率が 60% を超えるクラウドベンダーは 1 社のみです。

それは火山エンジンです。

5月には、1日あたり数百億トークンの水準にとどまり、業界全体の5分の1にも満たなかったが、8月初旬には1,000億トークンの大台を突破し、その後も急成長を維持した。12月には、1日あたりトークン市場シェアが50%を超え、他のプレイヤーのシェアを上回った。

（初期の市場は急速に変化するため、全体的な推定値は過小評価されている可能性があります。各ベンダーのデータには、Volcano Engine – Doubao APP など、自社開発のモデルサービスプロバイダーからのアプリケーション消費は含まれていません。）

それはどういう意味ですか？

これは、1秒あたりの平均同時トークン数が約750万であることを意味します。生成AIモデルがレスポンスごとに平均1,000トークンを処理する必要があると仮定すると、これは1秒あたり7,500件のユーザーリクエストを処理することを意味します。

この差が急激に広がった主な原因は、ネイティブ AI アプリケーションの爆発的な成長です。

公開されたデータによると、12月中旬の時点で、豆宝ビッグモデルにおけるトークンの1日あたり使用量は4兆を超え、7か月前の初回立ち上げ時と比較して33倍に増加した。

AI製品ランキングとアプリケーションランキングのデータによると、2024年1月から10月までの中国におけるAIネイティブアプリケーション（APP）上位5位の合計ダウンロード数は1億8000万件に達しました。11月には、世界トップ10のAIアプリケーションのうち2つが国産AIアプリケーションであり、豆宝（Doubao）は月間アクティブユーザー数5998万人で2位にランクインし、10%以上の成長率を維持しました。

この傾向は B2B セクターにも大きな影響を及ぼしており、最近公開された商用アプリケーションの 1 日あたり平均トークン サイズが最も直接的な証拠となっています。

このデータは、業界における大規模モデル技術の実用化に関して明確な情報を提供します。

消費されるトークンの量なのはなぜですか?

LLMにおいて、トークンとはモデルが理解・生成する意味の最小単位です。これは、自然言語テキストを理解可能な形式に変換する上で重要なステップです。

トークンは、生のテキスト データと LLM の間の橋渡しとして、モデルがテキストの一貫性と整合性を確保し、書き込み、翻訳、クエリへの回答などのさまざまなタスクを効果的に処理するのに役立ちます。

トレンドの進化に伴い、トークン予測の次世代手法は徐々にマルチモーダル領域へと移行しています。ビジュアルトークナイザーは、動画や画像を個別のトークンに変換し、テキストや音声のトークンをさらに統合してマルチモーダルな共通語彙を構築できます。つまり、テキスト、画像、動画、音声といった異なるモーダル情報を、トークンを通して統一された記号体系に標準化できるということです。

業界の実装レベルでも、この定義はさらに認知されるようになりました。

アリババグループの呉永明氏は講演で、生成AIが世界に統一言語「トークン」を提供すると述べました。これは、あらゆるテキスト、画像、動画、音声のコードとなり得ます。大規模モデルは、物理世界のデータをトークン化することで、現実世界のあらゆる側面を理解することができます。この理解に基づき、AIは人間を模倣して物理世界でタスクを実行できるようになり、新たな産業革命をもたらすでしょう。

では、トークンは何を単位として測定できるのでしょうか?

事前トレーニングコーパスのサイズ、コンテキストの長さ、推論の長さ...そしてその商業的価値まで。

まず、モデルの事前学習に使用されるトークンコーパスの量は、その基礎知識の蓄積の深さを表します。現在、市場で一般的に使用されている大規模モデルの事前学習コーパスは、すべて数兆トークンに上ります。

第二に、モデルが入力と出力において理解できるトークンの数は、その理解能力を反映します。大規模モデルのコンテキスト能力と処理速度もトークン数で測定されます。

第三に、トークンは大規模モデル推論の計算能力の測定単位でもあります。例えば、基盤となるチップメーカーは現在、「1秒あたりに生成されるトークン数」を製品のハードウェア能力の証明に使用しています。一部のモデルパラメータが公開されていない場合でも、トークン生成速度（同じハードウェア上で計算可能）からモデルサイズを推測できます。

最終的に、ほぼ当然のことながら、トークンは大規模 API の価格設定単位にもなりました。

現在、クラウドベンダーは大規模トークンに対して、入力トークン1,000個と出力トークン1,000個という固定価格モデルを採用しています。1年間の価格競争を経て、大規模トークンの価格は100万トークンあたり1元まで下落しました。

△ OpenAI APIの価格

各社はどうやって価格を下げるのでしょうか？その背後には様々な戦略があります。

Volcano Engine のインテリジェント アルゴリズム責任者であり、Volcano Ark の責任者でもある Wu Di 氏によると、大規模モデル API の価格設定は、AI インフラストラクチャの容量、将来の市場利用状況、モデル コストの削減という 3 つの変数を考慮した科学的な計算の結果です。

中国では、クラウドベンダーは長年にわたり、大規模な1日平均通話量を用いて自社のクラウドサービスの性能を実証してきました。ByteDance、Baidu、Tencentなどの企業は、このデータを一貫して公開しています。

1 日の通話量の単位は依然としてトークンです。

なぜ今トークン消費が急増しているのでしょうか?

大規模モデルのトレンドが始まって以来、業界全体でのトークンの消費量は日々増加しています。

2024年後半から、私たちは歴史上ほぼ最も猛烈な成長期に入りました。

IDCによると、2023年12月時点で、中国における生成AI（独自事業および生成AIアプリケーションを除く）の1日平均トークン処理規模は35億にとどまっていました。4か月後にはこの数字は10倍近く増加し、6か月後には1兆1200億に達すると予測され、1年間で320倍の増加となりました。

メーカーが最近公開したデータによれば、この傾向は明らかに続いている。

しかし、なぜ今なのでしょうか?

一方、技術的な観点から見ると、RAG、インテリジェントエージェント、マルチモーダルアプローチの台頭により、大規模モデルの適用シナリオがさらに広がり、全体的な傾向が加速しています。

大規模モデル アプリケーションを実装する際の最も重要な課題は、垂直ドメインとプライベート ドメインの問題をより深く理解し、特定の企業が現実世界の問題を解決できるようにすることです。

RAGとベクトルデータベースの利点は、まさにこの問題を的確に解決します。企業が蓄積する膨大なデータを迅速かつ最大限に活用し、大規模モデルの導入に伴う「錯覚」の問題を解決します。エージェントと組み合わせることで、RAGは企業のカスタマーサービスやAI NPCなどのシナリオに迅速に導入できます。過去1年間、RAGはクラウドベンダーが推進する主要製品の一つにもなりました。

エージェントは、2024年に爆発的な成長を遂げ、新世代のインテリジェントインタラクションパラダイムの先駆けとなりました。パーソナルアシスタントからエンタープライズレベルのソリューションまで、エージェントは金融取引や医療診断などの垂直分野に登場し始めました。一般分野では、携帯電話、PC、その他の端末が生成の波を受け入れ、オペレーティングシステムとインタラクション方法を再構築するための入り口としてエージェントを選択しました。

マルチモーダルAIへのトレンドは、大規模AIアプリケーションの範囲をさらに拡大しています。人間が受け取る情報の80%は視覚から得られるため、視覚は大規模AIの機能と利便性を大幅に向上させるでしょう。例えば、Soraに代表される動画生成技術は、既に世界の映画・テレビ業界に影響を与え、新たな思考を刺激しています。AIビデオ通話はApple Intelligenceの最も注目すべき機能の一つとなり、Google NotebookLMなどのAIポッドキャストアプリケーションも注目を集めています。AIアプリケーション自体も、マルチモーダル化のトレンドによってより豊かになっています。

これにより、大規模モデルの実用化に向けた新たなアイデアがさらに生まれます。

一方、ベンチマーク事例の出現により、大規模モデルのメリットは明白なものとなりました。大規模モデルは、企業の効率化に貢献するだけでなく、導入サイクルも短いことから、あらゆる業界で需要が高まっています。

IDCの調査によると、大規模モデルの導入サイクルは、主に6～12か月（48.5%）と12～18か月（30.3%）であることが示されています。これは、特にインターネット企業や既存のAIアプリケーション基盤を持つ企業にとって、他のITソリューションと比較して迅速な導入を可能にします。

今後 1 年間で、ビッグデータ モデルにより、企業はコストを 18% 削減し、収益を 2% 増加し、処理時間を 24% 短縮し、従業員の生産性を 17% 向上し、資産活用を 7% 向上し、製品イノベーションを 19% 強化することが期待されます。

例えば、インターネット業界では、運用コストの削減と革新的な製品設計への強い需要があります。検索やQ&A、広告プッシュ、商品レコメンデーション、マーケティングコピーの作成、教育・研修、オフィス支援など、あらゆるサービスが大規模に利用され始めています。

金融、スマート端末、ゲーム、教育・研究、自動車などの分野からの需要がますます明確になり、AIの応用シナリオは深化し続けています。

供給面では、業界の基本枠組みが徐々に安定し、大型モデルの製品マトリックスがますます充実し、各業界のニーズが満たされるところまで達しています。

最も重要なことは、モデルのコストが継続的に低下し、モデルの機能が継続的に向上し、大規模モデル業界がより包括的な方向に発展していることです。

例えば、Volcano Engine Force冬季大会では、豆宝視覚理解モデルが正式にリリースされ、企業に非常に費用対効果の高いマルチモーダル大規模モデル処理機能を提供しました。入力コストは1,000トークンあたり0.003元で、1元で720P画像を284枚処理でき、業界価格より85%も安価です。

これら 2 つのトレンドが収束しているため、2024 年後半に市場全体のトークン使用量が急増した理由は簡単に理解できます。

データの増加の背景には、さまざまな分野で大規模モデルが実装された結果があります。

Volcano Engineが公開したデータを例に挙げると、豆宝ビッグモデルは主流の自動車ブランドの80%と提携し、携帯電話やパソコンなどの複数のスマート端末に搭載され、約3億台の端末をカバーしています。スマート端末からの豆宝ビッグモデルの呼び出し回数は、6ヶ月で100倍に増加しました。

過去3か月間で、Doubaoの大型モデルが情報処理シナリオで呼び出された回数は39回、カスタマーサービスおよび販売シナリオで16回、ハードウェア端末シナリオで13回、AIツールシナリオで9回増加し、学習および教育シナリオでも大きな成長が見られました。

トークンのコストは引き続き低下し、スケーラブルな成長はまだボトルネックに達していません。

大規模モデルの商業応用に関する一連のデータを通じて、大規模モデルの全体的な傾向と発展がより明確になりました。

CCIDコンサルティングの「2024年中国MaaS市場発展調査レポート」によると、 MaaS市場の発展には主に4つの特徴が見られます。

• まず、エージェントの加速により、AI アプリケーション開発のハードルは下がり続け、モデルはより深いシナリオに適用されるようになります。
• 第二に、コスト要因により、大型モデルと小型モデルの連携が主流となるでしょう。
• 第三に、モデル推論ツールチェーン エコシステムの継続的な改善により、MaaS のモデル展開効率が向上します。
• 4つ目に、「パブリッククラウド+プライベートクラウド」のMaaS展開モデルは、企業ユーザーにセキュリティとコストのバランスが取れたソリューションを提供します。

MaaS 市場内では、トークンのコストは引き続き低下し、成長の拡大にボトルネックはありません。

• まず、大規模モデルの学習コストの増加率は鈍化しています。O1パラダイムの登場により、推論側の計算能力に対する需要がより重視されるようになります。一方、DeepSeek V3のようなモデルは、学習コストのさらなる最適化を進めています。
• 第二に、コンピューティング能力の分野は「黄の法則」の時代に入りました。「GPU は AI のパフォーマンスを毎年 2 倍に推進する」そして「AI データセンターが 100 万チップに拡大するのを物理的な定理で阻止することはできない」
• 3つ目に、クラウドベンダーの内部モデルは徐々に効率化され、チャネルはさらに開放され、エコシステムがさらに確立され、コストをさらに最適化できるようになります。

業界関係者も将来に大きな自信を持っている。Volcano Engineのインテリジェントアルゴリズム責任者であるWu Di氏はかつて、 Doubaoの1日あたりのトークン消費量は2027年までに100兆円を超え、当初の100倍以上になると予想している。

対照的に、現在のトークン消費の急増は、大規模アプリケーションの爆発的な成長の始まりに過ぎず、真の大規模成長はまだ終わっていない可能性があります。

今は、スタートラインを駆け抜ける瞬間のような気がします。

この競争で誰がリーダーとして浮上するかは、トークン消費という中核的な指標を通じて事前に垣間見ることができます。