「これは私が今まで聞いたジェンセン・フアンの最高のインタビューです！」

Nvidia CEO ジェンスン・フアン氏による談話が再び白熱した議論を巻き起こした。

Nvidia は市場シェアについて一日たりとも話したことはありません。

私たちが議論しているのは、ただ次のものをどうやって生み出すか、そして、これまで完成までに1年かかっていたフライホイールを、どうすれば1か月に短縮できるか、ということです。

独自の ASIC チップを構築している Azure や AWS などの主要なクラウド コンピューティングの顧客に対して、Huang 氏は次のような例え話をしました。

同社は養魚池の規模によって制限されており、その唯一の目標は想像力を駆使して養魚池を拡大すること（新しい市場の創出を指す）です。

もちろん、Nvidia について言及するだけでなく、Huang 氏は AGI のインテリジェント スケーリング、機械学習の加速、推論とトレーニングの重要性についても説明しました...

長い番組（約1時間半）ですが、すでに多くのネットユーザーが視聴し、課題を提出しています（課題に取り組み始めていますね！）。

ネットユーザー：学ぼう！学ぼう！

ジェンセン・フアン：将来、推論の成長はトレーニングの成長をはるかに上回るでしょう。

動画の長さを考慮し、QuantumBitは重要なポイントをハイライト表示します。Lao Huang氏の要点は以下の通りです（データ節約版）。

• 「ポケットの中の AI アシスタント」は、最初は完璧ではないかもしれませんが、すぐに何らかの形で登場するでしょう。
• Nvidia の競争上の優位性は、GPU、CPU、ネットワークからソフトウェアやライブラリに至るまで、フルスタック プラットフォームを確立していることにあります。
• 人工知能の拡張の焦点は、事前トレーニングから事後トレーニングと推論に移行しています。
• 推論計算は完全に新しいインテリジェントな拡張ベクトルとして実行されます。
• 将来、推論の成長はトレーニングの成長をはるかに上回るでしょう。
• クローズドソースとオープンソースは共存し、オープンソース モデルは特定のドメイン向けのアプリケーションを作成するために使用される可能性があります。
• ...

（以下、要点をまとめます）

Q:パーソナル AI アシスタントの開発展望についてですが、全知全能の AI アシスタントをポケットに入れて持ち運べるようになるのはいつ頃だとお考えですか?

A: 近いうちに何らかの形で登場するでしょう。このアシスタントは最初は完璧ではないかもしれませんが、時間の経過とともに改善されます。これは技術開発の必然的な法則です。

Q: AI 分野における現在の発展と変化のペースは、これまでに見た中で最も速いものですか?

A:はい、それは私たちがコンピューティングを再発明したからです。過去10年間で、コンピューティングの限界費用は10万分の1にまで削減されました。一方、ムーアの法則では100分の1にしか削減できなかったかもしれません。

私たちはこれを次のように実現しました。

• アクセラレーテッド コンピューティングを導入し、これまで CPU では非効率的だったタスクを GPU に転送します。
• 新たな数値精度の発明
• 新しいアーキテクチャ (Tensor Core など) を開発します。
• 高速メモリ（HBM）を採用
• MVLinkとInfiniBandによるシステム拡張

この急速な発展により、手動プログラミングから機械学習への移行が進み、テクノロジースタック全体が急速な革新と進歩を遂げています。

Q:モデルのスケーリングに関してはどのような変更が行われましたか?

A:以前は、主に事前トレーニング済みモデルのスケールアップ（モデルサイズとデータスケールの重視）に重点を置いていたため、必要なコンピューティング能力は毎年 4 倍に増加していました。

現在、トレーニング後の段階と推論段階が拡大しています。人間の思考プロセスは一度に完了することはなく、素早い思考、ゆっくりとした思考、推論、熟考、反復、シミュレーションなど、複数の段階を必要とします。

さらに、以前は事前のトレーニングは難しく、推論は簡単だと思われていましたが、今ではどちらも非常に困難です。

Q: 3〜4年前と比べて、NVIDIAの優位性は現在大きくなっていると思いますか、それとも小さくなっていると思いますか?

A: 実際、さらに大きな問題です。チップ設計において、より多くのFLOPSとパフォーマンス指標を追求することが全てであるという古い考えは時代遅れです。

機械学習システム全体のデータパイプライン（フライホイール）が鍵となります。機械学習は単なるソフトウェアプログラミングではなく、データ処理ワークフロー全体に関わるからです。AIはデータ管理の最初から関与する必要があります。データの収集、整理、学習前の準備といった各ステップは複雑で、膨大な処理作業を必要とします。

Q: Intel などの企業と比較して、Nvidia がチップの製造と設計で採用している戦略にはどのような違いがありますか?

A: Intel の優位性は、より高速な x86 シリアル処理チップの製造と設計にありますが、Nvidia は異なる戦略を採用しています。

• 並列処理では、すべてのトランジスタが優れている必要はありません。
• 少数だが高速なトランジスタを使用するよりも、多数だが低速なトランジスタを使用することを好みます。
• たとえ 20% 遅くても、トランジスタの数が 10 倍多いほうが、たとえ 20% 速くなっても、トランジスタの数が 10 分の 1 少ないよりも優れています。

Q:カスタム ASIC (Meta の推論アクセラレータ、Amazon の Trainium、Google の TPU など) の可用性と供給不足により、NVIDIA とのコラボレーションの動向は変わりますか?

A:これらはすべて異なることを行います。NVIDIA は、機械学習、生成 AI、インテリジェントエージェントという新しい世界のためのコンピューティング プラットフォームの構築に注力しています。

過去60年間、私たちはコンピューティング技術スタック全体を刷新し、プログラミング手法からプロセッサアーキテクチャ、ソフトウェアアプリケーションから人工知能に至るまで、あらゆるものを変革してきました。私たちの目標は、どこでも利用できるコンピューティングプラットフォームを構築することです。

Q:企業としての NVIDIA の中心的な目標は何ですか?

A:私たちはユビキタスなアーキテクチャプラットフォームを構築しています。市場シェアを競うのではなく、市場を創造しています。イノベーションと次の課題の解決に注力し、技術進歩を加速させています。

Q:競合他社やパートナーに対する NVIDIA の姿勢はどのようなものですか?

A:競争が激化していることは重々承知していますが、私たちの使命は変わりません。AWSやAzureといったパートナーとはロードマップを事前に共有し、彼らが独自のチップを開発している場合でも透明性を維持しています。開発者やAIスタートアップ企業には、CUDAを統一されたエントリーポイントとして提供しています。

Q: OpenAIについてどうお考えですか？その台頭をどのように見ていますか？

A: OpenAIは現代において最も重要な企業の一つです。AGIの具体的な定義やタイムラインは最も重要な要素ではありませんが、AIの能力開発ロードマップは壮大なものになるでしょう。生物学者から気象研究者、ゲームデザイナーから製造エンジニアまで、AIはすでに様々な分野で私たちの働き方に革命をもたらしています。

私は、この分野を前進させる OpenAI のスピードと決意に非常に感銘を受けており、次世代のモデルに資金を提供できることを嬉しく思っています。

Q:モデルレイヤーはコモディティ化していると思いますか? また、これはモデル企業にどのような影響を与えるでしょうか?

A: モデルレイヤーはコモディティ化が進み、Llamaの登場によりモデル構築コストが大幅に削減されました。これによりモデル企業は統合され、経済的なエンジンと継続的な投資能力を持つ企業だけが生き残るでしょう。

Q: AI モデルの将来についてどのようにお考えですか? また、モデルと人工知能の違いは何でしょうか?

A:モデルは人工知能の不可欠な要素ですが、AIは様々な分野に適用する必要がある機能です。モデル層の発展を見守るだけでなく、より重要なのは、AIが様々な応用シナリオにどのように適用されるかを見守ることです。

Q: X社の大規模スーパークラスター構築の成果について、どのようにお考えですか?

A:彼らは10万基のGPUを搭載したスーパーコンピュータクラスターを19日間で構築しました（通常は3年かかります）。これは、当社のプラットフォームの強力さと、エコシステム全体を統合する能力を実証しています。

Q:分散コンピューティングと推論は、より大規模に拡張されると思いますか?

A:はい、私はこのことに非常に熱心で楽観的です。推論時間計算は、全く新しいインテリジェントな拡張ベクトルとして、単に大規模なモデルを構築することとは全く異なります。

Q:人工知能では、実行時にしか実行できないことがたくさんあるのでしょうか?

A:はい、多くのインテリジェント タスクは事前に完了することができず、実行時に多くのことを行う必要があります。

Q:人工知能のセキュリティについてどうお考えですか?

A:安全な人工知能を構築する必要があります。そのためには、政府機関と協力する必要があります。AIの安全性を確保するための多くのシステムを既に構築しており、AIが人類にとって有益なものとなるようにする必要があります。

Q:御社の収益の40%以上は推論から得られています。推論チェーンによって推論の重要性は大幅に高まりますか？

A:そうです。推論チェーンによって推論能力は10億倍に向上しました。これはまさに私たちが現在経験している産業革命です。将来的には、推論能力の成長は訓練の成長をはるかに上回るでしょう。

Q:オープンソースおよびクローズドソースの人工知能モデルの将来についてどうお考えですか?

A: オープンソースモデルとクローズドソースモデルの両方が存在し、それぞれ異なる業界や用途に必要です。オープンソースモデルは複数の業界の活性化に役立ち、クローズドソースモデルは経済モデルのイノベーションの原動力となります。

上記すべてについてどう思われますか?