トップレベルのトレンドとは何ですか?

AI の著名人である李牧氏が母校に戻って講演し、上海交通大学は大規模なファンの集まりに変わりました。

会場は人でいっぱいでした。雰囲気をちょっと感じてみましょう。

公式演説の前には会場の外にすでに長い列ができており、会場自体も満員だった。

講義が終わった後も、李牧教授の周りには上海交通大学の熱心な学生たちが何層にも集まっていた。

多くの学生が、Li Mu教授にサインしてもらうために、古典的な本「Hands-on Deep Learning」を持ってきました。

このような光景に、上海交通大学コンピュータ科学工学部の教授である于勇氏は、WeChatモーメントで自分の気持ちを表現した。

有名人を追いかける人々のこのような壮大な光景を目にしたのは初めてでした。

△画像出所：于勇教授のWeChatモーメンツ、許可済み。

それに応えて、李牧先生も于勇先生にこう返答した。

私の母校の先生方や同級生たちはとても熱心でした。

李牧教授の母校でのスピーチは、 「LLM のトレンド」と「個人のキャリア選択」という 2 つのキーワードで要約できます。

△画像出典：小紅書ユーザー「Zhaoxi」

特に李牧氏（BosonAI）の起業1年半という節目に合わせ、李牧氏は自身の経験に基づき、3つの異なる段階にわたる「日々考える基本目標」をイベントでまとめました。

• 大企業：昇進して昇給するにはどうすればいいですか？
• PhD: どのように卒業する予定ですか?
• ビジネスを始める場合: どのように「撤退」するか（株式公開か売却か）を考える必要があります。

△画像出典：Bilibiliユーザー「キモイエ」

記憶に残る名言の豊富さと内容の素晴らしさにより、出席していた教師や生徒から絶え間ない拍手と笑いが起こりました。

では、李牧先生は一体何について話したのでしょうか？続きを読んでみましょう。

（追記：スピーチ動画全編は記事末尾をご覧ください）

LLMのトレンドについて議論する

まず、LLM の全体的な構成に関して、Li Mu はそれが主にデータ、計算能力、アルゴリズムの3 つの側面で構成されていると考えています。

LLM プロセス全体は錬金術に非常に似ており、「データ」は材料を見つけるプロセスです。

多くの小説の主人公が素材を探すために山奥へ入っていくように、データ収集は困難な作業であり、体力も必要です。

次のステップである「計算能力」は、「データ」を精緻化することです。火力が増し、装備が高度になればなるほど、より良い結果が得られます。

「アルゴリズム」については、処方箋に相当するものですが、これは小説とは異なり、毎年急速に改良・変化しており、細部のコントロールが特に重要です。

LLM と従来のディープラーニング アプローチの主な違いについて、Li Mu 氏は次のように考えています。

これまでのディープラーニングの「錬金術」手法は比較的安定していました。

しかし現在、LLM を「改良」している人々は、LLM の中に魂が宿り、多くの問題を解決できることを期待しています。

次に、李牧氏は、上記3つの主要な側面について詳しく説明しました。

LLM ハードウェアに関して、Li Mu は最も困難かつ重要な側面は帯域幅であると考えています。

これは、大規模なモデルのトレーニングを単一のマシンで処理することが困難であり、分散トレーニングを実現するには帯域幅がボトルネックとなるためです。

結局のところ、今日では複数のサーバーラック、あるいはクラスターが存在するのが一般的です。たとえ2つのラックが1メートル離れていても、数ナノ秒の遅延さえ許容できません。

帯域幅の次に、LLM のハードウェア上の課題はメモリです。

大規模モデルは学習中に膨大な量のデータを圧縮するため、モデルのサイズは数百ギガバイトに達することもあります。実行時の中間変数も非常に大きくなるため、大量のメモリが必要になります。

将来的には、200GB のメモリを搭載したチップが機能しなくなる可能性が非常に高くなります。

これは、モデルのサイズがある程度制限されることを意味します。十分なメモリがない場合、モデルは大きくなりません。

帯域幅とメモリの次に、コンピューティング能力（Compute）について考えてみましょう。これについて、Li Mu氏は次のように述べています。

ムーアの法則は今でも当てはまります。

モデルが一定の大きさに達すると、リソース、つまり電源が問題になります。

李牧氏は自身の経験に基づき、発電所を建設する方が電気代を払うよりも安いことが分かったと語った。

価格については、コンピューティング能力が 2 倍になると、価格は現状のままではなく、1.4 倍になる可能性がありますが、十分な市場競争があれば、長期的には価格は変わらない可能性があります。

チップの代替品については、Li Mu 氏は、Google の TPU、Intel の Habana、AMD および Azure チップが推論には適していると考えていますが、トレーニングにはさらに数年かかる可能性があります。

Li Mu 氏はここで簡単に要約しています。

モデルのトレーニングは毎年倍増する速度で、より安価、より高速、そしてより大規模になります。

今年トレーニングされた大規模モデルの価値は来年には半分になります。

モデルに関しては、Li Mu 氏は言語、音声、音楽、画像、ビデオなどのさまざまなモダリティを導入し、マルチモーダルが現在のトレンドであると考えています。

Li Mu氏は、さまざまなモダリティの現状についてもスコアを付けました。

• 言語モデル: 約 80 ～ 85 ポイント、現在は「良好」な状態です。
• オーディオ モデル: 約 70 ～ 80 ポイント、現在は「十分に良い」状態です。
• ビデオモデル:現時点ではまだ比較的弱いです。

これに基づいて、李牧は次のような結論を出した。

長いテキストでの人間とコンピュータの相互作用はますます普及しつつあります。

大規模アプリケーションモデルに関しては、その本質はユーザーに無制限の人材を提供することであるべきだと Li Mu 氏は考えています。

Li Mu 氏は、ホワイトカラーとブルーカラーの職場でこれらのアプリケーションが「職務に就く」または「協力する」上でどれほど効果的であるかを示す表を作成しました。

結局、ホワイトカラーや文系系の簡単な仕事しかできなかったようです。

申請の概要に関して、Li Mu 氏は次のように考えています。

十分なデータがあれば、すべてを自動化できます。

Li Mu氏は、1年半にわたって自らビジネスを立ち上げた経験に基づいて、技術的な考えも共有しました。

まず、事前トレーニングと事後トレーニングは同様に重要です。

第二に、真に垂直なドメイン モデルは存在しません。最も垂直なモデルであっても、一般的な適用性に欠けることはありません。

さらに、大規模モデルの評価について、李牧氏は現在の評価は単純すぎると考えている。様々なランキング操作を行っても、実際に使用してみればその効果を実感できる。

そのため、評価は非常に重要であるものの、実際に評価を行うのは非常に難しいと彼は考えています。

さらに、Li Mu 氏は他のいくつかの視点も共有しました。

• データは大規模モデルの機能の上限を定義します。
• 独自の GPU を構築しても、レンタルするよりもそれほど安くはなりません。
• 機械学習の時代に得られた経験のほとんどは、大規模モデルの時代にも当てはまります。

李牧氏はこの講演の中で、技術的なスキルに加え、上海交通大学の教員や学生と職場での経験も共有しました。

個人的な「チェックインスタイル」の生活について語る

李牧を知る人なら、おそらく彼の個人的な経験にもよく精通しているだろう。

上海交通大学で学士号と修士号を取得し、その後香港科技大学とカーネギーメロン大学でさらに研究を深めました。バークレー大学とスタンフォード大学で助教授を務めました。

彼は百度やアマゾンなどの大手テクノロジー企業でも働いており、過去1年半にわたり、自身のビジネスであるBosonAI （彼の2番目のベンチャー）を立ち上げてきました。

李牧は過去を振り返り、さまざまな場所を訪れたことを「チェックイン人生」と冗談めかして語った。

それで、これらすべてを経験した後、李牧の経験はどのようなものだったのでしょうか?

これはまさに、この記事の冒頭で述べた「私たちが日々考えている基本的な目標」です（重要な点はもう一度言及する価値があります）。

• 大企業：昇進して昇給するにはどうすればいいですか？
• PhD: どのように卒業する予定ですか?
• ビジネスを始める場合: どのように「撤退」するか（株式公開か売却か）を考える必要があります。

李牧は、これら 3 つの主要な側面に基づいて、自身の経験を踏まえ、各段階の利点と欠点を列挙しました。

例えば、李牧が「労働者階級」の役割についてパワーポイントでプレゼンテーションしたとき、上海交通大学の学生たちは大笑いした。

博士号取得のメリットとデメリットは次のとおりです。

起業の利点について議論する際、李牧氏はそのプロセスを次のように鮮明に比較しました。

お金があるところならどこでも強盗をし、何も盗めなかったら死ぬという、（合法的な）海賊の楽しさを体験できます。

しかし、李牧の演説の二つの主要な部分は別々のものではなく、むしろ自然に「有機的に結合」するものであった。

彼は、問題は「動機」から始まるべきだと信じています。

• 学術的な価値がある場合は、LLM（博士号/教員職）の理解に努めてください。
• 商業的価値がある場合: LLM に基づいて新しいアプリケーションを開発します (スタートアップ)。
• 成長の可能性があるなら、LMM (働く人向け) に製品を実装してください。

最後に、李牧教授は上海交通大学の学生たちにいくつかのヒントも与えました。

起業からの復帰といえば、つい数日前に李牧氏が知乎に掲載した「起業1年、人生3年」という記事が大きな話題になった。

Li Mu 氏は過去 1 年間の自身のスタートアップの進捗状況を語っただけでなく、経験豊富な起業家としての勢いをほんの数語で示しました。

当初は大型モデルで始める予定はなかったのですが、張一鳴が「どうせ起業するならすぐに大型モデルを作れ」と提案してくれたり、ゲームカードを買うのに行列に並ばなければならなかったので老黄（黄建林）に手紙を書いたら思いがけず老黄が手配してくれたり、ゲーム事業を始めたばかりの「老才」（miHoYoの老才）が意見交換に来てくれたり、快手創業者の蘇華とスタンフォード大学を散歩して、起業経験を共有したり…

つまり、わずか 1,000 語の短いエッセイですが、素晴らしい詳細と興味深いストーリーにより、何度も読む価値があります。

「ビジネス1年、実社会3年」：https://mp.weixin.qq.com/s/0J..._zrWIjbPV7FXA

もう一つ

李牧教授の講演動画は、BilibiliユーザーKimoyeeによって既にアップロードされています。ご興味のある方は、この記事末尾の「ディープラーニング」リンクからご覧ください。

参考リンク:
[1]https://www.xiaohongshu.com/e... [2]https://www.xiaohongshu.com/e... [3]https://www.bilibili.com/vide...\_id\_from=333.337.search-card.all.click