AI専門家の李牧氏が1年以上ぶりにビリビリに復帰し、定番の学術論文朗読シリーズで「ギャップを埋める」ことに！

そうです、最新の星は依然としてラマ 3.1 です。

この約18分のビデオでは、Li Mu教授がLlama-3.1の技術論文の読み方をステップバイステップで解説し、ちょっとした裏話も披露してくれます。（詳細は7分50秒あたりをご覧ください。）

彼は、Llama チームが最大モデルをトレーニングしていたとき、最初はMoE モデルと高密度モデルの両方を同時にトレーニングしたが、前者は失敗したため、最終的にはシンプルなバージョンのみをリリースしたと述べました。

詳しくは元の動画をご覧ください。内緒話ですが、李牧先生の動画は公開直後から1万回以上再生されました。

大勢の大学院生が駆け寄ってきています。雰囲気を見れば彼らの元気さがわかります。

（記事末尾に動画リンクあり）

一方、大規模モデルアリーナのランキングも更新され、 Llama-3.1-405Bはオープンソース モデルがアリーナのトップ 3 に入った初めてのケースとなり、GPT-4o と Claude-3.5-Sonnet に次ぐ順位となりました。

もちろん、Meta がすでにこれらいくつかの比較を微妙に行っているため、この結果は驚くべきことではないかもしれません。

人間による評価に基づくと、Llama-3.1-405B と他の 2 つのシステムのパフォーマンスは同様でした。

さらに、Llama-3.1-405B は全体的に優れたパフォーマンスを発揮するだけでなく、個々のカテゴリ (コーディング、数学、命令のコンプライアンス、ハードヒント) でも常に上位 3 位以内にランクされていることが分かりました。

特筆すべきは、 Llama-3.1-70Bも総合ランキングで 9 位に上昇し、全体的な信頼度が以前に比べて大幅に向上したことです。

しかし、最も驚くべきことは、同時に海外のネットユーザーも405Bの新たな功績を祝福し、中には「思慮深く」次のように注意を促す人もいたことだ。

405B は「最適に計算する」ようにのみトレーニングされており、Meta は進歩し続けることができたはずです。次の反復は驚くべきものになったでしょう。

はい、Llama-3.1-405B が本当に素晴らしいのはわかっています。

案の定、リリースからわずか1週間で、ネットユーザーたちはすでにさまざまな独創的な使い方を考案しています…

制作に活用する

実稼働環境を設定するための最初のステップは、ローカルで実行してテストすることです。

Open Interpreter (LLM をユーザーのコンピューター上でローカルに実行できるようにするプロジェクト) のテクニカル コミュニティ マネージャーが、自身の成果を披露してくれました。

CPU のみを使用してRaspberry Piで Llama-3.1-8B を実行します。

[残念ながら、ここにビデオを挿入することはできません...ただし、QuantumBit WeChat公式アカウントで視聴できます〜]

方法は簡単です。GitHub または Hugging Face からllamafile をダウンロードし、パラメータを設定するだけです。

同氏によれば、この実験ではRaspberry Pi 5（8GBメモリ）、M.2 Hat、Hailo AIモジュールが使用され、4ビットの量子化が採用されたという。

しかし、このデバイスは、ほんの数行のコードを実行するだけで CPU を本当に焼き尽くす可能性があるとも冗談を言っていました。

続いて、ネットユーザーからの激励を受け、若者はすでにナイフを研ぎ、405Bに取り組む準備をしている。

上記の例以外にも、他のユーザーが Llama-3.1-405B を使用して任意の GitHub リポジトリでチャットボットを作成し始めています。

[残念ながら、ここにビデオを挿入することはできません...ただし、QuantumBit WeChat公式アカウントで視聴できます〜]

そしてそれは無料です。Hugging Face は、新しいアシスタントを無料で作成する機能を提供します。

しかし、Groq のエンジニアである Rick Lamers 氏は、これを試してみた後に疑問を呈しました。

現在の RAG パイプラインには問題がある可能性があり、幻覚を引き起こす傾向があります。

しかし、どうしてもネットユーザーの試してみたい欲求は止められませんでした〜

実際に武器を披露するだけでなく、一部のネットユーザーはLlama-3.1-405Bを使って発煙弾も作りました。

たった今、ハッサンという名のネットユーザーが次のように発表した。

Llama-3.1-405B を使用して完全な React アプリケーションを構築します。

すごいですね。これでアプリの開発がさらに簡単になります!

まだ正式にオープンソース化されていないものの、ネットユーザーはすでに列を作り始めています。

あなた自身でさらに多くのゲームプレイ機能をアンロックすることを歓迎します。