データホエール

Datawhaleリリース

チーム: 中国人民大学の趙欣教授。記事の最後に本のプレゼントがあります。

サーベイ論文「大規模言語モデルのサーベイ」はお読みになりましたか？これは、大規模言語モデル技術を紹介した学術界初の体系的レビュー論文であり、大規模言語モデルを学ぶ多くの人々にとって必読書となっています。4,000回以上引用され、学術界で広く注目を集めています。そこに描かれたモデルの進化図や技術統計表は、広く普及し、利用されています。

論文リンク: https://arxiv.org/pdf/2303.18...

わが国における大規模モデリング技術の発展をさらに促進するため、本レビュー記事の著者らは、数ヶ月にわたる執筆と改訂を経て、最近、中国語書籍『大規模言語モデル』をオンラインで出版しました。本書は、読者に体系的な知識解説を提供することに重点を置き、大規模モデルのための包括的な技術フレームワークとロードマップを提示することを目指しています。権威があり体系的な内容となっています。

本書は、中国人民大学の趙欣教授と温継栄教授を筆頭に、博士課程の李俊怡氏と周坤氏、修士課程の唐天一氏が編集に参加し、教職員と学生が共同で執筆したものです。著者チームは大規模モデルの分野で豊富な研究開発経験を有し、文蘭や玉蘭といった大規模モデルの開発を主導してきました。

01

この本を支える強力な著者チーム

この本を制作したチームは一体どれほど素晴らしいのでしょうか？詳しく見​​てみましょう。

趙欣は、中国人民大学高陵人工知能学院教授であり、北京大学で博士号を取得しています。中国国家自然科学基金の優秀若手科学者基金の受賞者でもあります。研究分野は大規模モデルと自然言語処理です。英語のレビュー論文「大規模言語モデルの概説」を執筆・構成しました。

Li Junyiはシンガポール国立大学の研究者であり、中国人民大学とカナダのモントリオール大学で博士号を取得しています。彼の研究分野は、大規模モデルと自然言語処理です。

周坤は中国人民大学で博士号を取得しており、Microsoft Research、Baidu、ByteDanceから奨学金を受けています。彼の研究は、マルチモーダル理解と自然言語処理に焦点を当てています。

唐天一は、アリババのTongyi Qianwenチームのシニアアルゴリズムエンジニアです。国家奨学金とACM-ICPCシルバーメダルを受賞しています。彼の研究は、大規模モデルと自然言語処理に重点を置いています。

温吉栄氏は、中国人民大学高陵人工知能学院の執行学長であり、国家レベルのハイレベル人材の専門家です。以前はマイクロソフトアジア研究所の上級研究員兼インターネット検索・マイニンググループの責任者を務めていました。長年にわたり人工知能とビッグデータ分野の研究に従事し、近年は特に大規模モデル関連の研究に重点を置いています。

この本は3人の学者からも推薦を受けました。

本書の編者は長年にわたり大型模型技術に関する研究に従事し、「文蘭」や「玉蘭」といった一連の大型模型の開発を組織し、深い科学的研究と実践経験を有しています。本書の内容は、編者の大型模型開発における直接的な経験を深く融合し、大型模型技術の様々な側面を包括的に網羅しています。大型模型技術を深く学ぶための貴重な参考書として、ぜひご一読ください。

北京人工知能アカデミー学術諮問委員会委員長、米国工学アカデミー外国人会員、張宏江氏。

本書の執筆チームは、2023年3月に大規模言語モデルに関する初の学術レビュー論文「大規模言語モデルの概説」を出版し、大きな注目を集めました。この著名なレビュー論文を基に、執筆チームは大規模言語モデルに関する豊富な研究経験を注ぎ込み、綿密に構成・執筆を行いました。本書は、大規模言語モデルに関する貴重な参考資料と学習価値を提供し、強く推奨される傑作です。

E・ウェイナン、北京大学教授、中国科学院院士

急速に台頭する人工知能技術である大規模モデリングは、将来の技術開発の動向に大きな影響を与えています。わが国において大規模モデリング技術の学習と普及を促進するためには、体系的な入門書を提供する専門的な中国語技術書が切実に求められています。本書は、事前学習、微調整、アライメント、ヒントエンジニアリングといった多くの基礎的なトピックを網羅し、大規模モデリング技術を綿密にまとめたガイドブックです。関連分野の専門家にとって、権威ある体系的な学習参考資料を提供しており、強くお勧めします。

張亜琴（清華大学知能科学科教授、中国工程院外国人院員）

02

大規模言語モデルの初心者に必須

1. 大規模言語モデルの包括的解釈

この本は、事前トレーニングから微調整とアライメント、適用手法から評価と適用まで、大規模言語モデルのトレーニングと使用のほぼすべてのプロセスを網羅しており、読者が大規模言語モデルのコアテクノロジーを完全に習得するのに役立ちます。

2. 豊富なサポートコードとツール

本書はコアアルゴリズム技術を基盤とし、多数の実用的なコード例と解説を収録しています。また、関連開発ツールキットであるLLMBoxとYuLan大規模モデルも付属しており、読者が関連技術をより深く理解するのに役立ちます。

3. 分かりやすく、専門的で権威がある

この本は理論の深さと快適な読書体験のバランスが取れており、明確な言葉と豊富なイラストを使用して技術的な障壁を下げ、初心者と専門家の両方が簡単に始められるようにしています。

美しいスクリーンショット:

2019年以降の主要な学術機関による大規模言語モデルの開発をレビューしたところ、過去3年間で大規模モデルが爆発的に成長したことがわかります。

LLaMAモデルをベースに、様々な派生モデルを開発してきました。事前学習、命令の微調整、その他の手法により、LLaMAは様々な言語や多様な分野に適応可能です。

03

大規模言語モデルの学習：理論から実践へ

大規模モデルでは、実践的な練習が重要です。本書は、学生が理論を学びながら実践できるようサポートします。

この本では、写真、表、数式、例、コード、実験結果など、さまざまなプレゼンテーション形式を使用して、大規模モデルのさまざまな手法を読者にシンプルでわかりやすい方法で説明しています。

この本では、さまざまな事前トレーニング済みのデータ フィルタリング手法をまとめ、具体的なフィルタリング方法を「提案」の形で読者に提示しています。

本書は、付属の開発ツールキット LLMBox と YuLan に基づいて、完全な命令の微調整コードを示しており、読者がエンドツーエンドの実践を始めることができます。

04

この本のハイライトをまとめると

本書は、著者チームの長年にわたる大型模型技術の蓄積と実践経験を凝縮したものです。文章の質が非常に高く、印刷も美しく、ぜひ一読をお勧めします。

最後に、読者の皆様の継続的なご支援への感謝の気持ちとして、Datawhaleは「The Big Language Model」を3冊プレゼントいたします。いつものように、コメントへの「いいね！」が最も多かった上位3名の読者に、書籍を直接プレゼントいたします。