データホエール

Datawhaleのヒント

共有者: Xue Fuzhao、ソース: Synced

Gemini 2.0 のリリースの数日前、新たに任命された中国人の博士が、Google DeepMind にシニア研究科学者として入社し、Gemini の事前トレーニングとマルチモーダル研究に注力することを発表しました。

薛富昭は、シンガポール国立大学で楊有教授の指導の下、博士号を取得しました。2021年には、南洋理工大学で荘永聰教授と孫愛新教授の指導の下、GPA5.0の成績で修士号を取得しました。

シンガポール国立大学での博士課程在学中、彼は Google Brain で Google の優秀な科学者である Yi Tay 氏と Mostafa Dehghani 氏とともに、また NVIDIA GEAR で Jim Fan 氏と Yuke Zhu 氏とともにインターンシップを行いました。

3年間の博士課程研究から得た7つの洞察

1. エンジニアリング能力は研究の基盤である

エンジニアリングスキルは一般的に重要ですが、学術界では特に過小評価されているようです。例えば、数年前の私の経験では、AI博士課程の入学試験でプログラミング面接が行われることはほとんどありませんでした。これは驚くべきことです。なぜなら、AIのアイデアを実践に移すには、実装が重要なステップだからです。研究コンセプトについて熱心に議論する人は多いものの、それを実際の応用に落とし込むことができていないのです。

強力なエンジニアリング能力は、大規模プロジェクトへの貢献（大規模な言語モデルコミュニティに大きな影響を与えるための一般的な方法）を可能にするだけでなく、革新的な研究アイデアの創出にも貢献します。Scaling Law、MoE、GQA、Flash Attentionといった最近の進歩は、基盤となる技術とコミュニティが直面する課題への深い理解から生まれるものが多いのです。

2. 優れた才能を持つ人々と協力することは、研究の質を高めるのに非常に役立ちます。

「研究センス」とは何でしょうか？私の考えでは、それは有望な研究の方向性を他の人よりも早く見極める能力です。では、どうすればいいのでしょうか？彼らに聞いてみましょう！強化学習を行う前に大規模言語モデルで教師あり学習を行うのと同じように、私たち自身の「研究センス」を育むには、指導とメンターシップが必要です。

博士課程の初期に、GoogleでYi Tay氏とMostafa Dehghani氏と共同研究する機会に恵まれ、私のキャリアを大きく左右しました。このカルチャーショックは、私にとって非常に示唆に富むものでした。この経験から、Jim Fan氏、Yuke Zhu氏、Scott Reed氏、Yao Fu氏といった優れた研究者との共同研究の機会を積極的に模索しています。

彼らの研究の好みを真に理解するには、次の 2 つの重要な点について合意する必要があります。

• この質問はなぜ技術的に重要なのでしょうか?
• この人はどのようにしてそのようなスキルと考え方を身につけたのでしょうか?

興味深いことに、リサーチセンスに優れた人は、これらの質問、特に2番目の質問に対して必ずしも明確な答えを持っているわけではありません。だからこそ、こうした人々と密接に協力することで、彼らの日常の習慣、意思決定プロセス、問題解決方法などについて洞察を得ることができると考えています。もちろん、メールやその他の方法で質問することも可能です。

3. 博士課程では、膨大な出版物のリストを追い求めるのではなく、簡潔で洞察力に富んだ 45 分間のプレゼンテーションを行うことに重点を置いてください。

博士号取得を目指す人の多くは、主に2つの理由があります。研究を楽しむことと、良い仕事を見つけることです。就職面接では、「まずまずの」論文発表実績があれば、一次選考を通過するのに十分です。

しかし、面接プロセスにおいて真に重要なのは、論文リストや履歴書だけではありません。通常、研究発表と、（基礎知識やコーディングに加えて）複数回の個別面接が行われます。面接官の人数は様々ですが、中心となる目標は変わりません。それは、魅力的で一貫性のあるプレゼンテーションを行うことです。

このような状況で成功するには、しっかりとした全体的なプレゼンテーションを作成することに重点を置き、洞察力のある観察を定期的に（たとえば 5 分ごとに）取り入れて、聴衆の関心を維持します。

4. 多くの論文を表面的に読むのではなく、少数の重要な論文に焦点を当てて深く理解してください。

私は通常、arXiv の論文の 99% を除外し、影響力のある研究、有名な著者、評判の良い機関の論文のみに焦点を当てます。

（このアプローチには偏りがあることは承知しています。価値ある研究が様々な理由で過小評価される可能性があります。しかし、実際には、このアプローチは非常に効率的であることが多いのです。最良の研究は、最終的には引用、議論、あるいは他者からの推薦を通じて明らかになるものだと私は信じています。）

たまに、注目されないまま素晴らしい論文を見逃してしまうこともあるでしょうが、それよりも重要なのは、論文の山に圧倒されないことです。これらの論文に時間をかけすぎると、特にその分野に不慣れで洞察力が欠如している場合、研究の趣向が極小値に陥ってしまう可能性があります。これを修正するには、かなりの時間と労力が必要になる場合があります。

5. 新しい研究テーマに出会ったとき、研究動向の進化を学ぶために論文を時系列で読むことが重要です。

例えば、MoEとLLMをこの順番で読み、学習することができます。こうすることで、傾向を把握し、要約しやすくなり、異なる分野を結びつける「思考の連鎖」を構築できます。例えば、エキスパートチョイスMoEは、ベースラインMoEのどのような問題を解決しているのか、といったことです。このプロセスは、理解と推論能力を深めるだけでなく、分野の現状を超越し、一般化することを可能にします。

このより広い視点を持つことで、将来の研究にとって貴重な方向性を発見できるかもしれません。さらに、人は自然と最近の情報の方が記憶に残りやすい傾向があります。研究者にとって、最新の情報を把握することは非常に重要であり、このアプローチは私たちが情報を処理し、記憶する方法とよく一致しています。

6. 共感は、文章力や人前でのスピーチ力を向上させる効果的な方法です。

私の文章にはまだまだ改善の余地があります。しかし、視点を変えることは、特に以下の2つの状況で役立つと感じています。

• 文章を書く際は、読者の立場に立って考えましょう。読者は多様な背景を持ち、限られた時間しか与えられていません。文章を作成する際には、これらの要素を考慮することが重要です。重要なのは、対象読者が理解しやすい文章を書くことです。長すぎず、浅すぎず、深すぎず、簡潔にまとめ、伝えたい最も重要な点に焦点を絞りましょう。読者の制約を考慮し、どのような内容が最も効果的かを検討しましょう。
• 著者の考えや感情を想像しながら読んでみましょう。学術論文やスピーチには膨大な情報量が含まれています。著者は多くの場合、それらを推敲するのに多くの時間を費やしますが、その背後にある生のデータやアイデアは整理されていないことがよくあります。他人の著作を読むときは、情報をただ受け取るのではなく、生の資料をどのように扱うかを考えてみましょう。もし元のデータにアクセスできたとしたら、どのようなストーリーを語りますか？自分の論点を説明するためにどのような図表を描きますか？自分の通常の執筆方法と比較して、著者の思考プロセスのどの部分から学ぶのがより価値があるでしょうか？この練習は、プロジェクト全体を完成させるのに何ヶ月もかかるのを待つのではなく、ライティングとスピーキングの練習を頻繁に行う機会を与えてくれます。

7. 博士号は役立ちますが、大規模言語モデルの研究を行うための必須条件ではありません。

博士号取得を目指すことは、かけがえのない学習経験をもたらします。研究スキルに加え、学術界が優れている点の一つは教育モジュールです。これは産業界の研究室ではほとんど見られないものです。ティーチングアシスタントとして、講義、課題、チュートリアル、試験の設計に携わる機会が得られます。この経験は、研究の実施や若手研究者の指導とは異なり、教授を目指す上で不可欠です。

しかし、最先端の大規模言語モデルに直接貢献することが主な目標であれば、研究室に直接参加する方が効果的かもしれません。企業の研究室では、次のようなメリットがあります。

• より強力なコンピューティング リソースを取得します。
• 経験豊富で、高度なスキルを持ち、自発的な同僚と協力します。
• 大きな影響力を持つ大規模プロジェクトに参加する機会。

博士課程在籍中、私は企業の研究所でインターンシップを経験しましたが、読者の皆さんも、研究エンジニアやAIレジデントリサーチャーとして、そのような研究所に加わることが可能です。これらのポジションは、大規模言語モデル研究者への近道となる可能性があり、非常に実践的で影響力のある環境で、必要なスキルのほとんどを習得する機会を与えてくれると私は考えています。

Google DeepMindやOpenAIといった機関の優秀な研究者の多くが博士号を取得していないことは注目に値します。これは、博士号は有益ではあるものの、大規模言語モデル研究の分野で成功するための唯一の道ではないことを示しています。

参考文献:

https://x.com/xuefz/status/18...

https://xuefuzhao.notion.site...

https://xuefuzhao.notion.site...

いいね！ （3件のいいね！）↓