ByteDanceの大規模モデルチームに新たな主要メンバーが加わった。

SmartEmergenceによると、Google DeepMindの研究担当副社長でありGoogleフェローでもあるWu Yonghui氏がGoogleを退社し、ByteSeedに加わったという。

ウー・ヨンフイは南京大学卒業生で、カリフォルニア大学リバーサイド校で博士号を取得しています。2008年にGoogleに入社し、以来17年近く同社に在籍しています。

彼はGoogleのニューラル機械翻訳プロジェクトとRank Brainプロジェクトの主要貢献者の一人です。2023年のGoogle BrainとDeepMindの合併後、彼はGoogleの大規模モデルGeminiの開発にも参加しました。Gemini 1.5の論文によると、彼はコアコントリビューターの一人でした。

これは彼がジェミニ計画に大きな影響力を持っていることを意味します。

Google Scholarによると、呉永輝の論文は5万回以上引用されており、h指数は72に達している。

Google L10、Gemini コア貢献者

呉永輝の経歴を詳しく見てみましょう。

呉永輝は2001年に南京大学を卒業し、コンピュータサイエンスの学士号を取得し、卒業後マイクロソフトに入社しました。

マイクロソフトで 3 年間勤務した後、彼は学校に戻り、カリフォルニア大学リバーサイド校でさらに勉強し、4 年間でコンピューター サイエンスの博士号と統計学の修士号を取得しました。

ウー・ヨンフイ氏は博士号を取得後、Google に入社し、そこで 17 年近く勤務しました。

Google Brain 在籍中、Wu Yonghui の研究は音声を中心に行われ、主な研究分野には ASR (自動音声認識)、NMT (ニューラル機械翻訳)、TTS (音声合成)、言語モデル、ソートなどがありました。

彼の最も引用された論文はこの時期に発表されました。

この論文では、IlyaのSeq2SeqフレームワークとアテンションメカニズムをベースとしたGoogleのニューラル機械翻訳システムGNMTが提案されています。研究者たちは、当時のニューラル機械翻訳における主要な問題点、すなわち高いトレーニングコストと推論コスト、希少単語の扱いの難しさといった問題を解決しました。

当時、GNMT は以前のフレーズ翻訳システムと比較して翻訳エラーを 60% 以上削減しました。

2023年、ChatGPTによって引き起こされた大規模なモデル化の嵐に対処するため、Googleの2つのトップAIチームであるGoogle BrainとDeepMindが統合されました。その後、Wu YonghuiがGeminiの開発に加わりました。

LinkedIn によれば、この期間中に Wu Yonghui 氏は Google の研究担当副社長および Google Fellow に昇進した。

「Google Fellow」という用語は、Google の職位階層におけるレベル 10 に相当します。

これは一般的にGoogleの最高経営層とされています。公開情報によると、このL11の上には、ジェフ・ディーンとサンジェイ・ゲマワットの2人しかいません。前者はGoogleのチーフサイエンティストであり、後者は米国工学アカデミーと米国芸術科学アカデミー（AAAS）の会員です。両名とも、Googleの技術革新と発展に計り知れない貢献をしたとされています。

具体的には、Gemini の関連論文では、Wu Yonghui 氏の名前が「Gemini アプリの総合技術リーダー」の欄に記載されています。

Gemini 1.5 では、彼らを「コア貢献者」として分類します。

報道によると、呉永輝氏はバイトダンス入社後、大型モデルチームSeedの基礎研究責任者を務め、長期的な研究と探求に注力し、CEOの梁如波氏に直接報告することになる。

特筆すべきは、今年 1 月に ByteDance が Seed Edge AGI 長期研究プログラムを立ち上げ、「事前トレーニングや大規模モデルの反復よりも長期的かつより根本的な最先端の AGI 研究を実施する」という中核目標を提唱したことだ。

Seed Edge の 5 つの主な研究分野は次のとおりです。

• 次世代推論: モデルの推論機能を向上させるためのより効率的で一般的な方法を模索します。
• 次世代知覚：表現を生成・理解し、現実世界を表現・圧縮し、「世界モデル」を構築するための統一的な方法を見つける。
• ハードウェアとソフトウェアを統合したモデル設計: ハードウェアとソフトウェアの統合から始めて、Transformer + GPU を超えたモデル設計を検討し、次世代ハードウェアの機能を活用します。
• 次世代パラダイム: バックプロパゲーション、Transformer アーキテクチャ、事前トレーニング + アライメントを超えた、より効率的なモデル構造と学習方法を模索します。
• 次世代のスケーリングの方向性: 事前トレーニングと推論段階でのスケーリング法則に加えて、マルチエージェントやテスト時トレーニング (モデルパラメータを動的に調整するためのテスト時のトレーニング) などの方向性を検討します。

2月13日に開催されたByteDanceの全員会議で、梁如波氏はAI事業を例に挙げ、今年最も重要な3つのことは、知能の上限の探求、新しいUIインタラクションの探求、規模の効果の強化であると述べた。

AIはマラソンのようなもので、私たちはまだほんの始まりの段階、最初の500メートルを走ったばかりです。チームには、野心と忍耐力を兼ね備えたマインドセットを持ってほしいと思っています。

おそらく呉永輝氏の加入は、こうした野心と忍耐の最新の具体的な表明なのだろう。

- 以上-