ちょうど今、ハーバード大学の中国人研究者ジェフリー・ワン氏がOpenAIへの参加を正式に発表した。

私は基礎チームの研究者として、モデルの事前トレーニングと推論を担当します。

発表後、OpenAIの共同創設者兼社長であるグレッグ・ブロックマン氏がチームを率いてチームを歓迎した。

これに先立ち、ジェフリー・ワン氏はハーバード大学で機械学習の教育と研究を行っていました。

彼はハーバード大学からOpenAIに入社し、高校時代にアメリカの「ジュニアノーベル賞」の最終候補に選ばれました。

ジェフリー・ワンさんはカリフォルニアの高校を卒業後、2021年にハーバード大学に入学し、数学とコンピューターサイエンスを専攻し、英語を副専攻しました。

彼は今年 9 月から OpenAI で働いており、おそらくここ数か月間の経験が、最終的に OpenAI に参加する決断に至ったきっかけとなったのでしょう。

実際、ジェフリー・ワンはハーバード大学在学中から、機械学習の教育と研究を同時に始めていました。

昨年1月から、コンピュータサイエンスと統計学科の学生61人に講義を行っている。

同時に、彼は工学応用科学部の研究者としても活動しており、機械学習モデルの堅牢性とプライバシーに重点を置いて研究しています。

彼が共同筆頭著者を務めた2つの論文は、それぞれNeurIPS SoLar（2023）およびICML（2024）ワークショップでも発表されました。

最初の論文のタイトルは「MoPe: 言語モデルに対するモデル摂動ベースのプライバシー攻撃」です。

簡単に言えば、この論文では、MoPe (Model Perturbations) と呼ばれる新しい検出ツールを提案しています。このツールは、特定のテキストが過大な言語モデルのトレーニングに使用されているかどうかを判断するのに役立ちます。

このツールは、モデルパラメータに摂動（ノイズ）を加え、それらの摂動がモデルの予測に与える影響を観察することで機能します。研究の結果、MoPeは従来の手法（パラメータ範囲が70Mから12B）よりも効果的であり、モデルパラメータの変化が予測に与える影響をより正確にシミュレートできることが分かっています。

この研究では、単一のトレーニングポイントの損失値を見るだけでは不十分であることも明らかになりました。なぜなら、通常の損失値を持つポイントでも、MoPeによって正常に回復できる場合があるからです。これは、モデルが情報を記憶しているかどうかを判断するために損失値に依存していた従来の研究に疑問を投げかけています。

2 番目の論文「バイアスはバイアスを生む: バイアスのある埋め込みが拡散モデルに与える影響」では、バイアスのある埋め込みが拡散モデルに与える影響について考察します。

この論文では、埋め込み空間のバイアスが拡散モデルの公平性にどのように影響するかを調査します。

著者らは、バランスの取れた画像分布を生成するには偏りのないテキスト埋め込みが必要であると提案し、偏りのあるマルチモーダル埋め込み (CLIP など) は、テキスト キューによる画像の配置を評価する際にスコアを下げ、結果として不公平な動作を意図せず奨励してしまうことを発見しました。

もちろん、この論文では評価における偏りを研究するための理論的枠組みも提案し、偏りを軽減する方法も提案しています。

さらに、ジェフリー・ワンは高校時代に、 「3Dゲノム構造の変化を検出するための統計的手法の開発」で国家賞を受賞した。

2021年、彼は米国で最も古く、最も権威のある高校生研究コンテストであるRegeneron Science Talent Search (STS)の最終候補（上位40名）に選ばれ、米国の「ジュニアノーベル賞」とも呼ばれています。

さらに、上位 40 名のプレイヤーにはそれぞれ最低 25,000 ドルの賞金が授与されます。

この研究は、彼とアビジット・チャクラボルティ博士との2年間の共同研究の成果であり、その間、彼は週末や休みの時間をチャクラボルティ博士の研究室での観察と研究に費やした。

彼らは染色体中のDNA構造を研究しました。がんを含む多くの発達過程や疾患過程は、DNAの三次元配列の変化によって引き起こされるため、ジェフリーは異なる細胞株のゲノム全体におけるDNA配列の重要な差異を特定し、ランク付けするためのコンピューターアプリケーションを開発しました。

このプログラムは、DNA の 3 次元形状のみに基づいて重要な遺伝子と経路を簡単に見つけることができます。

その後、彼はこのモデルを公開し（現在では 50 以上の研究室で使用されています）、より多くの人がこのモデルを使用して新しい経路、制御メカニズム、がんの標的を発見できるようにしました。

彼は作家でもある

ちなみに、開発に対する明らかな情熱の他に、ジェフリー・ワン氏は、そこそこ成功した作家でもあります。

2019年に彼は、2010年に創刊され、世界中の新進作家の詩、エッセイ、アートを紹介するニューヨークを拠点とする雑誌「The Adroit Journal」と契約したが、その作品の1％未満しか出版されていない。

文学と芸術に没頭した後、彼はすぐにPBHネットワークと長編歴史作家として契約を結び、彼らの共著は25万回以上の閲覧数を獲得しました。

彼は現在も、米国の有名なオンラインQ&AプラットフォームであるQuoraで歴史、科学、統計などについての記事を投稿し続けており、その投稿の閲覧数は累計600万回を超えている。

まあ、学問と武術の両方の能力が再び活性化し始めています（doge）。

しかし、一部のネットユーザーは、彼がOpenAIコミュニティに参加するために「学校を中退した」と冗談を言う機会を得た。

注目すべきは、OpenAIでは同様のニュースが珍しくないことです。つい最近、高校を中退したスウェーデン人男性がSoraチームに加わり、AGIを専門に採用されました。

OpenAIのCEOアルトマン氏でさえ、19歳でスタンフォード大学のコンピュータサイエンスプログラムを中退し、最初の会社を設立した。

...

ほとんど企業文化の一部になっています。（実際はそうではありませんが）