データホエール

データホエールの共有

出典: Synced、編集者: Datawhale

私たちは皆人間なのに、なぜアメリカの博士号取得者がトップクラスの AI カンファレンスでそれぞれ 10 本の論文を発表し、そのうち 5 本が第一著者となっているのでしょうか?

最近、ヨーロッパの博士号取得者が提起したある疑問が機械学習コミュニティで話題になっています。

ヨーロッパの博士号取得者の疑問が機械学習コミュニティで話題になっている。

彼は現在、ヨーロッパの大学でAI/機械学習/CVを専門とする博士号取得を目指しているという。

私の博士課程の研究は4年間続きます。

1年目は主に、研究を実際に行う方法を学び、学術運営の仕組み全体を理解することに重点を置きます。

翌年、私はトップカンファレンスであるCVPRで共著者として初めての論文を発表しました。

3年目までに、研究プロジェクトの管理、資金の申請方法の理解、資金運用の仕組みやそのさまざまな詳細を習得できるようになりました。

この時点で、彼の履歴書にさらに 2 つの論文が追加されました。1 つはジャーナル論文、もう 1 つは会議論文で、どちらも第一著者として発表されました。

この間、彼は業界の業務に深く関わり、自身の研究室と協力する企業向けに、AI、システムアーキテクチャ、バックエンド、クラウドコンピューティング、デプロイメントに関連する製品レベルのコードを大量に作成しました。

私はかなり成功した博士号取得者だと考えられるべきでしょうか?

しかし、同じような経歴を持つアメリカ人の博士たちの履歴書を見たとき、彼は完全に驚愕しました。

彼らはそれぞれトップレベルのカンファレンスで 10 本近くの論文を発表しており、そのすべてが CVPR、ICML、ICLR、NeurIPS レベルのものであり、そのうち 5 本は第一著者の論文です。

ヨーロッパの博士は、非常にショックを受けたと述べた。

彼らはどうやってこれほど多くの仕事をこなし、毎年一流誌に3本の論文を発表できるのでしょうか？睡眠は必要ないのでしょうか？

博士は「この人たちが私より賢いとは思わない」と述べた。

新しいアイデアが浮かんだときは、誰かがすでにそれを研究しているかどうかを確認します。

スタンフォード大学やディープマインド出身の博士課程の学生が、わずか 1 か月前に同様の研究を発表していたことによく気づきます。これは、彼のアイデアが最先端であり、時代遅れではないことを証明しています。

しかし、これらの論文の概念を深く理解するには努力が必要であり、必要なリソースをすべて取得するプロセスには多くの時間がかかります。これは、2〜3 か月のプロジェクトで達成できるものではありません。

最後に、博士課程の学生は、ずっと頭に浮かんでいた疑問を提起した。

本当に不思議です。彼らは一体どうやってこんなに効率的に研究を進めているのでしょうか？これほど迅速かつ高収益で高品質な研究を可能にする特別な研究手法やリソースを持っているのでしょうか？

ネットユーザーからの様々な反応に対し、彼は、人それぞれ状況が異なるため、自分を他人と比較することを好む人間ではないと明言した。

しかし、研究経験が3～4年しかない人間が、たった1年で質の高い研究と革新的な成果を次々と生み出すことは、人間的に考えて不可能です！まるで何も知らされていないかのような感覚でした。

人々の間にこのような大きな違いが生じる要因は何でしょうか?

彼はその理由を明かした。休みなく週7日、1日10時間以上働いているのだ。

アメリカの大学には受験生がたくさんいるからだ、という体験談を語る人もいます。

まず、アメリカの学界では出版と研究に関して非常に競争的な文化があります。

著者は、以前、米国のトップクラスのコンピュータサイエンス プログラムの 1 つの研究室で学部生として働いており、大学院生の仕事のペースを個人的に目撃したと述べています。

週7日、1日10時間以上、年間365日勤務。

ある晩、彼は午後7時に偶然研究室に行ってみると、大学院生の同級生がまだそこにいた。

彼がどれくらい遅くまで働くのか気になって、投稿者は研究室で彼を待っていたのですが、結局彼が帰宅したのは午前 1 時でした。

もちろん、これはラボでは必須の要件ではありません。誰もがプロジェクト リーダーと自分の作業範囲について合意することができます。

しかし、優秀な人材獲得競争が熾烈な米国では、誰もが大きなプレッシャーを感じており、影響を受けない人はいない。

第二に、アメリカの研究所の大きな利点は、世界中から優秀な人材を引きつけることです。

元の投稿者は、清華大学を具体的に例として挙げ、このトップレベルのプログラムの清華大学の学生の合格率はわずか0.1％であると報告されていると指摘しました…

中国やその他の国から優秀な人材を集め、1日10時間働かせることができれば、驚くべき成果が出ないはずがありません。

つまり、世界トップクラスの才能が集中的な労働環境に集まり、その結果、アメリカの大学院生の驚くべき学術成果が生み出されたのです。

NeurIPS 2022に採択された論文の著者データに基づく

実際、誰かが彼の発言をすぐに確認した。

彼の研究室では週60時間働くのは当たり前だと語った。

緊急時には、週当たりの労働時間が 70 時間まで増加することもあります。

ある時、数人の学部生が夜11時に研究室にやって来ました。私たち大学院生がまだ真面目に研究しているのを見て、皆驚いていました。でも正直なところ、私たちにとっては特に珍しいことではありませんでした。

別の博士は、1日10時間以上、週7日間休みなく働くことは非常に一般的であり、多くの博士がそうであると述べました。

しかし、彼は研究チームの規模がこの状況の一因になっているとも指摘した。

大学時代、1本の論文を完成させるのに1年、2本目の論文を完成させるのに6ヶ月かかりました。著者は私、指導教員、そして副指導教員でした。

しかし最近、 Google でパートタイムのインターンシップをしていたとき、6 か月で 3 つの論文を書くことが求められていました...

そこにはかなりの規模の研究チームがあるので、そのような要求はおそらく普通のことなのでしょう。

簡単に言うと、主な理由は 2 つあります。

1. 彼らは信じられないほど抜け目がない。

2. 世界のトップクラスの学生はヨーロッパではなくアメリカに留学します。

さらに、このような状況は AI 分野に限ったことではなく、ほぼすべての STEM (科学、技術、工学、数学) 分野に当てはまります。

物理学の博士号を取得しようとしていたとき、自分も同じ状況だったという人もいます。つまり、人生には勉強すること以外に何もなかったのです。

この影響は実際にはかなり深刻で、多くの博士課程の学生は精神状態が良くなく、この現象を論じた記事も数多くあります。

GPU とリソースが不足することはなく、大手企業や業界リーダーの支援を受けています。

GPU が豊富 vs GPU が乏しい

さらに、投稿者の誰かが、他の誰も言及しなかった重要な要素はリソースであると指摘しました。

多くの人と同じように、私もGPUが苦手な人間です。でも、トップクラスの博士課程で利用できるリソースは桁違いです！

彼らは極めて高価な GPU クラスターを所有しており、1000 億を超えるパラメータを持つ大規模なモデルであっても、ほぼあらゆるモデルを迅速にトレーニングしたり微調整したりすることができます。

このリソースの利点により、反復の速度が大幅に向上し、他の人には想像もできないような研究を実施できるようになります。

実際、米国のさまざまな大学間でも、GPU にアクセスするために利用できるリソースは大きく異なります。

彼は、博士課程における最大のボトルネックはコンピューティングリソースだったと述べています。より多くの高性能GPUが利用できれば、計算時間が大幅に短縮され、研究の進捗もはるかに速くなるでしょう。

プリンストン大学やハーバード大学のようなトップクラスの GPU 大学でも、1 台あたり少なくとも 300 ～ 400 ドルの H100 GPU を保有していますが、スタンフォード大学の Fei-Fei Li 氏の自然言語処理 (NLP) グループでも A100 GPU は 64 台しかありません。

これほど大きな違いがあるため、結果が達成されるスピードも当然まったく異なります。

この記事は業界の専門家によって冗談交じりに「PR活動のモデル」と呼ばれました。

このような状況では、誰もがそれが誰の仕事であるか、そしてなぜその仕事が重要であるかを知っています。

正直に言って、レビュー担当者はこれによって影響を受けないと言えますか?

このような状況では、彼らは過度に厳しい批判をすることに躊躇するかもしれません。

つまり、これらのトップレベルの教育機関は豊富なリソースを保有しており、当然のことながら最も野心的で優秀な学生を惹きつけ、さまざまなプロジェクトを迅速に推進することが可能になります。

これらの教育機関は、できるだけ多くの影響力の大きい論文をできるだけ短期間で出版することを優先する、学生と教員の世代を超えた文化を育んできました。

それは実は生存者バイアスなのです。

元の投稿者は、米国のトップクラスの機械学習プロジェクトに焦点を当てており、その成果は当然ながら世界レベルです。

しかし、一般の大学の博士課程の学生の状況を調べてみると、トップレベルの会議で第一著者として論文を発表することは一般的ではないことがわかります。

誰かが博士に、彼が観察したサンプルには統計的なランダム性も代表性もなかったと告げた。

偶然目にするアメリカの博士課程の学生の論文や履歴書は、ほぼ間違いなく最高レベルの学術的業績を表わしています。

彼らの成功は、好ましい研究環境、優れた個人的能力、ある程度の幸運、厳しい競争的選考、その他の要因から生まれるのかもしれません。

これは、ソーシャル メディアが不安やうつ病を引き起こすのと似ています。

ソーシャル メディア プラットフォームでは、人々は自分自身をより良く見せようとする傾向があり、その結果、フィルターを通され、偏りのある理想化されたサンプルと自分自身を比較してしまうことがよくあります。

元の投稿者の説明は多少誇張されているものの、確かに、量と時間の投資を増やすだけでは品質の向上にはつながらない重要なポイントが存在すると指摘する人もいます。

参考文献:

https://www.reddit.com/r/Mach..._why_do_phd_students_in_the_us_seem_like/

いいね！ （3件のいいね！）↓