データホエール

Datawhaleのヒント

編集者: Machine Heart、Datawhale

AI分野の古典的な研究論文のリスト

生成AIモデルがAI開発の新たな波を巻き起こす中、ますます多くの業界が技術革新を経験しています。多くの業界関係者や基礎科学研究者は、AI分野の発展状況を迅速に把握し、必要な基礎知識を習得する必要があります。

AIへの移行過程において、「論文」の調査は絶対に欠かせない部分です。

3Dゲームの父であり、id Softwareの共同創設者でもある伝説のプログラマー、ジョン・カーマックが2020年にAGIに転向したいと考えたとき、OpenAIの元共同創設者で主任科学者のイリヤ・スツケヴァー氏が彼にAI分野の研究論文のリストを書いた。

このリストは50万人以上が閲覧しており、ネットユーザーからは、イリヤはこの内容をマスターすれば現在の（人工知能）分野の重要な側面の90%を理解できると考えているとのコメントが寄せられています。中には、これがOpenAIのオンボーディングトレーニングの一部ではないかと示唆する声さえ上がっています。

一方、Taro Langner という寄稿者もリストに追加し、Yann LeCun などの重要な AI 研究者の研究や、U-Net、YOLO 物体検出、GAN、WaveNet、Word2Vec などの技術に関する論文など、注目すべき追加事項を指摘しました。

Datawahle は、論文の完全なリストを次のようにまとめています。

論文の全リスト

畳み込みニューラルネットワーク:

• 「ディープニューラルネットワークによるImageNet分類」

  論文リンク: https://proceedings.neurips.c..._files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

• 《CS231n 視覚認識のための畳み込みニューラルネットワーク》

  論文リンク: https://cs231n.github.io/

• 「画像認識のための深層残差学習」

  論文リンク: https://arxiv.org/pdf/1512.03385

• 「深層残差ネットワークにおける恒等マッピング」

  論文リンク: https://arxiv.org/pdf/1603.05027

• 「膨張畳み込みによるマルチスケールコンテキスト集約」

  論文リンク: https://arxiv.org/pdf/1511.07122

リカレントニューラルネットワーク:

• 「リカレントニューラルネットワークの不合理な有効性」

  論文リンク: https://karpathy.github.io/20...

• 《LSTMネットワークを理解する》

  論文リンク: https://colah.github.io/posts...

• 《リカレントニューラルネットワーク正則化》

  論文リンク: https://arxiv.org/pdf/1409.2329

• ポインターネットワーク

  論文リンク: https://arxiv.org/pdf/1506.03134

• 《リレーショナル・リカレント・ニューラルネットワーク》

  論文リンク: https://arxiv.org/pdf/1806.01822

• ニューラルチューリングマシン

  論文リンク: https://arxiv.org/pdf/1410.5401

• 「Deep Speech 2: 英語と中国語のエンドツーエンド音声認識」

  論文リンク: https://arxiv.org/pdf/1512.02595

• 「順序が重要: セットのシーケンスからシーケンスへ」

  論文リンク: https://arxiv.org/pdf/1511.06391

• 「アラインメントと翻訳を共同学習するニューラル機械翻訳」

  論文リンク: https://arxiv.org/pdf/1409.0473

• 「関係推論のためのシンプルなニューラルネットワークモジュール」

  論文リンク: https://arxiv.org/pdf/1706.01427

トランスフォーマー:

• 「必要なのは注目だけ」

  論文リンク: https://arxiv.org/pdf/1706.03762

• 「注釈付きトランスフォーマー」

  論文リンク: https://nlp.seas.harvard.edu/...

• 「ニューラル言語モデルのスケーリング則」

  論文リンク: https://arxiv.org/pdf/2001.08361

情報理論:

• 「複雑力学の第一法則」

  論文リンク: https://scottaaronson.blog/?p...

• 「重みの記述長を最小限に抑えてニューラルネットワークをシンプルに保つ」

  論文リンク: https://www.cs.toronto.edu/~h...

• 「最小記述長原則のチュートリアル入門」

  論文リンク: https://arxiv.org/pdf/math/04...

• 「コルモゴロフ複雑性とアルゴリズム的ランダム性」

  論文リンク: https://www.lirmm.fr/~ashen/k...

• 「閉鎖系における複雑性の増減を定量化する：コーヒー・オートマトン」

  論文リンク: https://arxiv.org/pdf/1405.6903

その他のアイテム:

• 「GPipe: パイプライン並列処理を用いた巨大ニューラルネットワークの効率的なトレーニング」

  論文リンク: https://arxiv.org/pdf/1811.06965

• 「変分非可逆オートエンコーダ」

  論文リンク: https://arxiv.org/pdf/1611.02731

• 《神経量子化学》

  論文リンク: https://arxiv.org/pdf/1704.01212

• 「機械の超知能」

  論文リンク: https://www.vetta.org/documen..._Super_Intelligence.pdf

メタ学習:

• 「メモリ拡張ニューラルネットワークによるメタ学習」

  論文リンク: https://proceedings.mlr.press...

• 「少数ショット学習のためのプロトタイプネットワーク」

  論文リンク: https://arxiv.org/abs/1703.05175

• 「深層ネットワークの高速適応のためのモデル非依存メタ学習」

  論文リンク: https://proceedings.mlr.press...

強化学習:

• 「確率的プログラム誘導による人間レベルの概念学習」

  論文リンク: https://amygdala.psychdept.ar...

• 「強化学習によるニューラルアーキテクチャ探索」

  論文リンク: https://arxiv.org/pdf/1611.01578

• 「シンプルなニューラルアテンティブメタ学習器」

  論文リンク: https://arxiv.org/pdf/1707.03141

セルフプレイ：

• 「後知恵体験リプレイ」

  論文リンク: https://arxiv.org/abs/1707.01495

• 「深層強化学習による連続制御」

  論文リンク: https://arxiv.org/abs/1509.02971

• 「ダイナミクスのランダム化によるロボット制御のシミュレーションから現実への転送」

  論文リンク: https://arxiv.org/abs/1710.06537

• 「メタ学習共有階層」

  論文リンク: https://arxiv.org/abs/1710.09767

• 「時間差学習とTD-Gammon、1995年」

  論文リンク: https://www.csd.uwo.ca/~xling...

• 「カール・シムズ - 進化した仮想生物、進化シミュレーション、1994年」

  論文リンク: https://dl.acm.org/doi/10.114...

• 「マルチエージェント競争による複雑性の創発」

  論文リンク: https://arxiv.org/abs/1710.03748

• 「人間の好みからの深層強化学習」

  論文リンク: https://arxiv.org/abs/1706.03741

追加情報：

• CNN の実用化に先駆的な貢献をした Yann LeCun 氏らの研究「文書認識への勾配ベース学習の適用」はその好例です。

論文リンク: https://www.cs.princeton.edu/...

• 画像生成の分野を長らく支配してきた生成的敵対ネットワーク (GAN) に関する研究を行った Ian Goodfellow 氏らによる「生成的敵対ネットワーク」は、その好例です。

  論文リンク: https://arxiv.org/pdf/1406.2661

• AlphaFold に関する強化学習研究で「深層強化学習による人間レベルの制御」と「CASP13 における AlphaFold」でノーベル賞を受賞した Demis Hassabis 氏らの研究が注目されました。

  論文リンク: https://storage.googleapis.co...

参考コンテンツ:

https://tensorlabbet.com/2024...

https://www.reddit.com/r/Mach..._the_lost_reading_items_of_ilya_sutskevers_ai/

いいね！ （3件のいいね！）↓