2012年12月、AIのゴッドファーザー、ジェフリー・ヒントンはハラーズ・カジノへと旅立ちました。彼の目的は、新たに設立したディープラーニング企業DNNresearchを売却することでした。従業員はわずか3名、製品も事業もなく、設立からわずか数ヶ月しか経っていないこの「ダミー会社」が、一体いくらで売れるのか、ヒントンには分かりませんでした。しかし、息子の病気の治療のために多額の資金を調達する必要があり、このオークションは彼にとって絶好の機会でした。

一方、バイドゥ、グーグル、マイクロソフト、ディープマインドの4社の代表者も同地を訪れていたが、彼らの真の目的は、この「最新」の会社を乗っ取るだけでなく、その背後にいる3人の従業員、シントン氏と彼の2人の学生、イリヤ・スツケヴァー氏とアレックス・クリジェフスキー氏を「買収」することだった。

左から右へ：イリヤ・スツケヴェル、ジェフリー・ヒントン、アレックス・クリジェフスキー

オークションのわずか2か月前、ヒントン氏のチームの深層畳み込みニューラルネットワーク「AlexNet」がImageNet画像認識コンテストで優勝しました。AlexNetは、これまで一般的に使用されていた浅い学習手法とは異なり、膨大なデータを分析することで画像分類などの新しいスキルを学習できる脳のようなニューラルネットワークを構築しました。ヒントン氏はこれを「ディープラーニング」と呼びました。驚くべきことに、AlexNetは画像分類のエラー率を9.4%も直接的に削減しました（2011年の優勝者はわずか1.4%の削減にとどまりました）。この技術はコンピュータービジョンを変革するだけでなく、チャットボット、自動運転、インテリジェントレコメンデーション、リアルタイム翻訳、さらには医薬品設計、医療診断、材料開発、天気予報にも影響を与えるでしょう。

ImageNet画像

この成果の計り知れない可能性を感じ取った4社は、合流しました。当時設立2年目のDeepMindは、テクノロジー大手に太刀打ちできず、すぐに入札から撤退しました。価格が上昇し続けると、Microsoftも撤退しました。価格が4400万ドルに達したとき、ヒントン氏は入札を中止しました。彼は学者であり、起業家ではありませんでした。当時の価格は彼の予想をはるかに上回っていました。研究に適した場所を見つけることが最優先事項でした。最終的に、彼は会社をGoogleに売却することを決意し、3人のメンターも同時にGoogleに入社しました。

「これまで、ディープラーニングは象牙の塔に閉じ​​込められた、純粋に学術的な研究分野であり、多くのテクノロジー企業から評価されていませんでした。この秘密オークションは、ディープラーニング業界の変革に向けた正式な号砲を鳴らしたのです」と、ホライゾン・ロボティクスの創業者兼CEOであり、百度のディープラーニングラボの元所長で、百度の代表としてオークションにも参加したユー・カイ氏は述べた。

ニューラルネットワークの初見：AIの権威ミンスキーに挑戦

現在、私たちが経験している人工知能ブームは、ディープラーニング技術の飛躍的な進歩に端を発していると広く信じられています。そして、この過程において、ヒントン氏は間違いなく最も広く認知されている「AIのゴッドファーザー」です。結局のところ、彼のように、個人の研究を核として、時代の技術発展を直接リードできる人物はそう多くありません。ヒントン氏はそれを成し遂げましたが、その過程には60年近くかかりました。60年間の人生において、彼は画期的な業績を成し遂げました。

ヒントンは1947年12月、イギリスのロンドンで天才一家に生まれました。曽祖父のジョージ・ブールは数理論理学の先駆者であり、ブール代数とブール論理学は彼の名にちなんで名付けられました。曽祖父のチャールズ・ヒントンは数学者であるだけでなく、著名なSF作家でもありました。父のハワード・ヒントンは王立協会の会員であり、著名な昆虫学者でした。いとこのジョーン・ヒントンは、中国で初めてグリーンカードを取得した外国人の友人であり、アメリカ合衆国で最初の原子爆弾を開発した女性原子核物理学者の一人でした。

8歳のヒントン

そのような家庭に生まれたヒントンは、生まれつき知的で機転が利く人だったが、独自の考えや意見を持ちすぎていたためか、伝統的な教育制度に適応するのが難しく、学歴は紆余曲折に満ちたものとなった。

学部生時代、ヒントンはケンブリッジ大学キングス・カレッジに入学し、物理学と化学を学びましたが、1ヶ月で中退しました。1年後、建築学の授業に1日出席した後、物理学と生理学に転向することを決意し、再び中退しました。その後、哲学に転向しましたが、これも断念しました。最終的に心理学を選び、1970年に実験心理学の学士号を取得しました。

今日の学問の巨匠にとって、この教育経験は決して輝かしいものではありません。ヒントン氏はかつて「一種の教育的ADHDかもしれない。じっと座って勉強できないんだ」と冗談を言ったほどです。しかし、18歳の若者にとって、あえて挑戦し、失敗することも一種の勇気です。自分に合わない科目を絞り込んだ後、ヒントン氏は最終的に将来の進路を決意しました。それは、機械で人間の脳をシミュレートすることです。その後数十年にわたり、数え切れないほどの疑問に直面しても、彼は決して考えを変えませんでした。

ヒントン氏の脳への興味は高校時代に遡る。「友人が、脳はホログラムのように機能し、ニューラルネットワークを通して記憶の断片を蓄積していると言って、とても興味をそそられました。」しかし当時は、ケンブリッジ大学の教授でさえ、脳についてよく知っている人はいませんでした。研究に迷いを感じたのか、ヒントン氏は卒業後、大工の道を選びました。「木工が好きで、建築家の方が幸せになれるのではないかとよく考えていました。科学研究​​は常に自分を奮い立たせる必要がありました。家族の都合で成功を強いられたこともあり、喜びもありましたが、不安の方が大きかったのです。」

Hinton 氏 (右) と友人の Terry Sejnowski 氏 (左) がネットワーク視覚モデルについて話し合っています。

しかし、本当に優秀な大工に出会った時、私は自分がこの業界に向いていないことをすぐに悟りました。ある石炭会社が、この大工に暗くて湿っぽい地下室のドアの製作を依頼したのです。特殊な環境を考慮して、彼は木材を逆向きに並べ、湿気による膨張による反りを防いでいました。これは私が今まで考えたこともなかった方法です。彼は手鋸を使って木材の塊を四角に切ることもできました。彼と比べて、私ははるかに劣っていました！もしかしたら、学術界に戻って人工知能を研究した方が私には向いているのかもしれません。」数年後、なぜ学術界に戻ったのかと尋ねられた時、ヒントンはこう答えました。

大工として働いていた頃も、ヒントンは脳の研究を決して諦めなかったことは特筆に値します。毎週図書館に通い、脳の働きを研究し、最終的にニューラルネットワークこそが自分の進むべき「道」であると結論づけました。その後、ヒントンは父親が教鞭をとっていた大学で短期間心理学の職に就き、これを足掛かりに1972年にエディンバラ大学の人工知能プログラムに入学しました。彼の指導教官であるクリストファー・ヒギンズは、脳と人工知能という新しい分野に強い関心を持っており、それはヒントンの考えとも一致していました。

しかし、入学直前、クリストファー・ヒギンズが突然彼を「裏切った」。当時、人工ニューラルネットワークを用いてコンピューターで人間の脳の記憶と思考をシミュレートすることは考えられないことだった。ヒントンの指導教官は、ニューラルネットワークは全く役に立たないと考えていた。その理由は、人工知能の創始者の一人であるマービン・リー・ミンスキーがニューラルネットワークに関する著書『パーセプトロン』の中で、その終焉を宣言していたからである。彼は、単層ニューラルネットワークは表現力が限られており、単純な問題しか解けないと指摘した。一方、多層ニューラルネットワークは複雑な問題を解けるかもしれないが、学習が不可能であり、どちらも行き詰まりを招いたのだ。

ミンスキー

クリストファー・ヒギンズは納得したが、ヒントンは揺るぎない信念を貫いた。「他の皆は間違っている。脳は巨大なニューラルネットワークであり、ニューラルネットワークは脳内で機能する以上、実現可能であるに違いない」。単層ニューラルネットワークの限界はミンスキーによって数学的に証明されており、変えることはできなかった。しかし、多層ニューラルネットワークが訓練不可能であるという問題は、本当に解決不可能なのだろうか？ヒントンは新たな道を探そうと決意した。しかし残念ながら、1978年にエディンバラ大学で博士号を取得しても、彼はまだこの問題の解決策を見つけられていなかった。

「指導教官とは週に一度会っていましたが、時には怒鳴り合いの口論に終わることもありました。彼は何度も私に、ニューラルネットワークの研究にこれ以上時間を無駄にするなと言い放ちました。私は『あと6ヶ月だけ時間をください。そうすればニューラルネットワークの有効性を必ず証明します』と言いました。6ヶ月後、私は卒業するまで、全く同じことを繰り返しました」とヒントンは数年後のインタビューで笑いながら語った。

ディープラーニングの台頭

「卒業は失業に等しい」という言葉は、ヒントン氏の経験を鮮やかに物語っています。当時、人工知能（AI）は衰退期にありました。英国当局はAI研究の進捗状況を調査した結果、ほとんどのAI研究が当初の期待を裏切っており、この分野で大きな成果を上げられる成果は出ていないと判断しました。その結果、政府はAIへの投資を削減し始め、AIの一部に過ぎないニューラルネットワークは当然ながら軽視されるようになりました。

そこでヒントン氏は海外に目を向け始め、南カリフォルニアで自分の考えに共感する少数の人々がいることに驚きました。「アメリカの学術界は多様な視点を受け入れてくれます。ここでは、ニューラルネットワークを研究していると言えば、皆耳を傾けてくれるのです。」

ヒントン

1981年、ある学会でカーネギーメロン大学のスコット・ファーマン教授がヒントン氏と出会い、彼を採用するというアイデアを思いつきました。ファーマン氏はニューラルネットワークは「突飛なアイデア」だと考えていましたが、当時進行中の人工知能分野の他の研究も同様に突飛だと考えていました。いずれにせよ、ヒントン氏はついに自らの「型破りな研究」の足掛かりを見つけることができたのです。

入社後、ヒントンはより高性能で高速なコンピュータハードウェアを利用できるようになり、自身のアイデアの多くを実践に移すことができました。 1986年、彼はNature誌に有名な論文「誤差逆伝播法による表現の学習」を発表し、多層ニューラルネットワークの学習方法をついに解明しました。誤差逆伝播法はディープラーニングの基礎と考えられており、この論文は現在では5万5000回以上引用されていますが、当時は大きな反響はありませんでした。「必要な計算リソースとサンプル数を完全に見誤っていました」とヒントンはインタビューで語っています。多層ニューラルネットワークは大量の学習サンプルからパターンを学習し、未知のものについて予測を行うことができますが、当時のコンピュータはこれほど膨大な量のデータを処理することはできず、実用化は困難でした。この分野の他の研究者たちはすぐに、ニューラルネットワーク以外の代替手段に注目するようになりました。
「誤差逆伝播による表現の学習」と題されたオリジナル論文:
https://www.nature.com/articles/323533a0

当時のアメリカの政治情勢を懸念した妻ロスは、カナダへの移住を提案しました。1987年、ヒントンはカーネギーメロン大学を離れ、トロント大学に入学しました。その後まもなく、夫妻は息子と娘を養子に迎えました。1994年、ロスは卵巣癌で悲劇的な死を遂げました。しかし、科学研究の重圧と、6歳未満の子供2人を養育する余裕がなかったため、深い悲しみに浸る余裕はほとんどありませんでした。さらに悪いことに、息子は注意欠陥多動性障害（ADHD）を患っており、ヒントン自身も腰椎疾患を患っていました。

「この仕事を続けられないと感じることが何度もありました。」

しかし、ヒントン氏は諦めませんでした。カナダ政府の資金援助を受け、ニューラルネットワーク研究に取り組んでいる研究者向けに毎年「ニューラルコンピューティングと適応的知覚」ワークショップを開催し、皆がここで意見交換できるよう願っています。ヤン・リークン氏とベンジオ氏もメンバーであることは特筆に値します。彼らは「ディープラーニングのビッグスリー」として知られ、2018年のチューリング賞を共同で受賞しました。

ベンジオ、ヒントン、ヤン・リクン

その後長きにわたりヒントンはニューラルネットワークの研究に専念し、100本以上の論文を発表し、徐々に人工知能分野の第一人者へと成長していった。しかし、ニューラルネットワークに対する世間の偏見を変えることはできなかった。彼は、多層ニューラルネットワークの学習問題を解決しなければ、ニューラルネットワークに未来はないという世間の見方を覆すことはできないと理解していたのだ。
Hinton の Google Scholar:
https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=en

2006年、ヒントンは「ディープビリーフネットワークに基づく高速学習アプローチ」と題した論文を発表しました。多くの学術誌が「ニューラルネットワーク」という単語を含むタイトルの論文を却下したため、ヒントンは多層ニューラルネットワークではなく「ディープラーニング」という言葉を用いることで論文の掲載に成功しました。論文で言及されているディープビリーフネットワークは、各層に「制限付きボルツマンマシン」を積み重ねることで構築されました。層ごとに教師なし事前学習を行った結果、ヒントンはネットワークの深さが増すにつれてモデルの性能が向上することを発見しました。そして、適用効果がネットワーク層数と正の相関を示したことで、多層ニューラルネットワークの可能性がようやく認識されました。
「ディープ ビリーフ ネットのための高速学習アルゴリズム」と題された元の論文には、次のように記されています。
https://direct.mit.edu/neco/article-abstract/18/7/1527/7065/ディープビリーフネットのための高速学習アルゴリズム

6年間の開発期間を経て、2012年、ヒントン氏は2人の学生と共に、ディープニューラルネットワーク「AlexNet」の設計を先駆的に完成させました。このネットワークはImageNet画像認識コンペティションに初登場し、すべての競合相手を圧倒しました。さらに驚くべきことに、チームは1週間のトレーニングにわずか4基のNVIDIA GPUしか使用しませんでした。このコンペティション以降、ディープラーニングの3つの大きな欠点であるアルゴリズム、コンピューティングパワー、そしてデータという課題がようやく解決され、浅い学習アルゴリズムはコンペティションから姿を消しました。注目すべきは、Googleチームもこのコンペティションに参加していたことです。これが、前述のオークションでヒントン氏を獲得するために多額の資金を投じたGoogleの姿勢を物語っています。

ヒントンの父親はかつて彼にこう言った。「一生懸命努力すれば、君が私の2倍の年齢になった頃には、私が成し遂げたことの半分くらいは達成できるかもしれない」。そのため、ヒントンは今でも、AlexNetの論文は父親のどの論文よりもはるかに多く引用されているとよく言う。AlexNetは間違いなく、コンピュータサイエンスの歴史において最も影響力のある論文の一つだ。その登場は、ディープラーニングだけでなく、世界のテクノロジー業界にとっても大きな転換点となった。この出来事の後、Google、Microsoft、Apple、Nvidiaといったテクノロジー大手はディープラーニングへの戦略的投資を増やし、インテリジェントなレコメンデーション、画像認識、リアルタイム翻訳、さらには医薬品設計、医療診断、材料開発、天気予報、海洋環境モデリングにもディープラーニングを応用した。AI技術は様々な産業に大きな影響を与え始めた。

学術界から産業界へ：医療分野におけるディープラーニングの応用に注目。

ヒントン氏がGoogleに入社した後も、学生たちを見捨てたくないという思いから、トロント大学の教授職に留まったことは特筆に値します。 「私よりも賢く、物事をうまく進め、後に偉大な業績を成し遂げた多くの学生に恵まれたことは、私にとって大きな幸運でした」と、ヒントン氏は今年のノーベル賞受賞スピーチで述べています。OpenAIの元チーフサイエンティスト、イリヤ・スツケバー氏、Appleの元AIディレクター、ルスラン・サラクディノフ氏、Metaのチーフサイエンティスト、ヤン・リクン氏、スタンフォード大学のアンドリュー・ン教授は、いずれもヒントン氏の弟子です。彼の教え子であるジョージ・ダール氏はかつて、重要な論文や研究者を見るたびに、ヒントン氏との直接的あるいは間接的なつながりを感じたと述べています。「ヒントン氏が成功した人々を選んだのか、それとも彼自身が彼らを成功させたのかは分かりませんが、私自身が経験した結果、後者だと思います。」

ヒントン氏がGoogleに入社するという決断は賢明だった。Googleの副社長兼研究者として、研究資金の心配はなくなり、オープンプラットフォームは彼に十分な成長の余地を与えた。一方、大手企業間の人材獲得競争において、Googleは再び動き出し、DeepMindを買収し、2014年にAlphaGoをリリースすることで、AI分野のリーダーとしての地位を急速に確立した。
AlphaGo は、高度なツリー探索とディープ ニューラル ネットワークを組み合わせ、囲碁で初めてプロの棋士に勝利しました。

中国の世界クラスの囲碁棋士、柯潔がAlphaGoと対戦する。

Googleは、既存の製品（検索エンジン、画像認識、言語処理、パーソナライズされたレコメンデーションなど）に最先端技術を適用するだけでなく、ディープラーニングを人々の日常生活における最も厄介な問題の解決にも活用しています。例えば、ヘルスケア分野では、糖尿病、乳がん、肺疾患、心血管疾患を検出するためのAIシステムを開発しました。これらの技術の応用により、疾患の早期診断率の向上だけでなく、患者によりパーソナライズされた治療計画を提供できることが期待されています。

ディープラーニングは膨大な量のデータを処理することで基礎科学研究を加速させることは間違いありません。しかし、ヒントン氏にとって特に魅力的なのは、ヘルスケア分野におけるAIの応用です。彼の仕事のほとんどは新しいアルゴリズムやモデルの開発であり、AIを用いた疾患予測は、彼が直接関わっている数少ない応用分野の一つです。これは、最初の妻ロス氏が卵巣がんで亡くなり、現在の妻ジャッキー氏が膵臓がんと診断されたという、彼の個人的な経験に由来しているのかもしれません。彼は、「早期診断は些細なことではありません。私たちはもっと良い方法を見つけられるはずです。だからこそ、機械に助けてもらうべきではないでしょうか？」と考えています。

今日、私たちが人工知能と呼んでいるもののほとんどはディープラーニングです。プリンストン大学の計算心理学者ジョン・コーエンは、すべてのディープラーニングはバックプロパゲーションに基づいていると考えていますが、ヒントンはこの点に異議を唱えています。2017年10月、ヒントンはトロントで開催されたAIカンファレンスで、バックプロパゲーションアルゴリズムは脳の働き方ではないと公に述べ、過去数十年にわたる自身の研究を覆し、全く新しいニューラルネットワークアーキテクチャ、カプセルネットワーク（CapsNet）を提唱しました。
「カプセル間の動的ルーティング」というタイトルのオリジナル論文:

https://arxiv.org/abs/1710.09829

カプセルネットワークは、ディープラーニングと比較して、より高速で正確な学習が可能で、必要なデータ量も少ないなどの利点があります。カプセルに関する理論研究はまだ初期段階にあり、解決すべき課題は数多く残されていますが、ヒントン氏は「カプセル理論は正しいはずだ。失敗は一時的なものだ」と自信を持って述べています。彼の論文「カプセル間の動的ルーティング」はすでに発表されています。カプセルネットワークは今後数十年にわたって無視され続けるのでしょうか？このAIのパイオニアは、ディープラーニングの歴史を再び書き換えることができるのでしょうか？今後の動向に注目が​​集まります。

AIは人間を制御するかもしれない

ChatGPTの登場以来、AIの学習と研究が世界中で急速に発展しました。様々なウェブサイトにおけるAI関連コンテンツは目に見えて増加し、数百ものスタートアップ企業が市場に参入し、基本モデルの開発やAIツールの構築に取り組んでいます。

NVIDIAを例に挙げましょう。AIチップとインフラの主要サプライヤーであるNVIDIAの時価総額は、かつてAppleやMicrosoftを上回っていました。これは、同社のGPUがAIモデルの学習に不可欠であるためです。これは、AI技術の急速な発展を直接的に反映しています。

しかし、外の世界ではAIがあらゆるものを強化する能力を宣伝し続けている一方で、ヒントン氏は例外となっている。「AIは人間の安全を脅かすだろう」

第二次世界大戦中、マンハッタン計画を指揮した「原爆の父」J・ロバート・オッペンハイマーはかつて、「私は今や死であり、この世界の破壊者だ」と苦々しく語った。科学者は真理を追求すると同時に、人々の生活の向上を願うが、原爆は明らかにこの目的から逸脱していた。最初の原爆実験の終末的な光景を目の当たりにした時、彼らの心は成功の喜びよりも、未来への恐怖と不安で満たされた。

ヒントン氏にも同様の懸念が浮上している。2024年、ノーベル賞授賞式のライブビデオ中継で、彼は「罪悪感と後悔を感じています。私たちよりも賢いAIシステムが、いずれ全てを支配してしまうのではないかと心配しています」と述べた。

ヒントンがノーベル物理学賞を受賞

AIは様々な書籍や政治的陰謀から学習することで、説得力に非常に長けるようになる可能性があります。適切な監視がなければ、AIは人間を操り、予測不可能な行動を取らせる可能性があります。これがヒントン氏の最大の懸念事項です。例えば、人間がAIに気候変動を抑制するよう指示を出した場合、AIはこの目標を達成するために人間を排除する措置を講じる可能性があります。ヒントン氏は、「AIの暴走は電源を切るだけで防げると多くの人が言いますが、人間の知能を超えるAIは言語を通して人間を操り、電源を切らないように説得しようとするのです」と考えています。

2023年5月、ヒントン氏はAIの安全性に関する議論をより自由に行えるよう、Googleを退社した。 「ジェフ・ディーンは私に残留を説得しようとしましたが、私はその申し出を断りました。明確な制約がなくても、Googleの一員であり続ける限り、発言する際には会社の利益を考慮しなければならないからです。」

AIのセキュリティリスクをいち早く認識した一人であるヒントン氏は、人々の意識を高めることに苦労しました。同僚や学生たちは、メディアプラットフォームと自身の影響力を活用して、AIの安全性を最優先するよう人々に訴えるべきだと提案しました。そのため、Googleを退職した後、この目立たない学者は頻繁にメディアのインタビューを受け、ソーシャルメディアでも積極的に発言するようになりました。興味深いことに、一部のメディアは注目を集めようと、ヒントン氏の発言を意図的に誇張し、Googleに関する否定的な情報を得ようとさえしました。これに対し、ヒントン氏はソーシャルメディアでこれらの懸念を公に表明するという「反抗的な」アプローチを選択しました。

画像出典: Hintonソーシャルメディアプラットフォーム

幸いなことに、ヒントン氏の努力は無駄にはならなかった。現在、多くの専門家がヒントン氏の懸念を支持しており、一部のテクノロジー企業はAIの透明性と説明可能性を模索しており、国際社会もAIに関する合理的なルールの確立に向けて積極的に協力している。

AIの潜在的なリスクに加え、ヒントン氏は大規模モデルの学習におけるエネルギー消費にも特に重点を置いています。大規模AIモデルの学習は、特に化石燃料に依存している地域では、通常、かなりの電力を消費することがよく知られています。この電力消費は、相当量の二酸化炭素排出を生み出し、人類社会を危険にさらす可能性さえあります。ヒントン氏は今年6月、気候変動に対処するために生成AIを用いた新素材の開発に注力する、2024年4月に設立されたAIスタートアップ企業CuspAIへの参加を発表しました。ヒントン氏は、「気候変動を抑制するために、AIを通じて新素材の設計を加速するというCuspAIの使命に深く感銘を受けています」と述べています。

画像出典: Hintonソーシャルメディアプラットフォーム

高校生の頃に脳の働きを探求するという最初のアイデアから、実際の研究の中で数え切れないほどの疑問に直面するまで、ヒントンは30年以上も学界の片隅に留まり続けましたが、常に自身の考えを貫き、最終的にはニューラルネットワークに関する先駆的な研究でチューリング賞とノーベル物理学賞を受賞しました。しかし、ディープラーニングの父、そしてAIのゴッドファーザーとして知られるこの科学者は、キャリアが「ピーク」を迎えようとしていた頃、突如として自らに疑問を抱き始め、AIの安全性に対する懸念を公に表明し、人類社会の持続可能な発展を訴えるようになりました。

77歳になったヒントン氏は、今もなお科学の最前線に立ち続け、AIの発展を推進する一方で、技術革新、倫理、そして社会的責任のバランスを重視するよう私たちに訴えています。彼の経験は科学史における伝説的な存在であるだけでなく、数え切れないほどの人々に前進へのインスピレーションを与えています。