618ZXW

Keras の作成者は Google を去りました。

Google が重大なニュースを発表しました。

Keras の開発者François Chollet氏が正式に辞任しました。

この記事は、 Google の 2 人の副社長(最近 Google に採用された中国人新人のビル・ジアを含む)が共同執筆したもので、Google で 9 年 3 か月勤務した AI の第一人者に対する感謝の意と、彼の退職に対する惜しみない思いが表明されています。

内容の面では、Google はまず Keras ディープラーニング フレームワークの成果を認めました。

200 万人を超えるユーザーを抱え、複雑なワークフローを簡素化し、最先端のテクノロジーを容易に利用できるようにすることで、人工知能開発の礎となっています。

この技術は、Waymo の自動運転車から YouTube、Netflix、Spotify の推奨まで、すでに広く採用されています。

フランソワは会社を去りましたが、今後も Keras の開発に関わり続け、JAX、TensorFlow、PyTorch の作業を引き続きサポートすることを約束しました。

Google の Keras チームは、フランソワのオープンソース コミュニティと引き続き協力していきます。

Googleもフランソワ氏も、彼の最近の活動に関する情報を一切明らかにしていない。

しかし、ネットユーザーたちはフランソワの脱退について激しい議論を交わした。

たとえば、Keras の現在の開発状況から判断すると、Google ではもう人気がないと考える人もいます。

以前どこかで、TensorFlow は将来あまり活発な開発が行われない可能性があり、Google は社内で JAX に切り替えたため、TensorFlow は PyTorch にほぼ負けてしまった、というのを目にしたことがありました。

Google の公式発表における Keras の評価に関して、一部のネットユーザーは次のようにコメントしています。

これは 2018 年には真実だったでしょう。しかし現在では、主に LLM のおかげで、PyTorch は TensorFlow よりもはるかに人気があります。

フランソワの個人的な活動に関しては、一部のネットユーザーは彼がアントロピックに引き抜かれたのではないかと推測している。

Keras: 人間向けに設計されたディープラーニング

Keras は 2015 年に遡り、François によってリリースされたオープンソースのニューラル ネットワーク ライブラリです。

当初の目的は、高レベルのディープラーニング API を提供して、ディープラーニング モデルの構築と実験のプロセスを簡素化することでした。

Keras 以前は、ディープラーニング開発では通常、基盤となるライブラリ (Theano など) を直接使用する必要があり、ユーザーは基本的なニューラル ネットワーク モデルを構築するために多くの複雑なコードを記述する必要がありました。

Keras の出現により、この状況は変わりました。

モジュール式の直感的な API を通じてディープラーニング プロセスが大幅に簡素化され、ディープラーニング分野への参入障壁が大幅に下がります。

同社の公式見解では次のように述べられています。

人間向けに設計されたディープラーニング。

Keras は当初、特定のコンピューティング エンジンに依存しない高レベル ライブラリとして開発され、基盤となるバックエンドとして Theano、Microsoft CNTK、TensorFlow をサポートしていました。

技術的には、Keras はモジュール設計を採用しており、ユーザーはさまざまな種類のレイヤー (完全接続レイヤー、畳み込みレイヤー、再帰レイヤーなど) を組み合わせることで、複雑なモデルを迅速に構築できます。

モデルのトレーニング、検証、テストは統一されたインターフェースを通じて実装されるため、開発プロセスが非常にスムーズになります。

Keras は、線形に積み重ねられたモデル レイヤー用の Sequential API を提供し、その後、複雑な非線形ネットワーク構造と多入力多出力モデルの構築をサポートする Functional API を導入しました。

これらの機能により、Keras は単純なプロトタイピングだけでなく、実際の製造における複雑なニーズの処理にも適しています。

しかし、TensorFlow の急速な発展により、両者の関係はますます密接になりました。

2017 年、Keras は Google によって TensorFlow の公式高レベル API として選ばれました。

2019 年に TensorFlow 2.0 がリリースされた後、Keras は TensorFlow に完全に統合され、デフォルトのモデル構築ツールになりました。

これは、Keras がスタンドアロンの高レベル ライブラリから TensorFlow の一部に移行したことを示しています。

これを行うと確かに利点があります。

まず、Keras は TensorFlow の基礎となる関数をシームレスに呼び出すことができるため、パフォーマンスとスケーラビリティが向上します。

第二に、TensorFlow は GPU アクセラレーション、TPU サポート、分散トレーニングなどの高性能機能を提供しており、Keras と統合すると、これらを簡単に利用できます。

この変換により、Keras の機能が強化されるだけでなく、大規模な本番環境アプリケーションにもより適したものになります。

しかし、統合が進むにつれて、スタンドアロン ライブラリとしての Keras の役割は徐々に薄れ、tf.keras が TensorFlow の公式の高レベル API となり、ディープラーニング コミュニティの標準的な選択肢の 1 つになりました。

さらに、ディープラーニングフレームワークの進化の縮図とも言えるTensorFlowとPyTorchの競争も、Kerasの開発に少なからず影響を与えています。

PyTorchは2016年にFacebook AI Researchによってリリースされました。

その主な利点は、より柔軟なコード実行を可能にする動的計算グラフにあり、開発者は通常の Python コードを書くのと同じようにモデルを構築およびデバッグできます。

対照的に、TensorFlow の初期のバージョンでは静的計算グラフが使用されていました。これはより効率的でしたが、モデル開発中の柔軟性とデバッグの利便性の点で PyTorch に劣っていました。

この技術的な違いにより、PyTorch は、特に実験と迅速な反復を伴うタスクにおいて、研究者の間で非常に人気があります。

柔軟性の面で PyTorch とのギャップを埋めるために、TensorFlow 2.0 では同様の動的グラフ機能が導入され、Eager Execution と tf.function を通じてより柔軟な開発エクスペリエンスが提供されます。

この進化により、TensorFlow は PyTorch のような開発の柔軟性を持ちながら、高いパフォーマンスの最適化を維持できるようになりました。

しかし、この動きは、PyTorch と比較したユーザー エクスペリエンスのギャップを完全に埋めたわけではないようです。

もちろん、Keras も継続的に反復して最適化されています。

たとえば、昨年末に Keras はバージョン 3.0 をリリースしましたが、これは機械学習に革命をもたらすものとして歓迎されました。

バックエンドとして 3 つの主要フレームワークである TensorFlow、PyTorch、Jax をサポートするだけでなく、それらの間のシームレスな切り替えや、混合使用も可能にします。

フランソワ氏は当時、自身のソーシャルメディアアカウントでそうすることの4つの主な利点について次のように説明しました。

  • モデルが常に最適なパフォーマンスを達成することを確認する
  • 複数のエコシステムを解放する
  • オープンソースコミュニティにおける影響力の拡大
  • あらゆるソースからのデータパイプラインを使用する

それでも、Cohere の機械学習ディレクターの Nils Reimers 氏は、Keras に警鐘を鳴らしています。

願わくば、歴史は繰り返されないであろう。

Reimers 氏は、Keras は当初単一のバックエンド (Theano) のサポートから始まり、徐々に Tensorflow、MXNet、CNTK などの複数のバックエンドを追加していったと考えています。

これにより、一連の疑問が生じます。

  • 一部の機能は特定のバックエンドでのみ利用可能です。
  • 異なるバックエンド間では計算結果に一貫性がありません。つまり、あるバックエンドで正しく実行されるコードが、別のバックエンドでは異なる結果を生成する可能性があります。
  • これはオープンソースソフトウェア開発者にとって非常に厄介な経験です。カスタムKerasレイヤーを完成させ、共有したいと考えている場合、他のバックエンド向けに再実装して最適化する意思はありますか?
  • デバッグの問題: コードは 1 つのバックエンドでは完璧に動作しますが、別のバックエンドの最新バージョンでは頻繁にエラーが発生します...

時間が経つにつれて、これらの問題はさらに深刻になってきました。一部のモジュールは Theano でのみ正常に動作し、一部のモジュールは TensorFlow でのみ動作し、一部のモジュールは MXNet で推論を実行できるもののトレーニングできないなどです...

今回はマルチバックエンドのパフォーマンスが向上することを期待していますが、間違いなくまだ課題が残っています。

1980年代生まれのフランスのAI専門家

Keras の作成者といえば、François Chollet 氏は AI コミュニティではよく知られた人物です。

彼は1989年10月20日に生まれました。履歴書によると、2012年にエコール・ポリテクニークで工学修士号を取得した後、それ以上の勉強を続けることはせず、代わりに米国で働き始めました。

フランソワは、2015 年に Google に入社する前は FreshPlanet でソフトウェア エンジニアとして、また Thunder で機械学習アーキテクトとして勤務し、現在も Google に勤務しています。

有名な国際的インタビューブロガーであるレックス・フリッドマンとの会話の中で、フランソワはケラスの誕生秘話も語りました。

2014 年、最も人気があったディープラーニング ライブラリは C++ で書かれたCaffe (Jia Yangqing が開発) で、当時は Theano よりも人気がありました。

年末にかけて、フランソワは突然、リカレントニューラルネットワークに強い興味を持つようになりました。

当時、これは比較的ニッチな分野だったので、彼はそれを探求するのに適したツールを探し始めました。

Kaggle コンテストに参加していたとき、François は Torch7 や Theano などのツールを試し、Caffe も使用していましたが、当時の Caffe は再利用可能なオープンソースの LSTM 実装が不足しているなど、リカレント ニューラル ネットワークに理想的なソリューションを提供していませんでした。

そこでフランソワは、フレームワークを自分で構築するというアイデアを思いつきました。

彼の当初のアイデアは、主に LSTM と RNN の実装に焦点を当て、Python を使用してそれらを記述することでした。

この期間中に非常に重要な決定が下されました。モデルは Python コードを使用して定義されることになります。

Caffe や Theano などのライブラリは通常、モデルを定義するために YAML などの静的構成ファイルを使用していたため、これは当時の一般的な考え方に反していたと言えます。

ただし、一部のライブラリでは、Torch7 (Python ではない) など、実際にコードを使用してモデルを定義します。

以前の仕事で、フランソワはオープンソースのディープラーニングライブラリ scikit-learn を非常に気に入っており、そこから多くのインスピレーションを得ていました。

彼の言葉によれば、Keras は実質的にニューラル ネットワーク用に構築された scikit-learn です。

興味深いことに、Keras という名前はリリース当日に François によって選ばれました。

さらにフランソワは率直にこう述べた。

数か月後、私は Google に入社しましたが、実際には Keras とはまったく関係がありませんでした。

私は画像分類とコンピューター ビジョンを専門とする研究チームに参加したため、Google での最初の仕事は主にコンピューター ビジョンの研究でした。

Googleに入社したばかりの頃、TensorFlowの初期社内バージョンに出会いました。Theanoの改良版だったので、とても興味を惹かれました。その時、Kerasをこの新しいTensorFlowに移植する必要があると気づきました。

次に、Keras と TensorFlow を統合するという話がありました。

この退任以外では、フランソワが最後に公の場に現れたのはインタビューの時だった。

このインタビューで、彼はAGIコンペティションに100万ドルを投資する予定だと述べました。

その理由は、既存の AI テクノロジー、特に LLM は主に人間のデータのパターンの記憶と模倣に依存しており、新しい状況での新たな推論やスキルの獲得のパフォーマンスが低いと考えているためです。

実際、フランソワ氏は早くも2019年に、AGIが効果的に新しいスキルを習得し、オープンエンドの問題を解決できるかどうかを測定する唯一の評価基準であるARC-AGIを提案しました。

現在、最高の AI システムは ARC ベンチマークで 34% のスコアを獲得していますが、子供を含む人間は簡単に 85% のスコアを獲得できます。

したがって、ARC 賞は、新しいアイデアの生成率を高め、AGI を発見する可能性を高め、これらの新しいアイデアが広く普及するように、オープンソースのコラボレーションを奨励しています。

フランソワ氏の次の動きについては、QuantumBit は引き続き注視していきます。

参考リンク:
[1]https://developers.googleblog... [2]https://news.ycombinator.com/... [3]https://time.com/7012823/fran... [4]https://en.wikipedia.org/wiki...\_Chollet [5]https://www.linkedin.com/in/f... [6]https://keras.io/keras\_3/