Apple は、実際のデータを必要とせずに、自動運転の最先端 (SOTA) アップデートを実現しました。

Appleの自動車プロジェクトが行き詰まってから1年後、プロジェクトメンバーは再集結し、2017年にエンドツーエンドのアプローチを提案した同僚やCVPR 2023の技術委員長と力を合わせ、大きなプロジェクトをまとめ上げた。

強化学習自己ゲーム理論を自動運転に導入することで、 10日間で16億キロメートルのシミュレーションデータが生成され、実際のデータを必要とせずにアルゴリズムがトレーニングされました。

膨大な量のシミュレーションデータが非常に低コストで実現され、最終的には最先端 (SOTA) のパフォーマンスが実現されました。

Apple は、自動運転の最先端 (SOTA) アップデートを実現するためにセルフプレイを導入しました。

Appleは最近、自動運転にセルフプレイを導入し、優れた堅牢性を実現しました。

セルフゲームの概念は、自己敵対的生成ネットワーク（GAN）の概念に多少似ています。これは、エージェントが自身のコピーまたは過去のバージョンと対戦することで進化することを指し、強化学習の分野における重要な戦略です。

これまでゲーム、ロボット工学、バイオエンジニアリングの分野で応用されてきたこの技術を、Appleは現在、自動運転にも活用しています。Appleは、実データを必要とせず、「前例のない規模」でシミュレーションデータを生成する最小限の報酬関数を設計しました。これにより、複数のインテリジェントエージェントがマップ上で混沌とした戦闘を繰り広げ、アルゴリズムの進化を可能にします。

インスタンスは、乗用車、大型トラック、自転車、歩行者など最大 150 個のエージェントを生成でき、駐車線や信号などの環境情報も生成できます。

このトレーニング方法の利点は、高速かつ低コストであることです。

Apple はパブリック クラウド上の 8 台の A100 を活用して、1 時間あたり44 億回の状態遷移をシミュレートして学習することができます。これは 720 万キロメートルの運転経験に相当し、実際のデータを使用するよりも 36 万倍高速です。

完全なトレーニングコースは10日間かかり、太陽から土星までの距離に相当する16億キロメートルの走行距離を学習できます。

100万キロメートルあたりのコストは5ドル未満で、 1万キロメートルあたり36セントに相当します。

このコストとスピードはちょっと高すぎませんか？パフォーマンスはどうですか？

Apple は、CARLA、nuPlan、Waymo のオープン データセットでサンプルなしで結果を個別にテストし、すべて最先端 (SOTA) のパフォーマンスを達成しました。

これらのベンチマークは、さまざまな地図、運転シナリオ、交通密度、スコアリング基準をカバーしており、Apple の取り組みの一般化可能性と堅牢性を実証しています。

Apple はまた、これらの過去の最先端 (SOTA) の成果はすべて、特定のベンチマーク専用の特定のデータセットを使用してトレーニングされたことを強調しました。

優れたパフォーマンスを迅速かつ低コストで実現する中核となるのが、 GIGAFLOW シミュレータです。

Appleは論文の中で、その原理を詳しく説明し、具現化された知能など他の分野への応用の見通しを簡単に概説し、現在の研究の欠点を指摘した。

GIGAFLOWシミュレーター、ミニマリストの世界モデル

GIGAFLOWは、ジェネラリスト戦略を得るために設計されたバッチシミュレータです。膨大な数のGIGAFLOWワールドを生成します。これは、以下のようなミニマリスト的な世界モデルと言えるでしょう。

シナリオスクリプトの作成や、人間のドライバーの運転データの作成、複雑な報酬関数の設計は不要です。報酬は、目標到達、衝突回避、中央走行、車線維持のみです。ペナルティには、信号無視や道路逸脱が含まれます。

△報酬関数の構成

シンプルな報酬関数は、どのようにしてアルゴリズムの進化を継続的に促進できるのでしょうか？Appleチームは、大規模なデータシミュレーションによってシンプルな報酬関数の欠点を補い、膨大な量の自己プレイから複雑で人間のような運転行動を生み出せると考えています。

実装面では、 GIGAFLOWは38,400個のGIGAFLOWワールドを同時に生成します。各ワールドは、混雑したラウンドアバウト、信号のない交差点、ジッパー式レーンなど、様々な交通状況とインタラクションシナリオをシミュレートします。

1 つの「ワールド」には最大 150 のエージェントを配置でき、反転、拡大縮小、切り取りによって処理されたランダムに変化する 8 つのマップが含まれます。

マップの道路総延長は136キロメートルです。途中、1～N台のインテリジェントエージェントがランダムに生成され、システムは各インテリジェントエージェントにセルフプレイゲームでそれぞれの目的地まで運転するよう要求します。

エージェントの運転戦略はパラメータ化されており、エージェントのタイプ（積極的、慎重など）を指定できます。これらのパラメータは、トレーニングを必要とせず、テスト中に変更できます。

インテリジェントエージェントは、道路上で周囲の車両の大きさ、位置、速度などの局所的な環境を観察し、自らの運転戦略を最適化します。セルフゲームでは、車線変更、安全を確保しない左折、事故現場の迂回などを学習します。

はい、Apple によれば、インテリジェント エージェントのシミュレーション トレーニングでは、約300 万キロメートルに 1 回程度の頻度で交通事故が発生することがあります。

それと比較すると、現実世界の道路の複雑さは確かにはるかに高いものの、現実世界では経験豊富なドライバーの事故率は約 35,000 キロメートルに 1 回です。

さらに、Apple は GIGAFLOW シミュレータの全体的な効率をいくつかの方法で最適化しました。

まず、GIGAFLOW はシミュレーション プロセス中にマップ観測のほとんどを事前に計算し、簡単に検索できるようにハッシュ スペースにキャッシュします。

シミュレーション学習プロセスでは、GIGAFLOWは4,800万から576万のエージェントを同時にシミュレーションできることが簡単な計算で示されています。これらのエージェントは、Deep Setsに類似したアーキテクチャを持つ同一のポリシーニューラルネットワークを共有しています。各シミュレーションステップでは、1回のバッチ処理フォワードパスのみが必要となるため、システム全体のスループットが大幅に向上します。

最後に、GIGAFLOWはパラメータを更新する際に、2017年にOpenAIが提案したProximal Policy Optimization （PPO）アルゴリズムを使用します。このアルゴリズムは、ポリシー更新の規模を制限し、トレーニングプロセスを簡素化します。

Appleは、現在の作業にはまだいくつかの欠点があり、その根本的な原因は現実に移行して実装する必要があることだと指摘した。

まず、技術的な観点から見ると、現在の知覚処理は比較的単純であり、作業は主に計画と意思決定に焦点を当てています。

さらに、使用される報酬関数は比較的単純であるため、複雑なシナリオでは十分な柔軟性が確保できない可能性があります。より多様な現実世界の環境では、より複雑な報酬関数が必要になります。

最後に、エンジニアリング上の問題があります。チームは、大規模なセルフゲームトレーニングには非常に多くのリソースが必要であり、実用化には計算コストを考慮する必要があると考えています。

この論文では、この研究が消費者向けおよび産業用ロボットやオンライン ゲームなど他の分野に応用される可能性にも期待を寄せています。

この研究は、この分野の多くの専門家の英知を結集したもので、Apple の自動車製造チームのメンバー数名も参加している。

著者紹介

この論文には12人の著者がおり、筆頭著者のDavid Hafner氏がCVPR 2023の技術委員長を務めています。

公開情報によれば、残りの 3 分の 1 は Apple の自動車プロジェクトのための特別プロジェクト グループ ( SPG ) のメンバーです。

テスラ社の元エンジニアリング担当副社長スチュアート・バウワーズ氏は、オートパイロット自動運転システムの開発を担当した。

彼は2020年にAppleに入社し、SPGプロジェクトにおける自動運転アルゴリズムを担当していたと報じられている。

2019年にAppleに買収された自動運転車のスタートアップ企業drive.aiの共同創業者、ブロディ・ヒューバル氏が、シニア機械学習研究者としてAppleのSPGチームに加わった。

同じくアップルのSPGのメンバーであるアレクセイ・ペトレンコ氏は、2023年3月にシニアサイエンティストとしてアップルに入社する前は、Nvidiaでロボット工学のインターンとして働いていた。

ユージン・ヴィニングツキー氏は、2016 年から 2022 年までバークレー大学で機械学習の大学院研究を続け、その間に自動運転に関する研究を行いました。

私は2022年9月に卒業後Appleに入社し、2年後に退職しました。

これは、アップルが自動車製造計画を断念したと報じられてからわずか4か月後のことだ。

興味深いことに、彼はソーシャルメディアで Apple での職務経験を具体的に述べています。

Appleでの私の仕事が何であるかについては話すつもりはありません。

アップルを退職後、彼はニューヨーク大学タンドン工学部で助教授として働き、そこで交通機関を研究対象としていた。

過去10年間の経験と、仕事の詳細を明かしたがらないという事実から、彼もSPGのメンバーである可能性が高いです。

他の著者も業界での経験を持っています。

例えば、 Vladlen Koltun氏は2017年10月にエンドツーエンドパラダイムを自動運転に適用することを提案し、同年11月には前述の自動運転テストベンチマークCARLAを発表しました。

2024年2月下旬、Appleが自動車製造計画を打ち切ると報じられたとき、Cruiseは倒産の危機に瀕し、Waymoの商業化プロセスはまだ加速しておらず、Pony MaのCyber​​cabはガレージで大幅な改造が行われており、WeRideとPony Maはまだユニコーン企業だった。

プロジェクトが棚上げされた年の間に、自動運転を取り巻く状況は劇的に変化し、人気が再び高まった。

クルーズの破綻後、ウェイモはシリコンバレーで自動運転の旗印を引き継ぎ、今年中に10以上の都市で無人運転車を配備する計画で、商業化を急速に進めている。

マスク氏は6月にロボタクシーを立ち上げる計画で、WeRideとポニー・マーは既にベルを鳴らしており、百度アポロは海外に「ニンジンを植える」計画を立てている。

ロボタクシーは太平洋の両側で同時に開始され、大規模に商業化されています。

Apple が今回、最先端技術 (SOTA) の成果を発表したことは、新たな技術的方向性を示しているだけでなく、何か他のことを暗示しているのかもしれません...