自動運転業界が爆発的に成長する中、楼交竹から朗報が届きそうだ。

Pony.ai は Nasdaq に目論見書を提出し、現在 IPO までカウントダウンに入っている。

天才たちが集まったチームは、確固たるビジネス力と最先端のテクノロジーを頼りに、8年で自動運転の分野でスターユニコーンを築き上げました。

Pony.ai の目論見書には、実際に自動運転技術に関する完全かつ詳細な説明が記載されています。

目論見書によると、Pony.ai の自動運転システムはいくつかの部分に分けられており、以下で 1 つずつ詳しく説明します。

センサー

自動運転車が人間の運転手のように運転するには、道路状況を明確に認識する必要があり、そのためにはセンサーが関与します。

• ライダー

LiDAR は、その名前が示すように、レーザー光線を使用して車の周囲の物体を検出し、さまざまな照明条件下で高解像度の距離検知を実現できます。

複数の場所に LIDAR を配置すると、さまざまな環境や照明条件下で車両、歩行者、信号機などの物体を観察し、周囲の環境のリアルタイム 3D 画像を生成できます。

• カメラ

複数の高精度カメラにより、車両は周囲をより包括的にあらゆる角度から観察できるようになり、大きな死角がなくなり、障害物を識別し、交通状況をより広範囲に把握できるようになります。

• レーダー

レーダーは電波を発射することで車両との距離と速度を検知します。雨、雪、霧などの悪天候では、ミリ波レーダーはライダーやカメラよりも優れた性能を発揮します。

Pony.aiの最新の第6世代自動運転車モデルは、上記の3つの手法を組み合わせたマルチセンサーアプローチを採用しています。7つのLiDAR、11台の高解像度カメラ、3つの長距離レーダーを搭載しており、3つのセンサーが互いに補完し合うことで、より効果的な環境観測が可能になります。

しかし、センサーアセンブリ内の 1 つのセンサーが故障した場合はどうなるでしょうか?

このとき、環境をセンシングすることに加えて、車両の正確な位置も重要なデータであるため、XiaomaはGNSSアンテナモジュールやIMU慣性測定ユニットなどの機器も使用します。

• GNSS / IMU

高精度の全球航法衛星システム (GNSS) と慣性計測装置 (IMU) は、高解像度の地図と測位モジュールと連携して動作し、車両の正確な位置を特定できます。

エンドツーエンドテクノロジーのソフトウェアスタック

Pony.aiは目論見書の中で、同社の自動運転技術スタックは、一連のソフトウェアモジュールとアルゴリズムを通じて車両を制御する「頭脳」とみなせることを強調しています。この頭脳、つまりAIドライバーは、車両プラットフォームの種類に制限されることなく、様々な種類のセンサーとアルゴリズムモジュールを統合しています。

Xiao Ma 氏はエンドツーエンドの解釈可能性も重視したため、認識、予測、調整、シミュレーションなどのモジュールを含めたセグメント化されたアプローチが採用されました。これらについては以下で詳しく説明します。

• エンドツーエンドのドライブによる閉ループ進化

まず、Pony.comのエンドツーエンドモデルを見てみましょう。学習可能なメトリック空間を統合することで、現実世界における車両の挙動をシミュレートします。さらに、インテリジェントなラベリングと特徴抽出技術を通じて、 LLMの知識ベースをエンドツーエンドモデルに転送することで、元々限られていたリソースを拡張し、システムが複雑な運転条件に対応しやすくしています。

ラベルなしデータは、自己教師あり解釈モデルを通じて世界モデルとエンドツーエンド モデルをトレーニングするために使用され、その後、認識結果、予測結果、具体的な決定、詳細なシーンの説明など、エンドツーエンドの推論結果を解釈します。

この包括的な解釈可能性により、自律システムの機能と意思決定プロセスをより深く理解できるようになります。

このプロセスでは、適応性と精度を確保するために、Pony.ai はモデルベースの方法と最適化手法を統合した学習可能な最適化モデルを組み込み、データ駆動型の特性と制御性の両方を備えています。

さらに、レベル4システムを真に実現するには、現在と過去のデータのみを用いて未来を予測するだけでは不十分です。真の課題は、現実世界の頻度に合わせ、ロングテールのシナリオと行動をシミュレートし、開発における継続的な反復を可能にすることにあります。

そのため、現実世界のシナリオをシミュレーションするには、高忠実度の環境を構築する必要があります。それがPony用のクローズドループシミュレーションエンジンであるPonyWorldです。

PonyWorld は、視覚的な詳細と動的応答の点で現実世界の状況を正確に再現し、システムが機能の限界を押し広げて、突然の子供の出現、蓋のないマンホール、前方の車両から落下する破片などの重大なシナリオをシミュレートできるようにします。

このシステムは、過去の出来事の記録と確立された将来の事実を使用して、さまざまな将来のシナリオについて合理的な推論を行います。

自動運転車の将来の行動がこれらの記録と一致する場合、真理条件生成モデルは記録の将来を忠実に反映します。逆に、将来の行動が記録から逸脱する場合、モデルは信頼性を維持するために、記録とは異なる主要な動作特性を再構築します。

• 知覚と予測

自動運転のプロセスでは、「仮想ドライバー」が車の周囲の環境を「見て」、タイムリーに反応できる必要があり、そのためには知覚と予測の能力が求められます。

Pony.ai の認識モジュールと予測モジュールはどちらも、マルチモーダル、マルチタスク、迅速な調整が可能な大規模な Transformer フレームワークを採用しています。

認識面では、点群、画像、電磁波応答など、様々なモーダル入力を統合する高速学習技術を採用しています。単一のモデルに基づいて様々な種類の物体を正確に検知し、遅延を大幅に削減できます。

センサー コンポーネントによって収集されたデータを処理することにより、認識モジュールはオブジェクトの分割、検出、分類、追跡、およびシーンの理解を自動的に完了します。

この機能により、視界が悪い極端または厳しい気象条件でも、自動運転車は運転中に障害物のない環境を認識できるため、人間のドライバーよりも優れたパフォーマンスを発揮できます。

知覚モジュールの性能をさらに向上させるため、データ処理にディープラーニング技術を組み込みました。さらに、人間の知識や常識といったヒューリスティックな手法を用いて、決定論的な数式やルールを意思決定層に追加することで、ディープラーニング技術におけるシミュレーションと現実のギャップを埋めました。

予測に関しては、予測モジュールは、知覚、観察、人間の常識からの情報を統合するマルチモーダルディープラーニングモデルを採用しています。

これらの常識的な洞察は、交通規則や人間が設計したプロンプトから抽出され、ナレッジグラフの形で表現されます。Transformer構造は、異なるモダリティ間の相関関係を捉えます。

予測モジュールは一連のデータに基づいて判断を下します。このデータもセンサーデータを中心に展開され、知覚モジュールの出力データと道路エージェントと同様の過去の意思決定経験が組み合わされています。

予期しない状況が発生する可能性を考慮して、データセットでは、通常のデータの記録に加えて、各状況の予測モジュールに学習可能でターゲットを絞ったヒントも追加します。

認識モジュールと同様に、予測モジュールもディープラーニングとヒューリスティックを採用して、観測された道路エージェントごとに予測軌道を提供し、その発生確率を計算して、他のモジュールの作業の参考資料を提供します。

• 計画と管理

データの検知と予測に成功したら、次のステップは入力データに基づいて操作を計画して実行することです。

計画および制御モジュールに関しては、Pony.ai はゲーム理論の手法を取り入れた AI を使用して作成します。

車両と他の道路エンティティとの相互作用をシミュレーションおよび分析する場合、例えば、自動運転車両と人間が運転する車両が同時に交差点に接近した場合、ゲーム理論は自動運転車両が最適なルートを選択し、スムーズに加減速したり、適切に車線変更したり、最適な行動決定を下すのに役立ちます。これは、ラッシュアワーや渋滞道路などのシナリオに非常に適しています。

一方、運転行動を人間の行動に近づけるために、意思決定者は強化学習人間フィードバック (RLHF) 調整メカニズムを使用します。

人間のラベル付け担当者を使用して、さまざまな状況下での自動運転システムの安全性、快適性、効率性に関するフィードバックを取得し、このフィードバックを使用して報酬関数をトレーニングし、より大きなデータセットでディープラーニングの決定を調整します。

ハードウェアと車両の統合

ソフトウェアを理解した後、次のステップは、自動運転車のハードウェアと各部品を統合する方法について学ぶことです。

• コンピューティングシステム

センサーから収集されたデータはコンピューティングシステムによって処理され、リアルタイムのアルゴリズム実行によって自動運転が実現されます。車載コンピューティングユニットは、センサーによって収集されたデータの処理を担います。

Pony.aiの自動運転コンピューティングユニット（ADCU）は、中央処理装置（CPU）、グラフィックス処理装置（GPU）、フィールドプログラマブルゲートアレイ（FPGA）、マイクロコントローラユニット（MCU）を含むヘテロジニアスコンピューティングアーキテクチャを採用しています。これは、自動運転アプリケーションに完全に適合したコンピューティングアーキテクチャを容易に定義できる、完全な車載グレードのコンピューティングプラットフォームです。

ADCUコンピューティングプラットフォームを活用することで、Xiao Maは微調整によってパフォーマンスとリソース消費のバランスを維持できます。また、新しいテクノロジーが登場した場合でも、ADCUは容易に調整・アップグレードできるため、高い柔軟性と拡張性を発揮します。

• 車両統合

自動運転の最終ステップは、各システムコンポーネントを車両に統合することです。

Pony.ai のソリューションは、自動車グレードのハードウェアおよびソフトウェア ツールチェーンに基づいて構築されており、監視システムが組み込まれています。

自動運転ソフトウェア スタックと車両プラットフォームの間には信頼性の高いインターフェースが使用され、車両プラットフォームが制御コマンドを正確に受信して実行できるようになります。

各モジュール内では、車載システムが統一されたアプリケーション・プログラミング・インターフェース（API）を提供することで、パス全体を通して安定的かつスムーズなデータ伝送を実現します。同時に、車載監視システムは各モジュールの潜在的な障害を迅速に検出します。

そして、最も重要かつ最終的な安全策は、安全性の冗長性です。

Pony の自動車モデルでは、冗長プラットフォームにより、冗長化されたセンサー、コンピューティング システム、電源、アクチュエータを通じて安全性が確保され、単一障害点が回避されます。

例えば、コンピューティングシステムでは、異なるプロセッサが相互にクロスチェックを行い、互いのバックアップシステムとして機能します。エラーが発生した場合、GPUで実行されている一部のアルゴリズムはCPUにフォールバックされます。

別の例を挙げると、主電源システムに障害が発生した場合、バックアップ電源システムがシームレスに引き継ぎ、コンピューティング システムへの継続的な電力供給を確保し、車両の正常な動作を保証します。

このプロセスでは、冗長性には、通常動作モード、安全性低下モード、最小リスク状態モードの 3 つの層があります。

劣化モードと最小リスク状態モードは、冗長センサーやコンピューティングを含む、物理的に独立した冗長プラットフォーム上で動作します。

通常運転中に障害が発生した場合、プラットフォームはそれを検出し、システムを低下した安全モードに切り替えて、車両を安全な場所に移動できるようにします。

ダウングレードされたセーフティモードでも解決できない重大な故障が発生した場合、最小リスク状態モードが起動し、車両は少なくとも衝突することなく車線内に停止することができます。

最後に、これらすべてを具体化する車両、つまり自動運転車については、Pony.ai は OEM と協力して車両の共同設計とテストを行い、統合された合理化された組立ラインを共同で構築することを選択しました。

Pony.aiが現在発売している自動運転車はトヨタと共同開発しており、第6世代にアップデートされています。2023年7月には、ロボットタクシーサービスの一般展開を開始しました。

最新の展開としては、第7世代自動運転ソフトウェア・ハードウェアシステムが研究開発検証段階に入ったことが挙げられます。11月2日、Pony.aiはBAIC New Energyと契約を締結し、この第7世代システムはGeefo Alfa T5に搭載されます。Geefo Alfa T5ロボタクシーの最初のロットは2025年に完成し、発売される予定です。

現在、自動運転業界の各社は、自社の技術を商業化すべく競争を繰り広げています。最初の企業となるのは誰でしょうか？

目論見書リンク:

https://www.sec.gov/Archives/..._f1.htm#tRPT