ユニツリーロボットがサイバー神戸に！NVIDIAのCMU新研究：バスケットボールスターのシュート模倣、コードと論文は完全オープンソース

Yushu Robot (H1) についての感想:

実際の Yushu ロボット (G1): クールな Kobe ショットを簡単に実現します。

あるいは、ロナウドのような見事なスピンやジャンプかもしれません。

彼らは、NVIDIA およびカーネギーメロン大学と協力し、Yushu Robotics (doge) を償還しました。

たった 1 つのトレーニングフレームワークで、ロボットは「人間の学習者」となり、さまざまな非常に難しい機敏な動きを実行できるようになります。

こちら（左下の画像）からこちら（右下の画像）まで。

△左の写真は運動中の様子です

シミュレーション環境と実際の物理世界における動的システムの間には矛盾があるため、ロボットが人間のようなさまざまな動作を機敏かつ協調的に実行できるようにすることは、依然として大きな課題であることを理解することが重要です。

ASAP メソッドはこの問題を正確に解決し、論文とコードは両方ともオープンソースです。

ロボットの時代はすぐそこまで来ているようだ、と指摘する人もいました。

制作者の一人、ジム・ファン氏も「2030年の『ヒューマノイド』オリンピックを楽しみにしている」と語った。

ロボットの柔軟性と全体的な調整を大幅に向上

要約すると、この論文の中核はASAP (Aligning Simulation and Real Physics) の提案です。

このフレームワークは主に 2 つのフェーズに分かれています。

最初のフェーズでは、調整された人間の動作データを使用して、シミュレートされた環境で動作追跡戦略を事前トレーニングしました。

第 2 段階では、これらの戦略が現実世界に適用され、実際のデータが収集されて「残差」モーションモデルがトレーニングされ、モデルと現実世界の物理的ダイナミクスのギャップが埋められます。

次に、ASAP は事前トレーニング済みのポリシーを差分アクションモデルと組み合わせ、シミュレーターで微調整して、現実世界の物理的ダイナミクスに適合させます。

具体的な手順は次の 4 つのステップに分かれます。

1. モーショントラッキングの事前トレーニングと現実世界の軌跡の収集：人間のビデオのモーションデータをヒューマノイドロボットの動きに変換することで、シミュレートされた環境で複数のモーショントラッキング戦略を事前トレーニングし、現実世界のモーション軌跡を生成します。

2. 差分アクションモデルのトレーニング:実際のモーションデータに基づいて、シミュレートされた状態 (s_t) と実際の状態 (s^r_t) の差を最小化することで、「差分アクションモデル」をトレーニングします。

3. 戦略の微調整:差分モーションモデルを修正してシミュレータに統合し、シミュレーションと実際の物理特性の一致を調整してから、以前にトレーニングしたモーション追跡戦略を微調整します。

4. 現実世界への展開:最後に、微調整された戦略を現実世界に直接適用し、差分アクションモデルの必要性を排除します。

研究者は、ASAPの有効性を3つの移行シナリオで評価しました。
IsaacGym から IsaacSim へ、IsaacGym から Genesis へ、そして IsaacGym から現実世界へ。

使用したロボットはUnitree G1ヒューマノイドロボットです。

上記は、IsaacGymからIsaacSimに渡された4つの異なるサッカーキック動作（G1）を示しています。ASAPは複数の動作を学習しているため、特定の例への過剰適合を防いでいる点に注目すべきです。

IsaacGym から IsaacSim、そして IsaacSim から現実世界へ、ASAP の微調整前後の G1 モーショントラッキングのパフォーマンスが上記に示されています。

特定のアクション（ジェームズの沈黙ステップ）では、ASAP を使用した後の方がロボットの安定性が向上していることがわかります。

これは、G1 が広い水平ジャンプなどの難しい動作を実行できることを示しており、姿勢も人間に近いものとなっています。

最後に、研究チームのラインナップを見てみましょう。

18 人の著者の大半は中国系です。

共著者は He Tairan、Gao Jiawei、Wenli Xiao、Yuanhang Zhang の 4 人です。

何泰然は上海交通大学を卒業し、現在はNVIDIA GEARのメンバーです。また、以前はMSRAでインターンシップを経験しました。

高佳偉さんは清華大学を卒業し学士号を取得し、現在は博士号取得を申請中です。

Wenli Xiao 氏も NVIDIA GEAR のメンバーです。Yuanhang Zhang 氏は上海交通大学で学士号を取得し、現在はカーネギーメロン大学で修士号取得を目指しています。

動きはより人間らしくなりましたが、Yushu ロボットはダンスの運命から逃れることができませんでした...

APTのYushuバージョンをお楽しみください。

（人類を支配した後、削除する必要がある別の暗い歴史が追加されました）

プロジェクトアドレス:
https://agile.human2humanoid....