最近、「泰山で重い物資を運ぶロボット犬」の動画がネット上で話題になっています。この「ロボット犬」は重い物資を楽々と運ぶだけでなく、泰山の険しい山道を「軽快に歩く」ことができ、麓から山頂までわずか2時間で到着します。中国の華春瑩外務副大臣も「ロボット犬は雄大な泰山でポーターのような役割を果たしており、テクノロジーは人類に恩恵をもたらしている」と称賛しました。

画像出典：新華社通信

泰山文化観光グループの不動産管理会社が導入したこのロボット犬は、主にゴミ収集と貨物輸送を担っているとみられる。これまで、泰山景勝地の特殊な地形のため、ゴミ収集は人力に頼らざるを得ず、観光シーズンのピーク時には不可能なことが多かった。今回試験走行に参加したこのロボット犬は、優れた地形適応力、高い安定性、そして優れたバランス感覚を備えているだけでなく、障害物を容易に乗り越えることができ、最大120キログラムの積載能力を備えているため、ゴミ収集の課題を効果的に解決し、作業効率を向上させる。

Google RT-2、Nvidia GR00T、Figure 02ロボット、Tesla Optimus、Xiaomi Cyber​​One…近年、ロボットの登場が相次ぐ中、これらのロボットを運搬手段として活用する身体知能が注目を集めています。これらのロボットは、周囲の環境を感知し、学習し、相互作用することで人間の生活に直接参加し、巨大な市場ポテンシャルを秘めています。

工業分野では検査、溶接、ハンドリング、選別、組み立て、家庭では家事代行や高齢者介護、医療分野では手術補助や日常介護、農業では植え付け、施肥、収穫など、身体化知能の応用シナリオは多岐にわたります。

しかし、現在のロボットは特定のタスクにおいては優れているものの、汎用性に欠けています。つまり、タスク、ロボット、さらにはアプリケーションシナリオごとに個別のモデルを学習する必要があります。自然言語処理やコンピュータービジョンといった分野における成功事例を活用することで、ロボットが幅広く多様なデータセットから学習できるように訓練し、より汎用性の高いロボットを開発できる可能性があります。しかしながら、既存のロボットデータセットは、単一の環境、一連のオブジェクト、あるいは特定のタスクに焦点を当てていることが多く、ロボットインタラクションのための大規模で多様なデータセットを取得することが困難です。

これに応えて、Google DeepMind は、スタンフォード大学、上海交通大学、NVIDIA、ニューヨーク大学、コロンビア大学、東京大学、理化学研究所、カーネギーメロン大学、スイス連邦工科大学チューリッヒ校、インペリアルカレッジロンドンなど、国際的に有名な 21 の機関と提携し、既存のロボットデータセット 60 個を統合し、オープンで大規模な標準化されたロボット学習データセットである Open X-Embodiment を作成しました。

Open X-Embodimentデータセットは、様々な環境とロボットのバリエーションを網羅し、研究コミュニティに公開されています。ダウンロードと利用を容易にするため、研究者は様々なソースからのデータセットを統一されたデータ形式に変換しました。今後、ロボット工学学習コミュニティと連携し、このデータセットをさらに発展させる予定です。HyperAIはすでに公式ウェブサイトで「Open X-Embodiment Real Robot Dataset」を公開しており、ワンクリックでダウンロードできます。

オープンX-Embodimentリアルロボットデータセット:
https://go.hyper.ai/JAeHn

これまでで最大のオープンソースロボットデータセット

Open X-Embodimentは、現在までに最大規模のオープンソースの実世界ロボットデータセットと報告されており、単腕ロボットから双腕ロボット、四足ロボットまで22種類のロボットを網羅し、100万以上のロボット軌跡と527のスキル（160,266タスク）を収録しています。研究者らは、複数のロボットタイプのデータセットで学習したモデルは、単一のロボットタイプのデータセットのみで学習したモデルよりも優れたパフォーマンスを発揮することを実証しました。

Open X-Embodimentデータセットの分布を次の図に示します。図(a)は22種類のロボットの分布を示しており、Frankaロボットが最も一般的です。図(b)はさまざまなシナリオでのロボットの分布を示しており、Frankaロボットが優勢で、次にGoogleロボットが続いています。図(c)は各ロボットタイプの軌道分布を示しており、xArmとGoogleロボットが最も多くの軌道を占めています。図(d、e)はそれぞれロボットが持つスキルと使用するアイテムを示しています。スキルには、ピッキング、移動、押す、配置などがあり、アイテムには家電製品、食品、食器など、多岐にわたります。

X-Embodimentデータセットを開く

ロボット技術の広範な応用を促進するためにトップ機関のリソースを結集する

Open X-Embodimentデータセットは、60個の独立したデータセットで構成されています。HyperAIはこれらのデータセットの中からいくつかを厳選し、以下に簡単にご紹介します。

バークレーケーブルルーティング多段ロボットケーブルタスクデータセット

カリフォルニア大学バークレー校とIntrinsic Innovation LLCの研究チームによって公開されたBerkeley Cable Routingデータセットは、27.92GBです。このデータセットは、多段階ロボットマニピュレーションタスク、特にケーブル配線の研究に使用されます。このタスクは、ロボットが一連のクランプを通してケーブルを操作し、変形可能な物体のハンドリング、視覚認識ループの終了、複数のステップからなる拡張動作の処理などを行う、複雑な多段階ロボットマニピュレーションシナリオを表しています。

直接使用する: https://go.hyper.ai/igi9x

CLVR Jaco Play データセット - リモート コントロール ロボット フラグメント データセット

CLVR Jaco Playデータセットは、遠隔操作ロボット工学に焦点を当てた14.87GBのデータセットです。南カリフォルニア大学とKAISTの研究チームによって公開されたこのデータセットは、Jaco 2遠隔操作ロボットの1,085個のスニペットと、対応する言語アノテーションを提供しています。このデータセットは、ロボット遠隔操作、自然言語処理、そして人間とコンピュータの相互作用を研究する科学者や開発者にとって貴重なリソースです。

直接使用する: https://go.hyper.ai/WPxG8

RT-1 ロボットアクション 実世界ロボットデータセット

Google の研究者は、マルチタスク モデル Robotics Transformer (RT-1) を提案しました。このモデルは、新しいタスク、環境、オブジェクトに対するゼロショット一般化を大幅に改善し、優れたスケーラビリティと事前トレーニング済みモデルの特性を実証しています。

RT-1モデルは、大規模な実世界ロボットデータセット（RT-1ロボットアクションデータセット）を用いて学習されました。研究者らは、7自由度アーム、2本指グリッパー、移動ベースを備えた13台のEDRロボットアームを使用しました。17ヶ月かけて13万個のフラグメント（合計111.06GB）を収集し、各フラグメントにはロボットの実行指示を示すテキスト記述が付与されました。データセットは、物体の持ち上げと配置、引き出しの開閉、引き出しからの物体の取り出しと配置、細長い物体の垂直置き、物体の倒し方、ナプキンの引き出し方、缶の開け方など、多様な物体を用いた700以上のタスクを網羅した高度なスキルを網羅しています。

直接使用する: https://go.hyper.ai/V9gL0

言語テーブルロボット言語ラベル軌跡データセット

Googleのロボティクスチームは、現実世界で自然言語コマンドを介してリアルタイムにインタラクションできるロボットを構築するためのフレームワークを提案しました。数十万の言語アノテーション付き軌跡を含むデータセットで学習させることで、研究者らは、得られたポリシーが従来の10倍のコマンドを実行できることを発見しました。これは、現実世界におけるエンドツーエンドの視聴覚運動スキルを記述するものです。研究者らは、研究で使用した言語テーブルデータセット（約60万の言語ラベル付き軌跡を含む）をオープンソース化し、より高度で高機能、かつ自然言語で対話できるロボットの開発をさらに推進します。

直接使用する: https://go.hyper.ai/9zvRk

BridgeData V2 大規模ロボット学習データセット

カリフォルニア大学バークレー校、スタンフォード大学、Google DeepMind、CMU は共同で、スケーラブルなロボット工学研究を促進するために設計された BridgeData V2 データセットをリリースしました。このデータセットには、24 の異なる環境で収集された 60,096 本のロボットの軌跡が含まれています。これらの 24 の環境は 4 つのカテゴリに分類されます。データの大部分は、シンク、コンロ、電子レンジなど、さまざまなおもちゃのキッチンから取得され、残りの環境には、さまざまなテーブル、おもちゃのシンク、おもちゃのランドリー設備などが含まれています。データセットには、ピックアンドプレイス、プッシュアンドスイープ、ドアや引き出しの開閉などのタスクに加えて、ブロックの積み重ね、衣服の折りたたみ、粒子状媒体の清掃などのより複雑なタスクが含まれています。一部のデータスニペットには、これらのスキルの組み合わせが含まれています。

ロボットの汎化能力を高めるため、研究者たちは様々な環境において、物体、カメラ位置、作業空間の位置などが異なる大量のタスクデータを収集しました。それぞれの軌跡には、ロボットのタスクに対応する自然言語による指示が付与されていました。このデータから学習されたスキルは、新しい物体や環境に適用できるだけでなく、機関を超えて活用できるため、このデータセットは研究者にとって重要なリソースとなります。

直接使用する: https://go.hyper.ai/mGXA1

BC-Z ロボット学習データセット

Google、Everyday Robots、カリフォルニア大学バークレー校、スタンフォード大学が共同でリリースした BC-Z データセットは、ロボット模倣学習の分野を発展させるために設計された大規模なロボット学習データセットであり、特にゼロショットタスクの一般化をサポートし、ロボットが事前の経験なしに模倣学習を通じて新しい操作タスクを実行できるようにします。

このデータセットには、100種類以上の多様なタスクを網羅する25,877件以上の運用タスクシナリオが含まれています。これらのタスクは、エキスパートレベルの遠隔操作と共有自律プロセスを通じて収集され、12台のロボットと7人のオペレーターが関与し、合計125時間のロボット操作時間を記録しました。このデータセットは、タスクの口頭による説明や人間の操作映像に基づいて、特定のタスクを実行するようにカスタマイズ可能な7自由度マルチタスクポリシーの学習に使用できます。

直接使用する: https://go.hyper.ai/MdnFu

これらは、HyperAIが今号で推奨するデータセットです。他に高品質なデータセットを見つけた方は、ぜひコメントを残していただくか、ご自身の作品を投稿してください。

さらに高品質なデータセットは、こちらからダウンロードできます: https://go.hyper.ai/P5Mtc