オープンソース協会開源社

年末のギフトパッケージ: Zhihui-jun がまた別のオープンソース プロジェクトを携えて戻ってきました!

100 万台の実機データセットを備えたオープンソース プロジェクトであるAgiBot World は、現実世界のシナリオ、多用途のハードウェア プラットフォーム、包括的な品質管理に基づいた世界初の大規模ロボット データセットです。

このプロジェクトは、志輝軍氏の具現化知能スタートアッププロジェクトである志源ロボティクスが、上海AIラボ、国家と地方の共同建設ヒューマノイドロボットイノベーションセンター、上海クーパースと共同で立ち上げたものです。

GitHubとHugfaceからダウンロードできるようになりました（直接リンクはこの記事の最後にあります）〜

実際、この分野ではこれまでにも大規模なデータセットに取り組んできた他のプレーヤーが世界中に存在します。

たとえば、Google DeepMind はかつて、22 種類の異なる自我を持つロボットからのデータを統合したOpen X-Embodiment データセットを構築しました。

しかし、このデータのほとんどには統一された標準化された収集プロセスがなく、データ収集に使用されるロボットの構成の多くは古くなっているため、データの品質と形式に一貫性がなく、ロボットのポリシー学習プロセス中に副作用が生じる可能性があります。

Google DeepMindのOpen X-Embodiment

たとえば、スタンフォード大学、カリフォルニア大学バークレー校、Google などが構築したDROID データセットは、標準化されたデータ収集プロセスの実現を目指しながらも、比較的多様なシナリオとスキルをカバーしています。

しかし、その後の研究で著者ら自身も、DROIDには大量の低品質データが含まれており、ロボットが学習するにつれて混乱が増していくことを指摘した。

2024年以降、身体知能は大きな注目を集め、業界プレーヤーが急増しています。多くのスタートアップ企業が、自社で収集した大規模かつ高品質な双腕ロボットデータで学習したモデルに基づき、仕分け、ピッキング、洗浄といった複雑な動作を実行できることを実証しています。

これは、具現化知能の分野における現在の研究段階において、高品質データの重要性をさらに裏付けるものですが、このようなデータセットは通常、内部目的にのみ使用されます。

報道によると、今回公開されたAgiBot World長距離データセットは、Open X-Embodimentデータセットと比較して規模が10倍大きく、100倍のシナリオをカバーし、品質は実験室レベルから産業レベルまで向上しているという。

このデータセットに何が含まれているか見てみましょう。

公式データによると、 AgiBot World データセットには、日常生活で使用される 80 を超える多様なスキルが含まれています。

つかむ、置く、押す、引くなどの基本的な動作から、かき混ぜる、折りたたむ、アイロンをかけるなど両腕の協調を必要とする細かく長距離にわたる複雑な動作まで、日常生活に必要なほぼすべての動作ニーズをカバーします。

いくつか例を挙げます〜

ミリレベルの精密制御。

デモシナリオでは、メモリモジュールの挿入が行われます。ロボットは、正確なドッキングを実現するために、神経線維に見られるような高感度のエンドエフェクタ触覚センサーを必要とします。わずかなミスでも装置が損傷する可能性があります。

退屈で時間のかかる家事。

このタスクの最初のデモンストレーションシナリオは、食器洗い機の整理です。

動画では、スプーン、箸、ボウル、皿がシンクに積み重ねられています。データでは、ロボットが乱雑な食器を食器洗い機の適切なスロットに整理整頓している様子が確認できます。

このタスクの 2 番目のデモンストレーション シナリオは、アイロンをかけるために衣服を掛けることです。

ロボットは両手を連携して使います。片方の手でシャツの角を持ち、もう片方の手で衣類スチーマーと衣類の距離を調節してシワを伸ばします。

オブジェクトを構築して移動します。

大きな物体を移動させることは、現在、単一のロボットにとって大きな課題です。

集中的に収集されたデータは、2 台のロボットの連携を示し、これらのロボットが重量を分担し、位置と角度をリアルタイムで調整することで物体の取り扱い中に安定性と安全性を確保します。

研究チームによると、AgiBot Worldは、Zhiyuan Roboticsが構築した大規模なデータ収集工場と応用実験拠点から収集されたとのことです。収集スペースは合計4,000平方メートルを超え、3,000点以上の実物が収蔵されています。

生産現場や日常生活におけるロボットの典型的な応用ニーズを可能な限り満たし、ロボットに非常に現実的な生産・生活環境を提供するために、収集された環境には 100 を超える実際のシーンと 3,000 を超えるアイテムが含まれています。

このうち80% のタスクは、60 秒から 150 秒と長時間にわたり、複数のアトミック スキルを伴い、DROID と OpenX-Embodiment によって行われた作業の 5 倍の長さでした。

実際のニーズに基づいて、チームは主に次の 5 つのコア シナリオを再現したことに注意してください。

家庭用家具（40%）、ケータリング（20%）、産業（20%）、スーパーマーケット（10%）、オフィス（10%）。

主な焦点は、複数のシナリオとタスク設計の非常にリアルなシミュレーションを通じて具現化された知能を実現するためのロボットの研究とテストに必要な条件を作成することにあります。

まずはホームの設定です。

寝室、リビングルーム、キッチン、バスルームといった主要な空間を含む、実際の住宅のレイアウトを主に再現します。これにより、ロボットが掃除、整理整頓、キッチン作業といった家事を行うためのトレーニングが可能になります。

リビングルームでは、ロボットはロボットアームを正確に制御して花をつかみ、花瓶を正確に配置し、計画どおりに適切な場所に花を挿入することができます。

清掃ツールを使用して、ゴミ、ほこり、液体の除去など、床を徹底的に清掃することもできます。

また、家の表面の埃や汚れをきれいにすることができ、はたきや柔らかい布を正確にコントロールして表面を傷つけずに拭くことができます。

リビングルームからキッチンに焦点を移してみましょう。

キッチンでは、ロボットが食材の種類やサラダのレシピに合わせて、切る、混ぜる、盛り付けるといった作業を行います。また、清掃ツールを操作してボトルの内側と外側をこすり洗いし、汚れを落とすこともできます。

シーンがバスルームに切り替わると、ロボットはロボットアームを正確に制御してブラシを使ってトイレを掃除することができます。

二番目は食事のシーンです。

主な目的は、注文カウンター、調理エリア、テーブルを含む、接客、キッチン、ダイニングエリアをシミュレートし、インテリジェントなサービス体験を提供することです。これにより、ロボットがレストランサービス（注文受付、料理の提供、テーブル清掃）、料理のデリバリー、キッチンでの連携を行えるようにトレーニングできます。

さらに、産業的な設定。

主に仕分けと物流の自動化をシミュレートし、仕分けシステム、梱包設備、コンベアベルトなどを含む産業倉庫と生産ラインを再現します。これにより、ロボットが材料の仕分け、梱包、物流処理を実行できるようにトレーニングできます。

工場では、ロボットがロボットアームを使用して、組立ライン上で指定された梱包箱へのアイテムの配置を正確に制御し、自動梱包を実現しています。

ショッピングモールのシナリオもあります。

このシナリオは、生鮮食品、日用品、冷凍食品のセクションを含むスーパーマーケットの棚とレジエリアのレイアウトを忠実に再現しています。棚付け、在庫管理、顧客案内、無人レジなどのタスクをロボットにシミュレートするトレーニングに役立ちます。

スーパーマーケットでは、ロボットがバーコードスキャナーを正確に制御して、レジに出す商品をスキャンし、顧客が商品を袋詰めするのを手伝うことができます。

上記の AgiBot World のすべてのデータは、次のロボットによって収集されました。

次のような特徴があります。

• 360°認識: 8 台のカメラがサラウンド レイアウトに配置され、あらゆる角度から周囲の環境の動的な変化をリアルタイムで認識します。
• 器用な操作: 6 つのアクティブ自由度を備えた器用なハンドを装備して、正確で柔軟な動きを確保し、さまざまな複雑な操作を完了できます。
• きめ細かなエンドエフェクタセンシング：標準構成では、接触端に 6 次元の力センサが組み込まれており、高精度の視覚および触覚センサを装備して、微小な力の変化を検知し、正確な制御を実現できます。
• 高い自由度:体全体で最大 32 の自由度があり、洗濯、調理、仕分け、移動などの複雑な作業を処理できます。

さらに、AgiBot World には膨大な量の実際のデータが存在するため、チームは専門的なトレーニング、多層的な品質管理、全プロセスの人間によるオーバーザループ管理を通じて、データ品質の厳格かつ細心の注意を払った管理を確実に実施します。

タスク設計フェーズでは、AgiBot World は学者、業界の専門家、消費者を招待し、最初の設計草案から設計反復プロセスまで多角的なタスク監視を提供します。

データ収集段階では、管理システム内の専門管理チームがデータ収集者のトレーニングとデータ収集品質の管理を確実に行います。

レビューとラベル付けのプロセスでは、収集されたデータはまずエンドユーザーとクラウド プラットフォームの両方によって厳密に審査され、要件を満たさないデータは自動的に削除されます。

さらに、専門の監査人がデータセット全体をフレームごとに手動で確認し、すべてのアクションがタスク基準を満たしていることを確認し、キーフレームとデータ特性を多次元で注釈付けします。

アルゴリズム検証段階では、手動レビューに合格したデータが、アルゴリズムを使用して AgiBot World チームによってさらに検証されます。

検証に失敗したデータについては、補足データを収集し、データの可用性を確保するようにタスクが再設計されます。

この AgiBot World データセットのオープンソース リリースは、Zhihui にとって 3 か月間で 3 回目のオープンソース イニシアチブとなります。

最初の事例は9月末、具現化された知能向けに特別に設計された軽量で高性能な通信フレームワークであるAimRTがオープンソース化されたときでした。

前回は10月24日（そう、ちょうど1024年でした）、 ZhiyuanヒューマノイドロボットLingxi X1の設計図やコードなど、すべての資料が世界に公開されたときでした。

次のステップとしては

QuantumBit からのニュースは、オープンソース、オープンソース、そしてさらにオープンソースだということです (Zhihui はソースの神になりたいと思っているのでしょうか?)。

ここにすべての内部情報を載せているので、彼がゆっくりとギャップを埋めるのを待つだけです、本当に（真摯な顔.jpg）。

• 数百万台の実際のデバイスからの全データが段階的に公開されます。
• 数百万のシミュレーション データが同時にプッシュされ、より一般化された汎用的な大規模モデルのトレーニングをサポートします。
• 大規模な具体化されたベースモデルをリリースし、モデルの微調整をサポートし、数千の業界に力を与えます。
• データ収集、トレーニング、評価の完璧な閉ループを実現するための完全なツールチェーンをリリースします。
• AgiBot World Challenges シリーズを主催します。

GitHub リンク:

https://github.com/OpenDriveL...

ハグフェイスリンク:

https://huggingface.co/agibot...

プロジェクトホームページ:

https://agibot-world.com/

転載元：Quantum Bit

編集：王俊

関連資料

ビッグニュース！「AI界の拼多多」が再び登場！国産大規模AIモデルDeepSeek-V3がオープンソース公開され話題沸騰中。総学習コストは557万ドル、性能はGPT-40に匹敵。

ポストオープンソース時代: オープンソースの作者はもはや乞食ではなく、受益者です。

オープンソース協会の紹介

2014年に設立されたオープンソース協会（KAIYUANSHE）は、オープンソースの理念に献身的に貢献する個々のボランティアで構成されるオープンソースコミュニティであり、「貢献、合意、そして共同統治」の原則に基づき活動しています。KAIYUANSHEは、「ベンダー中立性、公益性、非営利性」の原則を堅持し、「中国を拠点とし、世界に貢献し、新時代のライフスタイルとしてオープンソースを推進する」というビジョンを掲げています。その使命は「オープンソースのガバナンス、国際的な連携、コミュニティの発展、そしてプロジェクトのインキュベーション」であり、健全で持続可能なオープンソースエコシステムの共創を目指しています。

オープンソース協会は、オープンソースを支援するコミュニティ、大学、企業、政府機関と積極的に連携しています。また、世界的なオープンソースライセンス認証組織であるOSIの中国初の会員でもあります。

2016年以降、中国オープンソースカンファレンス（COSCon）が毎年開催され、「中国オープンソース年次報告書」が継続的に発表されています。また、「中国オープンソースパイオニアリスト」と「中国オープンソースコードパワーリスト」も共同で立ち上げ、国内外で幅広い影響力を発揮しています。