Embodied Touchコミュニティが主催し、HyperAIが共催する「最先端を行く新進エキスパート」の第3回オンライン共有セッションが、12月13日（金）午後7時に正式に開始されます。このセッションでは、中国地質大学（北京）の博士課程4年生、張世欣氏が登壇し、「TactEdgeセンサーの設計、製造、そしてロボットによるセンシングと操作」に関する技術的な知見を共有します。

以下の QR コードをスキャンして、オンライン共有セッションに登録してください。

このイベントでは抽選会も行われ、オンラインでシェアした参加者は OpenBayes がスポンサーのコンピューティング パワー特典 ( NVIDIA RTX 4090 コンピューティング パワー リソース 60 時間分 (1 か月有効)、価値 160 元) を獲得するチャンスがありました。

この講演では、張世新博士が第3世代から第6世代のTactEdgeセンサーの開発の歴史を紹介し、さらにセンサー設計、ハードウェアの最適化、アプリケーションの3つの側面からの洞察を共有します。

ゲスト紹介

張世馨は中国地質大学（北京）の博士課程4年生で、清華大学コンピュータサイエンス学部と共同で研修を受け、楊怡勇教授と方斌教授の指導の下で研究を行っています。彼の研究は、視覚触覚センサーの開発、最適化、そして応用に焦点を当てており、センサーとロボットの統合、マルチモーダル融合、そしてセンシングの堅牢性において大きな進歩を達成しています。

張世欣博士は過去5年間で20本以上の学術論文を発表しており、そのうち10本以上は第一著者として発表しており、Advanced Functional MaterialsやIEEE Journal of Selected Topics in Signal Processingといったトップジャーナル、IEEE Sensors JournalやSensors and Actuators A: Physicalといった計測機器分野のトップジャーナル、IEEE RoboticsやAutomation Lettersといったロボット工学分野の著名なジャーナルに掲載されています。

本論文は現在までにGoogle Scholarで300回以上引用されており、スタンフォード大学、ブリストル大学、インペリアル・カレッジ・ロンドン、チューリッヒ工科大学（ETH）などのロボティクス分野の学者や専門家から肯定的な引用を受けています（IEEEで最も注目されている論文に選ばれた2つの論文を含む）。関連研究はCAAI認知システムおよび情報処理特別委員会やWileyのAdvanced Science Newsで報告されており、著者はIEEE Transactions on Robotics、IEEE Robotics and Automation Letters、Measurement、ICRAなどのジャーナルやトップカンファレンスの査読者に招かれています。

さらに、博士課程在学中は、国家博士課程学生奨学金や研究奨励プログラム賞など、数々の国家レベルおよび大学レベルの賞を受賞しました。2019年のIEEE ROBIO会議では、視覚触覚センシングに基づくソフトハンドに関する研究で最優秀学生論文賞を受賞しました。また、2021年のIEEE ICARM会議では、視覚触覚センシングを統合した可変剛性ソフトハンドに関する研究で最優秀論文賞を受賞しました。

また、2024年世界ロボット大会の協働ロボット競技および宇宙ロボット競技ではチームリーダーを務め、視覚触覚センシングに基づく点字教示システムが3位を獲得し、視覚触覚センシングに基づくマルチモードロボットハンドが特別賞（唯一の賞）を獲得しました。

共有コンテンツの簡単な紹介

ファン・ビン教授のチームは、ちょうど10年間、視覚触覚センシングの研究に取り組んできました。現在、彼らは6世代の視覚触覚センサーとそのサブタイプを反復的に開発し、下図に示す新しい視覚触覚センサーシリーズ「TactEdge」を開発しました。

図1. TactEdgeセンサーの開発履歴

• 第一世代のTactEdgeは、デュアルモード触覚センサー機能を備えています。薄い金属コーティングと標準的なマーカーアレイは、金属スパッタリングとマスキングプロセスを用いて製造されました。
• 第 2 世代の TactEdge では、視覚および触覚のセンシング機能を拡張するために、コーティングやマーキング材料にサーモクロミック材料を組み込んでおり、色の変化を追跡することで局所的な温度をセンシングできます。
• 第3世代のTactEdgeは、視覚と触覚のセンシングを統合したソフトハンドで、内部の空洞変形状態の視覚モニタリングを組み込むことで、曲げ姿勢の追跡を可能にしました。
• 第4世代のTactEdgeは、ロボットハンドの手のひらに統合されたマルチモーダル視覚・触覚センサー「PaLmTac」です。分散型モーダル設計により、質感と温度を感知する領域を統合し、無関係なモダリティの並列認識を簡素化します。
• 第 5 世代の TactEdge では、センサーの放射状サイズの最適化と触覚イメージングの堅牢性が大幅に向上しています。
• 第 6 世代の TactEdge では、新しい視覚触覚センシング メカニズムである TIRgel が採用されています。このメカニズムは、エラストマー内で全反射を実現することで触覚情報を表現するとともに、焦点調節可能なカメラを導入して内部視覚と外部視覚を切り替えます。

近年、 TactEdge開発チームは、新世代の視覚触覚シミュレーションプラットフォーム「Tacchi」を提案しました。触覚シミュレーションの多様化、シミュレーション精度、ロボットシミュレーションプラットフォームとの互換性における大幅な向上により、ロボット操作学習の汎用化、特に環境やタスクの不確実性の理解が促進されました。

TactEdgeは、他の分野における認識課題に対する新たなソリューションを提供します。視覚触覚センシングの情報媒体は画像であるため、画像マルチモーダル融合において自然な利点を有します。視覚触覚センシングの応用は、本質的に様々な分野における画像認識アプリケーションの拡張であることがわかりました。

図2 TactEdgeセンサーのクロスドメインアプリケーション

• アプリケーション 1: 視覚触覚センサーによるテクスチャ情報のマッピングを利用し、ディープラーニング モデルをブリッジとして使用して、触覚情報とオブジェクトのカテゴリ/属性との関連付けを構築します。
• アプリケーション 2: 視覚と触覚の融合を使用して、透明物体の光透過率と反射率による属性認識精度の低さの問題を解決します。
• アプリケーション3：布地の欠陥は、色特性ではなく微細構造レベルで現れます。TactEdgeを使用して布地の欠陥を捉えることで、染色パターンや環境による潜在的な干渉を回避します。
• アプリケーション 4: マーカー変位測定に基づいて、事前グリップと安定性調整で構成される 2 段階の適応型グリップ戦略を提案します。これは、ロボットの物体特性の認識を向上させ、特に壊れやすく柔軟な物体を非侵襲的に保護することを目的としています。