私たちのビジョンでは、完璧なロボットは人間と同じ視覚、触覚、聴覚、嗅覚、味覚を備えているべきです。

知能ロボット開発の核心は、五感を通して物理世界を知覚・理解し、同時に強力なAI脳を活用して環境への正確な反応を実現することにあります。テクノロジー大手のテスラもこの点に同意しています。

例えば、彼らの第2世代ヒューマノイドロボット「オプティマス」は、触覚認識能力が向上し、たった2本の指で卵を器用に拾うことができます。この物体の正確な認識と力の精密な制御は、10本の指先に搭載された触覚センサーのおかげです。

人間は触覚を用いて物体の大きさや形状を判断しますが、ロボットも同様です。触覚センサーを活用することで、ロボットは現実世界における物体の相互作用をより深く理解し、対象物体の質感、温度、硬さ、変形といった触覚情報を取得することができます。これにより、物体を正確に位置決めし、様々な操作（例えば把持など）を行うことができます。つまり、マニピュレーションは触覚と切り離せないものであり、触覚センシングはロボット工学分野において非常に大きな応用の可能性を秘めています。

12月13日、Embodied Touchコミュニティが主催し、HyperAIが共催する「最先端を行く新進エキスパート」の第3回オンライン共有イベントが正式に開幕しました。このイベントでは、中国地質大学（北京）の博士課程4年生である張世欣氏が「TactEdgeセンサーの設計、製造、そしてロボットによる知覚と操作」について詳細なプレゼンテーションを行いました。プレゼンテーションでは、TactEdge視覚触覚センサーの反復的な歴史、ハードウェアの最適化、視覚触覚シミュレーション、そしてロボットによる知覚と操作について解説されました。

HyperAI は、張世新博士の詳細なプレゼンテーションを、その本来の意味を変えることなく編集し、要約しました。

TactEdge視覚触覚センサーのアップグレード履歴

従来、触覚情報を収集するために電子触覚センサーが使用されていました。しかし、これらのセンサーのセンシングユニットは疎に分布していたため、触覚情報をマッピングする際の解像度が比較的低かったです。触覚情報の質を向上させるため、研究者たちは新しいセンシングメカニズム、すなわち視覚認識ベースの触覚センサー（視覚触覚センサーとも呼ばれます）を導入しました。これらのセンサーは画像をセンシング媒体として使用することで、特に空間解像度の点で触覚の質を大幅に向上させます。視覚触覚センサーの進化を下図に示します。

20世紀には、研究者たちが視覚触覚センシングの新しい手法を提案しました。彼らの研究は、接触モジュール、カメラモジュール、照明モジュールという3つの主要モジュールにまとめられ、視覚触覚センシングのメカニズムを標準化しました。接触モジュールは、マーカー層、コーティング層、そして触覚情報を伝達する機能層（温度感知層など）で構成され、逆イメージング技術によって触覚情報を可視化します。

私たちのチームは2014年から10年間、視覚触覚センサーの研究に取り組んできました。この間、私たちは複数世代のセンサー技術を探求し、開発してきました。その技術は、下図に示す最先端の触覚技術「TactEdge」です。

第 1 世代の TactEdge は、金属スパッタリングとマスキング プロセスを使用して薄い金属コーティングと標準マーカー アレイを作成するコーティング設計を採用しており、デュアル モードの触覚センシング機能を実現します。

第2世代のTactEdgeは、コーティング材やマーキング材にサーモクロミック材料を採用しています。各材料は温度閾値が異なるため、温度上昇または下降に応じて明るい色から暗い色へと変化し、局所的な温度検知を実現します。

第3世代のTactEdgeは、視覚と触覚のセンシングを統合したソフトハンドで、組み込みビジョンを使用してキャビティの変形状態を監視し、曲げ姿勢の追跡を実現します。

第4世代TactEdgeは、テクスチャマッピング用のコーティング層、力覚トラッキング用のマーカー層、温度検知用の温度検知層を採用しています。これらの機能層を組み合わせることで、マルチモーダルセンシングを実現しています。さらに、第4世代TactEdgeでは、サーモクロミック層とコーティング層を組み合わせることで、テクスチャと温度のマルチモーダルセンシングを実現しています。

第5世代のTactEdgeは、センサーの半径サイズの最適化と触覚イメージングの堅牢性を大幅に向上させました。さらに、マーカー層とコーティング層を組み合わせることで、力と質感のデュアルモーダルな同時認識を実現しました。

第 6 世代の TactEdge では、新しい視覚触覚センシング メカニズムである TIRgel が採用されています。このメカニズムは、エラストマー内で全反射を実現することで触覚情報を表現するとともに、焦点調節可能なカメラを導入して内部視覚と外部視覚を切り替えます。

ハードウェアの最適化

近年のセンサー開発プロセスでは、ハードウェアの最適化に注力してきました。例えば、2021年には、現在主流のセンサー製造技術（エラストマー製造プロセス、マーカー層製造プロセス、コーティング製造プロセス、支持構造形状など）を整理し、それに基づいてプロセスをコード化し、下図に示すように7つの設計目標をまとめました。これらの目標は、視覚センサーと触覚センサーのアプリケーション要件によって異なります。

これらのセンシング要件に基づき、様々な制約条件を追加し、プロセスと設計目標の間に固有の関係性と論理的枠組みを構築しました。これに基づいて、プロセス開発システム全体を構築し、QTを用いたシステムのビジュアルインターフェースを開発しました。下図に示すように、ユーザーは緑色のボックスに設計目標を入力すると、システムバックエンドがこれらの目標に基づいて適切な製造プロセスをマッチングし、チームのセンサー開発を支援します。ただし、これは推奨される製造プロセスのみを提供するものであり、一部の特殊なシナリオでは、プロセスの具体的な局所的な最適化が依然として必要です。

エラストマープロセスの最適化：簡素化された製造プロセス + 低コスト

例えば、エラストマーの一般的な製造プロセスは、成形、シリコーンの準備、注型、真空引き、加熱、脱型、そして各種コーティング工程で構成されています。これは一般的なエラストマー製造プロセスです。量産においては、加熱時間が長いことを考慮すると、自己硬化型の特殊シリコーン材料を使用することが考えられます。この材料は、硬化と真空引き後に追加の加熱を必要としません。さらに、センサー用エラストマーの製造コストを削減するため、当チームはラミネート加工プロセスも提案しています。

コーティングプロセスの最適化：耐摩耗性と延性

現在、センサーコーティングの作製方法は、主にスプレーコーティングと金属スパッタリングに分けられます。金属コーティングは、頻繁に取り扱うと完全に剥離し、摩耗する傾向があります。スプレーコーティングは耐摩耗性に優れていますが、鋭利な物体との接触により局所的な損傷が発生しやすいため、コーティングの品質と耐摩耗性は重要な要素です。かつてのコーティング作製は、機械的な接着に重点が置かれていました。数年前、化学接着という概念が提案されました。これは、未硬化のエラストマー表面にコーティング材料を付着させ、硬化前に化学結合を形成することで、耐摩耗性と接着性を向上させるというものです。

金メッキ：耐摩耗性の向上

この問題を解決するため、耐摩耗性を向上させるための新たなコーティング最適化手法（金箔プロセス）を提案します。この手法は、主に金属箔をエラストマーに接着して薄いコーティング層を形成するものです。この手法は、接着強度の二重の最適化を実現します。金属箔表面の過酸化物がアクリルテープ（メタクリル酸メチル）と連鎖重合反応を開始し、化学結合を形成します。さらに、エラストマーと金属箔の間にファンデルワールス力が形成されます。

従来のスプレー塗装や金属スパッタリング工程と比較して、金メッキはハードウェアコスト、製造コスト、そして時間消費の面で大きなメリットをもたらします。例えば、スプレー塗装工程とスプレーガンの洗浄の手間が大幅に簡素化され、センサー製造サイクルが短縮されます。さらに、この新工程は機能層の耐摩耗性を向上させるだけでなく、熟練した操作者であれば、接触モジュール全体の製造時間を5～10分に短縮することも可能です。金メッキのもう一つの大きなメリットは、メンテナンスの容易さです。コーティング表面は通常、布や医療用テープなどの保護層で覆われており、その厚さは触覚感度や微細なテクスチャマッピングに影響を与える可能性があります。しかし、金メッキは損傷したコーティングに対して二次加工を施すことができるため、メンテナンスが容易です。

伸線加工：延性の向上

しかし、実用化においては、金属箔自体が連続したコーティングであるため、プレス工程でクラックが発生しやすいことが分かりました。金属箔粒子を連続的に堆積させることで、マクロスケールで連続したコーティング層を形成でき、コーティングの延性を向上させることができると考えています。そこで、金箔加工工程を改良し、伸線加工工程を提案しました。

金属箔に引張処理を施しました。金属箔は豊富なすべり系を持つため、塑性変形中に微粒子を形成します。引張強度が高いほど、微粒子は微細になります。金属の種類によってすべり系が異なるため、粒子サイズも異なります。そこで、銅、アルミニウム、銀箔を用いて実験を行いました。電子顕微鏡による微細構造観察では、以下のことが示されています。

• 銅箔: アルミニウム箔や銀箔に比べて滑り系が少ないため、伸張中に粒子が比較的粗くなり、触覚イメージングの連続性に影響を与えます。
• アルミホイルと銀ホイル: 伸張された粒子は非常に細かく、ナノスケールの粒子分布を備えているため、触覚イメージングの空間解像度が大幅に向上します。

下図に示すように、当社のブラシコーティングを現在主流のスプレー塗装や金属スパッタリング塗装と比較したところ、当社の塗装は最も優れたテクスチャマッピング効果を示しました。

下図に示すように、薄いコーティングはプレス時に容易に破断し、鋭利な物で押すと破断速度と範囲がさらに大きくなります。しかし、粒状化されたブラシコーティングは、不規則な変形に対する耐性が強く、粒状化処理によって薄いコーティングの延性が向上していることを示しています。

二重接着強化コーティングの耐摩耗性を評価するため、耐摩耗試験を実施し、コーティングの微細構造の変化を記録しました。その結果、ブラシ塗布コーティングは摩耗過程において粒子が細かく均一に摩耗するのに対し、スプレー塗布コーティングは接着力が弱いため、摩耗過程において局所的に剥離し、周囲に堆積してピットを形成することが示されました。

視覚触覚イメージングの最適化：視覚触覚イメージングの堅牢性の向上

さらに、コーティングの改良により、触覚イメージングの堅牢性もある程度向上します。

視覚触覚センシングでは、撮像距離が極めて短く、マクロ撮影となる場合が多くあります。このような場合、押下するたびに撮像距離が変化し、撮像ずれが生じます。さらに、センサ設計時に設定された撮像距離と実際の使用時の撮像距離が異なる場合があり、どちらも画像の鮮明度不足につながる可能性があります。これらの問題を解決するため、キャリブレーションモジュールとフォーカスモジュールで構成される撮像調整システムを開発しました。

イメージング調整システムでは、イメージングキャリブレーションモジュールがグローバルサーチ戦略を採用し、調整範囲を広げて焦点距離を短縮するとともに、ラベルとして適切な調整値を決定するのに役立ちます。フォーカスモジュールは、3点フィッティングに基づく焦点深度法とディープラーニングに基づく焦点外し深度法の2つの方法を採用しています。前者は精度が高いものの速度が遅く、後者は高速ですが精度が若干劣るため、エンドツーエンドの調整方法となっています。

視覚触覚センシングは画像メカニズムに依存しているため、焦点合わせの基準として主に画像の鮮明度を用います。下図に示すように、理想的な画像鮮明度評価曲線は、偏りがなく単峰性（赤線）を持つべきです。しかし、現実世界の焦点合わせ環境では、光が不均一であることが多く（青線）、焦点合わせのピークが局所的に現れます。

触覚センサーを閉鎖環境で使用すると、外部干渉を低減し、より理想的な状態に近い画像曲線を得ることができます。この目的のため、キャリブレーションプラットフォームを構築し、触覚センサーの画像曲線をテストし、このセンサーに適した画像勾配計算手法を探求しました。その結果、Tenengrad勾配計算法がセンサーの特性により適合していることが示され、フィッティングされた曲線は提案された5つの主要な特性、特に偏りのなさと単峰性を備えており、これらは後の焦点評価に不可欠です。

通常の状況では、初期フォーカス値をランダムに設定し、軽く押し込んだ後、画像をキャリブレーションして鮮明な画像を取得します。画質は依然として許容範囲内です。

さらに、センサー設計段階では、動的に変化するセンシングフィールドを考慮し、特定のシナリオに基づいて撮像距離を調整できるようにする必要があります。撮像距離が長くなると、センシングフィールドも拡大します。撮像焦点を動的に調整することで、全体的な設計が簡素化されます。（下図参照）

フォーカス精度を検証するため、3種類の異なる密度テクスチャを持つ物体を用いて実験を行いました。その結果、どちらのキャリブレーション手法も期待値に近く、画像調整精度は99.5%を超え、動的な認識タスクにおいてもリアルタイムでフォーカスできることが示されました。

温度感知層の最適化：分散モード設計

現在、温度感知層の最適設計に関する研究は比較的限られています。主流のアプローチは、サーモクロミック粉末やオイルなどの温度感知材料をセンサーの機能層に添加することです。予備的な画像化結果では、この方法は色と質感の情報を融合していることが示唆されています。しかし、温度と質感の間には直接的な相関関係はありません。画像中のこれらの無関係な特徴を適切に抽出または分離することなく、認識モデルに入力する前に融合することは合理的ではありません。

この問題に対処するため、温度検知層とコーティング層に分散モード設計を採用し、両領域の寸法を特徴抽出機構に合わせて調整しました。これについては後ほど詳しく説明します。

内部構造の最適化：小型化によりセンサーの統合性が向上

視覚触覚センサーの小型化要件を考慮し、小型化による統合性の向上を目指しました。顕微鏡イメージング技術の進歩により、イメージサイズを効果的に縮小し、センサー内部構造をモジュール化しました。使用頻度の低い部品を統合することで、組み立てと分解が容易になり、スペース利用率を最大化します。各種コネクタと組み合わせることで、この小型視覚触覚センサーは様々なロボットアームに統合でき、高い統合性と互換性を実現します。

視覚触覚シミュレーション

本手法は視覚触覚センサーコーティングの耐摩耗性を向上させましたが、数千回の使用後には依然として摩耗が発生します。そのため、大規模なデータ取得が必要となり、手作業のみで解析することは現実的ではありません。そこで、主にTaichi言語とMLS-MPM法を用いてエラストマーの変形をシミュレーションする視覚触覚シミュレーションに関する研究を行いました。

弾性シミュレーションでは、主に粒状の粒子を用いて弾性体や圧子を表現します。シミュレーションの各ステップでは、粒子の物理的特性（運動量や質量など）がメッシュに伝達されます。メッシュノードと粒子の以前の状態を用いて、粒子の状態が更新されます。シミュレーション後、深度情報が得られます。Tacchiは他のロボットと連携して協調シミュレーションを行うこともできます。プレスプロセスでは、粒子はフレームごとに変化し、最終的にレンダリング用の粒子深度マップを形成します。さらに、Touch 2.0では、粒子とメッシュ間の相互情報伝達メカニズムを追加し、物体が滑るシミュレーション効果を向上させました。また、レイトレーシングを用いてレンダリングのリアリティを高め、Touch 1.0よりも細部まで洗練された表現を実現しました。

ロボットの知覚操作

ハードウェアとシミュレーションを基盤として、視覚触覚センサーは様々な知覚領域へと拡張しています。当社のTactEdgeロボットは、様々な分野における認識課題を解決するために設計されており、ロボット操作に関する興味深い実験も行っています。

生地識別：生地の欠陥検出に使用できます

布地はきめ細かな質感と明確な幾何学的特徴を持つため、当初は視覚触覚センサーの質感マッピング効果の検証に使用されていました。しかし、コーティングされた視覚触覚センサーは、布地を押した際に色情報が除去されてしまいます。間接的に幾何学的情報を抽出しているとはいえ、布地にとって色は同様に重要です。そこで、同じ質感で色が異なるサンプルにおいて、コーティングセンサーと第6世代視覚触覚センサーの性能を比較しました。下図に示すように、視覚情報と触覚情報を融合したコーティングセンサーは、視覚情報と触覚情報の両方を取得できるため、精度が大幅に向上しています。

生地の欠陥検出は非常に重要です。欠陥は価値を45%～65%低下させる可能性があるためです。生地の染色パターンは、アルゴリズムの汎用性と複雑さに大きな影響を与えます。触覚は人間の重要な感覚能力であり、表面色の影響を受けず、物体認識において視覚を補助することができます。そこで、生地の欠陥検出に触覚を導入し、9つの生地サンプルを用いて交差検証を行いました。その結果、特に特定の特殊な質感の認識において、触覚モードの認識精度は視覚モードよりも高いことが示されました。

生地のテクスチャ情報は支配的であり、欠陥位置の決定に影響を与えるため、重要な欠陥領域に特別な注意を払うための注意メカニズムを導入し、それによって欠陥識別の精度を向上させました。

透明物体認識：ガラスカップの認識精度は99%を超えます。

布地以外にも、透明物体の質感認識は非常に困難です。透明性と反射光の影響により、視覚的な条件下では誤認が生じる可能性があります。そこで、触覚メカニズムを導入し、触覚データを収集し、触覚プラットフォームを構築します。収集したガラスには、ガラス自体の温度特性の影響を考慮し、熱湯や氷を加えて温度を調整し、触覚画像を収集して、必要な触覚形式に加工します。

前述のように、触覚認識には通常、温度情報と質感情報が含まれます。これら2つの特徴を分離して認識し、異なる単一モデルを融合することで2つの特徴の抽出と分離を強化する手法は一般的な認識手法ですが、この手法では不規則な融合が生じる可能性があります。

そこで、階層的な領域特徴抽出機構を提案する。この機構は、センシング層と温度層の領域が特定のサイズに従って分散されることを保証する。この特定のサイズを畳み込みサイズと一致させることで、畳み込みスライディング処理中に各領域内で独立した特徴抽出を実現し、混合融合抽出を回避する。さらに、領域特徴を抽出しながら、後続の特徴マップ内の各モーダル領域は、初期領域とモーダルマッピングを形成する。ベクトル化処理と組み合わせることで、無関係なモーダル特徴の分散並列処理を可能にする。

テクスチャ特徴と温度特徴の学習難易度の違いを考慮し、階層型認識メカニズムを統合し、異なるディープネットワークモジュールを割り当てることで情報処理を深化させました。この階層型メカニズムにより、複雑な特徴を効果的に学習できます。

下図に示すように、従来の単一モデルアプローチでは、テクスチャ情報と温度情報を効果的に処理できません。そのため、個別認識では温度認識精度が低く、全体認識ではテクスチャ認識が優勢となるため、モデルは無関係な特徴を強制的に結合・マッピングし、温度認識精度を向上させます。本手法（LRFE-Net）は、全体認識と個別認識の両方で一貫した精度を維持します。さらに、マルチモデル認識と比較して、時間効率も向上します。

要約すると、視覚モードでは透明物体の外観属性を取得し、触覚モードでは質感や温度属性を取得します。次に、決定融合を用いて、これら2つのモードで取得した属性を統合し、透明物体の認識に適用します。例えば、本手法はガラスカップの視覚・触覚認識において99%以上の精度を達成しています。

農業における応用：果物の品質検査

農業分野では、視覚と触覚によるセンシングを果物の品質検査にも拡張し、変形の違いを利用して果物の硬さや局所的な腐敗の程度を評価しています。

圧力が加えられると、硬さの異なる物体は異なる変形を起こします。同様に、マーキングと力の間には関係があります。この触覚接触メカニズムを完全に表現するには、非常に大規模なデータセットと複雑なモデルが必要になる可能性があります。しかし、実際のタスクでは、力の値を正確に測定する必要は必ずしもなく、接触点における変形の傾向を把握するだけで十分な場合もあります。そこで、下図に示すように、2段階の適応型把持戦略を提案します。この戦略は主に2つの段階で構成されています。

• 把握前段階: 触覚探索を使用することで、視覚触覚センサーは物体との安定した微小接触状態を達成するように促され、物体の特性の初期理解に役立ちます。
• 安定性調整フェーズ：このフェーズでは、微小変形の動的検出に基づいて把持の安定性を決定し、視覚触覚センサーと物体が動的で比較的安定した状態に到達するように促し、物体の属性の認識を強化できます。

この戦略は、リンゴ、卵、スポンジ、缶詰などの様々な把持ニーズに適応できます。下図に示すように、卵を掴む前の段階では、ロボットアームはゆっくりと移動して物体の特性を初期認識します。その後、安定性調整段階では、卵が比較的軽いため、システムはわずかな調整を行うだけで、大きな介入なしに把持操作を完了します。

スポンジのような材料の場合、掴み前の段階で既に比較的安定した接触状態が確立されているため、システムから更なる調整要求は発生しません。一方、缶は重量物であるため、掴み始めの段階では十分な安定性が得られません。安定性調整段階では缶が滑りやすく、PDコントローラは安定性要件が満たされるまで微調整を行い、この時点で調整プロセス全体が終了します。

下の図に示すように、さまざまな物体に対する把持テストでは、提案する 2 段階適応把持戦略は高い堅牢性を備えており、さまざまな多属性物体に対して安定した信頼性の高い把持操作を実現できることが実証されています。

今後は触覚と器用さの融合をさらに追求し、人間のようなロボットの精密操作の実現を目指します。

HyperAIは今後、Embodied Hapticsコミュニティを支援し、国内外の専門家や学者を招き、最先端の研究成果や知見を共有するオンライン共有イベントを継続的に開催していきます。どうぞご期待ください！