触覚知覚は、知能ロボットやヒューマンコンピュータインタラクションにとって極めて重要な能力ですが、高精度かつ高速応答の触覚センシングを実現することは依然として大きな課題です。従来の触覚センサーは、力測定における信号結合によって制約を受けることが多く、法線方向の力と接線方向の力を正確に区別することが困難です。さらに、触覚知覚の空間分解能は、センシングユニットの解像度の限界によって制限されます。フレキシブル磁性フィルムをベースとした自己分離型・超解像触覚センシング技術は、これらの問題の解決策となります。

この技術は、直交磁化ハルバッハ配列を用いてフレキシブル磁性膜触覚センサーを設計する。センサー表面に外力が加わると、フレキシブル磁性膜が変形し、磁場分布の変化を引き起こす。内蔵ホールセンサーはこれらの磁場変化を捉え、信号処理によって三次元的な力の自己分離を実現する。さらに、超解像アルゴリズムを用いることで、物理分解能を超える位置決め精度を実現し、触覚知覚の空間分解能を大幅に向上させる。

12月26日、Embodied Touchコミュニティ主催、HyperAI共催の第5回オンライン共有イベント「最先端をゆく新興専門家」において、フランス国立科学研究センターのポスドク研究員であるヤン・ユカン博士が「フレキシブル磁性フィルムに基づく自己分離と超解像触覚センシング」について講演しました。博士はフレキシブル磁性フィルムに基づく触覚センサーの設計と応用について解説し、直交磁化ハルバッハアレイを用いて三次元力の自己分離を実現する方法について強調しました。

HyperAI は、元の意味を変えることなく、Yan Youcan 博士の詳細なプレゼンテーションを編集して要約しました。

触覚センサーの設計と応用の探究

ロボットの触覚知覚の現状と課題

ご存知の通り、人間の手はジャガイモを切ったり水を注いだりといった複雑な動作を、主に優れた触覚感覚のおかげで実行できます。この触覚感覚はロボットにとっても同様に重要です。外部環境を認識するだけでなく、環境とのインタラクションも可能にするからです。ロボットの指先に触覚センサーを搭載することで、視覚的なフィードバックがなくても、ロボットは特定の微細な動作を実行できるようになります。

しかし、人間の触覚システムと比較すると、現在のロボットの触覚知覚は依然として主に指先に限られているのに対し、人間は全身に触覚受容器を分布しています。ロボットに触覚知覚能力を持たせるため、研究者たちは光学式、ピエゾ抵抗式、静電容量式など、様々なタイプの触覚センサーを開発してきました。これらのセンサーにはそれぞれ長所と短所がありますが、いずれもシンプルなセンサー構造とキャリブレーションプロセスを通じて、法線方向の力と接線方向の力を分離するという共通の課題に直面しています。

柔軟な磁性フィルムをベースにした触覚センサーの設計

この問題を解決するため、私たちはフレキシブル磁性フィルムをベースにした触覚センサーを設計しました（下図参照）。その構造は3層構造で、最上層はポリジメチルシロキサン（PDMS）とネオジム鉄ホウ素磁性粉末の混合物で構成された正弦波磁化フレキシブル磁性フィルム、中間層はフレキシブル弾性層、そして最下層はホールセンサーを備えた回路基板（PCB）です。センサー表面に外力が加わると、フレキシブル磁性フィルムが変形し、磁場が変化します。この磁場の変化はホールセンサーによって捉えられ、信号処理によって外力から切り離されます。

外力の大きさを切り離す必要があるのは、特定のシナリオやアプリケーションにおいて、力フィードバックによって単純な物理原理を用いた効率的な制御が可能になるからです。下の図に示すように、私たちの実験では、触覚フィードバックに基づく適応型卵把持システムを実証しました。センサーが接線方向の下向きの引張力を検出すると、制御システムはそれに応じてクランプ力を増加させ、結果として生じる力が摩擦円錐内にとどまるようにすることで、把持の安定性を維持します。触覚フィードバックがなければ、適切なタイミングで調整が行われず、卵が滑ってしまう可能性があります。したがって、力の切り離しは精密な制御を実現するために不可欠です。

直交磁化を持つハルバッハ配列

本研究では、片側の磁場を強めながら、もう一方の磁場を弱めることができるという点でユニークなハルバッハ配列磁石を採用しました。下図に示すように、磁性材料をそれぞれx方向とz方向に正弦波モードで磁化し、重ね合わせると、片側の磁場が大幅に強まり、もう一方の磁場はほぼゼロになります。この特性は、モーター、磁気浮上トラック、冷蔵庫用マグネットなどの分野で広く応用されています。

さらに、ハルバッハ配列の下の磁束BxとBzはx座標とz座標に結合しているため、元の磁束を力の分離に使用することはできません。しかし、計算により、磁場強度B（BxとBzの平方和の平方根）はz方向にのみ関係し、磁場方向に関連する量RB（Bx/Bz）はx方向にのみ関係することが示されています（下図参照）。この結果は実際の測定でも検証されており、磁場強度Bの値はz方向のみに影響され、RBの値はx方向のみに影響されます。

この特性に基づき、法線力Fzは磁場強度Bで表すことができ、接線力Fxは磁場方向RBで表すことができるため、x方向とz方向の間の自然な分離が実現されます。この分離特性により、センサのキャリブレーションプロセスが大幅に簡素化されます。しかし、この磁化方法の限界は、y方向の磁場強度分布が均一であるため、y方向の力を検知できないことです。

この問題を解決するため、正弦波状に磁化された2枚の磁性フィルムを重ね合わせました。磁場は重ね合わせの原理に従うため、重ね合わせた磁場はx、y、z方向に沿って変化します。下図に示すように、導出により、微小変形条件下では、重ね合わせた磁場強度Bと磁場方向パラメータRxz、Ryzも自然な分離特性を持つことが証明されています。したがって、これら3つのパラメータを用いてx、y、z方向の力の大きさを導出することで、キャリブレーションの複雑さを軽減し、より高速なキャリブレーションを実現できます。

3次元力分離に基づく触覚センサーの応用

前述のセンシング原理と力分離法に基づいて、分散力の測定を実現できます。下図は、膝関節の断面形状を模した24個のセンシングユニットで構成された触覚センサーを示しています。弾性層の剛性係数を事前に校正し、各センシングユニットのx、y、z方向の変位を測定することで、分散力をリアルタイムで取得できます。

下の画像は、膝関節の回転中にセンサーが測定した力の分布を示しています。x方向は左右方向、y方向は前後方向、z方向は上下方向を表しています。センサーの測定値とATIセンサーの測定値を比較すると、合力の大きさは非常に一致していることがわかります。

さらに、センサーの物理モデルに基づいて、感度と範囲の式を導き出すことができます。下の図に示すように、Z方向の感度Szは、単位入力（または単位圧力）に対するセンサーの応答の変化度合いを表します。応答の変​​化が大きいほど、感度は高くなります。X、Y、Z方向の感度は、弾性層の厚さ、弾性層のヤング率、および磁化周期に関連します。同時に、範囲も上記の3つのパラメータに関連しますが、これらのパラメータが感度と範囲に与える影響は逆相関します。したがって、特定の要件に応じて、より高い感度とより広い範囲の間でバランスを取る必要があります。

そのため、私たちは異なるアプリケーションシナリオ向けに、感度と測定範囲に関してそれぞれ異なるパラメータを持つ3つの異なるセンサーを設計しました。下図に示すように、最初のセンサーの応用はすでに実証されており、他の2つのセンサーの実際の用途は次のとおりです。

最初の応用シナリオは、触覚ベースのロボットアームのティーチングです。下図に示すように、ロボットアームの先端に3×3のセンサーアレイを設置し、ティーチングタスク（コーヒーの抽出など）を実行します。センサーに外力が加わると、X、Y、Z方向の力とトルクをリアルタイムで計算できます。センサーの読み取り値にゲイン行列を乗算し、ロボットアームの現在の姿勢を加算することで、ロボットアームの最新の姿勢を取得し、コーヒーの抽出などのティーチング操作を完了できます。

2つ目の応用シナリオは、膝サポーターの触覚センシングです。下図に示すように、このセンサーはフレキシブルPCBを使用し、膝サポーターの内側に設置することで、歩行中の膝サポーターと皮膚間の3次元接触力をモニタリングします。実験結果によると、センサーの応答は、歩行、しゃがみ、走行など、さまざまな動作状態によって大きく異なることが示されています。膝サポーターの支持力が増加すると、センサーが測定する力の値も増加します。これは、脚を曲げる際に膝サポーターが提供する支持力を克服するために、より大きな力を加える必要があるためです。

触覚超解像の研究と応用

触覚超解像は、複数のセンシングユニットまたは隣接するセンシングユニットからの信号を重ね合わせ、補間することで実現する高精度な触覚情報復元手法です。センシングユニットが外力を受けて全体的に変形する場合、前述の力分離アルゴリズムを用いて3次元の力を測定できます。しかし、2つのセンシングユニットの間に物体が挟まれ、センサ面が連続している場合、加えられた力の位置と大きさを正確に計算することが重要な課題となります。この問題を解決するために、我々は超解像モデルを提案します。その目標は、超解像アルゴリズムを用いてセンサ上の任意の位置に力が加わった場合の接触力の位置と大きさを正確に推定することです。

超解像アルゴリズムの開発

超解像アルゴリズムの概念は、2015年にNathan氏によって初めて提唱されました。彼は、センシングユニットの受信領域（すなわちセンシングフィールド）が重なり合う場合、それらの物理的解像度は、明確に区別できる2点間の最小距離として定義されると指摘しました。超解像アルゴリズムは、この解像度をさらに向上させることができます。下の図は、2015年から2024年までの代表的な研究を示しています。

2021年の研究では、定性分析と定量分析を組み合わせた超解像アルゴリズムを提案しました。下図に示すように、3×3のセンサーアレイ上で小さなボールを表面に押し付けると、まず最大応答値に基づいてボールの初期位置（センサーセル5に位置）を特定します。次に、x方向とy方向の磁束の符号（正または負）を使用して、ボールがそのセンサーセルの上、下、左、または右のどこに位置しているかをさらに計算し、センサーの空間解像度を（物理的な解像度と比較して）2倍にします。この方法は定性的なため、さまざまな形状の接触物体に適用できます。

位置決め精度をさらに向上させるため、多層パーセプトロン（MLP）モデルを用いてx方向とy方向の回帰分析を行い、より正確な接触位置を取得します。得られた接触位置を用いて、z方向の磁束の読み取り値と事前にキャリブレーションされたルックアップテーブルを組み合わせることで、押し込み深さを判定し、力を推定することができます。ただし、この手法は単一点接触にのみ適しており、複数点接触のシナリオには対応できません。

多点接触の問題に対処するため、幾何学モデルに基づく手法を提案します。下図に示すように、球状の物体がセンサ表面に押し付けられて位置1から位置2に移動すると、センサS1によって測定される磁場は、水平位置X1からX2への移動に対応します。RB値とx方向の関係を解析することで、RB曲線から接触位置xを計算し、さらに力の大きさを推定することができます。

具体的なワークフローは下図の通りです。この手法により、解像度を15倍に向上させることができます。

下図は、幾何学モデルに基づく高解像度アルゴリズムによる接触点のリアルタイム位置特定と力の強さの測定性能を示しています。さらに、球形や非球形（非球形は一定の直径を持つ球形と同等と仮定）など、様々な形状の物体でテストを行いました。この手法は複数点の接触を同時に検出できるため、複雑なシーンにおける触覚超解像技術の初適用例を示しています。しかしながら、力分布の高解像度測定は現時点では実現できておらず、これは今後の課題として残されています。

ベイズ最適化に基づくロボット触覚診断

触覚センサーとベイズ最適化アルゴリズムを組み合わせることで、ロボットによる迅速な触診（体のさまざまな部分を押して病変を診断する医師の触診をシミュレート）を実現しました。

下の画像は実験セットアップを示しています。3Dプリントされた硬いブロックで腫瘍を模擬し、人体組織を模擬したシリコンで覆っています。右下隅の青い領域は、ブロックの硬さ分布のグランドトゥルース値を表しています。ここでは、摩擦を低減し感度を向上させるために、円弧状の構造を持つ触覚センサーを設計しました。実験の目標は、最小限の押下回数でブロックの位置を特定し、腫瘍を正確にセグメンテーションすることです。

ベイズ最適化アルゴリズムを使用すると、触覚センサーは 15 回の反復で最初のハード ブロックの輪郭を見つけ、20 回の反復で 2 番目のハード ブロックを発見し、30 回の反復で 3 番目のハード ブロックの境界を見つけることができます。

次に、推定された硬度分布をクラスタリングし、各質量の重心を求めます。重心から出発し、センサーを様々な方向にスライドさせ、各方向における質量の境界点（Bx値の急激な変化を検出することで）を探します。そして、発見された境界点を3次スプライン補間を用いてフィッティングすることで、質量の正確なセグメンテーション結果を得ます。

重心が体の外側にある複雑な形状（C 字型や O 字型の硬いブロックなど）の場合、この方法でその境界を正確に特定できることが実験でわかっています。

点字認識と材料分類

触覚センサーは点字認識にも利用できます。センサーを点字の上を滑らせると、点字の凸凹に応じてx、y、z方向の磁束がそれぞれ異なる変化を示します。この目的のために、LSTMニューラルネットワークを学習させました。このネットワークへの入力はセンサーからの磁束の変化であり、出力は対応する文字または記号であり、97%の認識成功率を達成しました。

さらに、同じセンサーシステムとLSTMニューラルネットワークは、布地の材質分類にも使用できます。センサーを布地の表面に押し付けてスライドさせることで、X、Y、Z方向のセンサーの応答が布地の硬さ、摩擦、粗さの特性を反映していることがわかりました。この特性に基づき、99%の布地認識成功率を達成しました。

要約と展望

私たちは、高感度触覚センサーハードウェアを設計し、力分離および超解像アルゴリズムを開発し、触覚診断や材質分類などの実用的なシナリオに適用しました。しかし、この分野には、センサーシミュレーションの最適化と拡張、複雑な接触シナリオに適用可能な汎用的な超解像アルゴリズムの開発、そして人間の皮膚に類似した全身触覚の実現など、未解決の課題が数多く残されています。

今後も触覚センサーの可能性を追求し、知能ロボットやヒューマンコンピュータインタラクションへの幅広い応用を推進していきます。