技術革新の波に後押しされ、伝統的な農業はインテリジェントな変革を遂げつつあります。現代農業の「目と耳」として、農業リモートセンシングは、衛星やドローンなどのプラットフォームからリモートセンシングデータを収集することで、作物の生育、土地利用・被覆の変化、害虫や病気の状況、水資源管理、農業環境の変化を監視するために広く活用されています。農業リモートセンシングは、意思決定者にリアルタイムで詳細な洞察を提供し、情報の正確性と意思決定の先見性を確保します。

しかし、農業におけるリモートセンシングデータの応用には、通常、高い空間解像度（HSR）と頻繁な観測が必要です。衛星による作物の生育監視能力は、光学衛星画像の再観測周期や雲の影響といった要因によって、しばしば著しく阻害されます。

高時空間解像度の合成画像を得るために、多くの時空間融合手法が開発されてきました。しかし、既存の手法は、モデル開発と検証の観点から、主に低～中空間解像度の衛星データの融合に重点を置いています。中～高空間解像度画像の融合となると、その適用性には依然として様々な課題が残っています。

これらの問題に対処するため、北京師範大学地表プロセス・資源生態国家重点実験室の陳金氏のチームは、デュアルストリーム時空間分離・融合アーキテクチャモデル「StarFusion」を提案しました。このモデルは、従来のSTF法とディープラーニングを組み合わせることで、既存のディープラーニングアルゴリズムのほとんどがトレーニングにHSR時系列画像を必要とするという問題を克服し、高空間解像度画像の予測を完全に実現します。

研究のハイライト:

• StarFusion は Gaofen-1 衛星と Sentinel-2 衛星のデータを融合し、高時空間解像度の画像を生成します。
• StarFusion は、ディープラーニング ベースの超解像法と部分最小二乗回帰モデルを組み合わせ、エッジと色で重み付けされた損失関数を使用することで、高い融合精度と優れた空間詳細を維持します。
• 3 つの異なる実験場所において、StarFusion モデルは、従来の時空間融合方式やディープラーニング ベースの方法と比較して、優れた全体的なパフォーマンスと時間的推移性を実証しました。

論文の宛先:

https://doi.org/10.34133/remotesensing.0159

データセットのダウンロードアドレス:
https://go.hyper.ai/LGmkW

オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、膨大なデータセットとツールを提供します。

https://github.com/hyperai/awesome-ai4s

データセット: 山東省の 2 つの郡に基づき、Gaofen-1 衛星と Sentinel-2 衛星のデータを統合しました。

この研究では、それぞれ同じ地理的領域をカバーする Gaofen-1 衛星と Sentinel-2 衛星のデータセットを使用して、包括的な評価実験を設計しました。

研究場所

本研究は、山東省肥県県と運城県において、多様な土地被覆タイプを有する約2,567平方キロメートルの地域を対象として実施されました。景観の多様性を確保するため、3つのサブ地域を実験地域として選定しました。これらの地域は農地、水域、道路、建物が混在しており、景観の不均一性に顕著な違いが見られました。

飛県県と運城県の高分1号衛星画像

データ前処理

下表に示すように、本研究では、高分1号衛星が生成した2メートル解像度の画像を主に用いて、比較的鮮明な10メートル解像度の画像を作成し、同時に、比較的粗い解像度のセンチネル2号衛星が生成した画像も使用しました。センチネル2号の画像は、高分1号のデータと一致する2メートルの空間解像度に位置合わせおよび地理補正されました。

高分1号とセンチネル2号の3地点の画像情報

本研究では、高分1号とセンチネル2号のスペクトル特性を整合させるため、線形回帰モデルを採用しました。センチネルデータの各バンドを従属変数とし、対応する高分1号のデータバンドを独立変数とする単変量回帰モデルを構築しました。構築されたモデルの傾きと切片を、各バンドの高分1号画像の各ピクセルに適用しました。このフィッティングプロセスにより、変換された高分1号画像はセンチネル2号のスペクトル応答を忠実に反映し、両者のスペクトル不一致を効果的に低減しました。

StarFusion: モデルは SRGAN と PLSR を統合し、ECW 重み付け関数が追加されました。

下図に示すように、StarFusionは、基準日（T1）に取得されたGaofen-1データと、基準日（T1）と予測日（T2）の両方に取得されたSentinel-2データを融合します。収集されたデータに基づいて、StarFusionは2つの主要な融合モデルであるSRGAN（Grad-SRGAN-STF）とPLSRを、単一の2ストリームの時空間的に分離された融合アーキテクチャに統合し、両モデルの利点を活用します。

StarFusionメソッドのフローチャート

本研究では、部分最小二乗回帰（PLSR）モデルにおいて、スケール不変仮定に基づき、より自由度の高い多変量回帰モデルを構築し、時間変化をより正確に予測しました。また、Sentinel-2画像の空間解像度がGaofen-1画像よりも低いことを考慮し、粗い画像から細かい画像へのダウンスケーリングタスクを処理するための勾配マップSRGANモデル（Grad-SRGAN）も設計しました。

さらに、本研究では、下図に示すように、勾配グラフを用いたSRGAN-STFモデル（Grad-SRGAN-STF）も提案しています。Grad-SRGAN-STFは時間的転送性能に基づいており、主に以下の3つの部分で構成されています。

Grad-SRGAN-STFフローチャート

1) ジェネレータ: 2 つの並列表面粗さ (SR) パラメータで構成されます。1 つは粗い反射画像 (Ref-SR) を取得するためのもので、もう 1 つは粗い勾配画像 (Grad-SR) を取得するためのものです。

2) 識別器: 生成された反射画像と勾配マップが本物か偽物かを判断するために、2 つの独立した識別器 (DRef と DGrad) が設計されました。

3) 損失関数：これはコンテンツ損失と敵対的損失の2つの部分で構成されます。生成器のRef-SRとGrad-SRの損失関数は、コンテンツ損失と敵対的損失の加重和です。コンテンツ損失は予測画像と参照画像との差異を評価するために使用され、敵対的損失は生成画像が識別器によって実画像として認識される確率を測定します。

さらに重要な点として、本研究ではエッジと色の重み付け（ECW）と呼ばれる新しい重み付け関数も設計しました。ECWは、SRGAN法の強力な空間詳細復元能力とPLSR法の正確な時間的変化推定を組み合わせることで、より正確な予測を可能にします。

研究結果: StarFusion が最も優れたパフォーマンスを発揮し、Grad-SRGAN が最大の貢献を果たしました。

実験 I: StarFusion は、他のアルゴリズムと比較して最高の空間詳細忠実度を実現します。

StarFusion の有効性を評価するために、本研究では、2 つの異なる日付で撮影された 3 つのサブ領域の Gaofen-1 および Sentinel-2 画像に基づいて、予測画像生成の精度や空間詳細などの要素に焦点を当て、StarFusion と他の代表的なアルゴリズム (STARFM、FSDAF、Fit-FC、FIRST、および SRGAN) を比較しました。

結果は下の図に示されています。StarFusion法によって予測された画像（図G）は、参照画像（図A）と顕著な類似性を示し、空間的な詳細の忠実度が優れていることを示しています。一方、STARFM、FSDAF、Fit-FC、FIRST、SRGANによって生成された画像には、いずれもぼやけた領域が点在し、視野境界が十分に明確ではありません。

3つの領域の参照画像と合成画像

さらに、下のAPA図は、StarFusion方式が精度や空間詳細度を著しく損なうことなく、強力な空間転送能力を備えていることを示しています。特に、StarFusionは視覚的に「良好」範囲の境界に位置しながらも、その範囲には入っていないため、将来的に性能向上の余地があることを示唆しています。

APA（包括的業績評価）画像（すべての手法）

実験 II: StarFusion は、長期間にわたって最高の予測画像品質を実現します。

サブリージョン3の景観特性が複雑であることから、本研究では、異なる基準日（T1、T2、T3）におけるこの地域の画像とその勾配マップを用いて、T4の高解像度画像を予測する予定です。同時に、GradSRGAN（Grad-SRGAN-Multi）とStarFusion（StarFusion-Multi）モデルの学習を行い、その性能を比較しました。

研究では、予測日が基準日に近い場合、すべての融合手法が良好な結果を示した。しかし、時間範囲が長くなるにつれて、STARFM、FSDAF、Fit-FC、FIRST、SRGANの画像品質が低下し、ぼやけや色の歪みが見られた。一方、StarFusionは、基準日が異なる画像ペアにおいて良好な空間詳細と色忠実度を維持し、他の5つの手法よりも優れた結果を示した。

さらに、 StarFusion-Multi と Grad-SRGAN-Multi は、1 組の画像でトレーニングした場合と比較して、複数の組の画像でトレーニングした場合の方が Grad-SRGAN-Multi よりもパフォーマンスが優れており、RMSE と Roberts エッジの点では StarFusion-Multi が一貫して Grad-SRGAN-Multi よりもパフォーマンスが優れています。

地域3研究の参照画像と融合結果画像

実験III: Grad-SRGANがStarFusionに最も貢献した

最後に、本研究ではサブ領域1においてアブレーション研究を実施し、提案するStarFusion法の各構成要素（Grad-SRGAN、PLSR、ECW）の寄与を検証しました。結果は、Grad-SRGAN、PLSR、ECW関数の導入がいずれも融合精度の向上に寄与することを示しています。寄与度では、Grad-SRGANが最も大きく、次いでECW重み付け関数とPLSRが寄与しています。

アブレーション研究結果の比較

AI を活用した農業リモートセンシングがインテリジェント運転の時代へ。

AI技術の継続的な発展に伴い、デジタル農業は農業発展における新たなトレンドとなりつつあります。農業衛星リモートセンシング業界は、従来のデータ依存型モデルからAI主導のインテリジェントモデルへと徐々に移行していく重要な段階にあります。ますます多くの企業がこの分野に参入し、競争を繰り広げています。

例えば、センスタイムなどのAI企業は、独自に開発した大規模モデルに基づき、リモートセンシング分野向けにAIリモートセンシングモデル「センスタイム境界」を発表し、耕作地、作物、非穀物要素の自動・インテリジェント・定常識別を実現しました。さらに、ファーウェイなどの大手テクノロジー企業は、自社のAscend AIプラットフォームを活用し、武漢大学におけるリモートセンシング画像インテリジェント解釈フレームワーク「LuoJiaNet」とリモートセンシングサンプルライブラリ「LuoJiaSET」の開発を支援しました。これにより、リモートセンシング画像の自動解釈が加速され、農業、天然資源などの産業におけるインテリジェントリモートセンシング技術の広範な応用が可能になりました。

学術面では、中​​国科学院リモートセンシング応用研究所と北京師範大学が共同で設立したリモートセンシング科学国家重点実験室を頼りに、本稿の著者である陳進教授をはじめ、中国では数多くの産業界のエリートが輩出され、農業リモートセンシング技術の発展と進歩に着実に重要な貢献を果たしている。

当研究所は1988年に、世界農業リモートセンシング迅速報告システム（Cropwatch）を構築しました。リモートセンシングと地上観測データに基づき、このシステムは国レベルおよび世界レベルにおける作物の生育、収量、その他の関連情報を独立して評価できます。AI技術を活用し、当研究所は近年、AGARアルゴリズムを用いた革新的な超高解像度光学森林3Dリモートセンシング手法や、リモートセンシングAIアルゴリズムを組み込んだ山火事衛星監視・早期警報システムなど、いくつかの画期的な成果を達成しました。

農業リモートセンシングにおけるAIの応用は、農業生産の効率と精度を向上させるだけでなく、農業の持続可能な発展に強力な技術的支援を提供しています。農業リモートセンシングにおけるAIの応用は今後さらに広がり、植物の病害虫の監視、作物の生育と収量の評価、効率的な農業生産の最適化など、ますます多くのソリューションを提供することが予想されます。

最後に、学術共有イベントをお勧めします！

「Meet AI4S」第3回では、上海交通大学自然科学研究所および上海国家応用数学センターのポスドク研究員、周子怡博士が登場します。ライブ配信を視聴するには、こちらをクリックしてお席をご予約ください！

https://hdxu.cn/6Bjom​hdxu.cn/6Bjom