AI によって生成されたコンテンツは、芸術的な創作やデザインから情報の発信や著作権の保護まで、生活のあらゆる側面に深く浸透しており、その影響は至る所に及んでいます。

しかし、生成モデル技術の急速な発展に伴い、AIが生成した画像をいかに正確に識別するかが産業界と学界の共通の課題となっています。

小紅書エコシステムアルゴリズムチーム、中国科学技術大学、上海交通大学は共同で、業界では珍しい完全に手動で注釈が付けられたカメレオンベンチマークと業界をリードするAIDE検出方法を提案しました。

分析の結果、研究チームは、ほぼすべてのモデルがカメレオンベンチマークで AI 生成画像を実際の画像として分類していることを発見しました。

その後、彼らは複数の専門家を活用して視覚的アーティファクトとノイズパターンを同時に抽出するAIDE （AI生成ハイブリッド特徴量画像検出器）を提案しました。最終的に、既存の最先端手法と比較して、それぞれ3.5%と4.6%の精度向上を達成しました。

AI生成画像検出タスクの再定義

トレーニング-テスト設定-I : 既存の研究では、AI 生成画像検出タスクは通常、特定の生成モデル (GAN や拡散モデルなど) でモデルをトレーニングし、次に他の生成モデルでテストするように設定されます。

ただし、この設定には通常、主に 2 つの問題があります。

ベンチマークの評価はあまりにも単純すぎます。既存のベンチマークの画像には、アーティファクトが含まれていることがよくあります。

トレーニング データの制限: 特定の種類の生成モデル (GAN または拡散モデル) でモデルをトレーニングすると、より高度な生成モデルから多様な機能を学習する能力が制限されます。

これらの問題に対処するために、チームは新しい問題設定を提案しました。

学習・テスト設定-II ：識別器は、複数の生成モデルから得られた画像を混合して学習させ、その後、より複雑な現実世界のシーンの画像でテストすることができます。この設定は、実際のアプリケーションのニーズをより適切に反映し、モデルの汎化能力と堅牢性をより適切に評価できます。

AI 生成画像検出方法のパフォーマンスをより現実的に評価するために、チームは Chameleon データセットを綿密に構築しました。

Chameleon データセットには、次のような注目すべき特徴があります。

高忠実度：AI生成画像はすべて人間の知覚に関するチューリングテストに合格しました。つまり、人間の注釈者はそれらを実際の画像と区別することができませんでした。これらの画像は視覚的に実際の画像と非常に類似しており、既存の検出モデルの限界に事実上挑戦しています。

多様なカテゴリ：データセットは、人間、動物、物体、風景など、幅広い画像を網羅し、様々な現実世界のシナリオを包括的にシミュレートします。この多様性により、モデルの汎化能力は異なるカテゴリ間でも確保されます。

高解像度：画像解像度は通常720Pを超え、中には4Kに達するものもあります。高解像度画像は、より豊富な詳細情報を提供するだけでなく、検出モデルが微妙な違いを捉える能力も向上させます。

データセットの構築

AI 生成画像検出の課題を真に反映した高品質のデータセットを構築するために、チームはデータ収集、クリーニング、注釈付けの段階で革新的で厳密な方法を採用し、データセットの高品質とリアリティを確保しました。

データ収集: 複数のチャネルからの高忠実度画像の取得

これまでのベンチマークデータセットとは異なり、チームはArtStation、Civitai、Liblibといった人気のAIペイントコミュニティから15万枚以上のAI生成画像を収集しました。これらの画像は幅広いユーザーによって作成され、Midjourney、DALL·E 3、Stable Diffusionといった様々な高度な生成モデルが活用されています。これらの画像は、視覚的にリアルなだけでなく、人物、動物、物体、風景など、多様なテーマとスタイルを網羅しています。さらに、Unsplashなどのプラットフォームから2万枚以上の実世界画像を収集しました。これらはすべてプロの写真家によって撮影されたもので、高解像度・高品質です。すべての画像は法的にライセンスされており、データの合法性と可用性が保証されています。

対照的に、以前のベンチマーク データセットでは、通常、パフォーマンスの低い画像を生成するモデルが使用されており、その結果、下の図に示すように、多様性と現実感が欠如していました。

データクリーニング：多次元かつ洗練されたフィルタリング

データセットの高品質を確保するために、チームは収集した画像に対して多次元的かつ綿密なクリーニング プロセスを実施しました。

解像度フィルタリング: チームは、448×448 未満の解像度の画像を除外し、すべての画像が AI 生成画像の真の特性を反映するのに十分な詳細さと鮮明さを備えていることを確認しました。

コンテンツ フィルタリング: 高度なセキュリティ検査モデル (Stable Diffusion セキュリティ検査モデルなど) を活用して、チームは暴力、ポルノ、その他の不適切なコンテンツを含む画像を除外し、データセットのコンプライアンスと適用性を確保しました。

重複排除: 画像のハッシュ値を比較することで、チームは重複した画像を削除し、データセットの多様性と独立性を確保しました。

テキストと画像の一貫性フィルタリング: チームは CLIP モデルを使用して、画像と対応するテキストの説明との類似性を計算し、テキストの説明と一致しない画像を除外することで、画像とテキスト間の一貫性と関連性を確保しました。

以前のベンチマーク データセットでは、厳密なフィルタリング手順が欠如していることが多く、その結果、低品質、不適切、または重複した画像が大量に生成され、データセット全体の品質に影響を与えていました。

データアノテーション: プロフェッショナルなアノテーションプラットフォームと複数回の評価

データセットの正確性と信頼性を確保するため、チームは専用の注釈プラットフォームを構築し、画像のリアリティを分類および評価する経験豊富な注釈者 20 名を採用しました。

分類と注釈: 注釈者は画像を人間、動物、物体、シーンの 4 つのタイプに分類し、データセットが現実世界のさまざまなシーンと物体をカバーできるようにします。

真正性評価：アノテーターは、「カメラで撮影できるかどうか」という基準に基づいて画像の真正性を評価します。各画像は独立して2回評価され、両方のアノテーターが本物であると誤認した場合にのみ、その画像は「高忠実度」とラベル付けされます。

複数回の評価: 注釈の正確性を保証するために、チームは注釈結果のレビューと検証を複数回実施し、各画像の分類と真正性の評価結果が正確であることを確認しました。

これまでのベンチマークデータセットとは異なり、このデータセットは人間による厳格なアノテーション処理を受けており、高い品質とリアリティを確保しています。これまでのベンチマークデータセットでは、人間による厳格なアノテーション処理が不足していたため、画像の品質とアノテーションの精度にばらつきが生じていました。

前述の多次元的かつ綿密なデータ収集、クリーニング、そしてアノテーションプロセスを経て、高品質かつ高忠実度のAI生成画像検出ベンチマークデータセットが構築され、その後の研究とモデル評価のための強固な基盤となりました。このデータセットは、規模が大きいだけでなく、画像品質とアノテーション精度が大幅に向上しており、AI生成画像検出の実際的な課題をより適切に反映しています。

データセットの比較

Chameleon データセットは既存の評価データセットの拡張として機能し、規模、多様性、画像品質の点で大きな利点を示します。

サイズ: Chameleon データセットには約 26,000 枚のテスト画像が含まれており、現在までに AI によって生成された画像検出データセットの中で最大規模のものの 1 つとなっています。

多様性:データセットは、他のデータセットの単一のカテゴリをはるかに超える、幅広い生成モデルと画像カテゴリをカバーしています。

画質: 画像の解像度は 720P から 4K までの範囲で、より高品質の画像データを提供し、検出モデルの難易度を高めます。

AIDEモデル: マルチエキスパート融合に基づく検出フレームワーク

AI生成画像検出の分野では、既存の検出方法では単一の視点からの分析しかできないことが多く、AI生成画像と実際の画像との微妙な違いを完全に捉えることが困難です。

この問題に対処するため、研究者らはシンプルでありながら効果的なAIDE（AI生成画像検出器とハイブリッド特徴量）モデルを提案しました。このモデルは複数のエキスパートモジュールを統合し、低レベルのピクセル統計と高レベルのセマンティクスの両方から画像の特徴を包括的に捉えることで、AI生成画像の正確な検出を実現します。

AIDEモデルは、主にパッチワイズ特徴抽出（PFE）とセマンティック特徴埋め込み（SFE）という2つのコアモジュールで構成されています。これら2つのモジュールは、マルチエキスパートフュージョンを通じて連携し、最終的な分類決定に必要な豊富な特徴情報を提供します。

パッチワイズ特徴抽出（PFE）モジュール

PFEモジュールは、画像内の低レベルのピクセル統計、特にAI生成画像によく見られるノイズパターンやテクスチャの異常を捕捉することを目的としています。具体的には、このモジュールは以下の手順でこれを実現します。

DCTスコアリングによるパッチ選択：まず、入力画像を複数の固定サイズの画像パッチ（例：32×32ピクセル）に分割します。次に、各画像パッチに離散コサイン変換（DCT）を適用して周波数領域に変換します。異なるバンドパスフィルタを設計することで、各画像パッチの周波数複雑度スコアを計算し、最高周波数と最低周波数の画像パッチを特定します。

Patchwise Feature Encoderは、選択された高周波および低周波の画像パッチを均一なサイズ（例：256×256ピクセル）に調整し、SRM（Spatial Rich Model）フィルタに入力してノイズパターンの特徴を抽出します。これらの特徴は、さらに2つのResNet-50ネットワークを通して処理され、最終的な特徴マップが得られます。

セマンティック特徴埋め込み（SFE）モジュール

SFEモジュールは、画像における高レベルの意味的特徴、特にオブジェクトの共起と文脈的関係を捉えることを目的としています。具体的には、このモジュールは以下の手順でこれを実現します。

セマンティック特徴埋め込み：入力画像は、事前学習済みのOpenCLIPモデルを用いてグローバルにセマンティックにエンコードされ、画像の視覚的埋め込み特徴を取得します。さらに、線形投影層と平均空間プーリング演算を追加することで、グローバルなコンテキスト情報の抽出を実現します。

識別モジュール

PFEモジュールとSFEモジュールによって抽出された特徴はチャネル次元に沿って融合され、最終的な分類予測は多層パーセプトロン（MLP）によって実行されます。具体的には、まず高頻度および低頻度の特徴マップに対して平均プーリングを実行し、低レベルの特徴表現を取得します。次に、これらをチャネルレベルの高レベル意味特徴と連結して最終的な特徴ベクトルを形成し、最後にMLPネットワークを通じて分類結果を出力します。

実験結果

データセット：AIGCDetectBenchmark、GenImage、Chameleonの3つのデータセットで実験を実施しました。AIGCDetectBenchmarkとGenImageは既存のベンチマークデータセットですが、Chameleonは研究者によって新たに構築された、より難易度の高いデータセットです。

モデル比較: 研究者らは、比較のために、CNNSpot、FreDect、Fusing、LNP、LGrad、UnivFD、DIRE、PatchCraft、NPR など、すぐに利用できる AI 生成画像検出器 9 つを選択しました。

評価指標: 実験では、分類精度と平均精度 (AP) を評価指標として使用しました。

チームは、以下の表に示すように、AIGCDetectBenchmark と GenImage で AIDE の結果を評価しました。

これら 2 つのデータセットにおける AIDE モデルの優れたパフォーマンスは、低レベルのピクセル統計と高レベルの意味的特徴を融合する方法により、AI 生成画像と実際の画像の違いを効果的に捉え、検出精度を向上できることを示しています。

次に、下の表に示すように、既存の 9 つの検出器を Chameleon ベンチマークで評価しました。

チームはまた、これまでの最先端手法である PatchCraft のパフォーマンスを AIGCDetectBenchmark、GenImage、Chameleon で視覚化しました。

結果は、以前は AIGCDetectBenchmark と GenImage で良好なパフォーマンスを示したモデルがすべて Chameleon ベンチマークではパフォーマンスが低かったことを示しています。これは、Chameleon データセット内の画像が実に非常にリアルであり、既存の検出モデルにとって大きな課題となっていることを示しています。

本論文では、既存のAI生成画像検出手法を再検証し、新たな問題設定を提案し、より難易度の高いChameleonデータセットを構築し、マルチエキスパート機能を統合した検出器AIDEを設計する。実験結果によると、AIDEは2つの主要なベンチマーク（AIGCDetectBenchmarkとGenImage）において、最先端の手法と比較してそれぞれ3.5%と4.6%の精度向上を達成し、大幅な性能向上を達成した。しかしながら、Chameleonベンチマークでは、AIDEは最高の性能を達成したものの、既存のベンチマークにはまだ大きく遅れをとっている。

これは、AI生成画像の検出が依然として大きな課題であり、さらなる研究と改善が必要であることを示しています。本研究が、この分野の研究に新たなアイデアと方向性を提供し、AI生成画像検出技術の発展を促進することが期待されます。

AI 生成画像検出の分野で AIDE モデルが大きな進歩を遂げたにもかかわらず、研究者は今後の研究でモデル アーキテクチャをさらに最適化し、より効率的な特徴抽出および融合方法を模索する予定です。

さらに、研究者らは、AI 生成画像検出技術をさらに進歩させるために、カメレオン データセットを拡張して、より多くのカテゴリ、より多くのシーン、より多くの画像生成モデルを含める予定です。

論文: https://arxiv.org/pdf/2406.19435 ホームページ: https://shilinyan99.github.io... コード: https://github.com/shilinyan9...