たった 6 年前の 2080Ti で大規模なモデル データの蒸留を実行できますか?

上海交通大学の EPIC ラボなどの機関による最近の研究では、 NFCMと呼ばれる新しいデータセット蒸留方法が提案されています。

従来の最先端手法と比較すると、この新しい手法はGPUメモリの使用量わずか300分の1で、速度は20倍向上しました。関連論文はCVPRで満点を獲得しました。

NCFM は、データセットの蒸留をミニマックス最適化問題として再定式化する補助ニューラル ネットワークを導入します。

NCFM は、複数のベンチマーク データセットで大幅なパフォーマンスの向上を達成し、スケーラビリティを実証しました。

CIFAR データセットでは、NCFM はわずか約 2GB の GPU メモリでロスレス データセット蒸留を実現できます。これは 2080Ti で実現できます。

さらに、NCFM は、継続的な学習やニューラル アーキテクチャの検索などの下流タスクでも優れたパフォーマンスを発揮します。

データ蒸留をミニマックス最適化に変換する

NCFM の中核は、新しい分布差異メトリック NCFD の導入と、データセット蒸留問題の最小最大最適化問題への変換です。

NCFM は、合成データを最適化して NCFD を最小限に抑えるとともに、サンプリング ネットワークを最適化して NCFD を最大化することを交互に行うことで、合成データの品質を向上させながら、分布差測定の感度と有効性を継続的に高めます。

特徴抽出と周波数パラメータサンプリング

NCFM の最初のステップは特徴抽出です。これは、実際のデータセットと合成データセットの両方からデータのバッチをサンプリングし、それを特徴抽出ネットワークに入力することを伴います。

特徴抽出ネットワークは、ピクセル空間から特徴空間に生データをマッピングし、対応する特徴表現を取得します。その目的は、データの高レベルの意味的特徴を抽出し、後続の分布マッチングに備えることです。

特徴抽出ネットワークは、事前トレーニング済みモデルまたはランダムに初期化されたモデルにすることができます。ここで、NCFM はハイブリッド アプローチを採用しています。

次に、NCFM は、ランダム ノイズを入力として受け取り、一連の周波数パラメータを出力する軽量ニューラル ネットワークをサンプリング ネットワークとして導入します。

これらの周波数パラメータは、特性関数 (CF) をサンプリングするために使用されます。

特性関数の計算と分布差の測定

各周波数パラメータについて、特徴表現との内積演算を実行し、複素指数を取得して対応する CF 値を取得します。

どちらのCF値も複素数です。実部はその周波数におけるデータの分布範囲を表し、分布の発散性または多様性を捉えます。一方、虚部はその周波数におけるデータの分布中心を表し、分布の典型性または信頼性を捉えます。

実データと合成データの CF 値を比較することで、特徴空間における分布の違いを総合的に測定できます。

NCFM では、実際のデータと合成データ間の分布の違いを定量的に測定するために、Neural Characteristic Function Discrepancy (NCFD) と呼ばれるメトリックを導入しています。

NCFDは、すべてのサンプリング周波数におけるCFの差を考慮し、それらを単一のスカラー値にまとめます。NCFDが小さいほど、2つの分布は近くなり、NCFDが大きいほど、2つの分布の差が大きくなります。

ミニマックス最適化

NCFD を分布の相違度の尺度として使用することで、NCFM の最適化の目的が明確になります。

目標は、合成データの分布が実際のデータの分布に可能な限り近くなるように NCFD を最小限に抑えることです。同時に、合成データの変化を正確に反映できるように、合成データに対する NCFD の感度を最大化することが望ましいです。

両方の目標を同時に達成するために、NCFM はminmax 最適化フレームワークを導入します。

• 最小化フェーズでは、サンプリングネットワークのパラメータを固定し、NCFDを最小化することを目標に合成データを調整します。このステップにより、合成データは実データの分布に連続的に収束します。
• 最大化フェーズでは、合成データは固定され、NCFDを最大化することを目指してサンプリングネットワークのパラメータが調整されます。このステップにより、NCFDは合成データの違いに対する感度を高め、乖離度指標としての有効性が向上します。

NCFM は、最小化段階と最大化段階を交互に最適化することで、合成データの品質を継続的に向上させるとともに、NCFD メトリックの感度と精度も向上させます。

モデルの微調整とラベル生成

合成データの品質をさらに向上させるために、NCFM は最適化プロセスにモデルの微調整とラベル生成という 2 つの追加ステップを導入しました。

• モデルの微調整段階では、NCFM は合成データを使用して特徴抽出ネットワークを微調整し、合成データの特徴分布への適応性を高め、合成データと実際のデータ間の特徴の差をさらに減らし、合成データの現実感を向上させます。
• ラベル生成フェーズでは、事前学習済みの教師モデルを用いて合成データ用のソフトラベルを生成します。ソフトラベルはより豊富で詳細な教師情報を提供し、合成データが実データのクラス分布をより正確に模倣し、合成データの多様性を向上させるのに役立ちます。

1 台の 2080Ti で CIFAR 実験を処理できます。

NCFM は、従来の方法と比較して、複数のデータセットで大幅なパフォーマンスの向上を実現します。

CIFAR-10 や CIFAR-100 などのデータセットでは、クラスあたり 1/10/50 枚の画像を使用したテスト精度において、NCFM はすべてのベースライン メソッドを上回ります。

NCFM は、ImageNet のさまざまなサブセットでも優れたパフォーマンスを発揮しました。

たとえば、ImageNette では、クラスごとに 10 枚の画像を使用して、NCFM は 77.6% のテスト精度を達成しました。これは、現在の最良の方法 (RDED) よりも 14.4 パーセント ポイント高い値です。

ImageSquawk では、クラスごとに 10 枚の画像を使用して、NCFM は 72.8% のテスト精度を達成しました。これは、現在の最良の方法 (MTT) よりも 20.5 パーセント ポイント高い値です。

NCFM はパフォーマンスを向上させると同時に、大幅な速度向上とリソースの節約も実現しました。

CIFAR-100 では、NCFM の反復あたりの平均トレーニング時間は TESLA の 29.4 倍高速で、GPU メモリの消費量は TESLA の 1/23.3 にすぎません (クラスあたり 50 枚の画像)。

Tiny ImageNet では、NCFM の反復あたりの平均トレーニング時間は TESLA よりも 12.8 倍高速で、GPU メモリの消費量は TESLA の 1/10.7 にすぎません (クラスあたり 10 枚の画像)。

さらに、NCFM はわずか 2GB 程度の GPU メモリを使用して CIFAR-10 および CIFAR-100 上でロスレス データセット蒸留を実現し、CIFAR のすべての実験を単一の 2080Ti で実行できるようになりました。

さらに、NCFM によって生成される合成データは、モデル間で一般化する能力において既存の方法を上回っています。

たとえば、CIFAR-10 では、NCFM によって生成された合成データを使用して AlexNet、VGG、および ResNet をトレーニングすると、既存の方法よりも高いテスト精度が達成されました。

上海交通大学の「最年少博士課程指導者」の研究グループより

この記事の第一著者は、上海交通大学人工知能学院EPICラボの博士課程学生、王少波氏です。

王少波氏はハルビン工業大学でソフトウェア工学を学び、学部課程で首席の成績を修めました。その後、上海交通大学でヤン・ジュンチ教授の指導の下、修士課程に進みました。研究は深層学習理論と解釈可能な機械学習に焦点を当て、専攻分野で2位の成績を修めました。

王少波氏は現在、張林鋒助教授が率いるEPICラボで博士号取得を目指しています。彼の研究は「効率的で解釈可能な深層学習」と「大規模モデル」に焦点を当てています。

この記事の責任著者は、王少波氏の現在の指導教官である張林鋒氏です。

張林鋒氏は1997年生まれ。昨年6月に清華大学学際研究院で博士号を取得し、その後、上海交通大学人工知能学院の博士課程指導教員に就任し、EPICラボを率いていた。当時、彼はわずか27歳だった。

一方、Zhang Linfeng は、NeurIPS、ICML、ICLR、CVPR などのトップクラスの学術会議の査読者も務めています。

張林鋒氏は香港科技大学（広州）の客員助教授も務めました。彼を招聘した胡旭明氏もまた若手博士課程の指導教員であり、本プロジェクトに参加しました。

さらに、EPIC ラボの他のメンバーや上海 AI ラボの学者も NFCM の研究に参加しました。

論文リンク: https://github.com/gszfwsb/NC... GitHub リポジトリ: https://github.com/gszfwsb/NCFM