大規模モデルを特定のビジネスシナリオに適用する場合、モデルの微調整は重要なステップとなります。しかし、従来の微調整手法にはジレンマがあります。モデルプロバイダーにデータをアップロードすると、データのプライバシーとセキュリティのリスクが高まる可能性があります。一方、完全なモデルをデータプロバイダーに引き渡すと、モデルの知的財産権の漏洩や、微調整されたモデルへの攻撃リスクが高まる可能性があります。

最近、世界トップクラスのAIカンファレンスであるAAAI 2025において、アント・ファイナンシャル、浙江大学、リバプール大学、華東師範大学の合同チームが、革新的なオフサイトチューニングフレームワーク「ScaleOT」を発表しました。このフレームワークは、モデル性能を損なうことなくプライバシー保護を50%向上させることができます。知識蒸留と比較して、ScaleOTは計算電力消費を90%も大幅に削減し、数十億のパラメータを持つオフサイトチューニングモデルに効率的で軽量なソリューションを提供します。この論文は、その革新性が高く評価され、AAAIでの口頭発表に選ばれました。今年のAAAIカンファレンスには約13,000件の論文が提出されましたが、口頭発表に選ばれたのはわずか4.6%だったとされています。

モデルの所有権とデータのプライバシーを同時に保護するために、現在業界で主流となっているソリューションは「クロスドメイン・ファインチューニング」です。クロスドメイン・ファインチューニングは、大規模モデルを非可逆圧縮技術を用いてエミュレーターに変換する、プライバシー保護型の学習手法です。データ保持者は、このエミュレーターに基づいてアダプターを学習し、それを大規模モデルに返すことで最適化を完了します。このプロセスでは、データもモデルもドメイン外に持ち出されないため、モデル保持者とデータ保持者の両方のプライバシーが保護されます。しかし、クロスドメイン・ファインチューニングは、モデルのパフォーマンスを犠牲にしたり、高い計算コストを負担したりすることがよくあります。

現在主流となっているクロスドメインファインチューニング手法には、重大な限界があります。第一に、「ブロックを均一に削除する」アプローチは、モデル内の重要なレイヤーを容易に失わせ、モデル性能の大幅な低下につながります。第二に、性能低下を補うために蒸留技術を用いる場合、計算コストは​​中規模モデルの再学習とほぼ同等になります。さらに、既存の手法はプライバシー保護の柔軟性に欠けており、異なるシナリオ要件に応じてプライバシー保護の強度を動的に調整することが困難です。

Ant Financialの技術チームによると、ScaleOTはモデルのパフォーマンスとプライバシーを効果的に両立させる3つの革新的なアプローチを提案しています。まず、強化学習を用いてモデルをスキャンすることで大規模モデルにおけるインテリジェントレイヤーの重要性を評価し、現在のタスクにとって最も重要なレイヤーを自動的に特定し、モデルの「コアレイヤー」を動的に保存することで、パフォーマンスの低下を効果的に低減します。次に、保存された元のモデルレイヤーを「マスク」することで、攻撃者が中間レイヤーを介して元のモデルを再構築することを防ぎ、パフォーマンスの低下をほとんど伴わずにプライバシー保護を大幅に向上させます。最後に、このフレームワークはさまざまなシナリオ要件に応じて柔軟に構築でき、調整可能なプライバシー強度を実現します。

データとモデルのプライバシーとセキュリティへの対応は、特に金融分野における大規模モデルの実用化において極めて重要な課題です。Ant Financialの革新的な大規模モデルプライバシー微調整アルゴリズムは、大規模モデルのプライバシー保護のための新たなアプローチとソリューションを提供します。現在、このアルゴリズムはAnt Financialの大規模モデルプライバシー保護製品「Morse」に統合されており、中国で初めて中国情報通信研究院（CAICT）の大規模モデル信頼実行環境製品特別試験に合格した製品の一つとなっています。

*この記事はQuantumBitからの許可を得て公開されており、表現されている見解は著者の見解のみです。