大規模未学習モデルの知識編集：新しいデータのより効率的な吸収

大規模なモデルで新しい知識を迅速かつ正確に、効率的に吸収できるようにします。

EMNLP 2024 に含まれる新しい研究では、生涯にわたる知識学習における編集と推論の効率を向上させることができる、検索強化型の継続的な手がかり学習の新しい方法が提案されています。

モデル編集は、大規模な言語モデルにおける古くなった知識や誤った知識を、コストのかかる再学習を必要とせずに修正することを目的としています。生涯にわたるモデル編集は、LLM（ライフタイムモデリング）の継続的な編集要件を満たす上で最も困難なタスクです。

これまでの研究は主に単一編集または一括編集に焦点を当ててきましたが、これらの手法は、知識の壊滅的な忘却とモデル性能の低下により、生涯編集シナリオでは性能が低下します。検索ベースの手法はこれらの問題を軽減しますが、検索された知識をモデルに統合するプロセスが遅く煩雑であるという問題があります。

最新の手法である RECIPE は、まず知識の記述を、連続するヒントの短くて有益なトークン表現に変換します。これは、LLM 入力クエリ埋め込みのプレフィックスとして機能し、知識ベースの生成プロセスを効果的に改良します。

また、検索データベースに関連する知識が含まれているかどうかを判断するための動的なしきい値を計算する媒体として機能する知識センチネルメカニズムも統合されています。

検索エンコーダとプロンプトエンコーダは、信頼性、普遍性、局所性といった知識編集特性を実現するために共同でトレーニングされます。

複数の権威ある系図モデルと編集データセットに対して生涯編集の比較実験を実施し、RECIPE の優れたパフォーマンスを実証しました。

この研究は、アリババセキュリティコンテンツセキュリティチーム、華東師範大学コンピュータサイエンステクノロジー学院、および大規模言語モデルの知識編集のためのアリババクラウドコンピューティングプラットフォームが共同で開始しました。

研究の背景

ChatGPT のような大規模言語モデル (LLM) は、非常に強力な言語理解機能を備えているにもかかわらず、事実の正確性と論理の一貫性を維持するという点で特に課題がないわけではありません。

重要な疑問は、これらの LLM が、多大な時間のかかるマシンリソースのオーバーヘッドを発生させる包括的な再トレーニングや継続的なトレーニングプロセスを経ることなく、不正確さを修正するために効果的に更新できるかどうかです。

LLM モデルの編集は、タスク全体のモデルパフォーマンスを維持しながら、特に関心のあるモデルを変更できる有望なソリューションを提供します。

従来の知識編集モデリング手法やアーキテクチャ（内部モデルパラメータの変更、追加パラメータの追加、検索ベースのアプローチなど）はすべて、推論効率に影響を与える長い編集接頭辞の影響を受けます。モデル自体を微調整すると、過剰適合につながり、本来のパフォーマンスに影響を与える可能性があります。

これらの問題に対処するために、研究者は、編集されたデータセットへの過剰適合を避けるために、より効率的な検索とリアルタイム編集の方法、およびモデルへの介入の低減を模索することを目指しています。

モデル法

知識編集に関する背景情報

本論文では、研究チームはまず、生涯学習の文脈におけるモデル編集のタスク定義を形式化し、次にモデル編集における重要な評価特性を紹介します。

タスク定義

タスク属性

レシピ生涯編集法

全体的なモデルのフレームワークは次のとおりです。

知識検索リポジトリの構築と更新

時間ステップtで、新しい知識記述ktが与えられた場合、新しい知識表現はエンコーダfrmのMLP層を通じて取得できます。

frmエンコーダは、出力トークンの最大値、最小値、平均値をプールした表現をベクトル空間に連結し、新たな知識表現として利用します。そして、連続プロンプト表現pktは、初期化された他のMLP層によって実装できます。

最終的な知識検索リポジトリが Kt-1 から Kt に更新されました。

知識センチネルに基づく動的プロンプト検索

動的編集モデルの根拠

研究者たちは、LLM が次のように編集されると考えています。

入力クエリqと連続検索プロンプトp(kr) = KS(q)が与えられた場合、推論プロセスは次のように再定式化できます。

ここで、⊕は取得された連続提案行列とqの単語埋め込み行列の連結を表します。

この論文で紹介されている方法の実現可能性は、P-Tuning らによる以前の研究によって裏付けられており、連続的なキュー埋め込みをトレーニングすると、下流のタスクにおける LLM のパフォーマンスが効果的に向上することを実証しました。

RECIPEでは、研究者たちは各知識ステートメントの編集をミニタスクとして扱います。各ミニタスクごとに特定のキューエンコーダを微調整するのではなく、連続的なキューを生成するRECIPEモジュールを訓練することで、LLMが対応する知識に従うことを保証し、これらのミニタスクの目標を達成します。

モデルのトレーニング

この損失は、生成された連続的なヒントが編集され、クエリに関連するLLMの知識が効果的に取得されるように設計されています。b個の編集例を含むトレーニングデータが与えられます。

対応する一般化および局所性データは次のとおりです。

したがって、損失は次のように形式化されます。

編集ロスの学習：編集ロスは、生成された連続キューイングがLLMを信頼性、一般性、局所性といった特性に適合させるように導くことを目的としています。入力編集データに基づいて、これら3つの属性に対応するサンプルロスは以下のように定義されます。

モデル編集のためのバッチ損失関数の導出は次のとおりです。

プロンプト損失学習：プロンプト学習の損失関数は対照学習に基づいており、信頼性、一般性、局所性といった特性と整合しています。サンプルバッチに対して、連続プロンプトを学習するための損失関数は以下のように定式化されます。

実験結果

実験セットアップ

編集機能をテストするためのデータセット: 研究者は、ZSRE、CounterFact (CF)、Ripple Effect (RIPE) を含む 3 つの公開モデル編集データセットを実験データセットとして使用しました。

ZSREは、BART質問応答と手動フィルタリングによって生成され、162,555個のトレーニングサンプルと19,009個のテストサンプルで構成されています。各サンプルには、編集されたサンプルと、それに対応する書き換えられたサンプルおよび無関係なサンプルが含まれており、信頼性、一般性、および局所性編集特性に基づいてマッチングされています。

CFデータセットは、10,000個のトレーニングサンプルと10,000個のテストサンプルからなる偽の事実を編集に用いるという特徴があります。これらの偽の事実は、LLM内の元の知識と矛盾する可能性が高く、編集プロセスをより困難にし、編集能力を強力に評価します。

RIPEは、一般性と局所性の属性を、3,000個のトレーニングサンプルと1,388個のテストサンプルを含む、きめ細かなタイプに分類します。各サンプルの一般性には、ロジスティック一般化、コンビナトリアルI、コンビナトリアルII、トピックエイリアシングが含まれ、データの局所性には、忘却と関係特異性が含まれます。

一般的能力を検査するためのデータセット：編集による法学修士（LLM）の全体的なパフォーマンスの低下を評価するため、研究者らは法学修士（LLM）の全体的な一般的能力を評価するための4つの一般的なベンチマークを選択しました。これらは、常識的知識を評価するCSQA、推論能力を評価するANLI、テスト受験能力を測定するMMLU、そして理解力を評価するSQuAD-2です。本実験では、評価フレームワークとしてPromptBenchを使用しました。
モデルベースライン: 基本ベースラインとしての微調整 (FT) に加えて、研究者らは RECIPE メソッドをさまざまな強力な編集ベースラインと比較しました。

MEND は、編集対象モデルの勾配の低ランク分解を編集済みサンプルに相対的に変換する MLP をトレーニングします。ROME はまず因果仲介分析を使用して、編集対象サンプルに最も影響を与えるレイヤーを特定します。MEMIT は ROME に基づいて編集範囲を複数のレイヤーに拡張することで、編集パフォーマンスを向上させ、バッチ編集をサポートします。T-Patcher (TP) は、編集対象モデルの最後のレイヤーの FFN に追加のニューロンを接続およびトレーニングします。MALMEN は、パラメーターオフセット集約を最小二乗問題として定式化し、正規方程式を使用して LM パラメーターを更新します。WILKE は、編集知識に応じて、異なるレイヤー間のパターンマッチングの度合いに基づいて編集レイヤーを選択します。

研究者らは、検索ベースの編集方法を使用して、その有効性をさらに検証しました。

GRACEは、継続的な編集のための検索アダプタを提案します。これは、辞書のような構造を維持し、修正が必要な潜在的な表現に対する新しいマッピングを構築します。RASEは、事実情報を活用して編集の一般化を強化し、ファクトパッチストアから関連する事実を取得することで編集の識別を導きます。

ベースライン設定では、研究者はROMEモデルをRASEの特定の基本エディターとして用い、R-ROMEと呼ばれる編集タスクを実行しました。LTEはLLMに知識編集指示に従うよう促し、更新された知識を効果的に活用してクエリに回答できるようにします。

編集機能の実験結果

以下の 2 つの表は、それぞれ LLAMA2 モデルと GPT-J モデルに対する編集効果の比較を示しています。

単一の編集の観点から見ると、このホワイトペーパーで紹介した方法は、ほとんどのテストシナリオで最高のパフォーマンスを示します。

生涯編集の文脈において、研究者は次のような観察を行いました。

LLMパラメータの修正は、当初は単一の編集において優れた編集性能を示しました。しかし、編集回数が増えるにつれて、その性能は著しく低下しました。この傾向は、以前の研究で指摘された毒性蓄積の問題と一致しています。
追加パラメータを導入する手法は、生涯編集においてある程度の信頼性と一般性を維持した。しかし、ZSREで観察された局所性の著しい劣化は、追加パラメータの累積的な追加が元の推論プロセスを損なうことを示している。
検索ベースの手法は、ますます多くの編集者に対して堅牢性を示してきました。その中でも、本論文で提示した手法は最良の結果を達成し、検索の利点を裏付け、戦略の有効性を検証しました。

一般的な能力に関する実験結果

これら 3 つの編集メトリックは編集パフォーマンスを効果的に示しますが、研究者はこれらのエディターがモデルの一般的な機能にどの程度影響するかをさらに調査しました。

実験では、非検索ベースの手法は一般的な能力の大幅な低下につながることが示されています。これは、外部編集介入によって引き起こされるパターンミスマッチの蓄積に起因すると考えられます。LTEでは、検索ベースの手法でもパフォーマンスの低下が見られます。

対照的に、RECIPEはLLMパラメータへの直接的な介入を伴わず、短いキューを接続することでLLMの知識への適合を誘導します。RECIPEは、モデルへの悪影響を最小限に抑え、全体的なパフォーマンスに対する最適な保護を実証しています。

モデル編集効率の比較

以下の表からわかるように、MEND、MALMEN、LTE、RECIPE を使用して特定のトレーニングデータを編集する方法では、編集プロセス中にバックプロパゲーションを複数回繰り返す必要がある手法と比較して、編集時間が大幅に短縮されます。

推論速度に関しては、モデルパラメータを変更する手法は、元の推論パイプラインを変更しないため、一定の速度を維持できます。一方、T-Patcherはニューロンの蓄積により推論速度が低下します。

検索ベースの手法の中で、GRACEは独自の辞書ペアリング機構によりモデル推論の並列性を低減します。R-ROMEとLTEは、編集行列を動的に計算し、長い編集命令を連結する必要があります。

対照的に、RECIPEは連続する短いプロンプトを繋げることで編集することで、LLM本来の推論速度を効果的に維持します。また、RECIPEの効率性における優位性は、最短時間という点からも明らかです。

アブレーション試験結果の比較

研究者らはLLAMA-2を用いて、ZSRE、CF、RIPEのアブレーション研究を行った。CPTが存在しない状況下では、知識ベースからの検索の手がかりとして、知識ステートメントの単語埋め込みを用いた。KSを除外するには、従来の対照学習損失を適用し、信頼性が高く一般化されたサンプルの表現を編集された知識に近づける一方で、ローカルサンプルの表現との距離を維持する必要がある。

訓練後、研究者らは絶対類似性閾値決定戦略を用いて無関係な知識を除外した。高い局所性にもかかわらず、CPTを省略するとRECIPEの信頼性と一般化可能性が著しく損なわれる。

結果は、エディターをまったく使用しない場合に得られた結果とほぼ同じであることがわかります。

これは、元の結合の知識接頭辞を単に使用するだけでは、LLMが編集指示に従うことができないことを強調しています。代わりに、CPTはLLMが指定された編集に従うのを支援します。さらに、KSを破棄すると編集効率が低下し、特に一般性と局所性に影響を及ぼします。これは、絶対類似性閾値では、異なるクエリに必要な異なる閾値を適切に処理できないためです。

618ZXW

大規模未学習モデルの知識編集：新しいデータのより効率的な吸収 | EMNLP'24