大規模なモデルでナレッジグラフから知識を認識するにはどうすればよいでしょうか?

Ant Labs: 複数単語の並列予測を使用して「レッスン」を行う。

大規模言語モデルの急速な発展により、自然言語処理タスク間の多くの障壁が取り除かれました。通常、大規模言語モデルは次のトークンを予測するように訓練されており、これは多くの自然言語処理タスクとよく一致しています。

しかし、ナレッジ グラフの場合、最も基本的なデータ単位であるエンティティを正確に記述するには、複数の自然言語の語彙単位が必要になることが多く、ナレッジ グラフと自然言語の間に大きな粒度の不一致が生じます。

この問題を解決するため、Antチームは大規模言語モデルに基づくマルチレクサー並列予測手法「K-ON」を提案しました。K-ONは、マルチレクサー並列予測メカニズムを用いてすべてのエンティティの評価結果を一度に生成し、言語モデルのエンティティレベルでの比較学習を可能にします。

この研究成果はAAAI 2025の口頭発表に収録されました。論文の筆頭著者は現在、浙江大学で博士号取得を目指して研究中です。

実験結果は、提案された方法が複数のデータセットの知識グラフ補完タスクにおいて既存の方法よりも優れていることを示しています。

多語彙並列予測に基づくエンティティ対比学習

語彙集は、言語モデルが処理できる最も基本的な要素です。通常、ナレッジグラフ内のエンティティを正確に記述および識別するには、複数の語彙集で構成されるテキストラベルが必要です。エンティティごとに新しい語彙集を作成し、ファインチューニング中にこれらの語彙集の表現を学習するという代替手段もありますが、このアプローチはトレーニングと最適化にコストがかかり、大規模モデルのパフォーマンスに悪影響を与える可能性があり、汎用性も制限されます。

本論文では、ナレッジグラフ内のエンティティを記述するために複数の語彙単位を効率的に活用し、関連する問題を解決する手法を探求する。まず、従来のシーケンス予測損失を直接最適化すると、大規模なモデルがナレッジグラフのエンティティを理解しなくなり、ナレッジグラフに存在しないエンティティが生成されてしまう可能性がある。さらに、ナレッジグラフ内のエンティティの数を考慮すると、すべてのエンティティをテキストコンテキストとして大規模モデルに入力することは明らかに非現実的である。

上の図を例に挙げると、不完全なトリプレットを与えられた対象エンティティ「Matt Damon」を予測するタスクを考えてみましょう。左の図は、従来の連続単語メタ予測を用いた結果生成には複数のサブステップが必要であり、複数のエンティティを直接扱うことができないことを示しています。そのため、既存のナレッジグラフ関連手法のほとんどは、大規模なモデルを、トリプレットの正しさの検証や有限個の候補エンティティから正しい答えを選択するといった単純なタスクにしか適用していません。

対照的に、本論文で提案するK-ON法は、K個の出力層を用いて、複数のエンティティにおける異なる位置の単語の確率を並列に予測します。これは、DeepSeekなどの大規模モデルで用いられる複数単語予測技術に似ています。さらに、本論文の手法は、エンティティレベルの対照学習をさらに活用することで、モデル出力層に知識グラフの知識を蓄積します。

K-ONのナレッジグラフ補完タスクの達成方法

下の図に示すように、ナレッジ グラフ内の候補エンティティ スコアの K-ON 並列評価プロセスは、次の 5 つのステップに分けられます。

（１）大規模モデルを微調整する既存の方法と同様に、K-ONは知識グラフ補完問題をテキスト命令として大規模モデルに入力します。

（２）大規模モデルTransformerモジュールで処理された後の出力状態は、予測対象エンティティの異なる位置の語彙単位に対応する複数の元の大規模モデル出力層MLPで構成されるK-ONモジュールに入力される。

（３）次に、K-ONは条件付き変換を用いて、語彙の順序依存性を考慮しながら、異なる位置からの情報を混合する。

（４）次に、低ランク適応技術（LoRA）を使用して、元の大規模モデルのスコアリング層からK個の新しいスコアリング層を構築し、前のステップの出力をエンティティのK個の連続した単語単位の確率予測分布に変換します。

（５）最後に、異なる位置の確率予測分布から各エンティティ単語に対応する確率値を抽出し、すべての候補エンティティのスコアを一度に評価することができます。

候補エンティティスコアを取得した後、ナレッジグラフ表現学習分野で最も一般的に使用される対照学習損失を使用して、大規模なモデルでナレッジグラフ内のエンティティの分布を把握できるようになります。

ここで、peとpejはそれぞれK-ONモジュールによって並列生成された正サンプルと負サンプルのスコアを表す。本論文では、エンティティレベルの対照学習に加えて、単語シーケンスアライメントを用いることで、複数単語の並列予測結果を元の大規模モデルのシングルステップ連続予測結果に近づけることも検討する。この目標を達成するために、本論文ではまず、一般的に用いられるシングルステップ予測損失を導入し、訓練コーパスにおける元の出力層パラメータを微調整する。

ここで、下付き文字 k は、エンティティを構成する語彙単位の序数を表します。

次に、K-ONモジュールの1つのステップで評価されたKトークンの確率分布を、通常の連続単語トークン予測から得られたKトークンの確率分布と一致させることができます。

ここでの上付き文字 k-on と llm は、それぞれ K-ON と従来の連続予測から得られたスコアを指します。

最後に、K-ON をトレーニングしてナレッジ グラフ完了タスクを完了する基本的なプロセスは、次のように要約できます。

実験結果: 効率が向上し、コストが削減され、結果が改善されました。

以下の表は、知識グラフ補完タスクにおけるK-ONの実験結果を示しています。本論文では、従来の手法に加え、大規模モデルやマルチモーダル手法に基づく他の手法とも比較しています。K-ONは、あらゆるデータセットと指標において既存の手法よりも優れた結果を達成しており、追加の画像データを使用するいくつかの手法と比較しても、依然として一定の優位性があることが容易にわかります。

下の図は、Kの値の増加に伴うK-ONにおけるモデルのパフォーマンスの様々な側面の変化をさらに分析したものです。ここで、Kの値は、単一のエンティティを表現できるトークンの最大数を直接決定します。図に示すように、Kの値が小さすぎる場合、K-ONの実験結果は表現力が不十分なため非常に悪いものになります。しかし、Kを8に増やすことでもたらされるパフォーマンスの向上はもはや顕著ではなく、モデルの学習可能なパラメータの数は着実に増加しています。

推論の単一ステップ時間と合計トレーニング時間は K の値によって大きく影響されないことは注目に値します。これは、K-ON マルチターム並列予測の効率を示しています。

さらに、本論文では、K-ONによるエンティティレベルの対照学習を分析しています（下図参照）。K-ONは、学習効率に大きな影響を与えることなく、数千のネガティブサンプルエンティティを含む対照学習を容易に達成できることがわかります。ただし、ネガティブサンプルの数が多いほど良いというわけではなく、128程度に設定すると最適な結果が得られます。

本論文では、エンティティレベルの対照学習を通じて大規模モデルがナレッジグラフの知識を認識できるようにする、複数単語の並列予測手法を提案する。広範な実験結果から、提案手法はナレッジグラフ関連タスクにおいて顕著な性能向上を示し、従来の大規模モデルソリューションよりも高い学習効率と推論効率を実現することが実証されている。

論文リンク: https://arxiv.org/pdf/2502.06257

Ant Group のデータベースには 18 件の技術論文が含まれています。

AAAI 2025は、米国ペンシルベニア州フィラデルフィアで、現地時間2月25日から11日間開催され、3月4日に閉幕します。AAAIは、人工知能振興協会（AAAI）が主催する、人工知能分野におけるトップクラスの国際学術会議の一つで、毎年開催されています。AAAI 2025には12,957件の有効投稿があり、そのうち3,032件が採択され、採択率は23.4%でした。

Ant Financialは、口頭発表3件、ポスター発表15件を含む18件の技術論文を発表しました。研究分野は、大規模モデルのプライバシー保護の強化、推論速度と推論能力の向上、大規模モデルの学習効率の向上、モデル錯覚の低減などです。