参考文献495件！北京交通大学、清華大学などの大学が発表した多言語大規模モデルのレビュー。

大規模モデルは画期的な進歩を遂げていますが、多言語シナリオではまだ限界があり、改善の余地がまだたくさんあります。

では、大規模モデルの多言語対応能力は実際にはどの程度なのでしょうか？また、その開発にはどのような課題があるのでしょうか？

北京交通大学、モントリオール大学、ウォータールー大学、清華大学の研究チームは、「多言語対応の大規模言語モデルの調査：最近の進歩と新境地」と題する論文を発表し、多言語対応における大規模言語モデルの最新の進歩と今後の発展方向を包括的に検討した。

論文リンク: https://arxiv.org/abs/2405.10936

495 もの参考文献が掲載されており、内容は非常に詳細かつ包括的で、専門的です。

この論文ではまず、過去の研究と現在の研究による事前トレーニング済み言語モデル間の移行を再考します。

本稿では、学習・推論手法、情報検索、セキュリティ、マルチドメインおよび言語・文化統合、データセットの利用など、様々な観点からLLMについて考察する。また、これらの分野における主要な課題を考察し、可能な解決策を提案する。

最後に、この論文では、LLM の多言語機能をさらに強化することを目的とした将来の研究方向についても強調しています。

大規模言語モデルのレビュー

LLM は大きく進歩しましたが、多言語シナリオ、特にリソースが非常に少ない言語での LLM の適用は依然として限られており、LLM にはまだかなりの改善の余地があることがわかります。

その理由は、LLM トレーニングデータの言語分布が非常に不均衡であり、データの品質が言語ごとに大きく異なるためです。

現在、LLM はデータ不足のために、多言語シナリオのさまざまな段階でこれらの主な問題に直面しています。

△多言語シナリオにおけるLLMの主な限界

本稿では、これらの課題を踏まえ、さまざまな側面から総合的な比較分析と多角的な検討を行い、今後の発展の方向性を展望する。

（研究進捗の概要とレビューは、代表的なモデル、推論戦略、情報検索、セキュリティ、マルチドメインアプリケーションシナリオ、バイアスと公平性、データリソース、評価セット情報など、章ごとにまとめられています。）

I. トレーニング方法

トレーニングパラダイムに基づいて、既存の多言語 LLM は次の 2 つのカテゴリに分類されます。

（１）基礎的なLLMをゼロから学ぶ
（２）ベースモデル上で継続的に学習されるLLM

このセクションでは、2 つの異なるパラダイムを使用してトレーニングされた LLM の多言語機能について説明します。

△多言語関連事前学習モデルの歴史的発展

△過去3年間で一定の多言語能力を有する代表的なLLM（トレーニング可能なパラメータが7B以上）。

ゼロから訓練を受けたLLM

多言語言語モデルを作成するには、様々な言語の利用可能なデータすべてを用いて学習するのが一般的です。各言語の重要性を制御するために、言語サンプリングアルゴリズムが通常適用されます。最近の研究では、スケーリング則によれば、モデルのパラメータサイズがパフォーマンスに大きな影響を与えることが示されています。つまり、モデルが大きいほど、一般的にパフォーマンスは向上します。

継続的に訓練を受けたLLM

LLMの多言語機能を向上させるもう一つのアプローチは、継続的な学習です。これは、モデルをゼロから学習させるのではなく、新しいデータで更新するものです。基本的な考え方は、ベースモデルから知識を転送し、更新されたデータを通じて追加の多言語機能を注入することです。これにより、過剰な計算リソースやデータリソースの必要性が軽減されるだけでなく、学習コストも削減されます。

英語以外の言語における LLM の大きな進歩にもかかわらず、ゼロからトレーニングする場合でも、ベースモデルで継続的にトレーニングして言語データを拡張する場合でも、リソース不足、知識の衝突、知識の種類の制限などの問題が依然として存在します。

今後の研究では、多言語表現空間のさらなる探究と最適化、標準的なトランスフォーマーのデータを単純に拡張するのではなくタスク要件に合わせてアーキテクチャをカスタマイズすること、そして LLM の生涯学習機能を探索して言語サポートを継続的に拡張することに重点を置く必要があります。

II. 多言語推論戦略

多言語推論戦略の開発は、異なる言語環境で言語モデルを展開するために不可欠です。

主な種類としては以下のようなものがあります。

直接的な推論

直接推論法は翻訳ステップを不要にすることで計算オーバーヘッドを削減し、効率性を向上させることで処理フローを簡素化します。結果は、言語の真正性の維持、処理効率の向上、リソースの少ない言語におけるパフォーマンスの向上など、直接推論の利点を検証しました。

事前翻訳

直接推論は、LLMの多言語対応能力によっては、すべてのLLMに適さない場合があります。事前翻訳推論では、複数の言語への入力を高リソース言語（英語や中国語など）に翻訳し、その言語をLLMによる推論の中心言語として使用します。

多言語マインドチェーン

多言語CoT手法は、特定の文化的文脈を伴う複雑な推論タスクに理想的に機能し、より自然で直感的な問題解決を可能にします。多言語CoTでは、言語的および文化的なニュアンスを維持しながら、LLMにクエリの元の言語で段階的な推論プロセスを構築させるのが一般的です。

コードスイッチング

コードスイッチングとは、言語相互作用において、コミュニケーションを行う者が文脈に応じて2つ以上の言語を切り替える現象を指します。この現象は、バイリンガルまたはマルチリンガルのコミュニティ、特に口頭コミュニケーションにおいてよく見られます。推論中にすべてのコードスイッチングテキストの言語IDを特定することは不可能であるため、コードスイッチングの解決は重要かつ困難な課題です。

多言語検索の強化

多言語RAG（Research and Acquisition：研究と獲得）の主なアプローチは、オープンドメインから知識を取得し、それを文脈（すなわち、強化された手がかり）に適用することです。LLMを低リソースの機械翻訳と組み合わせると、錯覚やターゲットからの逸脱が生じる可能性がありますが、RAGは低リソース言語における翻訳品質を向上させることでこれを軽減できます。しかし、特にLLMのパフォーマンスが低い場合、RAGのみを使用して低リソース言語で大幅な改善を達成することは依然として大きな課題です。さらに、低リソース言語に適した検索エンジンの構築も課題です。

今後の研究の方向性としては、多言語環境での LLM 向けの普遍的な推論パラダイムの設計、言語固有の機能、新たな機能、およびモデルのコラボレーションに基づく推論方法の改善などが挙げられます。

III. 多言語情報検索

前のセクションで紹介した RAG 方式 (LLM の mIR) とは異なり、このセクションでは多言語の側面、特に LLM (mIR の LLM) によってもたらされる多言語検索の新しい機会に焦点を当てます。

包括的なトレーニングデータ

多言語検索のための合成データセットは、従来、機械翻訳と自然な意味構造に依存してきました。LLMは、大規模な合成データを生成することで検索モデルを経済的にトレーニングするという、3つ目のアプローチを導入します。

多言語検索エンジン

検索メカニズムは、教師なしスパースモデル、教師ありスパースモデル、教師あり稠密モデルに分類されます。稠密モデルはさらに、単一ベクトルモデルと複数ベクトルモデルに分類されます。LLMベースの埋め込みモデルは数多く登場しています。検索タスクにおいて、LLMベースの埋め込みモデルは、微調整によってドメイン内性能を向上させ、優れたドメイン外汎化能力を備えています。また、キューイングLLMを用いて稠密表現とスパース表現を生成することで、段落検索タスクにおいて競争力のあるゼロショット性能を達成できます。

多言語並べ替え機能

本論文では、LLMをゼロショット・リオーダラーとして用い、クローズドソースのGPTモデルに依存せずにリストベースのリオーダラーを構築する手法を検証します。GPT-4はこのタスクにおいて競争力のあるゼロショット性能を示し、一部の言語の機械翻訳文書におけるゼロショット結果に匹敵するほどです。

LLMをアクセス可能な検索システムに導入することは、インデックス作成と検索プロセスにおける固有の高いレイテンシ、推論と微調整における高い計算リソース要求など、依然として課題が残っています。LLMに適用される現在の検索手法は、主に知識ベースとして扱われています。しかし、リソースの少ない言語では、LLMは生成能力を欠き、大規模データで学習されていないため、信頼できる知識源とはなりません。

IV. 安全性

様々なアプリケーションにおけるLLMの普及に伴い、セキュリティ上の問題がますます多く発生しています。このセクションでは、言語固有のセキュリティ問題だけでなく、一般的なセキュリティ問題も取り上げます。研究対象とした手法は、すべての言語において同様に有効であり、多言語環境にも容易に適用できるため、将来の研究への示唆となります。

攻撃方法

一般的な手法の一つに「ジェイルブレイク」があります。これは通常、モデルの基盤となるコードや機能への不正アクセスや改変を指します。本質的には、LLMの設計または利用ポリシーによって課せられた制限や制約を突破することを意味します。これには、セキュリティ対策の回避や、開発者が承認または許可していない機能の有効化が含まれます。LLMのジェイルブレイク手法は、貪欲座標勾配（GCG）ジェイルブレイク、プロンプトベースのジェイルブレイク、多言語ジェイルブレイクの3種類に分類できます。最初の2つの手法はLLMに対する一般的な攻撃であり、後者は複数言語によるジェイルブレイクに重点を置いています。これらの手法はすべて、LLMのセキュリティ対策を回避して悪意のある情報を生成することを目的としています。本稿では、統一された評価フレームワークを用いて、様々なLLMにおける様々なジェイルブレイク手法のパフォーマンスを調査します。

防御方法

LLMのセキュリティ防御方法は、オープンソース型とクローズドソース型に分類できます。オープンソース型LLMについては、セキュリティディレクティブを用いて基盤モデルを微調整することでセキュリティを強化する研究が既に行われています。クローズドソース型LLMについては、入力プロンプトの監査や様々なセキュリティ判断戦略の適用によってリスクを軽減する研究が既に行われています。しかし、これらの単純なメカニズムでは十分なパフォーマンスが得られず、どのような防御メカニズムを採用しても、安全でないコンテンツの生成を完全に排除することは困難です。

今後の議論

現在、LLMセキュリティに関する研究のほとんどは、多言語対応機能を備えた一般的なモデル（GPT-4やLLaMAなど）を用いて行われています。本稿では、既存の一般的な攻撃手法と防御手法の概要に基づき、今後の研究の方向性を2つ考察します。

（１）LLMの多言語機能を狙った脱獄攻撃
（２）多言語シナリオにおけるLLMの堅牢性を向上させる方法

V. ドメイン固有のシナリオ

LLMは、金融、医学、法律、教育、運輸など、様々な分野への応用を促進してきました。これらの分野特化型LLMは、それぞれの分野において優れた実績と幅広い応用の可能性を示しています。しかしながら、これらのLLMは主に英語に焦点を当てており、低・中資源言語を対象としたモデルが比較的少ないため、グローバルな応用には大きな制限があります。本章では、医学と法律の分野における先駆的な多言語研究を紹介し、その限界と課題を探ります。

医療分野

医療分野における多言語化の課題を軽減するために、既存の研究では、多言語医療コーパスを組み込んでベースモデルの多言語化能力を強化したり、翻訳を通じて学習データや評価データを取得したりすることが一般的です。医療LLMモデルの多言語汎化能力をさらに評価するために、複数の言語を網羅する大規模な多言語医療LLMベンチマークを導入した研究もいくつかありますが、それらの主な焦点はデータ分析に置かれています。

法律分野

医学分野と同様に、法学分野におけるLLMの応用は主に英語に焦点を当てています。他の言語に拡張すると、全体的なパフォーマンスの低下が見られます。法学分野特有の問題に対処するには、提案モデルを、他の分野と比較して事実性、曖昧性、構造、適時性を重視する法学の特性に適応させる必要があります。

ドメイン固有の問題に対する既存のLLM（限定学習モデル）アプローチは、主にデータの不足と翻訳の問題を考慮しています。知識移転はある程度の救済を提供しますが、低リソース言語の不十分さは依然として残ります。機械翻訳はこの問題を軽減する可能性がありますが、複数の言語にまたがるドメイン固有の用語を処理する際には苦労します。翻訳には、ネイティブスピーカーに馴染みのない用語やフレーズが含まれており、ターゲット言語のローカルな文化的背景を十分に理解して考慮することができません。特定のドメイン（法律や金融など）では、各言語が歴史的、文化的、地域的背景に影響された独自の知識を持っています。言語の意味レベルを超えて、これらの微妙な違いを捉え、言語固有のドメイン知識をLLMに統合することが課題です。たとえば、欧州評議会と米国の法制度における法的定義の違いや、中医学と西洋医学の対比は、この課題を浮き彫りにしています。

VI. データリソース、ベンチマーク、評価

本論文では、多言語領域の既存の大規模モデルに利用可能なトレーニングデータセットとベンチマークデータセットをまとめ、さまざまな評価方法を分析し、将来の改善の方向性を提案します。

データリソース

世界で最も話されている言語である英語は、インターネットを支配しています。既存のデータリソースは主に英語中心であり、地域および地方の言語リソースの不足につながり、言語の消滅の危機と経済的疎外を悪化させています。リソースの少ない言語は、アノテーションエラーや不適切な現地での使用により品質が低く、特にウェブクロールされたデータには、ポルノ、無意味なコンテンツ、または非言語的な素材が含まれることがよくあります。本論文では信頼性の高い大規模な多言語データリソースを収集していますが、これらのデータセットは依然としてバイアスと公平性の問題を抱えています。

ベンチマークデータセット

この論文では、2018 年に mBERT が導入されて以来の代表的な多言語ベンチマークをリストしています。既存のベンチマークは多数存在しますが、タスクの多様性が限られている、文化的およびローカライズされた言語的特徴の評価が不足しているなどの問題が依然として残っています。

多言語データの分野では、政府、企業、研究者が協力して、多言語データリソースの好循環を促進する必要があります。豊富で適切に収集された言語データセットにアクセスすることで、研究者や開発者はモデルやベンチマークを構築できます。これらのモデルとベンチマークの豊富さは、より多くの出版物の創出を促し、コミュニケーションを強化し、企業がそれらを実際のシナリオに導入するきっかけとなります。これらの成果物はより多くのユーザーを引き付ける可能性があり、政府主導のガイドラインは、研究開発に活用できる有害でないデータの生成に役立ちます。

VII. 偏見と公平さ

LLMの多言語シナリオにおけるバイアスは、言語バイアスと人口統計バイアスに分類できます。前者は、利用可能なトレーニングデータの言語間における不均衡に起因し、人口統計バイアスはインターネット上のバイアスや誤情報に起因し、必然的にLLMにおいて、性別、人種、政治的背景に関連する人口統計バイアスが継承されることになります。そのため、他言語におけるバイアスや倫理的問題は依然として存在し、英語を母国語としないユーザーに重大な悪影響を及ぼす可能性があります。

VIII. 結論と今後の方向性

この記事では、大規模言語モデルの主要モジュールと多言語機能の最新の進歩について包括的にレビューし、これらのモデルにおける大規模言語モデルのアプリケーションと課題を分析し、将来の開発方向を展望します。

研究チームは、大規模モデルの多言語パフォーマンスを新たな高みに引き上げる重要な要素として、トレーニングパラダイム、推論パラダイム、検索パラダイム、セキュリティ、マルチドメインおよび実用的な評価方法、およびバイアス除去のイノベーションを提案しました。

今後の研究の方向性は次のとおりです。

持続可能な学習パラダイム：理想的には、新たに獲得した言語データを用いてLLMの性能を向上させ、サポートされる言語の数を増やすべきです。哺乳類の脳は皮質回路を通して、以前に獲得した知識を壊滅的な忘却から守ることができますが、ニューラルネットワークモデルにはこの能力が欠けています。そのため、複数の言語において全てのタスクで優れた性能を達成するという目標は、未だほとんど解明されていません。
一般推論パラダイム：既存の技術は、パラメータ調整技術とヒントエンジニアリングを用いて、LLMの潜在的な多言語対応能力を探求することに重点を置いています。本論文では、追加のトレーニングなしに言語固有の問題（コードスイッチング、多言語ジェイルブレイク、クロスドメイン適応など）を効果的に解決するための潜在的なメカニズムを探求することが有益であると提案します。
実践的評価：言語障壁を軽減するために、多言語コミュニティは、LLMの多言語能力を複数の分野において評価するための包括的かつ権威あるベンチマークを早急に確立する必要があります。この目標は、複数のベンチマークやガイドラインを組み合わせることで達成可能であり、関係する言語コミュニティの言語学専門家が主導すべきです。
多言語主義におけるバイアスの影響：既存のLLMは、学習コーパスからバイアスを受け継いでいます。LLMがバイアスのある／リスクのあるコンテンツの生成を回避し、異なる言語における文化的概念を生成できるようにすることは、言語公平性テクノロジーを実現するための重要かつ意義のある目標です。

このレビュー論文は、研究者やエンジニアに多言語と大規模モデリングに関する包括的な理解を提供し、将来の研究開発の指針となるでしょう。多言語シナリオにおける大規模モデリング技術の広範な応用と継続的な革新に期待しましょう。