EMNLP 2024最優秀論文賞受賞者が発表されました。

リストに載った5つの論文のうち3つは、CMU、上海交通大学、中国科学院大学などの機関の中国人学者が共同執筆したものだ。

そのうち、 「大規模言語モデルの事前トレーニングデータ検出：相違に基づくキャリブレーション方法」は、主に中国科学院ネットワークデータ科学技術重点実験室と中国科学院大学の学者によって完成されました。

論文の第一著者は Weichao Zhang 氏、責任著者は現在中国科学院ネットワークデータ科学技術重点実験室の執行副所長である Jiafeng Guo 氏です。

この研究では、与えられたテキストが LLM 事前トレーニング データの一部であるかどうかを検出するための新しいデータセットと方法を提案し、LLM トレーニング データの透明性の向上に役立ちます。

EMNLP'24 では今年、メイン会議論文 2,455 件とワークショップ論文 523 件を含む合計2,978 件の論文が提出されました (昨年より 5% 増加)。

最優秀論文に加え、優秀論文も発表され、参加者の半数以上が中国の学者でした。

ちなみに、EMNLP 2025は来年11月5日から9日まで中国蘇州で開催されます！

国内の学者たちは準備に手を挙げて取り組み始めることができます!

次に、受賞論文を詳しく見てみましょう。

上海交通大学とCMUのチームが最優秀論文賞を受賞しました。

5 つの研究成果が EMNLP'24 最優秀論文賞を受賞しました。

1. 一枚の画像は千の言葉に匹敵するが、果たして誰もが耳を傾けることができるだろうか？文化的関連性を考慮した画像トランスクリエーションについて。

CMUのこの論文は、画像の異文化再創造という課題を探求しています。マルチメディアコンテンツの台頭により、翻訳は画像などのモダリティを包含する必要が生じています。従来の翻訳は音声とテキストの言語処理に限定されており、異文化再創造という課題が生じています。

著者らは、最先端の生成モデルを含む3つのパイプラインを構築した。e2e-instruct（直接画像編集）、cap-edit（キャプションとLLMを介して画像の後処理）、cap-retrieve（編集されたキャプションを用いて画像を検索）である。また、概念セクションと応用セクションの両方で評価データセットを作成した。

結果は、現在の画像編集モデルではこのタスクを完了できなかったが、ループ内で LLM と検索ユニットを使用することで改善できる可能性があることを示しました。

2. 数千の言語に対応した堅牢な音声表現学習に向けて

CMU、上海交通大学、シカゴの豊田工業大学によるこの論文では、複数の言語と音響環境での音声を処理するために設計された、XEUSと呼ばれるクロス言語ユニバーサル音声エンコーダーを紹介しています。

本研究では、既存のデータセットと新たに収集したデータを統合し、4057言語にわたる100万時間以上のデータを含む事前学習済みコーパスを構築しました。モデルの堅牢性を高めるため、新たな自己教師タスク（音響残響除去）を提案しました。その結果、XEUSは複数の下流タスクにおいて非常に優れた性能を示し、ML-SUPERBベンチマークにおいて他のモデルを凌駕し、多言語自動音声認識において最先端（SOTA）性能を達成しました。さらに、音声翻訳と音声合成においても優れた性能を発揮しました。

チームメンバーの半数以上は中国人です。筆頭著者の一人であるウィリアム・チェンは現在、カーネギーメロン大学言語技術研究所の修士課程に在籍しています。彼は以前、フロリダ大学でコンピュータサイエンスと歴史学の学士号を取得しています。

3. 後方レンズ：言語モデルの勾配を語彙空間に投影する

Transformerベースの言語モデルがどのように学習し、情報を呼び出すかを理解することは、業界における重要な目標となっています。最近の解釈可能性手法は、前方パススルーから得られた重みと隠れ状態をモデルの語彙に投影することで、言語モデル内での情報の流れを明らかにするのに役立ちます。

イスラエル工科大学テクニオン校とテルアビブ大学の研究者は、この手法を言語モデルのバックプロパゲーションと勾配に拡張しました。

まず、勾配行列は前方入力と後方入力の低ランク線形結合として捉えられることを示します。次に、これらの勾配を語彙項目に投影する方法を開発し、言語モデルのニューロンに新しい情報が記憶されるメカニズムを探ります。

4. 大規模言語モデルのための事前学習データ検出：ダイバージェンスに基づくキャリブレーション手法

この論文の著者は、中国科学院ネットワークデータ科学技術重点実験室、中国科学院大学、中関村実験室、アムステルダム大学の研究者です。

責任著者である郭嘉鋒氏は、現在、中国科学院計算技術研究所の研究員、中国科学院大学教授、北京人工知能科学院の研究員、中国科学院ネットワークデータ科学技術重点実験室の所長を務めています。彼の現在の研究は、情報検索（ニューラルIR）と自然言語理解のためのニューラルモデルに焦点を当てています。

彼らの研究は、大規模言語モデルにおける事前学習済みデータの検出という問題の解決を目指しています。既存の手法では、モデル開発者が学習データの詳細を開示したがらないため、テキストが学習データであるかどうかを判断するのに限界があります。

このため、彼らはDC-PDD法を提案しました。この手法は、テキストの単語確率分布と単語頻度分布間のクロスエントロピー（すなわち、ダイバージェンス）を計算することで単語確率を較正し、テキストがモデルの事前学習データに含まれるかどうかを判定します。実験はWikiMIA、BookMIA、そして新たに構築された中国のベンチマークであるPatentMIAを用いて実施されました。その結果、DC-PDDはほとんどの場合でベースライン手法を上回り、様々なモデルやデータに対してより安定していることが示されました。

5. CoGen: 理解と生成を組み合わせたフィードバックからの学習（CoGenは理解と生成を組み合わせ、フィードバックから学習します）

コーネル大学の研究チームは、言語理解と生成機能の連携を研究し、ユーザーインタラクションにおいてこの2つを組み合わせてパフォーマンスを向上させる方法を提案しました。

具体的には、ゲームシナリオを参照することで、モデルを人間とのインタラクションに展開し、フィードバック信号を収集してトレーニングを行います。理解したデータポイントを生成データポイントに変換するなど、共同推論とデータ共有戦略を採用しています。

実験結果によると、結合手法はモデル性能を大幅に向上させ、理解精度を19.48%、生成精度を26.07%向上させるとともに、データ効率も向上しました。言語面では、結合システムは有効語彙を増加させ、人間の言語との類似性を高め、語彙の偏りを低減します。

優秀論文

優秀論文賞の受賞論文を見てみましょう。今回は合計20件の論文が受賞しました。

GoldCoin: コンテキスト整合性理論によってプライバシー法に大規模言語モデルを基盤付ける は、香港科技大学の研究チームによって完成され、Wei Fan と Haoran Li が共同筆頭著者です。

チームは、大規模な言語モデルを調整してプライバシー法に準拠し、さまざまなコンテキストでプライバシーリスクを検出する能力を向上させるための、コンテキスト整合性理論に基づく新しいフレームワークを提案しました。

形式性が好まれる: 矛盾する知識を持つデータに対する大規模言語モデルの学習の好みを解明する は、南京大学のチームによって完成され、Jiahuan Li と Yiqing Cao が共同第一著者です。

この論文では、トレーニング データに矛盾する情報がある場合の大規模言語モデルの学習傾向を調査します。

テクノロジー大手の受賞チームの中にはマイクロソフトがあり、同社のプロジェクト「文脈内学習のための反復的な取得の学習」では、文脈学習例の選択をマルコフ決定プロセスとしてシミュレートする革新的なアプローチを提案している。

「多言語知識グラフからの検索強化生成による異文化機械翻訳に向けて」プロジェクトは、 Adobe、Apple、ローマ大学の研究者による共同作業でした。

この論文では、異文化機械翻訳において文化に関連した固有表現を翻訳する従来の方法を検討し、その問題点を指摘します。

また、UCLAコンピュータサイエンス学部の准教授で中国の学者であるナンユン・ペン氏が率いるチームが今回大きな勝利を収め、同氏が参加または指導した3つの論文すべてが受賞したことも特筆に値します。

これら 3 つの研究はすべて、創造的な物語を生み出す LLM の能力を評価することを目的としています。

• 言語モデルにおける心理的深度の測定
• 大規模言語モデルは人間の作家のように計画を立てられるか？プレスリリースにおけるジャーナリストの報道と法学修士（LLM）の比較
• 大規模言語モデルは人間レベルの物語を生成できるのでしょうか?

受賞者の全リストは次のとおりです。

ベスト論文リンク: [1]https://arxiv.org/abs/2404.01247 [2]https://arxiv.org/abs/2407.00837 [3]https://arxiv.org/abs/2402.12865 [4]https://arxiv.org/abs/2409.14781 [5]https://www.arxiv.org/abs/240... 参考リンク: [1]https://x.com/emnlpmeeting/st... [2]https://x.com/emnlpmeeting/st... [3]https://aclanthology.org/even...