RAGシステムの構築と最適化は、大規模かつ複雑なシステムエンジニアリングプロジェクトです。通常、テスト計画、検索最適化、モデル最適化といった重要な側面を考慮する必要があります。煩雑なワークフローのため、どこから始めればよいのかわからなくなることがよくあります。

最近、上記の問題点に対応するため、清華大学THUNLPチームは、ノースイースタン大学NEUIR、Facewall Intelligence、9#AISoftの各チームと共同でUltraRAGフレームワークを立ち上げました。このフレームワークは、従来のRAGシステムの開発と構成に革命をもたらし、学習コストと開発サイクルを大幅に削減しました。

UltraRAG は、プロのユーザーのニーズを満たす DSLR カメラの洗練された構成機能を備えているだけでなく、ポイントアンドシュートカメラに似た便利なワンクリック操作も提供しており、 RAG システムの構築を非常にシンプルかつ効率的にしています。

さらに重要なのは、複雑な構成を持つ Llamaindex などの従来の RAG フレームワークと比較して、 UltraRAG は、ユーザーが提供する知識ベースにモデルを適応させることに重点を置いており、「モデル選択」における繰り返しの苦労を効果的に回避していることです。

また、モジュール設計により研究ニーズへの迅速な適応が可能になり、研究者は様々なシナリオにおいてデータを自由に組み合わせ、迅速に反復処理することができます。UltraRAGは、データからモデル化までのプロセス全体を簡単に管理することを可能にします。

また、最近 ICLR に含まれた RAG-DDR および VisRAG を含む RAG テクノロジ スイートや、 30 万回以上ダウンロードされている MiniCPM-Embedding もリリースされました。

GitHub リンクはこの記事の最後にあります。

ゼロコードプログラミングWebUIサポート、ワンクリックの体系的なデータ構築

UltraRAG の最大の利点は、最小限のWebUIにあり、プログラミング経験のないユーザーでもモデルを簡単に構築、トレーニング、評価できます。

実験を迅速に実施する場合でも、カスタマイズされたプロジェクトに取り組む場合でも、UltraRAGは直感的で効率的なサポートを提供します。このフレームワークは、さまざまなプリセットワークフローを統合しており、ユーザーは特定のニーズに基づいて最適なパスを柔軟に選択し、面倒なコードを記述することなく、データ処理からモデルの最適化までの全プロセスを完了できます。

以下は操作のデモンストレーションです。

UltraRAG は、独自に開発したKBAlign および DDRメソッドを中核として、 「ワンクリック」データ構築を提供し、検索モデルと生成モデルのさまざまな微調整戦略を組み合わせて、全体的なパフォーマンスを最適化します。

データ構築の面では、UltraRAG は検索モデルから生成モデルまでのデータ構築ソリューション全体をカバーし、ユーザーがインポートした知識ベースに基づいてトレーニング データの自動生成をサポートすることで、シナリオ質問応答の有効性と適応効率を大幅に向上させます。

モデルの微調整に関しては、UltraRAG は埋め込みモデルトレーニングとLLM DPO/SFT の微調整をサポートする完全なトレーニング スクリプトを提供し、ユーザーがデータに基づいてより強力で正確なモデルを構築できるようにします。

UltraRAGは、自社開発のUltraRAG-Evalメソッドを中核とし、有効かつ重要な情報を対象とした多段階評価戦略を統合することで、モデル評価の堅牢性を大幅に向上させます。検索モデルから生成モデルに至るまで、多次元の評価メトリクスを網羅し、モデル全体から各段階までの包括的な評価をサポートし、モデルの性能メトリクスが実用アプリケーションにおいて十分に検証されることを保証します。

UltraRAG は、重要な情報ポイントを固定することで、評価の安定性と信頼性を効果的に高めるとともに、正確なフィードバックを提供して開発者がモデルとメソッドを継続的に最適化できるようにし、システムの堅牢性と使いやすさをさらに向上させます。

UltraRAGは、THUNLP-RAGグループの独自の手法とその他の最先端のRAGテクノロジーを統合し、モジュールフレームワーク全体にわたる継続的な探求と開発をサポートします。UltraRAGは単なる技術フレームワークではなく、研究者や開発者にとって強力なツールであり、ユーザーが様々なタスクシナリオにおいて最適なソリューションを効率的に見つけるのに役立ちます。

UltraRAG内蔵探査技術シリーズ

UltraRAG シリーズは、検索強化生成における知識適応、タスク適応、およびデータ処理を最適化する革新的なテクノロジーをいくつか導入し、システムのインテリジェンスと効率性を向上させます。

• UltraRAG-KBAlign:大規模言語モデルの知識ベースへの適応能力を強化し、知識検索および推論プロセスを最適化します。2.4Bモデルは、自己アノテーションによってGPT-4oのアノテーション性能を達成し、複数の実験においてGPT-4o自体を上回りました。
• UltraRAG-Embedding:優れた中国語と英語の検索機能を備え、長いテキストとスパース検索をサポートし、一般的なベンチマーク MTEB-Retrieval のパフォーマンス スコアは BGE-M3 を 10% 上回ります。
• UltraRAG-Visは、純粋なビジョンベースのRAGパイプラインを提案します。ドキュメントのエンコードにVLMを導入することで、ドキュメント解析による情報損失を回避します。従来のText RAGパイプラインと比較して、一部のタスクではエンドツーエンドのパフォーマンスが25～39%向上します。
• UltraRAG-Adaptive-Noteは、動的なメモリ管理と情報収集を通じて、複雑な質問応答タスクにおける回答の質を向上させます。GPT-3.5-turbo、Llama3-8B、Qwen2-7Bなどの最先端モデルを用いた実験では、適応型動的メモリ管理および情報収集戦略により、基本的な検索強化型生成モデルと比較して3%～13.9%のパフォーマンス向上が達成され、特に複雑な情報検索要件を伴う質問の処理に優れていることが示されました。
• UltraRAG-DDR：微調整可能なデータ報酬（DDR）に基づいて検索強化生成を最適化し、タスク固有のシナリオにおけるシステムパフォーマンスを向上させます。MiniCPM-2.4BやLlama3-8Bを含む複数の最先端モデルを用いた実験では、DDR最適化戦略により、従来の検索強化生成モデルと比較して7%以上のパフォーマンス向上が達成できることが示されています。
• UltraRAG-Eval: RAGシナリオ向けに設計された高効率評価ソリューションです。少数のシードドキュメントを用いて特定のドメインのRAG評価データを迅速かつ自動的に生成し、堅牢なモデル駆動型評価メトリクスと評価手法を提供します。

UUltraRAG メソッドは国内外の AI コミュニティで一定の影響力と人気を誇っており、一部のモデルは 30 万回以上ダウンロードされています。

Github アドレス: https://github.com/OpenBMB/Ul...

参考文献

https://arxiv.org/abs/2410.13509

Li、Xinze、Mei、Sen、Liu、Zhenhao、Yan、Yukun、Wang、Shuo、Yu、Shi、Zeng、Zheni、Chen、Hao、Yu、Ge、Liu、Zhiyuan、他。 （2024年）。 RAG-DDR: 微分可能なデータ報酬を使用した検索拡張生成の最適化。 arXiv プレプリント arXiv:2410.13509。 [ICLR 2025]

https://arxiv.org/abs/2410.10594

Yu、Shi、Tang、Chaoyue、Xu、Bokai、Cui、Junbo、Ran、Junhao、Yan、Yukun、Liu、Zhenhao、Wang、Shuo、Han、Xu、Liu、Zhiyuan、他。 （2024年）。 Visrag: マルチモダリティ文書に対するビジョンベースの検索拡張生成。 arXiv プレプリント arXiv:2410.10594。 [ICLR 2025]

https://arxiv.org/abs/2410.08821

Wang、Rubing、Zha、Daren、Yu、Shi、Zhao、Qingfei、Chen、Yuxuan、Wang、Yixuan、Wang、Shuo、Yan、Yukun、Liu、Zhenhao、Han、Xu、他。 （2024年）。取得と記憶: アダプティブノート強化検索拡張生成に向けて。 arXiv プレプリント arXiv:2410.08821。

https://arxiv.org/abs/2411.14790

Zeng、Zheni、Chen、Yuxuan、Yu、Shi、Yan、Yukun、Liu、Zhenhao、Wang、Shuo、Han、Xu、Liu、Zhiyuan、Sun、Maosong。 （2024年）。 KBAlign: 特定の知識ベースに基づいた効率的な自己適応。 arXiv プレプリント arXiv:2411.14790。

https://arxiv.org/abs/2408.01262

Zhu, K.、Luo, Y.、Xu, D.、Wang, R.、Yu, S.、Wang, S.、Yan, Y.、Liu, Z.、Han, X.、Liu, Z.、他。 （2024年）。 Rageval: シナリオ固有のラグ評価データセット生成フレームワーク。 arXiv プレプリント arXiv:2408.01262。