速報：スローン賞受賞者、ヤオクラス卒業生の馬騰宇氏の大型モデル事業を買収しました！

買収側は、有力な上場オープンソースデータベースである MongoDB です。

これは、2023年11月にVoyage AIの設立を正式に発表してから1年半も経たないうちに起こった。当時、スタートアップチームは非常に印象的で名声が高く、フェイフェイ・リーやマニングなどの大物が顧問を務めていた。

彼らは主に、インテリジェント AI アプリケーションをサポートするために RAG (Retrieval Enhancement Generation) 向けに特別に最適化された埋め込みモデルに取り組んでいます。

わずか 1 年余りで、モデルは第 3 バージョンに更新され、最先端の検索精度とベクトル保存コストの大幅な削減が達成されました。この期間中に 2 回の資金調達が完了し、総額 2,800 万ドルが調達されました。

買収にかかる具体的な金額はまだ明らかにされていない。

しかし、馬騰宇氏は自社のブログで、MongoDB による買収を決定した理由を明らかにした。

つまり、2 つのテクノロジを組み合わせることで AI 検索モデルがデータベースに直接統合され、より統一されたスタックの下でより効率的な開発エクスペリエンスが実現され、AI アプリケーションのパフォーマンスと精度も向上します。

馬騰宇氏のツイートのコメント欄には多くの業界関係者が祝福の言葉を寄せた。

最先端（SOTA）組み込みモデルを5年で開発

彼らが事業を始めたとき、業界が組み込みモデルに十分な注意を払っていないと感じたことが事業を始めた主な理由の 1 つだったと明かしました。

組み込みモデルは生成モデルといくつかの類似点がありますが、ニューラル ネットワーク (通常は Transformer) アーキテクチャを使用してセマンティック コンテキストをキャプチャおよび圧縮することで、セマンティック理解に重点を置いています。

難易度の点では、埋め込みモデルのトレーニングは生成モデルのトレーニングと同じくらい困難です。高品質の埋め込みモデルをトレーニングするには、アーキテクチャ、データ、損失関数など、多くの側面で繰り返し実験を行う必要があります。

そこで彼らは 5 年間をかけて膨大な量のトレーニング データと前処理/後処理方法を収集し、ついに最先端の (SOTA) 埋め込みモデルを作成しました。

事業を開始した後も、このモデルは継続的に改良されていきます。

Voyage は、一般的な埋め込みモデル、コード検索埋め込みモデル、マルチモーダル埋め込みモデルなど、多数のモデルをリリースしており、これらはすべて過去 3 か月でバージョン 3 にアップグレードされています。

汎用・多言語対応埋め込みモデル voyage-3-large ：このモデルは、法務、金融、コードなど100のデータセット（コンテキスト長32K）を網羅した8つの評価ドメインで1位を獲得しました。ロシアンドール表現学習（MRL）と量子化を考慮したトレーニングにより、より小さな次元とint8およびバイナリ量子化をサポートし、vectorDBのコストを大幅に削減しながら、検索品質への影響を最小限に抑えます。

コード検索ベースの埋め込みモデルvoyage-code-3は、 32個のコード検索データセットにおいて、OpenAI-v3-largeおよびCodeSage-largeを平均13.80%および16.81%上回りました。Matryoshka学習を使用し、より低次元の量子化形式（int8やバイナリ形式など）をサポートすることで、voyage-code-3はストレージと検索コストを大幅に削減しながら、検索品質への影響を最小限に抑えます。

マルチモーダル埋め込みモデルvoyage-multimodal-3は、リッチな画像やテキストを含む文書に使用できます。既存のマルチモーダル埋め込みモデルとは異なり、voyage-multimodal-3はインターレーステキストや画像をベクトル化し、PDF、スライド、表、数値などのスクリーンショットから主要な視覚的特徴を捉えることができるため、複雑な文書解析が不要になります。3つのマルチモーダル検索タスク（合計20データセット）で評価したところ、voyage-multimodal-3は次に優れたマルチモーダル埋め込みモデルと比較して、平均19.63%の検索精度向上を達成しました。

同時に、AWS、Databricks、Anthropic、Harvry、LangChain、Replit などの有名企業を含むトップ パートナー グループも蓄積してきました。

この買収後、Voyage AI は MongoDB に何をもたらすことができるでしょうか?

一枚の絵にまとめられます。

これまで、開発者はAIアプリケーションの構築に様々な独立したコンポーネントに依存していました。これらのコンポーネント（組み込みモデルなど）の選択が最適でない場合、データ取得の関連性が低下し、生成される出力の品質が低下する可能性がありました。この断片的なアプローチは、開発者にとって複雑で、コストが高く、非効率的で、煩雑なものでした。

今では、回避策を実装したり、個別のシステムを管理したりする代わりに、リアルタイムの運用データから高品質の埋め込みを生成し、ベクトルを保存し、セマンティック検索を実行し、結果を最適化することすべてを MongoDB 内で行うことができます。

この買収に関して、MongDBのCEOは次のように述べています。

AIはあらゆる業界を変革する可能性を秘めていますが、「幻想」がもたらすリスクによってその応用は制限されています。MongoDBとVoyage AIは、高度なAI駆動型検索・取得機能を当社の非常に柔軟なデータベースシステムに統合することで、企業がビジネスに大きなインパクトをもたらす信頼性の高いAIアプリケーションを容易に構築できるよう支援します。今回の買収を通じて、MongoDBはAI時代のデータベースを再定義します。

馬騰宇は、AIアプリケーションが最大限の可能性を発揮するには、企業がその出力を信頼する必要があり、そのためには検索データと運用データを緊密に統合し、正確性と関連性を確保する必要があると述べました。MongoDBに加わることで、最先端のAI検索技術をより幅広いユーザーに提供し、ミッションクリティカルなアプリケーションにシームレスに統合できるようになります。埋め込みと並べ替えに関する当社の専門知識と、MongoDBの世界クラスのデータベースを組み合わせることで、組織がより正確で信頼性の高い結果を大規模に提供するAIアプリケーションの構築を支援し、ハイリスクなユースケースにも自信を持ってAIを適用できるようになります。

清華大学ヤオクラスの卒業生であり、同級生の陳丹奇さん

馬騰宇は現在スタンフォード大学の助教授であり、機械学習、アルゴリズムとその理論を研究対象としています。

学生は全員、一流企業や研究機関で働き、科学研究に従事しています。

清華大学姚組を卒業し、陳丹奇と同級生だった。その後、プリンストン大学に進学し、理論計算機科学者でゲーデル賞を2度受賞したサンジーヴ・アローラ教授の指導の下、博士号取得を目指した。

博士課程在学中、馬騰宇さんは理論計算機科学のシモンズ賞を含む数々の賞を受賞し、指導教官からは「自分より賢い」と称賛された。

博士号を取得後、馬騰宇はMIT、ハーバード大学、スタンフォード大学といった一流大学から助教授のオファーを受けたが、最終的にスタンフォード大学を選んだ。

2021年、馬騰宇は「ノーベル賞の先駆け」として知られるスローン賞を受賞し、葛栄に続き清華大学ヤオクラスの卒業生で二人目の受賞者となった。

2023年11月、彼はVoyageの設立を正式に発表しました。しかし、起業プロセスの間も、スタンフォード大学で最先端の研究を続けていました。

例えば、彼はGoogle Brain推論チームの創設者であるデニー・チョウ氏と共同で、思考連鎖が十分に長ければTransformerはあらゆる問題を解決できることを証明しました。彼らは数学的手法を用いて、Transformerが任意の多項式サイズのデジタル回路をシミュレートできることを証明し、その論文はICLR 2024に採択されました。

今月初め、彼はSTP （無限の推測と証明を可能にする自己対戦型アルゴリズム）も提案しました。これは、限られたデータでモデルの継続的な改善を可能にするものです。当時、彼はスタンフォード大学に所属していました。

買収後の同社の今後の事業展開については、馬騰宇氏はまだ何も明らかにしていない。今後のさらなる学術的成果に期待が持てるかもしれない。

参考リンク: [1]https://ai.stanford.edu/~teng... [2]https://blog.voyageai.com/202... [3]https://www.mongodb.com/blog/... [4]https://x.com/dittycheria/sta... [5]https://x.com/VoyageAI [6]https://x.com/tengyuma/status...