マイクロソフトが国産オープンソース大規模モデルRWKVをOfficeに統合しようとしている！

RWKVは次のようなツイートも投稿した。

RWKV.cpp は現在、世界中で 5 億のシステムに導入されています。

彼らがそう言った理由は、最新の Windows 11 システムのOffice フォルダーに、GPU と CPU のバージョンが含まれる rwkv という名前の DLL ファイルを見つけたためです。

これらのバイナリ ファイルを逆コンパイルすると、GitHub 上の RWKV.cpp プロジェクトのバリアントであることが判明しました。

Windows 11は誰でも最新バージョンにアップデートできます。以下の手順でご自身で確認いただけます。

C:Program FilesMicrosoft OfficerootvfsProgramFilesCommonX64Microsoft SharedOFFICE16

あるいは、IT ストア内の任意の「copilot Windows 11」デバイスのシステム ファイルで rwkv を検索することもできます。

このニュースはネットユーザーの間で白熱した議論を引き起こし、多くの人がマイクロソフトに直ちに送金するよう求めた。

彼らが何のサポートも提供しなかったり、あなたの貢献を引用しなかったりするのは、少し不合理でしょう。

この仕事の給料が良いことを望みます。

Microsoft は RWKV を何に使用しているのでしょうか?

RWKV チームは、Microsoft が現在テスト中のローカル Copilotやメモリ リコールなどの機能に RWKV を使用する可能性があると推測しています。

マイクロソフトが以前発表した新世代 Copilot+PC で述べたように、AI 向けに特別に再構築された新バージョンの Windows 11 の多くの機能はリアルタイムです。

これを解決するために、Microsoft は、CPU、GPU、新しい高性能ニューラル プロセッシング ユニット (NPU) を組み合わせたまったく新しいシステム アーキテクチャを導入しました。

NPUは、バックグラウンドでAIをリアルタイムに実行する役割を担っています。Recall機能は、画面上で処理されているすべてのコンテンツをAIが分類する機能です。

RWKV モデルの利点は次のとおりです。

100 以上の言語をサポートしており、グローバル展開に役立ちます。

従来のTransformerモデルと比較して消費電力が大幅に少なく、Raspberry Piを含むさまざまなデバイスで効率的に動作できます。

下の図に示すように、より多くのトークンを生成するために必要な計算リソースは、トークン数に比例して増加します。cuda_rwkv-4-pile-3b の曲線はプロセス全体を通して比較的低く、同じトークン数の場合、このモデルの方がGPU消費効率が高いことを示しています。

エネルギー消費はデバイスのバッテリー寿命にとって非常に重要です。

もちろん、これらは単なる推測に過ぎません。チームはマイクロソフトの真意を注視していくと述べています。

RWKVとは何ですか?

RWKVについて簡単に紹介したいと思います。私たちはRWKVに注目してきました。RWKVは、Transformerに挑戦するためにRNNを改良した新しいアーキテクチャです。

RWKVの設計は、Appleの21年間の研究「An Attention Free Transform（注意のない変換）」に着想を得ました。チームは、式に循環行列を使用することで、ネットワーク構造をRNNとして記述できることに気付きました。

GPT シリーズの時間の複雑さ (O(n^2)) と比較すると、RNN の時間複雑さはわずか O(n)、空間複雑さは O(1) です。

つまり、コンテンツ生成の速度は長さに応じて劇的に増加することはなく、メモリ使用量は一定のままになります。

36krとのインタビューで、共同筆頭著者のブルームバーグ氏は次のように述べた。

GPTでは、各単語ごとに先行するテキストをすべて確認する必要があるため、非常に非効率的です。一方、RWKVは、人間が情報を一度読み、再度参照することなく直接回答するようなものです。

この研究は昨年発表されるやいなや学界で大きな注目を集めた。

RWKV の画期的な論文は、27 の大学、研究機関、企業からなる 30 人の研究者のチームによって執筆されました。

共著者の彭波（ペン・ボー）は、香港大学物理学科を卒業しています。20年以上のプログラミング経験を持ち、以前は世界最大級の外国為替ヘッジファンドの一つであるOrtus Capitalで高頻度クオンツ取引を担当していました。

彼はまた、「Deep Convolutional Networks: Principles and Practice」というタイトルの深層畳み込みネットワークに関する本も出版しました。

彼の主な関心と関心は、ソフトウェアとハ​​ードウェアの開発にあります。以前の公開インタビューでは、AIGC、特に小説の創生が自身の関心分野であると明言しています。

しかし、彼の主な公的な身元は、太陽光ランプ、天井ランプ、ポータブルテーブルランプを主に製造している Binglin Technology という照明会社の共同設立者です。

さらに、この人物は相当な猫好きであるに違いない。GitHub、Zhihu、WeChatのプロフィール写真、照明会社の公式サイトやWeiboのホームページにもオレンジ色の猫が見られるからだ。

今年、RWKV はEagle (RWKV-5) とFinch (RWKV-6) という 2 つの新しいアーキテクチャ モデルをリリースしました。

これら 2 つのシーケンス モデルは RWKV-4 アーキテクチャに基づいており、マルチヘッドマトリックス値状態と動的再帰メカニズムを改良することで、RNN の推論効率特性を維持しながら RWKV モデルの表現力を強化します。

同時に、新しいアーキテクチャでは、1兆1200億のトークンを含む新しい多言語コーパスが導入されます。

チームはまた、RWKV の多言語性を高めるために、貪欲マッチングに基づく高速トークナイザーも開発しました。

参考リンク: [1]https://x.com/RWKV_AI/status/1831000938120917336 [2]https://github.com/RWKV/rwkv.cpp