近年、大規模言語モデル (LLM) は、最大 100,000 トークンの入力を処理し、複雑なテキストを理解および生成する強力な機能を発揮していますが、2,000 語を超える一貫した出力を生成する際には困難に直面することがよくあります。

主な理由の一つは、SFT（教師ありファインチューニング）データセットにおける長い出力サンプルの不足です。研究によると、モデルの最大出力長は、SFT段階で遭遇するサンプルの長さと有意に正の相関関係にあることが示されています。つまり、モデルは長いテキストを理解し処理する方法を学習しているものの、同じ長さのテキストを生成する方法はまだ完全には学習していないということです。

この問題に対処するため、清華大学はZhipu AIと共同で、AgentWrite技術に基づくLongWriter-6kというデータセットを構築しました。このデータセットには、出力長が2k語から32k語までの範囲の6,000個のSFTデータサンプルが含まれています。現在、HyperAIウェブサイトのデータセットセクションで公開されており、ワンクリック入力をサポートしています。

データセットアドレス:

https://go.hyper.ai/77byR

その後、研究チームはGLM-4-9Bで学習させたLongWriter-6kを用いて、1万語以上の一貫性のあるテキストを生成できるモデルLongWriter-glm4-9bを構築しました。これにより、大規模言語モデルの出力ポテンシャルが大幅に向上し、文学作品の創作やニュース報道といった実用的なアプリケーションにおいて高い汎用性を発揮することが実証されました。

現在、HyperAIチュートリアルセクションに「LongWriter-glm4-9bのワンクリックデプロイ」が公開されており、クローン作成によりワンクリックで会話を開始できます。

チュートリアルアドレス:

https://go.hyper.ai/p6SiO

デモ実行中

1. hyper.ai にログインし、「チュートリアル」ページで「LongWriter-glm4-9b のワンクリック デプロイメント」を検索し、「このチュートリアルをオンラインで実行」をクリックします。

2. ページがリダイレクトされたら、右上隅の「複製」をクリックして、チュートリアルを独自のコンテナーに複製します。

3. 右下にある「次へ: コンピューティング能力の選択」をクリックします。

4. ページがリダイレクトされたら、「NVIDIA RTX 4090」と「PyTorch」のイメージを選択し、「次へ：レビュー」をクリックしてください。下記の招待リンクから新規登録された方には、4時間分のRTX 4090トレーニングと5時間分のCPUトレーニングを無料でプレゼントいたします。

HyperAI 限定招待リンク (コピーしてブラウザに直接貼り付けてください):

https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

5. すべて正しいことを確認したら、「続行」をクリックし、リソースの割り当てをお待ちください。最初のクローン作成には約2分かかります。ステータスが「実行中」に変わったら、「APIアドレス」の横にあるジャンプ矢印をクリックしてデモページに移動してください。APIアドレスアクセス機能を使用する前に、実名認証を完了する必要がありますのでご注意ください。

プレビュー

1. デモ インターフェイスを開いて、10,000 語のサスペンス小説を生成してみましょう。

2. あっという間に長編サスペンス小説が誕生したことがわかります。