従来のデジタルヒューマン学習法を用いて高品質なデジタルヒューマンを生成するには、多くの場合、膨大な時間と計算リソースが必要となり、学習教材にも高い要件が課せられます。良好なリップシンクを実現するには、通常数時間、あるいはそれ以上の時間がかかります。

MuseVとMuseTalkの登場は、デジタルヒューマンの分野に新たなブレークスルーをもたらしました。MuseVでデジタルヒューマンの動画を生成した後、MuseTalkで唇の動きと音声を同期させることで、わずか数分でデジタルヒューマンを完成させることができます。

「MuseV Unlimited Virtual Human Video Generation Demo」と「MuseTalk High-Quality Lip-Sync Model Demo」は、HyperAIウェブサイトのチュートリアルセクションで公開されています。環境は既にセットアップ済みなので、コマンドを入力せずにワンクリックでクローンを作成し、すぐに使い始めることができます。

チュートリアルアドレス:

ミューズV:

https://go.hyper.ai/K8qz8

ミューズトーク:

https://go.hyper.ai/Ui0UA

皆様の理解を深めていただくため、 BilibiliのUpmaster「闹闹不闹nowsmon」が詳細なチュートリアル動画を撮影しました。ぜひいいね、コメント、チャンネル登録をお願いします！

https://www.bilibili.com/video/BV1fCWVeWEic/?vd_source=5e5420...

デモ実行中

MuseVを使用して仮想人間ビデオを生成する

1. hyper.ai にログインし、「チュートリアル」ページに移動して、「MuseV Unlimited Virtual Human Video Generation Demo」を検索し、「このチュートリアルをオンラインで実行」をクリックします。

2. ページがリダイレクトされたら、右上隅の「複製」をクリックして、チュートリアルを独自のコンテナーに複製します。

3. 右下にある「次へ: コンピューティング能力の選択」をクリックします。

4. ページがリダイレクトされたら、「NVIDIA RTX 4090」と「PyTorch」のイメージを選択し、「次へ：レビュー」をクリックしてください。下記の招待リンクから新規登録された方には、4時間分のRTX 4090トレーニングと5時間分のCPUトレーニングを無料でプレゼントいたします。

HyperAI 限定招待リンク (コピーしてブラウザに貼り付けてください): https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

5. すべて正しいことを確認したら、「続行」をクリックし、リソースの割り当てをお待ちください。最初のクローン作成には約2分かかります。ステータスが「実行中」に変わったら、「APIアドレス」の横にあるジャンプ矢印をクリックしてデモページに移動してください。APIアドレスアクセス機能を使用する前に、実名認証を完了する必要がありますのでご注意ください。

APIアドレスを開いた際に「BadGateway」と表示される場合は、モデルの読み込みが完了していないことを意味します。1～2分ほどお待ちいただき、再度APIアドレスを開いてください。

6. デモを開いたら、画像をアップロードし、プロンプトを入力してください。プロンプトの形式は、「特徴を表す言葉 + 主人公を表す言葉 + アクションを表す言葉」です。例えば、(傑作、最高品質、高解像度:1)、(1人の少年、ソロ:1)、(まばたき:1.6)、(髪のウェーブ:1.3) などです。入力後、「生成」をクリックし、動画が生成されるまで少しお待ちください。

MuseTalkを使用してリップシンクとオーディオ同期を実現する

1. 「チュートリアル」ページに戻り、「MuseTalk 高品質リップシンクロナイゼーションモデルデモ」を開いて、「このチュートリアルをオンラインで実行」をクリックします。

2. ページがリダイレクトされたら、右上隅の「複製」をクリックして、チュートリアルを独自のコンテナーに複製します。

3. 右下にある「次へ: コンピューティング能力の選択」をクリックします。

4. ページがリダイレクトされたら、「NVIDIA RTX 4090」と「PyTorch」のイメージを再度選択し、「次へ: 確認」をクリックします。

5. すべて正しいことを確認したら、「続行」をクリックし、リソースが割り当てられるのをお待ちください。最初のクローン作成には約2分かかります。ステータスが「実行中」になったら、「APIアドレス」の横にあるジャンプ矢印をクリックしてデモを開いてください。

6. MuseTalkのデモページにアクセスし、作成した動画と音声クリップをアップロードして「生成」をクリックし、しばらくお待ちください。生成された動画内のキャラクターの唇の動きが音声と一致しているのが確認できます。

「安定した拡散チュートリアル交換グループ」を作成しました。ぜひご参加いただき、さまざまな技術的な問題について議論し、アプリケーションの経験を共有してください。