あっ、アヒルが落ちた！

アヒルは本物で、レスリングも本物ですが、コーヒーとコーヒーを持っている手は AI によって追加されたものです。

△幸いなことに、手にコーヒーが少しこぼれただけで済みました。

オープンソース プロジェクトであるVideoDoodles では、過去 2 日間でオンライン上の議論が急増しました。

このプロジェクトの素晴らしい点は、かわいいものでも風変わりなものでも、手描きの落書きをビデオに追加できることです。

手動でフレームごとに描画するのと変わりません。

これは、現在市販されているほとんどの2D動画編集ソフトウェアでは非常に困難です。同じ効果を得るには、クリエイターは依然としてフレームごとに描画する必要があります。

それは大変な労力を要します。

ただし、VideoDoodles では、ビデオ内の 3D シーンを再構築し、その中に平らなキャンバスを配置することで、この効果を生成できます。

動画を装飾したり、漫画効果や画面上のテキストを追加したり、さらにミームや絵文字に加工したりするのに使用できると多くの人が言っています。

面白いビデオも現在制作中で、公開中です!

必要な手描き効果を追加します。

VideoDoodles には次のような効果があると主張しています。

手描きのアニメーションをビデオに簡単かつ自由に挿入し、ビデオ コンテンツとシームレスに統合します。

本当ですか？見てみましょう。

アヒルに腕や手を追加するのと同じように、VideoDoodles ではどんな種にも手足を追加できます。

フラミンゴは揺れるワイングラスを持ちながら、ゆっくりと足を水に浸すことができます。

小さな列車が遠くから手を振りながらやって来て、突然フレームを通り抜けました。

もちろん、完全に機能する動物をビデオクリップに追加することもまったく問題ありません。

この肩にいる小さなリスのようになってください。

ご覧のとおり、女性がどんなに歩いても、小さなリスは従順に彼女の肩の上に留まっています。

VideoDoodles は、物理的なジェスチャーの他に、バラエティ番組編集用のビデオ クリップに画面上のテキストを追加するためにも使用できます。

静的テキスト:

移動するテキスト:

どちらも良好な生成結果を生み出します。

さらに、最近終了したオリンピックの波に乗って、VideoDoodles では、ユーザーがあらゆる種類の激しい動きに手描きのイラストを追加できるようになりました。

または、矢印は次の場所を指します。

あるいはスーパーマンの漫画効果:

それはどのように達成されましたか?

現在、ビデオ コンテンツに手描きアニメーションを追加する一般的な方法は、ビデオ自体をベース レイヤーとして使用し、フレームごとに 2D アニメーション効果を手動で描画することです。

このアプローチは比較的非効率的であり、手描きのアニメーション効果が動きを追跡し、遠近法の歪みを解決し、遮蔽に適応することを保証する必要があります。

可能ですが、多くの人材と時間がかかります。

では、VideoDoodles は動的オブジェクトの追跡とアニメーションの同期をどのように処理するのでしょうか?

誰でもビデオ ドゥードゥルを完成できるように、シンプルなインターフェイスを提供します。「シンプル」とは、経験豊富なユーザーと初心者の両方が簡単に描画できることを意味します。

このプロジェクトの背後には、トラッキング、遠近法の歪み、オクルージョンなどの複雑な視覚効果を含む、グラフィティをビデオシーンに自然に統合できるようにする 3D シーン再構築テクノロジの使用があります。

具体的には、VideoDoodles はまずビデオ コンテンツを 3D で再構築し、次にビデオ内に平面のキャンバスを配置します。これらのキャンバスは 3D シーンで追跡され、フレームごとに手描きのアニメーションが追加されます。

VideoDoodles は、カスタム トラッキング アルゴリズムを使用することで、キャンバスに対応するビデオ シーン内のオブジェクトをロックし、オブジェクトの動きに合わせてキャンバスを移動および回転させることができます。

VideoDoodles のユーザー インターフェースでは、ユーザーはキーフレームの位置と方向を使用して、2D 画像空間 UI 内のキャンバスを細かく制御できます。

システムは、ビデオ内の動くオブジェクトの動きを追跡して、キーフレームを慎重に挿入します。

つまり、VideoDoodles は独自のアルゴリズムを使用して、キーフレームで表現されたユーザーの意図に基づいてオクルージョンと遠近法の変換の問題を解決し、ビデオの任意のフレームでシーンを認識したキャンバスをレンダリングし、キャンバスが移動するオブジェクトを厳密に追跡するようにします。

さらに、キーフレームには任意の数の位置と方向を設定できます。

下の画像に示すように、VideoDoodles は最初のフレームの赤い領域の方向と位置、および最後のフレームの緑の領域の位置を使用して、対応するキャンバスをビデオ全体で継続的にレンダリングします。

実際のプロセスは、おおよそ次のようになります。

最後に、以下を紹介します。

VideoDoodles に関するこの研究は、Adobe Research、フランス・リビエラ大学、デルフト工科大学の研究者によって共同で実施されました。

R&Dチームの責任者は次のように述べています。

私たちの目標は、「ビデオグラフィティ」の作成プロセスを簡素化することです。
この新しい複合メディア アート形式では、ビデオ コンテンツと手描きのアニメーションが組み合わされており、娯楽や教育の目的で使用できます。
VideoDoodles によって、より多くの人々が簡単に「想像力を現実世界に注入」できるようになることを願っています。

参考リンク:
[1]https://em-yu.github.io/resea... [2]https://www-sop.inria.fr/reve...