無料のAI ビデオ通話機能がまさにそのように登場しました。

以前、ビリビリ動画主「女流姐」が『Black Myth: Wukong』を生配信した際、ゲーム内の経典の解説が広く称賛された。

では、ビデオ通話もできるこの AI は、プレイヤーが聖典を解読するのにも役立つのでしょうか?

私たちはそれをテストしました:

ビデオリンク: https://mp.weixin.qq.com/s/rq...

AI は聖書を読んだ後、その一般的な意味は次の通りであると示しました。

仏陀は菩提樹の下で弟子たちに、いかにして自らを修め、無上の智慧を得るかを教えました。

清華大学卒業生の「劉姉さん」はライブ配信中に「仏陀はすべての人に悟りを与えていた」と説明した。

今回、AIは奥深い経文をうまく解釈してくれました。

では、AIはこのゲームについてどれだけ知っているのでしょうか？オープニングムービーを見せ、いくつか質問をしてみました。

ビデオリンク: https://mp.weixin.qq.com/s/rq...

はい、この AI は孫悟空とゲームの名前を正確に認識しました。

これは、 Zhipu AI がリリースした最新の GPT-4o のようなビデオ通話機能で、AI が世界を見て同時にあなたとチャットできるようになります。

また、すでに自社アプリ「知普青眼」でも展開しており、全国で正式にオープンするのは初めて（まずは一部の人が利用し、その後徐々に全面オープンしていく予定）とのこと。

AI ビデオ通話は他に何に使用できますか?

まず、AI ビデオ通話のエントリ ポイントは、ホームページの下部にある入力ボックスの右側にある電話ボタンです。

通話インターフェースに入ったら、ビデオ ボタンをクリックしてビデオ通話を開始します。

さあ、新しい世界への扉を開きます！

お子様の宿題を直接サポートします。問題を見て理解するだけでなく、段階的に指導し、自分で考えて正しい答えを見つけられるように導きます。

ビデオリンク: https://mp.weixin.qq.com/s/rq...

専門的な学術論文でも、英語の翻訳を簡単に処理できます。

ビデオリンク: https://mp.weixin.qq.com/s/rq...

もちろん、食品の賞味期限の確認など、日常生活のアシスタントとしても活躍します。

ビデオリンク: https://mp.weixin.qq.com/s/rq...

また、カジュアルな会話を通じて人々と交流し、感情的な価値を最大限に高めることもできます。

ビデオリンク: https://mp.weixin.qq.com/s/rq...

さらに、誰かとチャットするのと同じように、行ったり来たりすることなく、いつでも中断することができます。

（チャットも主に「ああそうだ、君たち人間の言う通りだ」というフレーズを中心に展開した。）

ビデオリンク: https://mp.weixin.qq.com/s/rq...

また、人々と対話し、指が指している場所を正確に特定することもできます。

ビデオリンク: https://mp.weixin.qq.com/s/rq...

まとめると、新たに追加されたAIビデオ通話機能により、Zhipu Qingyanは、タイピングや音声といった人間の入力方法だけに頼ることなく、世界を理解することができます。カメラをオンにするだけで、AIは私たちが見ているものも理解できます。

これにより、AIの能力は瞬く間に新たなレベルへと引き上げられます。テキスト、音声、動画をリアルタイムで処理する能力により、AIはより柔軟でユーザーフレンドリーなインタラクションを実現します。

ベースモデルもアップグレードされました。

この AI ビデオ通話機能に加えて、Zhipu AI は大規模モデル技術にも大幅なアップデートを加えました。

次世代大型ベースモデル「GLM-4-Plus」登場。

さらに、これはKDD国際データマイニング・知識発見会議で堂々と発表されるほどの技術です。今年に入ってから、Zhipuは「国産技術の輝かしい実例」としてICLRなどの国際舞台に頻繁に登場し、中国の大規模モデルの最先端の進歩を世界にアピールしています。

まず、言語とテキスト機能の面では、GLM-4-Plus は 405B パラメータで GPT4o および Llama3.1 に匹敵する結果を達成しました。

このアップデートでは、大規模なモデル内の長いテキストを処理する機能も強化されました。

画像とビデオの理解機能に関しても、GLM-4-Plus は顕著な成果を達成しており、さらに、Web ページのコンテンツを理解し、それを HTML コードに変換することもできます。

複雑なビデオコンテンツを扱う場合でも、GLM-4V-Plus なら簡単に処理できます。

このモデルはオープンプラットフォーム（bigmodel.cn）で公開される予定で、Zhipu AIは中国初の汎用ビデオ理解モデルのAPIも提供するとのことだ。

次のビデオを例に挙げます。

ビデオリンク: https://mp.weixin.qq.com/s/rq...

GLM-4V-Plus はビデオを視聴した後、その内容を理解し、ユーザーの質問に答えることができます。

ユーザー: 緑のシャツを着た選手はビデオ全体を通して何をしていましたか?

GLM-4V-Plus : ビデオ全体を通して、緑色のプレーヤーがコート上でボールをドリブルし、ジャンプしてバスケットに入れます。

ユーザー: この動画のハイライトはどこですか？何秒ですか？

GLM-4V-Plus : このビデオのハイライトは、緑のシャツを着た選手がジャンプしてボールをバスケットに入れる 4 秒のマークです。

したがって、Zhipu QingyanのAIビデオ通話機能がなぜこんなにスムーズなのかは簡単に理解できます。

Zhipu AIはまた一歩前進しました。

Zhipuは今年、一連の大きな動きを見せている。

この AI ビデオ通話は国内初の試みというだけでなく、これまでの AI による「大きな動き」もすべて先駆的なものだった。

例えば、今年初めにリリースされた新世代ベースモデル GLM-4 は GPT-4 と完全に匹敵します。7 月にリリースされた Sora のようなビデオ生成モデル CogVideoX、最新バージョンにアップデートされたテキスト画像化モデル CogView-3-Plus は、MJ-V6 や FLUX などの現在の最高モデルに近いパフォーマンスを持ち、画像編集機能もサポートしています。

私たちは OpenAI に対して完全なベンチマークを実施しており、これは単なる話ではありません。

さらに重要なのは、リリースされた瞬間からオープンになっていることです。これは非常にスマートです。

Zhipu Qingyingはリリース後すぐに無料でお試しいただけます。基盤となるモデルも公開されています。

また、過去2日間、Zhipu AIはCogVideoX-5Bをオープンソース化すると発表しました。これにより、低閾値条件下でもより優れた動画生成結果が得られます。

オープンソース コミュニティにさらに多くのオプションを提供します。

同時に、GLM-4-Flash は完全に無料になりました。

これは、Zhipu AI が大規模モデルを一般の人々が利用しやすくすることに真剣に取り組んでいることを示しています。

結局のところ、AIGC アプリケーションにとって、使いやすさと使いやすさは最も重要な要素であり、ユーザーの支持を獲得したものが市場を獲得するのです。

Zhipu AIのビデオ通話機能について、どう思われますか？ぜひお気軽にお試しいただき、下のコメント欄でご意見をお聞かせください！

PS は現在ベータ版のみですが、大規模なバージョン アップデートが間もなくリリースされます。

参考リンク:
[1]https://www.bilibili.com/vide...\_source=2cbb36f222ba4fbcf9054d7042914889 [2]https://www.bilibili.com/vide...\_id\_from=333.337.search-card.all.click&vd\_source=1da63cf85df97568b93eb5f22aae3fa3