今ではゲームをするのにもトランスフォーマーを使うんですか？

Huang の DLSS は大幅なアップグレードが行われ、Transformer をベースにした新しい頭脳が採用されました。

新しいモデルを使用した後、照明の再構築と超解像度の効果がさらに洗練されました。

さらに、DLSS 3のフレーム生成機能はDLSS 4のマルチフレーム生成にアップグレードされ、一度に最大3フレームを生成できるようになり、 『Black Myth: Wukong』のフレームレートは200以上に向上しました。

同時に、NVIDIA は、画像レンダリングの重要なコンポーネントであるシェーダーなどの新しい AI レンダリング テクノロジも多数リリースしており、AI はこれらのテクノロジにも組み込まれています。

これはゲーム開発者とプレイヤーにとっての「新年の贈り物」と言えるでしょう。

Nvidia がこれを行う目的は、確かに 50 シリーズのグラフィック カードの宣伝ですが、これらの最先端技術により、ゲーマーの体験は確かに向上するでしょう (冗談です)。

ポパイは完全な脳移植を受ける

冒頭でも述べたように、ゲーマーの間で「ポパイ」と呼ばれている DLSS が完全なアップデートを受けました。

（注：DLSSはディープラーニングスーパーサンプリングの略です）

DLSS の核となる考え方は、AI 計算を使用してレンダリング計算の一部を置き換え、画像生成を高速化しながら画像品質を向上させることです。

これまで、DLSSは主に畳み込みニューラルネットワーク（CNN）によって実装されていました。しかし、50シリーズのグラフィックカードの登場により、 「ポパイ」の「脳」も置き換えられ、CNNがトランスフォーマーに置き換えられました。

これはグラフィックス分野における Transformer モデルの最初のリアルタイム アプリケーションであると伝えられています。

以前の CNN と比較して、新しい Transformer モデルはパラメータの数が 2 倍になり、ゴーストが少なく安定したピクセルを生成し、モーションの詳細度が高く、エッジが滑らかになります。

DLSS の 2 つの主な機能であるレイ再構築と超解像度は、どちらも Transformer を活用しています。

例えば、 『アラン ウェイク 2』の照明再現シーンでは、新しい DLSS4 アルゴリズムは、CNN をベースにした前世代と比べて、フェンスの連続性が大幅に向上し、2 つのシーンの照明もよりリアルになりました。

変更が明らかでない場合は、静止画像の比較を確認してください。

超解像機能では、従来のCNNに比べて画像の詳細もより精細化されています。

さらに、新世代のフレーム生成機能は、単一のフレームに限定されなくなり、一度に最大 3 つのフレームの生成をサポートします。

例えば、サイバーパンク 2077では、DLSS を有効にしていない場合と比較して、DLSS 4 のマルチフレーム生成により、フレーム レートが 27 から 248 に増加し、レイテンシが半分以上、つまり 8 倍近く削減されます。

さらに、新モデルは40%高速化し、VRAM使用量は30%削減されています。例えば、 『ウォーハンマー40,000: ダークタイド』では、最大4K設定でフレームレートが10%向上する一方で、VRAM使用量は400MB削減されています。

さらに、40 シリーズのグラフィックス カードのフレーム生成機能もアップグレードされ、VRAM の使用量を削減しながらパフォーマンスも向上しています。

現在、DLSS 4は75のゲームとアプリケーションでDay 0サポートを提供しています。マルチフレーム生成は50シリーズ限定ですが、 Transformerベースのレイ再構成、超解像などの機能により、40、30、さらには20シリーズのグラフィックスカードでもパフォーマンス向上を実現できます。

少しネタバレしますが、 『Black Myth: Wukong』は Day-0 から DLSS 4 マルチフレーム生成もサポートします。

AIは現在、グラフィックレンダリングにも使用されています。

NVIDIA は新しい DLSS とともに、 NVIDIA RTX Kitと呼ばれるニューラル レンダリング テクノロジーも発表しました。

GPUのTensorコアを活用し、AIによるゲーム内のレイトレーシングや複雑なジオメトリを持つシーンのレンダリングが可能です。アーティファクト、不安定性、VRAM使用量を削減しながら、複雑なオープンワールドを高忠実度でレンダリングできます。

1 つ目はRTX ニューラル シェーダーです。これは、プログラム可能なシェーダーに AI を導入し、次の 3 つの主要なテクノロジーを組み込んでいます。

• ニューラル テクスチャ圧縮: AI を使用してテクスチャをすばやく圧縮し、同じ視覚品質を維持しながら VRAM またはシステム メモリの 1/7 のみを消費します。
• ニューラルマテリアル：AI を活用して複雑なシェーダーコードを圧縮し、マテリアル処理速度を 5 倍に向上させ、ゲーム グラフィックスのフレーム レートで映画品質のリソースをレンダリングできます。
• Neural Radiance Cache : AI を使用して複数の反射による間接照明を学習し、最初の 1 つまたは 2 つの反射から無限の数の反射を推測できるため、パス トラッキングのパフォーマンスが向上します。

ニューラルマテリアルを有効にする前と有効にした後の効果を比較してみましょう。有効にした後（分割線の右側）、画像内のマテリアルとサファイアの反射効果がよりリアルになっています。

こういったシルク素材もあります。Neural Materialsを有効にすると、シルクの光沢がより美しく表現され、より繊細な画像になります。

確かにコントラストは明らかですが、リアルタイム画像レンダリングにおいては、これらは取るに足らないものです。真の課題は人間の顔をレンダリングすることです。

ここで、RTX キットの別のコンポーネントであるRTX Neural Facesについて説明します。これは、生成 AI を使用して人間の顔のレンダリング品質を向上させます。

Neural Faces は、単純なラスタライズされた顔と 3D ポーズ データを入力として受け取り、AI モデルを使用して顔を推測します (ブルート フォース レンダリングの代わりに)。

Neural Faces のトレーニング データには、さまざまな角度、照明、感情、遮蔽条件での何千もの顔画像が含まれており、より柔らかく自然な外観を作成できます。

Neural Faces には、肌や髪向けに特別に設計された補足 SDK もあります。

表面下散乱（SSS）技術を採用しており、光が半透明の素材の表面を透過して内部で散乱するプロセスをシミュレートし、肌の質感をより良く表現します。

また、リニア スキャン スフィア (LSS) アクセラレーション プリミティブもあり、これにより、髪の毛のレンダリングに必要なジオメトリの数を減らし、三角形の代わりに球体を使用して髪の毛の形状により正確に適合させることができます。

Nvidia によれば、Neural Faces テクノロジーは「肖像画レンダリングの不気味の谷を乗り越える」とのこと。

三角形のレイトレーシング用のRTX Mega Geometryもあります。

ゲームにおいて、三角形は視覚的な構成において重要な要素であり、その数は時とともに飛躍的に増加しています。特に、Unreal Engine 5が新しいジオメトリシステムを導入して以来、ゲーム内の三角形の数は数億に達しています。

これはフレーム レートの構築にとって悪夢であり、十分なフレーム レートを維持するのはさらに困難です。

Mega Geometry は、GPU 上で三角形クラスターをバッチでインテリジェントに更新できるため、CPU のオーバーヘッドが削減され、レイ トレーシング シーンのパフォーマンスと画質が向上し、以前よりも 100 倍多くの三角形を処理できます。

NVIDIA によれば、Mega Geometry は「プロジェクト内のすべての三角形に対して完全なレイ トレーシングを実行できる」とのことです。

百聞は一見に如かず。一見すると、境界線の左側のツタはメガジオメトリが有効になっていないため、奥行き感が欠け、被写界深度が間違っており、光と影が物理法則に従わず、まるで偽物のように見えました。

しかし、一度有効にすると、すぐに蔓の立体感が増し、照明と影がよりリアルになり、「テクスチャのような」効果のほとんどが消えました。

あと2つ

画質に加えて、遅延もゲーマーにとって重要なパラメータです。特に、数ミリ秒の入力遅延が試合の結果を左右する競争的なゲームでは、遅延は重要です。

この問題に対処するため、NVIDIAはReflex 2を導入しました。これは、前世代Reflexの低遅延モードと新しいFrame Warpテクノロジーを組み合わせたものです。レンダリングされたフレームをディスプレイに送信する前に、最新のマウス入力信号に基づいて更新することで、PCの遅延を最大75%削減します。

フレームワープ中の画像ティアリングの問題を解決するために、NVIDIA は、以前のフレームの視点、色、深度データを使用してこれらのティアリングを正確に修復する、遅延が最適化された予測レンダリング アルゴリズムも開発しました。

前回のCESでは、NVIDIAのAI NPC技術（NVIDIA ACEベース）も大きな注目を集めました。

ACE を使用すると、事前にスクリプトを準備する必要なく、ゲーム キャラクターが実際の人間と同じようにプレイヤーと音声会話を行うことができます。

この技術は現在ではアップグレードされ、AIチームメイトなど、自己認識機能を持つゲームキャラクターにも応用が広がっています。

さらに、その能力はより多様化しており、AI を活用してこれらのキャラクターを実際のプレイヤーのように認識、計画、行動させることができます。

さらに、昨年の AI NPC の会話内容をクラウドに送信して処理する必要がありました。

50シリーズのグラフィックカードは、大幅に向上した演算能力を誇り、NVIDIAは小型言語モデルも導入しました。アルゴリズムと演算能力の同時アップグレードにより、対話処理をローカルで完了できるようになりました。

PUBG: BATTLEGROUNDSでは、エース サービスとカスタマイズされたミストラル ミニモデルにより、実際の人物のような仮想チームメイトがゲーム内で提供されます。

あなたと会話したり、あなたの行動を注意深く追跡したり、アイテムにマークを付けたり、さらには車であなたに会いに来たりすることもできます。

国産ゲームとしては、NetEase の『Naraka: Bladepoint』 PC 版でも今年後半に同様の機能がリリースされる予定です。

つまり、老黄はすでにすべての人のためのツールを準備しており、現在はゲーム会社にプレッシャーがかかっている（手動ドージフェイス×2）。