newsence

NVIDIA 與 ComfyUI 於 GDC 大會為遊戲開發者與創作者簡化本地 AI 影片生成流程

Nvidia Blog·26 天前

NVIDIA 在本週的遊戲開發者大會(GDC)宣布了一系列更新,旨在簡化 RTX GPU 上的 AI 影片生成流程,包含 ComfyUI 全新的簡化介面 App View,以及可實現即時 4K 升頻的 RTX Video Super Resolution 技術。

遊戲開發者與藝術家正致力於打造電影級的世界與標誌性角色,為 NVIDIA RTX AI PC 上的沉浸式體驗樹立新標竿。

在本週於舊金山舉行的遊戲開發者大會(GDC)上,NVIDIA 宣布了一系列更新,旨在簡化 RTX GPU 與 NVIDIA DGX Spark 桌面超級電腦上用於概念開發與分鏡腳本製作的 AI 影片生成流程。

這些公告包括:

  • ComfyUI 全新的 App View(應用程式視圖)具備簡化介面,降低了這款熱門生成式 AI 工具的入門門檻。
  • RTX Video Super Resolution(RTX 影片超解析度)現已支援 ComfyUI,這是一款適用於影片生成的即時 4K 上採樣器,同時也以 Python Wheel 形式提供給開發者。
  • NVFP4 與 FP8 模型變體現已支援 FLUX.2 Klein,且 LTX-2.3 的 NVFP4 支援也即將推出,為這兩款模型帶來高達 2.5 倍的效能提升並減少 60% 的記憶體佔用。

無障礙的在地 AI:協作、優化、自定義

現今許多熱門的 AI 應用程式正讓初學者能更輕鬆地直接在筆記型電腦或桌上型電腦上嘗試最先進的模型。

對於不熟悉節點圖(node graphs)的藝術家,ComfyUI 全新的 App View 以簡化介面呈現工作流。使用者只需輸入提示詞、調整簡單參數並點擊生成即可。完整的節點式體驗仍保留為 Node View(節點視圖),使用者可以在兩種模式之間無縫切換。

App View 與 ComfyUI 中的 RTX 優化相容。自 9 月以來,RTX GPU 的效能提升了 40%,且 ComfyUI 現在原生支援 NVFP4 與 FP8 資料格式。綜合而言,使用 NVIDIA GeForce RTX 50 系列 GPU 的 NVFP4 格式時,效能提升達 2.5 倍且 VRAM 佔用減少 60%;使用 FP8 時,效能提升 1.7 倍且 VRAM 減少 40%。

在 1 月的 CES 上,NVIDIA 宣布了數款支援 NVFP4 與 FP8 的模型。現在有更多 NVFP4 與 FP8 模型可直接在 ComfyUI 中使用——包括 LTX-2.3(NVFP4 支援即將推出)、FLUX.2 Klein 4B 以及 FLUX.2 Klein 9B。若要開始使用,請直接從 Hugging Face 下載 NVFP4 和 FP8 的權重檔(checkpoints),透過 ComfyUI 的範本瀏覽器載入預設工作流,並將預設模型權重替換為新下載的檔案。

App View 模式現已推出。欲了解更多資訊,請前往 ComfyUI

更快速的 4K 影片生成

獲得高品質的影片輸出通常意味著要在速度、VRAM 和控制力這三個限制之間取得平衡。雖然許多藝術家最終追求 4K 品質,但大多數人偏好先生成較小、較快的預覽,然後再進行上採樣。目前的上採樣器將 10 秒的片段提升至 4K 解析度通常需要數分鐘。

現在,使用者可以透過 NVIDIA RTX Video Super Resolution 快速將生成的影片提升至 4K,該功能已作為 ComfyUI 的節點提供。RTX Video 可以作為獨立節點使用,用於從頭構建影片工作流。

對於 AI 開發者,NVIDIA 發布了一個可透過 PyPI 存儲庫獲取的免費 Python 套件,並附帶 GitHub 上的範例程式碼VFX Python 綁定指南,以便快速入門。該套件提供對驅動 RTX Video 的同款 AI 上採樣技術的程式化存取,直接在 RTX GPU Tensor Core 上運行,其 4K 上採樣速度比其他熱門的在地上採樣器快 30 倍,且 VRAM 消耗極低。該套件由 NVIDIA Video Effects 軟體開發套件驅動。

*在 NVIDIA RTX 5090 GPU 上運行 LTX-2 和 FLUX.2 Klein 9B 的生成式 AI 模型效能。效能測試於 RTX 5090 進行。LTX-2:512×768 解析度,100 幀,20 步。FLUX.2 Klein 9B (base):1024×1024 解析度,20 步。

準備好開始使用 ComfyUI 了嗎?觀看由視覺特效藝術家 Max Novak 主持的最新 NVIDIA Studio Sessions 教學,獲取引導式演示:

#ICYMI:GDC 上 RTX AI PC 的最新更新

歡迎參加 3 月 16 日至 19 日在聖荷西舉行的 GTC!請關注 3 月 17 日的 「在 ComfyUI 中為設計與視覺化建立生成式 AI 工作流」,這是一場由 NVIDIA 3D 工作流專家主導的培訓課程,專注於為圖像、影片、3D 和 PBR 材質建立 RTX 加速的生成式工作流。立即註冊並探索議程目錄

LTX Desktop 是一款完全在地化、開源的影片編輯器,直接在 LTX 引擎上運行,並針對 NVIDIA GPU 和相容硬體進行了優化。

LM Link 可連接運行 LM Studio 的不同裝置,讓模型能像在在地端一樣在遠端機器上運行。這對於想在筆記型電腦上運行代理(agent),同時仍能存取由 DGX Spark 或 RTX 桌機驅動的免費且私密 AI 的使用者來說非常理想。了解如何在 DGX Spark 上運行 LM Studio

在 3 月 31 日星期二,作為下一次 NVIDIA App beta 測試的一部分,將為 GeForce RTX 50 系列所有者發布 NVIDIA DLSS 4.5 動態多幀生成(Dynamic Multi Frame Generation)和 DLSS 4.5 多幀生成 6x 模式(Multi Frame Generation 6x Mode)的覆蓋選項。了解更多 GDC 上的 NVIDIA 新聞

下個月,全新的 NVIDIA RTX Remix 更新將引入進階粒子特效(Advanced Particle VFX),使模組製作者(modders)能夠創建廣泛的粒子效果,進一步提升影像品質、細節與沉浸感。

Topaz Labs 與 NVIDIA 合作優化了 NeuroStream 以支援 NVIDIA GPU——這是一項專有的 VRAM 優化技術,允許複雜的 AI 模型在消費級硬體上運行。

Microsoft 引入了對 VoiceMod 的支援,這是首批啟用 Windows ML 進行 GPU 推論的應用程式之一,與 CPU 相比顯著提升了效能與語音品質。

FacebookInstagramTikTokX 上關注 NVIDIA AI PC,並訂閱 RTX AI PC 電子報 以獲取最新資訊。在 LinkedInX 上關注 NVIDIA Workstation。

請參閱關於軟體產品資訊的聲明

https://blogs.nvidia.com/blog/rtx-ai-garage-flux-ltx-video-comfyui-gdc/