Waypoint-1.5:為家用 GPU 打造的高畫質互動式生成世界

Waypoint-1.5:為家用 GPU 打造的高畫質互動式生成世界

Huggingface·1 天前

Overworld 發佈了 Waypoint-1.5,這是一款實時影片世界模型,讓高畫質的互動式生成環境能夠在 RTX 顯示卡和 Apple 晶片等家用硬體上本地運行。

Waypoint-1.5:為日常 GPU 打造的高保真互動世界

立即嘗試

waypoint 1.5

什麼是 Waypoint-1.5?

Waypoint-1.5 是 Overworld 的下一代即時影片世界模型,旨在將互動式生成世界帶入人們實際擁有的硬體設備中。

Waypoint 的首次發佈展示了即時生成世界是可行的。它證明了互動式世界模型不僅僅是被動的影片演示,而且本地可運行的系統可以開始縮小「生成世界」與「真正踏入其中」之間的差距。

Waypoint-1.5 直接建立在該基礎之上。此版本提高了視覺保真度,擴大了可以本地運行模型的硬體範圍,並在無需資料中心規模運算的情況下,向互動式世界模擬又邁進了一步。

在包括 RTX 3090 到 5090 的桌上型電腦硬體上,Waypoint-1.5 可以生成高達 720p 和 60 FPS 的即時環境。此版本還引入了 360p 層級,旨在於更廣泛的消費級硬體上流暢運行,包括電競筆電,以及(即將推出的)Apple Silicon Mac。

Waypoint-1.5 有哪些新變化?

Waypoint-1.5 最大的變化在於可及性。

透過 Waypoint-1,我們驗證了核心體驗。在 Waypoint-1.5 中,我們希望在不放棄即時互動性的情況下,讓更多機器能夠獲得這種體驗。這意味著要構建兩個模型層級:適用於高效能硬體的 720p 模型,以及為廣泛部署而優化的 360p 模型。

我們還大幅擴展了訓練規模。Waypoint-1.5 的訓練數據量幾乎是 Waypoint-1 的 100 倍,這顯著提升了模型生成更連貫環境以及隨時間推移保持動作一致性的能力。

在底層技術方面,Waypoint-1.5 還整合了更高效的影片建模技術,以減少跨幀的冗餘計算。這很重要,因為即時世界模型的評判標準不僅在於單幀的畫面表現,還在於世界是否能即時響應、在移動時是否保持連貫,以及在本地硬體上是否具備實用性。

為什麼這對世界模型很重要

近期生成式影片和世界模型的許多進展都集中在視覺保真度上。這些成果固然重要,但單憑保真度並不能讓互動世界感覺真實。

人們記住的是響應速度。他們會記得環境是否對他們做出反應、動作是否保持連貫、在探索時世界是否能維持完整,以及整個體驗是否感覺即時而非延遲。

這正是我們最關心的差距:觀看生成的場景與真正身處其中的區別。

如果世界模型只能在大型 GPU 集群上運行,它們就只是令人印象深刻的演示。如果它們能在消費級硬體上本地運行,就會變成更有用的東西:成為互動娛樂、創意工具、模擬以及人們可以實際探索的 AI 原生環境的基礎。

Waypoint-1.5 正是圍繞這一理念設計的:不僅是更好的影片,更是更具響應性、可探索性,且在消費級硬體上依然觸手可及的世界。

如何體驗 Waypoint-1.5

有兩種方式可以體驗 Waypoint-1.5。

第一種是透過 Overworld Biome 進行本地執行。此版本旨在跨多種硬體配置運行,更新後的 Biome 運行環境使本地設置變得更加簡單。透過新的安裝流程,用戶可以在幾分鐘內完成從下載到本地運行模型的過程。

第二種是 Overworld Stream,讓您可以在瀏覽器中立即嘗試 Waypoint-1.5,無需任何本地設置。

無論您是想要立即存取還是完全的本地控制,Waypoint-1.5 都能提供支援。

此外,我們還提供了 World Engine,這是我們官方客戶端背後靈活且易於使用的核心推理庫,目前已有近十個第三方客戶端和庫在使用它。

前進之路

Waypoint 始於一個簡單的問題:要讓生成式世界變得真正具有互動性,需要具備什麼條件?

早期的生成系統表明,模型可以產生令人信服的圖像和影片。但構建一個讓人們可以即時探索、控制和互動的環境,則是一個完全不同的挑戰。

Waypoint-1.5 是朝著這個方向邁出的又一步,在提高保真度和擴大硬體可及性的同時,繼續推動即時互動生成在本地機器上的實現。

我們認為,世界模型的未來將不僅取決於它們能渲染什麼,還取決於人們是否能真正即時地居住其中並與之互動。

下載 Waypoint-1.5,使用 Biome 在本地運行,或立即進入 Overworld.stream 體驗。

如果您用它構建了任何有趣、奇特或出人意料的沉浸式內容,我們很期待看到您的分享。

保持聯繫

本文中提到的模型 2

更多來自我們部落格的文章

Image

Waypoint-1 介紹:來自 Overworld 的即時互動影片擴散模型

Image

實用 3D 資產生成:逐步指南

社群

· 註冊或登入以發表評論

本文中提到的模型 2

https://huggingface.co/blog/waypoint-1-5