角度決定一切：重新構圖你的照片
我們在 Google 相簿的自動構圖功能中推出了一種全新的影像編輯方法，讓使用者能在照片拍完後，從新的視角重新想像照片，透過將 2D 照片解讀為 3D 場景並利用生成式 AI 補全隱藏內容，實現真實的新視角重構。
角度決定一切：您的照片，重新構圖
2026 年 4 月 22 日
Marcos Seefelder，平台與裝置部門主任軟體工程師；Pedro Velez，Google Deepmind 資深研究工程師
我們推出了一種全新的影像編輯方法，現已在 Google 相簿的「自動構圖 (Auto frame)」功能中上線，讓使用者能在照片拍攝後，從全新的視角重新想像照片。
快速連結
您是否曾回顧相機膠卷時，希望當初捕捉場景的方式能稍微不同？也許您希望拍到臉部的更多側面，或者將相機位置稍微降低以獲得完美鏡頭。又或許那是一張笑容完美的自拍，但廣角鏡頭讓您看起來有些陌生。通常，這些都是我們不得不接受的「近乎完美」的照片，因為那一刻已經過去，無法重新拍攝。
雖然裁剪和縮放可能有所幫助，但傳統的影像編輯工具無法解決根本問題：影像仍然是從一個固定且不完美的視角呈現場景。放大不會改變視差，而裁剪也無法顯示畫框之外的內容。
今天，我們宣布一種修復照片拍攝後場景對齊的新方法。我們的方法現已作為 Google 相簿中「自動構圖」功能的一部分提供，它使用機器學習 (ML) 模型來理解場景及其空間佈局，並利用生成式 AI 從新視角想像照片。與傳統的照片編輯不同，我們的方法將照片解釋為 3D 場景——想像一個凍結在時間中的真實時刻——並在該空間內自動更改相機位置。為此，我們的方法保留了原始可見的內容，並智慧地生成先前隱藏的內容，形成原始場景的真實新視角。
新的「自動構圖」功能將標準的 2D 照片解釋為 3D 場景。透過從影像的空間佈局推斷原始相機位置，它會自動修改角度，以揭示凍結時刻的新真實視角。
全新視角
與其他生成式影像編輯解決方案不同，我們的方法包含兩個階段：(1) 3D 場景與相機估計，以及 (2) 生成式修補與修飾。透過將 3D 估計與影像形成解耦，我們可以忠實地在 3D 空間中操縱場景，並調整相機的內部與外部參數。此外，我們利用機器學習模型來理解場景內容，並自動建議新的相機參數。
在第一步中，我們使用一個內部的 3D 點雲圖 (3D point map) 估計模型，該模型經過專門配置，能忠實地重建人體和臉部，以限制可能損害身份辨識度的重建偽影。對於原始影像的每個像素，我們的模型會估計一個代表可見表面區塊的 3D 點，並額外估算原始相機的焦距。
接下來，我們使用傳統的 3D 渲染來生成影像估計值，就像使用更改後的相機參數捕捉的一樣。重要的是，我們可以修改相機姿勢（位置和方向）和焦距，讓我們能完全控制影像形成過程。
然而，僅渲染 3D 點雲圖是不夠的：當您圍繞物體移動虛擬相機時，會揭示原始鏡頭從未捕捉到的背景部分。本質上，點雲圖是場景的不完整表示，從新視角渲染它總是會導致「空洞」。為了填補這些區域，我們使用生成式潛在擴散模型 (latent diffusion model) 來完成並修正渲染的估計值。該模型是使用具有已知相機參數的影像對內部數據集專門針對此任務訓練的。在訓練期間，我們估計一張影像的 3D 點雲圖，並將其投影到第二張影像的相機中。模型隨後學習從重新渲染的第一張影像中重建第二張影像。在推論時，我們採用具有區域縮放的分類器引導，以忠實地保留原始內容，同時允許模型擁有填補空白的創作自由。
我們兩階段編輯方法的概述。首先，3D 點雲圖估計模型透過使用單目深度生成 3D 點雲圖，並利用 2D 語義資訊推斷目標相機參數來估計場景的幾何形狀。其次，生成式潛在擴散模型透過填補隱藏的背景區域，並對新相機角度揭示的新視圖進行最終調整，來完成構圖。
更好的觀點
為了支持全自動編輯，我們利用機器學習模型來檢測主要主體臉部的位置和 3D 定向。結合 3D 點雲圖，這些語義資訊使我們能夠計算出理想構圖的相機參數。這對於人像特別有用。此外，使用廣角前置鏡頭拍攝的影像通常會受到強烈的透視畸變影響，這會使最靠近鏡頭的特徵顯得異常大。為此，我們的方法會自動檢測這些畸變，並調整虛擬相機的內部參數以恢復自然、討喜的比例，有效地在事後從主體身邊「後退一步」。
現已在 Google 相簿中提供
這套全自動解決方案現已作為「自動構圖」的一部分在 Google 相簿中上線。它透過使用我們的 3D 感知影像編輯工具處理包含人物的符合條件的照片，無縫地增強人像效果。使用者可以在「自動構圖」候選方案中，將具有自動調整相機視角的重新構圖影像作為第二個渲染選項進行存取，使其成為對照片的單次操作改進。
這款編輯工具現已在 Google 相簿中上線，讓使用者可以輕鬆地在「自動構圖」功能中，透過無縫的單次操作增強功能存取自動重新構圖的影像。
致謝
此功能是 Google DeepMind 與 Google 平台與裝置團隊合作的成果。主要貢獻者包括：Thiemo Alldieck、Marcos Seefelder、Hannah Woods、Pedro Velez、Michael Milne、Bert Le、Navin Sarma、Jasmin Repenning 和 Selena Shang。顧問包括：Steven Hickson、Claudio Martella、Irfan Essa 和 Alex Rav Acha。特別感謝：Mike Krainin、Jan Stria、Neal Wadhwa、Amit Raj、Mauro Rego、Kita Boice、Dennis Shtatnov、Yuan Qi、Julian Iseringhausen、Peter Zhizhin、Jiaping Zhao、Andre Araujo、Jana Ehmann、Keng-Sheng Lin、Isalo Montacute、Brandon Ruffin、Reginald Ballesteros 和 Andy Radin。
快速連結
其他感興趣的文章
2026 年 4 月 21 日
2026 年 4 月 16 日
2026 年 4 月 13 日
相關文章