我花了三十年才解決這個視覺特效難題:綠幕去背問題
我花了三十年的時間,終於解決了這個困擾已久的視覺特效難題,也就是關於綠幕去背的技術挑戰。
背景
這篇討論源自 Corridor Digital 發布的一段影片,內容描述他們如何開發出一種新型的視覺特效(VFX)去背技術,試圖解決困擾業界數十年的綠幕去背難題。該團隊宣稱透過人工智慧與合成數據訓練,成功開發出名為「Corridor Key」的工具,能更精準地處理半透明物體、細碎髮絲以及動態模糊等傳統去背技術難以克服的細節。
社群觀點
針對 Corridor Digital 提出的 AI 去背方案,Hacker News 社群展開了多層次的技術辯論。部分討論者指出,該影片在技術細節上略顯單薄,其核心競爭力似乎在於利用 CGI 生成的大量合成數據來訓練模型,這與視覺特效專家 Paul Debevec 先前提出利用完美遮罩參考集來訓練模型的構想不謀而合。然而,也有評論者對此持保留態度,認為影片展示的結果仍帶有明顯的 AI 偽影(VAE artifacts)以及未處理乾淨的溢色問題,甚至批評其宣傳成分大於實質技術突破。
在技術實作的爭論中,不少專業人士將焦點轉向了迪士尼著名的「鈉蒸氣過程」(Sodium Vapor Process)。有留言質疑影片中提到「迪士尼壟斷該技術秘密」的說法過於誇大,認為現代去背技術之所以不採用該方案,更多是因為數位綠幕在經驗豐富的特效師手中已經「足夠好」,且無需負擔雙鏡頭分光稜鏡系統的硬體複雜度。針對硬體改良,社群內也激盪出不少創意,例如有人提議利用近紅外線(Near-IR)來製作遮罩,透過移除相機感光元件的紅外線濾鏡並搭配分光鏡,理論上可以在不干擾可見光色彩的情況下獲得完美的遮罩。另一種更具成本效益的構想則是利用高幀率攝影機與燈光同步技術,在奇數幀開啟場景燈光、偶數幀開啟背景螢幕,藉此在單一相機上交替取得原始影像與遮罩。
此外,社群對於「開發」的定義也產生了有趣的摩擦。有軟體工程師指出,影片創作者在未具備編程背景的情況下宣稱「開發」了這項工具,卻未提及是否使用了 AI 代理工具輔助編碼,這在技術圈內引發了關於創作歸屬權的微詞。同時,目前該工具對硬體的要求較為嚴苛,僅支援具備 8GB 以上顯存的 NVIDIA 顯示卡,這讓許多 AMD 使用者感到遺憾。儘管存在爭議,社群普遍認同這類工具大幅降低了去背的門檻,讓原本需要耗費大量人力進行逐幀轉描(Rotoscoping)的枯燥工作,看到了自動化解決的曙光。
延伸閱讀
在討論串中,社群成員分享了多項實用的技術資源。針對想嘗試該技術的使用者,已有開發者製作了名為 EZ-CorridorKey 的圖形介面工具,降低了操作 Python 腳本的難度。學術研究方面,Paul Debevec 團隊關於紅外線遮罩技術的論文(arXiv:2306.13702)被視為該領域的重要參考。此外,也有網友提供了一段對比影片,將 Corridor Key 與傳統去背軟體進行實測比較,提供更直觀的效能評估。