在 FFmpeg 中利用 Vulkan 計算著色器進行影片編解碼

背景

這篇文章探討在 FFmpeg 中利用 Vulkan Compute Shader 進行影片編解碼的技術實現，涵蓋了 FFv1、ProRes RAW、DPX 與 VC-2 等多種格式。這項技術的核心在於跳脫傳統硬體加速單元（ASIC）的限制，改用 GPU 的通用計算能力來處理高解析度與專業級影片格式，旨在提升處理效率並降低延遲。

社群觀點

針對這項技術，社群展開了激烈的辯論，焦點主要集中在通用計算（Compute）與專用硬體（ASIC）之間的權衡。部分技術開發者指出，傳統硬體解碼器在面對損壞的數據流時極其脆弱，甚至可能導致 GPU 崩潰且無法透過軟體重置，而使用 Vulkan Compute Shader 則能繼承 C 語言版本的邊界檢查與驗證邏輯，在提供加速的同時保持高度的穩定性。此外，現代 GPU 架構已演進為強大的標量處理器，具備龐大的快取與靈活的記憶體定址能力，這使得以往被認為過於複雜、不適合並行運算的序列化解碼任務，現在也能在 GPU 上高效執行。

然而，也有觀點質疑其必要性。反對者認為，對於 H.264 等主流格式，現代 CPU 單執行緒即可輕鬆應付 4K 即時解碼，且軟體編碼器的畫質與靈活性通常優於硬體方案。他們主張廠商應將精力投入在優化現有的軟體庫如 libvpx，而非不斷重複造輪子。但支持者反駁，這項技術的目標並非網頁串流，而是專業影視剪輯。對於 6K 甚至 12K 的 ProRes RAW 或 FFv1 無損格式，即使是頂級 CPU 也難以即時處理。透過 Vulkan Compute，像 Blender 這樣的開源創作軟體能直接在消費級 GPU 上處理高位元深度的無損影片，避免了傳統流程中必須將每幀輸出為 TIFF 序列圖檔的空間浪費與效能瓶頸。

在能源效率方面，社群普遍達成共識，認為將負載從 CPU 轉移至 GPU 能顯著延長行動裝置的續航力，並讓 CPU 騰出資源處理其他任務。儘管有人擔心專業剪輯環境下的 I/O 負載依然沉重，但 Vulkan 減少了抽象層的開銷，讓緩衝區位址直接參與運算，這對於追求極致效能的非線性剪輯系統（NLE）來說是一大進步。這項技術不僅是為了效能，更是為了在缺乏專用硬體電路的情況下，讓開源工具也能擁有處理專業格式的能力。

延伸閱讀

留言中提到的相關技術與工具包括：

• SPIR-V：Vulkan 使用的中間語言，可用於生成高效的著色器代碼。
• FFv1：一種無損影片編解碼器，常被用於檔案保存與專業工作流。
• Vulkan Video：Vulkan 官方推出的硬體加速編解碼擴展，與本文討論的 Compute Shader 方案有所區別。
• libwebrtc 與 libvpx：社群建議優化的傳統軟體編解碼庫。