深入解析 4 位元浮點數 FP4

背景

隨著人工智慧與神經網路的爆發式成長，計算領域對浮點數的需求正經歷一場從追求極致精度到追求極致效率的轉向。本文探討了 4 位元浮點數（FP4）的結構與應用，說明在參數規模龐大的模型中，如何透過犧牲精度來換取記憶體空間與運算速度，並詳細解析了 E2M1 等常見格式的位元分配邏輯。

社群觀點

針對 FP4 的出現，Hacker News 社群展開了關於運算歷史、硬體效能與格式實用性的深入討論。部分資深開發者回顧了浮點數的「史前時代」，指出在 IEEE 754 標準確立前，各家廠商如 CDC 或 Intel 的格式百花齊放，甚至曾出現過 80 位元的內部運算標準。這與現今為了深度學習而重新拆解位元定義的趨勢形成有趣對照。

在效能層面，社群對於「精度是否影響速度」有著激烈的辯論。有觀點認為，現代 CPU 在處理 32 位元與 64 位元浮點數時，其指令延遲往往是相同的，真正的差異在於快取頻寬與向量化運算的吞吐量。當資料量減半時，同樣的快取空間能容納兩倍的數值，這才是低精度格式在神經網路中勝出的關鍵。然而，也有開發者提醒，在 ARM 等特定架構上，缺乏硬體支援的 64 位元運算可能退化為軟體模擬，導致顯著的效能落後。

對於 FP4 這種極端精簡的格式，不少評論者質疑其是否仍具備傳統浮點數的特徵。由於位元數極少，FP4 往往缺乏處理無限大（Inf）或非數值（NaN）的空間，甚至有意見認為，與其費力定義階碼與尾數，不如直接將 4 位元視為索引值，透過查表法（Lookup Table）來對應預設的數值分布。這種做法在運算上可能更具效率，因為 4 位元的乘法完全可以透過一個極小的 256 格查找表來完成。

此外，討論也延伸到了對數值表達的哲學思考。有開發者感嘆，現有的浮點數標準缺乏對「有效數字」的追蹤，導致資料在不同系統間傳遞時常出現不必要的精度偽影。雖然 FP4 是為了機器學習而生，但這種對位元極致利用的追求，也反映了計算科學在不同時代背景下，對於「足夠精確」這一概念的不斷重定義。

延伸閱讀

在討論中，社群成員分享了多個與低精度運算相關的資源。Wikipedia 的 Minifloat 頁面詳細記載了符合 IEEE 原則的最小浮點數定義。針對 Python 使用者，Pychop 函式庫提供了模擬多種低精度格式的功能。此外，Tom 7 的 binary3 格式實驗以及針對 Julia 語言的區間算術工具（IntervalArithmetic.jl），也為那些希望在極限環境下控制運算誤差的開發者提供了參考路徑。