範疇論帶給 DataFrame 的啟示

背景

這篇文章探討了資料框架（DataFrame）函式庫背後的結構邏輯，特別是針對 Pandas 龐大且混亂的 API 進行解構。作者引用了 Modin 團隊的研究，將兩百多個 Pandas 操作壓縮成十五個代數運算子，並試圖透過範疇論（Category Theory）的視角，進一步將這些運算歸納為重組、合併與配對三種核心模式，旨在為資料處理建立一個更具數學基礎的底層框架。

社群觀點

Hacker News 的討論主要圍繞在「重新發明輪子」與「API 設計哲學」的爭議上。許多評論者對 Pandas 混亂的 API 深感共鳴，認為其設計缺乏一致性且過於冗贅，導致使用者必須死記硬背各種參數。然而，對於作者試圖透過範疇論或新的代數框架來尋找救贖，社群中出現了強烈的批評聲音。

最顯著的觀點認為，資料框架的底層邏輯早在數十年前的 SQL 與 R 語言的 dplyr 套件中就已經得到完美的解決。批評者指出，Pandas 的 API 就像是「沒見過圓形的人發明了七邊形的輪子」，雖然能轉動但極其顛簸。例如，文中提到的「刪除重複項」或「重新命名」等操作，在 SQL 或 dplyr 的邏輯中，僅僅是選擇（Select）或連接（Join）的變體，並不需要獨立成新的原語。這種觀點主張，與其從頭構建一套抽象的範疇論框架，不如回歸 SQL 的關係代數，因為 SQL 已經證明了其在處理結構化數據上的簡潔性與組合性。

此外，部分技術導向的留言者對 Modin 專案表示遺憾。雖然 Modin 成功地將 Pandas 操作簡化為少數核心運算子以實現分散式運算（如 Ray 或 Dask），但它最終仍選擇相容 Pandas 那套被認為「糟糕」的 API，而非提供一個更優雅、更符合邏輯的介面給終端使用者。這反映了軟體工程中「向下相容」與「架構純粹」之間的拉鋸。

也有觀點從歷史角度切入，提到過去十年曾流行將所有程式邏輯簡化為 Map 與 Reduce 兩種原語，但最終因過於僵化而逐漸淡出主流。這提醒了開發者，過度追求數學上的極簡主義有時會犧牲實用性。整體而言，社群的共識傾向於：與其用深奧的範疇論來解釋 Pandas 的混亂，不如承認 Pandas 在 API 設計上的缺陷，並向 dplyr 這種更尊重關係代數傳統的工具學習。

延伸閱讀

• Modin: 一個旨在加速 Pandas 的專案，透過將 API 映射到一組核心代數運算子來實現並行化。
• dplyr: R 語言中著名的資料處理套件，以其符合直覺且具備組合性的語法著稱，深受 SQL 邏輯影響。
• Seven Sketches in Compositionality: 由 Fong 與 Spivak 所著，文中提到引導作者進入範疇論思考的學術資源。