Show HN: GoModel – 以 Go 語言編寫的開源 AI 閘道器；比 LiteLLM 輕量 44 倍

背景

GoModel 是一款由波蘭開發者 Jakub 及其團隊開發的開源 AI 閘道器，採用 Go 語言編寫，旨在為應用程式與多種大型語言模型供應商（如 OpenAI、Anthropic、Gemini 等）之間提供統一的 API 介面。這項專案主打高效能與輕量化，其 Docker 鏡像體積僅約 17MB，相較於同類知名工具 LiteLLM 縮減了超過 44 倍，並提供可視化的請求工作流、成本追蹤以及語義快取等功能。

社群觀點

在 Hacker News 的討論中，社群對於 GoModel 的輕量化特性給予了正面評價。許多開發者指出，LiteLLM 由於基於 Python 開發，其鏡像體積龐大且程式碼架構中存在過多全域匯入的問題，這使得採用編譯型語言開發的 GoModel 成為一個極具吸引力的替代方案。特別是在 LiteLLM 近期遭遇供應鏈攻擊後，開發者們對於尋找更安全、更簡潔的閘道器方案展現出濃厚興趣。

針對技術細節，討論焦點集中在 GoModel 的語義快取機制。開發者解釋該系統會在請求進入代理層前，先將用戶訊息進行向量化處理並執行相似度檢索。關於快取失效的疑慮，貢獻者說明快取鍵值已包含模型參數、路徑與防護欄雜湊值，因此當模型更新或參數變動時，系統會自動區隔，並輔以生存時間機制進行清理。此外，有使用者分享了在混合使用免費與付費模型時，能夠在儀表板中即時追蹤各別模型成本的功能非常實用，這解決了頻繁切換模型時難以掌握預算的痛點。

然而，社群中也存在競爭產品的對比與質疑。有評論者詢問 GoModel 與另一款 Go 語言編寫的路由器 Bifrost 有何區別，並質疑其是否具備足夠的效能基準測試數據。對此，開發團隊強調 GoModel 的優勢在於完全開源，沒有隱藏在付費牆後的私有倉庫，且在審計日誌中能更直觀地觀察請求流轉過程。儘管目前開發者無法承諾永久不推出商業版本，但其透明的授權說明頁面獲得了部分使用者的認可。另外，也有人提議增加對 ChatGPT 或 GitHub Copilot 等訂閱制服務的相容性，開發團隊對此表示將納入後續評估。

延伸閱讀

• GoModel 官方文件與授權說明：https://gomodel.enterpilot.io/docs/about/license
• 討論中提及的競爭產品：Bifrost（另一款 Go 語言開發的 AI 路由器）
• 討論中提及的本地模型部署工具：vLLM（使用者建議作為 Ollama 的高效能替代方案）