停止使用 Ollama

背景

這篇文章深入探討了目前最受歡迎的本地大型語言模型運行工具 Ollama 所面臨的爭議。作者指出 Ollama 雖然憑藉著簡化 llama.cpp 的使用門檻而取得市場領先地位，但其背後的開發團隊卻長期刻意淡化對底層技術的依賴，甚至在授權合規與模型命名上誤導使用者，導致社群對其透明度與技術誠信產生質疑。

社群觀點

在 Hacker News 的討論中，社群對於 Ollama 的評價呈現兩極化。許多資深開發者對文章揭露的技術細節感到震驚，特別是關於性能損耗與授權爭議的部分。有留言者指出，Ollama 為了維持其「Docker for LLMs」的品牌形象，在底層架構上做了過多不必要的封裝，這不僅導致模型運行速度遠低於原生的 llama.cpp，更造成了使用上的不便。例如，多位使用者抱怨 Ollama 強制使用自家的模型存儲格式與路徑，且難以更改預設資料夾，這讓想要與 LM Studio 或 Hugging Face 共享模型檔案的使用者感到極度挫折，認為這種設計是為了建立封閉的生態系而非服務用戶。

然而，也有另一派觀點認為 Ollama 的易用性仍具備無可取代的價值。支持者提到，對於非技術背景或追求效率的用戶來說，只需一行指令即可完成模型下載與運行的體驗非常優異，這種「開箱即用」的便利性是目前其他工具難以企及的。儘管存在性能落差，但對於日常測試或簡單的自動化任務，這種便利性往往高於對極致性能的追求。此外，關於模型「熱切換」的功能，雖然有留言指出 llama-server 或 llama-swap 也能達成類似效果，但 Ollama 整合後的流程確實降低了管理多個模型的門檻。

討論中也出現了對模型命名混淆的共鳴。有評論提到，將蒸餾過的小模型直接冠以原版大模型的名稱，確實會對社群造成誤導，讓不明就裡的用戶在體驗不佳時轉而責怪模型開發者而非運行環境。這種做法被視為一種短視的行銷策略，損害了本地 AI 社群的健康發展。整體而言，社群的共識傾向於：Ollama 確實是一個優秀的入門工具，但隨著使用者對性能與控制權的要求提升，其封閉與不透明的特性正逐漸推動進階用戶轉向更開放、更純粹的底層工具。

延伸閱讀

在討論串中，社群成員推薦了幾款可替代或輔助的工具與資源：

• LM Studio：提供更直觀的介面並支援與 Hugging Face 整合。
• llama-server：llama.cpp 內建的伺服器功能，支援模型切換。
• llama-swap：專門處理模型熱切換的工具。
• Goose：由 Block 開發的另一種選擇。
• Hugging Face 關於 GGML 模型管理的技術文件，介紹了最新的路由支援功能。