Nanocode：只需 200 美元，即可在 TPU 上以純 JAX 訓練出最強的 Claude Code 複製品

背景

Nanocode 是一個開源專案，旨在展示如何以僅 200 美元的預算，利用 JAX 框架與 Google 的 TPU 資源，從頭到尾訓練出一個具備代理能力（Agentic）的程式碼模型。該專案深受 Andrej Karpathy 的 nanochat 啟發，透過憲法 AI（Constitutional AI）方法與偏好最佳化技術，讓模型能學習如何與外部環境互動並解決程式問題，為開發者提供了一個低成本且可高度自定義的實驗平台。

社群觀點

在 Hacker News 的討論中，社群成員對於此專案的價值定位展開了深入探討。部分讀者首先提出的疑問是，在目前已有眾多免費且強大的開源程式碼模型可供使用的情況下，花費 200 美元自行訓練模型的實際意義為何。對此，社群達成了高度共識，認為 Nanocode 的核心價值不在於產出一個能超越現有商業產品的模型，而是在於其教育意義。對於想要深入理解分散式訓練技術、JAX 框架運作機制以及偏好最佳化流程的開發者來說，這是一個極佳的實作範本。它將複雜的機器學習概念轉化為可操作、可修改的程式碼庫，讓原本對機器學習感到陌生的開發者也能快速理解代理型程式碼模型的構建邏輯。

然而，社群也針對專案展示中的技術細節提出了嚴謹的審視。有評論者指出，範例中模型生成的 Python 程式碼並未完全符合提示詞的要求。具體而言，當提示詞要求「在不創建新列表的情況下修改原始列表」時，模型卻使用了列表推導式（List Comprehension），這在 Python 中實際上會創建一個新對象。這引發了關於模型理解能力與提示詞品質的爭論。有觀點認為，這可能是因為原始提示詞本身存在矛盾，例如同時要求使用特定語法卻又要求原地修改，導致模型在權衡下產出了不完美的結果。這種現象反映了當前小型模型在處理複雜邏輯約束時的侷限性，也提醒了開發者在評估模型效能時，應更關注其在極端邊界條件下的表現。

儘管存在技術瑕疵，社群普遍對該專案持正面態度，認為它成功地將「代理型模型訓練」這一看似高不可攀的領域平民化。透過詳細的成本分析與硬體配置建議，它證明了個人開發者也能在預算有限的情況下，參與到尖端 AI 技術的實驗中。這種透明且具備高度可重複性的分享，對於推動開源社群理解大型語言模型的對齊與微調過程具有重要貢獻。

延伸閱讀

• nanochat：由 Andrej Karpathy 開發的專案，是 Nanocode 訓練架構與哲學的主要靈感來源。
• Google TRC (TPU Research Cloud) Program：文中提到的資源，提供開發者免費申請使用 TPU 進行研究與開發。
• The Stack-V2：專案中用於增強模型程式編寫能力的關鍵數據集來源。