Soul Player C64：在 1 MHz 的康懋達 64 電腦上運行的真實 Transformer 模型

背景

Soul Player C64 是一個在僅有 1 MHz 頻率的 Commodore 64（C64）硬體上運行的 Transformer 模型。這項專案採用與 ChatGPT 相同的架構，透過純手工編寫的 6502/6510 組合語言，在未經改裝的古董電腦上實現了包含多頭注意力機制、RMSNorm 與 Softmax 的 2 層解碼器模型。儘管參數僅約 2.5 萬個且每生成一個標記需耗時一分鐘，但它證明了現代深度學習架構在極限受限的硬體環境中仍具備運作的可能性。

社群觀點

Hacker News 的討論圍繞著這項技術實踐的意義與實際效能展開。部分用戶幽默地將其與早期的聊天機器人 ELIZA 相比，認為這像是 ELIZA 的孫輩技術，甚至開玩笑說如果 ELIZA 升級到這種架構，可能會讓那些至今仍在與她對話的人感到困惑。然而，這種極小規模的參數也引發了對其實用性的質疑。有評論者指出，2.5 萬個參數比 GPT-4 小了約七千萬倍，導致模型生成的句子破碎且難以理解。雖然作者認為「產生破碎句子」本身就是架構在極小規模下運作的證明，但反對者認為，如果輸出結果近乎隨機，很難斷定該架構在這種尺度下是否真的有效，甚至有人好奇其表現是否能優於傳統的馬可夫鏈生成器。

在硬體效能方面，每分鐘僅能產生一個標記的速度被形容為「極其殘酷」。為了提升體驗，社群建議在模擬器中使用 SuperCPU 模式或開啟加速功能，將其效能推升至「勉強可用的模擬器」程度。此外，資深玩家也開始探討如何利用當年的擴充硬體來突破限制，例如使用 RAM 擴充單元（REU）或 GeoRAM。雖然 SuperCPU 能顯著提升速度，但也有人認為這模糊了 C64 原始硬體的界線，失去了在極限環境下挑戰的純粹感。

儘管模型能力有限，社群對這項專案仍抱持高度敬意。即使是自稱討厭人工智慧但熱愛 C64 的硬派玩家，也對這種將現代技術回溯至復古硬體的嘗試表示認可。討論中甚至出現了對其他復古平台的期待，例如好奇若將 Transformer 移植到 PlayStation (PSX) 或 Nintendo 64 等性能稍強的舊時代主機上，是否能達成更具說服力的對話效果。這種將「未來技術帶回過去」的嘗試，不僅是技術上的自我挑戰，也激發了社群對於運算本質與硬體極限的深度思考。

延伸閱讀

在討論串中，有用戶分享了該專案的線上互動網頁，讓無法運行模擬器的讀者能直接在瀏覽器中體驗這個 25k 參數模型的對話效果。該網頁展示了模型的第三個版本，雖然目前大多只能進行簡單的問候與告別，但仍具體呈現了在極小參數規模下的推論成果。