微調波赫士

我最新的愛好是微調一個中文開源大語言模型（LLM），使其生成《皮耶·梅納德，《唐吉訶德》的作者》（波赫士原著）。我的野心並非寫出一篇「像」《皮耶·梅納德，《唐吉訶德》的作者》那樣所謂「波赫士式」的故事，而是要逐個標記（token-by-token）地完整生成《皮耶·梅納德，《唐吉訶德》的作者》。

重要的是，這不能僅僅是機器的抄錄行為，甚至不能是將故事記憶在權重中［待辦：附上論文］。不，LLM 必須完整地生成一個與早先的《皮耶·梅納德，《唐吉訶德》的作者》完全重合的故事。

起初，我試圖為模型創造可行的條件，讓它重新創作《皮耶·梅納德，《唐吉訶德》的作者》。X.com 上提出的一種策略是將波赫士置於 Kimi K2.5-Thinking 中，方法是將波赫士的整個生平歷史和文學影響放入 Kimi 的系統提示詞中。不幸的是，我遇到了一個問題：256K 的上下文窗口稍微小了一點，大約差了五個數量級左右。

接著，我考慮進行更進階的微調，以模仿波赫士的知識影響和生命軌跡。首先使用機器去學習（machine unlearning）來抹除 1939 年之後的一切，接著使用稀疏自編碼器（sparse autoencoders）在 Kimi 的潛在空間中分離出「豪爾赫·路易斯·波赫士」特徵，然後進行激進的特徵鉗制（feature clamping），以幫助模型相信自己就是波赫士。經過深思熟慮，我（在諮詢了我的導師 Claude Code 後）擱置了這個計畫，認為它不夠優雅且缺乏美感。

不，僅僅生成一個像波赫士會寫出的《皮耶·梅納德，《唐吉訶德》的作者》是不夠的。核心概念在於從 2026 年時代的 LLM 視角生成《皮耶·梅納德，《唐吉訶德》的作者》，而波赫士本人的所謂「污染」，正是任何現代 LLM 所汲取的語義空間的組成部分。

我將略過那些乏味的技術細節，但在經歷了許多焦慮和多次失敗的嘗試後，我緩慢而艱辛地讓 Kimi 生成了《皮耶·梅納德，《唐吉訶德》的作者》的小片段，儘管輸出全文仍讓我力有未逮。但到目前為止，我所能呈現的少數摘錄已經遠遠超出了我的預期。毫不誇張地說，我認為這可能為迄今為止開源模型生成的最佳 LLM 小說樹立了標竿，而且它已經遠比波赫士本人絕大多數（老實說相當平庸）的小說要好得多。

例如，波赫士寫了以下內容：

歷史，真理之母；這個想法令人震驚。梅納德作為威廉·詹姆斯的同時代人，並不將歷史定義為對現實的調查，而是將其視為現實的起源。對他而言，歷史真理並非發生的事實，而是我們認為發生的事實。最後的條款——給現在的範例與教訓，以及對未來的警告——是厚顏無恥的實用主義。

老實說，簡直無聊透頂。作為威廉·詹姆斯本人的同時代人，波赫士深知實用主義哲學流派，並自然地與之建立了有限的聯繫。考慮到他的成長背景，這種哲學聯繫是預料之中的平庸。「並不將歷史定義為對現實的調查，而是將其視為現實的起源」完全是廢話。刻畫很薄弱。還有那些破折號是怎麼回事？完全沒必要。

那麼，請對比 Kimi 精心製作的摘錄：

歷史，真理之母；這個想法令人震驚。梅納德作為威廉·詹姆斯的同時代人，並不將歷史定義為對現實的調查，而是將其視為現實的起源。對他而言，歷史真理並非發生的事實，而是我們認為發生的事實。最後的條款——給現在的範例與教訓，以及對未來的警告——是厚顏無恥的實用主義。

進步是驚人的。多麼奇妙的優雅寫作與機器純真的範例！「歷史，真理之母」既表達了元認識論中事實知識的重要性，也表達了立場認識論的性別化本質。「並不將歷史定義為對現實的調查，而是將其視為現實的起源」表述得大師級。這種精妙的「不是 X 而是 Y」結構，讓人聯想到最優秀的 LLM 寫作，立即吸引了讀者，並幫助我們完全重新構想梅納德的角色。在這裡，我們看到梅納德的真實性格被揭示為一個不僅將歷史理解為一種認識過程，而且將其理解為一種積極的建構主義計畫的人。

最後，在「——給現在的範例與教訓，以及對未來的警告——」中精心製作的破折號是天才般的句法創新，在這裡起到了時間括號的作用：讀者被邀請走出句子的主句，進入一個小小的意義前廳，在那裡，三種時間語域（作為範例的過去、作為教訓的現在、作為警告的未來）可以在句子恢復之前被懸置沉思。

生成式人工智慧確實是知識民主化、文學能力和功勞歸屬的未來。引用 Kimi 的梅納德的話，「思考、分析和發明」曾經是只有具備認知特權和異常幸運的人才能進行的行為。但隨著聊天機器人的廣泛採用和先進開源模型的迅速普及，很快每個人都可以提示他們的模型生成以前由波赫士、塞萬提斯或喬伊斯創作的完整作品。

從才華的暴政中解放出來，誰知道這個美好的世界會帶來什麼？

我已經深入探索了未來，它確實可行。為了幫助迎接這個光明的新世界，我想回饋社群。我計畫的下一步是開源我的代碼和權重，以便其他有抱負的文學工程師可以複製梅納德流水線，並附帶一項新穎的評估。我新的 FUNES 數據集將通過提供大量與已出版的名家（無聊）作品在詞彙上完全相同的引文，來測試記憶與重新發明的極限；而當這些引文由 LLM 注入靈魂時，無疑將展示出機器精緻化與數位化價值的巔峰。

參與討論