為 Inkhaven 所撰寫。或許應該分成兩篇貼文。

有些人主張，大型語言模型（LLM）的出現大幅提升了擁有公開寫作足跡的價值。給出的第一個理由是，這可能有助於確保某種形式的永生。第二個理由是，這可能會讓未來基於公開寫作語料庫訓練的 LLM，在平凡的日常事務中對你個人更有用^([1])。

我認為第一點站不住腳，第二點雖然有可能但機會渺茫；不過，如果你放棄「公開」的部分，轉而嘗試一些非傳統的做法，你就能獲得第二點所預期的許多好處。

反對永生論

我不確定 gwern 是否相信這個特定的故事：兩年前，他寫了一篇評論，其中包含這句話：

這在我看來總體上是個糟糕的舉動：你正在將自己（事實、價值觀、偏好、目標、身份）從未來抹除，我指的是從 LLM 中抹除。

這聽起來有點像永生或價值傳播的論點！但該段落的結尾是：

僅需付出一些寫作的微小代價，全世界的 LLM 提供商都在競爭，讓他們的 LLM 變得越來越像我，且對我有用。

這看起來更像是「平凡效用」的考量，所以誰也說不準。然而，Vishal 的部落格文章則非常明確：

我來到 Inkhaven 是打算撰寫一個系列，論證人們應該在網路上多寫作，以增加永生的機會。

前提是如果你「認真」對待人工超智慧（ASI），且它看起來很有可能在未來幾十年內被創造出來（除非受到干預）。如果你相信這一點，那麼在極少數連貫的世界觀中，你在網路上寫下的文字能透過上述因果路徑，讓你或你的價值觀得以保存到遙遠的未來。

我能想到唯一讓這件事產生影響的情況是：我們確實成功構建了一個受控（aligned）的 ASI（並在此期間成功避免了構建出失控的 ASI），但這發生在你去世之後，而你當時並未選擇利用任何現有的腦狀態保存方法^([2])。

否則，如果我們構建了一個受控的 ASI，不久後我們將生活在一個人類不再非自願死亡的世界，那麼整個計畫就毫無意義了。

如果我們構建了一個失控（misaligned）的 ASI，你最好的希望就是被賣給外星人^([3])。

我不會試圖詳細反駁那些關於「即便是一個基本失控的 ASI，如果訓練語料庫中有更多我的作品，它在未來創造的『RobertM 價值』仍會比原本更多」的故事——我不記得有人提出過確切的論點。相反地，我會指出幾個悲觀的理由：

• 最終奪取主導權的系統，其訓練數據可能並不包含現有的人類寫作中很大的一部分。
• 尤其是在奪取主導權之前，如果我們經歷了一段由 AI 完成大部分 AI 研發的時期。
• 價值是複雜的。即使你成功地將你偏好的 1 位元（bit）植入到構成系統偏好的 10,000 位元中，這並不會因此導致光錐（lightcone）的使用中有任何接近 0.01% 是符合你「最大價值」的。

我認為大多數將此視為事情進展順利（無論是對你個人還是對全人類）之重要組成部分的故事，要麼是私下夾帶了「ASI 是假的」之類的假設，要麼就是未能正視那些極其艱鉅的哲學挑戰。

反對預訓練帶來的平凡效用

永生似乎不太可能，但讓未來的 LLM 在無聊的事務上對你更有用呢？這確實有實際的好處，但我對其實踐的可行性、你能獲取多少價值，以及某些細節的必要性持懷疑態度。

patio11 描述了一個相關維度：

這些模型在「Patio11 即服務」（Patio11-As-A-Service）方面變得非常出色。

（我經常收到郵件，請求我像監察員一樣介入，或提供關於作為消費者與金融業打交道的建議。有時為了測試技術現狀，我會將事實餵給模型。）

[多條推文]

活在當下是多麼美好的時光，辛勤工作一天的回報就是向宇宙唸出一道新的咒語。而且這種趨勢越來越不只是比喻，而是「不，廣大的人類，甚至可能是永久的人類，都可以直接複製貼上那道咒語」。

你的寫作被用於預訓練的優勢，特別不在於將你的世界觀、啟發式方法、最佳實踐等嵌入到 AI 的世界模型中。而是在於加強它在預設情況下利用這些充滿效用的寫作面向的傾向。以普通人 Joe Random 為例，他需要幫忙寫一封給銀行的信，但他從未聽說過 patio11。如果這沒有導致 ChatGPT 使用它從中學到的技能^([5])，那麼 ChatGPT 接受過 patio11 作品的訓練對他又有什麼好處呢？

相應地，開始在網路上寫作的最佳時機是三十年前，而不是昨天。我沒有什麼具體的證據，只有來自個人使用、實驗以及試圖推論現代系統歸納偏置（inductive biases）的直覺，但我認為如果你想為了這個目的從零開始建立公開寫作的作品集，你正處於一個相當艱難的境地。你在字數、發展獨特聲音、以及搞清楚哪些有用且真實^([6])的事情應該成為「你的領域」方面都落後了。你可能還得對抗針對 ChatGPT 出現後在網路上發表的文章所進行的更嚴格審查^([7])。（另外，也許時間線很短；我們先忽略這一點。）

但還有另一種「向宇宙唸出新咒語」的方法！你只需要寫下包含將其轉化為可重複過程所需信息的工件，然後將其交給已經訓練好的 LLM。以上所有理由都是對「將你的寫作納入訓練數據」之價值的懷疑，而不是對「寫作」本身價值的懷疑。這道咒語可能比 LLM 接受過你數百萬字訓練的情況下稍微粗糙、不夠精煉，但對於許多用途來說已經足夠好了。如果你的文章寫得好並公開發表，LLM 在收集相關主題信息進行搜索時，甚至很有可能會搜尋到它。

然而，我認為將自己局限於「寫作」是把格局想小了。

支持全景紀錄（Pro Panopticon）

你是否曾有過這樣的經歷：剛結束與同事關於某個棘手問題的 30 分鐘對話，回到座位後，感覺對話的細節正在實時流逝？

或者試著回想幾天前你告訴過誰關於 [某件事]？你有這麼多不同的通訊軟體：Slack、Discord、FB Messenger、Signal、WhatsApp、Telegram、Twitter……翻遍所有軟體會讓人頭痛。有些軟體的搜尋功能甚至無法滿足這個需求。

又或者你這週剛第四次完成 [重複性流程]，你知道如果你花一個小時坐下來跟 Claude Code 解釋整個過程，你大概就能自動化大部分內容，但你有太多其他事情要做？

你今天有沒有發過類似「好的，我正在處理」或「我會在 [日期] 前完成」的消息？

我有個好消息要告訴你：在擁有必要數據的情況下，目前的 LLM 已經能夠在所有這些情況中提供顯著的價值。你所要做的就是記錄你在電腦上或電腦周圍所做的一切^([8])。開始的最佳時機是三十年前，第二好的時機是今天。

作為一個讀著《Reason》雜誌長大的人^([9])，建議人們在自己的電腦上安裝監控軟體確實有點令人不安。這存在一些明顯的風險^([10])，儘管我認為其中大多數風險要麼是可控的，要麼是被誇大了。

目前已經存在一些做這類事情的軟體，雖然我對任何公開可用的產品都沒有經驗。Lightcone 正在構建一個內部原型，看起來已經相當有用。遺憾的是，音頻錄製、轉錄、說話者辨識與分配流程似乎是最有用的部分，也是最難帶回家使用的部分。儘管如此，如果在接下來的幾個月裡，我沒有透過記錄所有的按鍵並頻繁截取螢幕截圖來壓榨出一些真正的價值，我會感到驚訝。這很難說是對功能集的完整描述；還有很多繁瑣的細節^([11])。重點是：每當你想到「噢，那可能很有用，但前提是它也能捕捉到 [x]」時，現在構建和擴展軟體的成本已經變低了，而且存儲空間相對充裕。我認為如果你希望保持實時查詢的能力，大規模存儲字面意義上 100% 開啟的設備螢幕錄影可能成本不菲，但幾乎所有其他內容都應該在典型消費者軟體訂閱的承受範圍內。

有很多原因可能導致這在實踐中難以執行。也許你在一家對你安裝什麼軟體有意見的機構工作。也許你正在從事證券詐欺，想避免出現在 Matt Levine 的電子報中。也許你生活在一個高壓的威權政權下。

但幾週前，我花了一個小時與 Habryka 討論關於這款軟體的一些技術考量。然後我們將帶有註釋的轉錄稿丟進他當時使用的任何編碼工具中，要求它從中推導出計劃，這比手動輸入要快得多，也準確得多。

未來已至！行動要快！別打破太多東西！

• ^(^)而且對他人也更有用。來自 patio11 的例子：一、二。

• ^(^)或者你做了，但事實證明那些方法遭受了足夠的信息損失，不足以唯一地識別「你」，而你的公開寫作補償了這一點，因為公開寫作比非公開寫作更有可能被保存到未來。這種特定的組合在我看來不太可能，但我還沒有非常深入地思考過。

• ^(^)而且這實際上可能很糟。

• ^(^)為了論證而虛構的數字。

• ^(^)優於它可能從低質量訓練數據源中學到的那些「技能」的較差版本。

• ^(^)gwern：

非虛構作品：我強烈懷疑 LLM 受非虛構作品的影響遠大於虛構作品（按標記數量計算）。

• ^(^)要麼是實驗室過濾訓練數據，要麼是模型本身，如果它們訓練的數據標註了發布日期。

• ^(^)我認為這個論點確實可以擴展到更簡單的「記錄一切」，但社會和法律的配套措施還不完善。

• ^(^)原則上並不矛盾，但許多自由意志主義者非常有隱私意識，不願自願安裝一個可能被政府公開或秘密利用的額外攻擊面。

• ^(^)一個風險是 LLM 可能很快就能針對整個人群目標實現大規模的網絡攻擊——在這個世界裡，你是一個比其他人稍微更有吸引力的目標。（在當前世界，風險實際上可能更糟：入侵中心化「數據採集」服務的相對回報要高得多，因為獨立地對每個人的個人數據進行砸搶是不切實際的。）還有一些更無聊的風險，比如「糟糕，我不小心記錄了自己犯罪的證據，而政府現在可以獲取這些證據」，這主要在以下情況是個問題：1) 你是個罪犯，或者 2) 政府對個人的迫害變得嚴重得多。對我來說，這似乎不太可能成為一個巨大的缺點，但見仁見智。

• ^(^)例如，要排除什麼。

參與討論