當賭注最高時，品質最為關鍵

或者說，世界末日並非工作馬虎的藉口

九歲那年的一個早晨，我爸把我叫到他的電腦前。他想向我展示一位了不起的韓國科學家，這位科學家成功複製了幹細胞，並正在研發讓脊髓損傷患者——像我爸這樣的人——能再次用雙腿行走的方法。

我不記得他接下來具體說了什麼，也不記得我回了什麼。我只隱約記得當時我也很興奮，而且當我得知美國禁止這類研究時，感到非常沮喪。

不幸的是，他的研究並沒有成功。那樣的療法從未出現。我爸現在依然拄著拐杖走路。

多年後，我才得知那位科學家黃禹錫已被揭發造假。

---

2004 年，黃禹錫在《科學》（Science）雜誌上發表了一篇論文，聲稱他的團隊複製了人類胚胎並從中提取了幹細胞（這是人類史上首次達成此舉）。一年後的 2005 年，他發表了第二篇論文，聲稱他們成功將這一壯舉重複了「另外 11 次」，為 1 型糖尿病、先天性低丙種球蛋白血症（一種罕見的免疫系統疾病）以及脊髓損傷患者培育了 11 個患者特異性幹細胞株。如果這是真的，這項結果本可以幫助我父親。

這一切都不是真的。2004 年的細胞株確實存在，但並非複製而來；調查人員得出結論，那是一個自發開始分裂的未受精卵。2005 年的細胞株則根本不存在；調查人員後來發現，報告中所有 11 個細胞株的數據都是由僅僅兩個樣本偽造而成的，而且這兩個樣本的 DNA 與聲稱來源的患者並不匹配。

---

我爸並不是唯一一個被黃禹錫給予希望的人。2005 年 7 月 31 日，黃禹錫出現在一個韓國電視節目中。當時舞蹈組合 Clon 剛表演完；其中一名成員姜元來在五年前的一場摩托車事故中下半身癱瘓，他坐在輪椅上完成了表演。黃禹錫走上舞台，眼含淚水對全國觀眾說，他希望「有一天姜元來能像過去一樣站起來，展現華麗的舞姿」——而那一天即將到來。他也對其他患者及其家屬做出了類似的承諾。

---

我不認為黃禹錫是一個為了國際聲譽而存心造假的怪物。我認為他是一位有真才實學、曾取得真實成果的科學家。（他實驗室的一些複製動物幾乎可以肯定是真的複製體，包括世界上第一隻複製狗 Snuppy。）但隨著時間推移，他反覆選擇了那些他認為是唯一出路的路徑。

2004 年的那篇論文最初可能只是一個真實的錯誤；他的團隊可能真的以為那個孤雌生殖的卵子是一個複製體。但到了 2005 年，在舉國關注、諾貝爾獎近在咫尺、且有一位癱瘓的流行明星在電視直播中注視著他的情況下，他無法讓自己說出任何版本「事實上，我們現在還做不到」這樣的話。所以他沒說。

黃禹錫墮落的開端最令我印象深刻。他起初是一位優秀的科學家，擁有良好的研究成果和重要的研究領域。但在數千萬美元的資助、成千上萬崇拜他的粉絲，以及那些充滿希望的患者及其家屬寫給他的信件面前，黃禹錫可能感受到了全世界的重量都壓在肩上。為了不讓他們失望，他必須做他「不得不做」的事。

---

我在 AI 安全領域工作。我身邊的許多同事都相信（我也相信），未來十年將在很大程度上決定人類是否以及如何度過這個世紀。其賭注在字面上是天文數字級別的，且關乎生存，而時間線可能非常短暫。

這就是我們承擔的重量。我擔心當面臨關鍵時刻時，為了不讓其他人失望，我們的科學標準會下滑（或正在下滑）。

例如，直接接受 Claude 寫的程式碼而不仔細閱讀，難道不是正確的選擇嗎？我們剩下的時間不多了，我們需要弄清楚如何進行可解釋性研究、監控，或者如何讓模型與人格特質對齊等等。

為什麼要深究你看到的新結果中那一絲令人困惑之處？既然賭注如此之高，向前推進肯定比質疑我們的每一個假設更重要吧？

當你的可解釋性工具似乎能產生合理的結果，並讓你引導模型產生其他看似合理的結果時，為什麼要質疑這些工具？當模型發布的截止日期即將到來，而評估設置本就以繁瑣且多臭蟲（buggy）著稱時，為什麼要標記出那個結果有些可疑的失敗評估運行？如果簡化論文結果中的一些細微差別能讓它接觸到更廣大的受眾，為什麼不這樣做呢？

我擔心，正因為賭注如此之高，我們很容易受到誘惑去選擇權宜之計，並放任標準下滑。但恰恰是因為賭注如此之高，涉及到所有會受結果影響的真實的人，我們才更需要保持警惕。

是的，時間線可能很短，我們可能沒有時間完成所有想做的研究。但出差錯並產生誤導性或錯誤的研究只會帶來傷害，而非幫助。如果我們需要說「事實上，我們現在還做不到」，那我們就應該如實說出來。

參與討論