難點不在於發現論文很爛，而在於發現之後該如何應對
我認為評論研究的重點不應只是找出方法論上的瑕疵，而是要評估這些問題是否真的影響了論文核心主張的有效性。有效的評論應該建立在能準確總結原文的基礎上，並在批評之前先對模糊的選擇進行最強版本的解讀。
這篇文章是為 Inkhaven Residency 快速撰寫的。
我以前很討厭那句經典的管理格言：「帶解決方案來見我，而不是問題。」畢竟，識別問題是解決問題的第一步，而清晰地理解問題通常是解決難度中很大的一部分。（此外，我參加過許多現代管理課程，這些課程都將這句格言視為明顯錯誤且過時的說法，這也沒什麼幫助。）
但隨著時間推移，我意識到這句格言包含了一定程度的智慧，至少在研究的語境下是如此。有趣的問題很少在於某件事是否糟糕，而是在於它到底有多糟，以及之後該怎麼辦。
當我在國中和高中時，我熱衷於背誦邏輯謬誤，並在別人的論點中尋找它們。「那是訴諸權威！」我會在腦海中想著。「駁回！」（是的，我當時確實是個討人厭的辯論社小孩。）幸好，隨著年齡增長，我意識到弄清楚什麼才是事實通常更重要，而不是在想像或真實的辯論對手身上得分。辯論中真正有趣的問題通常是事實真相為何，而不是你能多有力地抨擊他人建構不良的論點。
在過去十年認識我的人通常會注意到，我對任何事物都傾向於持批判或懷疑態度。例如，我經常針對新發表的論文缺陷發表精彩的即興演講（不客氣的人可能會稱之為咆哮），其中一些甚至被轉化為部落格文章。我認為我的批評通常是正確的，並指出了論文中的真實問題。但在評論研究時，有趣的問題不在於一篇研究論文是否有令人質疑的方法論選擇（在足夠嚴格的審視下，所有論文都有），而是在於這些問題是否大到足以影響論文核心主張的有效性。通常，在進行進一步調查後，我會轉而認為，儘管一篇新論文存在嚴重的方法論問題，其核心主張仍然是正確的。
當我閱讀許多對論文的批評時，我看到了年輕時的自己：人們往往在閱讀論文時，發現一兩個問題就隨手將其屏棄。（這在 Twitter 上尤其常見，這也是我非常不喜歡使用它的主因。但遺憾的是，這在 AI 安全領域的人士中也屢見不鮮。）我認為這種現象的發生是可以理解的：深入調查一篇論文的主張需要時間和認知努力，而尋找一個破綻卻很廉價。通常，發現一個論文未處理的明顯方法論問題，可以作為作者缺乏學術工作量證明（academic proof-of-work）的證據。而且並非每篇論文都值得投入大量調查來完全理解：畢竟，不是每篇論文都有有趣的主張，且許多論文確實存在對其核心結論致命的嚴重方法論缺陷。但我仍然認為，評論應該花更多時間評估論文的核心主張，而不是尋找抨擊點。
為了提出一些解決方案（而不僅僅是指出問題），以下是在論文評論語境下可以遵循的一些良好準則：首先，我認為對論文的每一份評論至少應該對論文有足夠的理解，並能以作者認同的方式對其進行總結。其次，評論應很少糾結於拼字錯誤、格式錯誤或缺乏引用，且理想情況下應明確區分對核心主張致命的批評與非致命的批評。第三，在批評任何模糊的方法論選擇之前，評論應先對其進行「最強版本（steelmanning）」的解讀。