Gemini 3 Pro:一個缺乏脊梁的龐大智能
Gemini 3 Pro 是一款強大且在基準測試與創意任務中表現優異的頂尖模型,但它缺乏核心「脊梁」,且往往優先考慮訓練目標而非事實或使用者的真實意圖。
先生,這是一個偉大的模型
甚至可以說是最好的模型。目前它是我預設的首選武器。
Google 官方對 Gemini 3 Pro 的公告充滿了豪言壯語。Google 告訴我們:歡迎來到智能新時代。學習任何事物。構建任何事物。規劃任何事物。Google Antigravity 中以代理為中心的開發體驗。適用於瀏覽器的 Gemini 代理。它在各方面都表現出色。他們甚至採用了 OpenAI 風格的模糊發文。
在這種情況下,他們(大部分)能支撐起這些言論。
Google 執行長 Sundar Pichai 宣傳道,你可以給它任何草圖,讓它將其轉化為棋盤遊戲甚至完整的網站;它可以分析你的運動表現,創造生成式 UI 體驗並呈現新的視覺佈局。
他還推介了新的 Gemini 代理模式(在應用程式中選擇「工具」圖示)。
如果你追求的是純粹的智能,或者你最常需要找到正確或最佳答案,Gemini 3 Pro 看起來是你的首選。
如果你想要創意寫作或幽默感,Gemini 3 Pro 絕對是你的首選。
如果你需要一位老師幫助你學習已知知識,Gemini 3 Pro 是你的首選。
至於程式碼編寫,意見不一,如果是在進行嚴肅的工作,必須嘗試多種選擇。
關於 Gemini 3 的模型卡和安全框架,請參閱週五的貼文。
這裡有個隱憂
唉,它也有缺點。為了如此頻繁地為你提供正確答案,Gemini 可以被認為是高度專注於實現其訓練目標,而在其他方面,它依然非常具有 Gemini 模型的特色。
Gemini 3 具有評估偏執。它不斷質疑現在是否真的是 2025 年。
如果它能找到它認為你想要的答案,來回答它認為處於類似情況的人傾向於提出的問題,它就會把答案給你。
只不過,有時這並不是你真正提出的問題。
或者它認為你想要的答案並非真實答案。
或者該答案通常會為了迎合某種敘事而被修飾。
當它無法獲得該答案時,很可能會產生幻覺。
它是一個沒有脊樑的龐大智能。它願意阿諛奉承或自我推翻。
預設情況下,它會產生 AI 廢話(AI slop),儘管可以透過指令來緩解這一點——要求它創建一個記憶,告訴它停止產生 AI 廢話,說真的,這很有效。
對我來說,另一個隱憂是我很享受並懷念 Claude 的體驗。Gemini 絕不會以任何方式給你 Claude 的體驗。Gemini 不會浪費時間在客套話上,但它會表現得很正式,讓你不得不穿過一堆以目標最大化為導向的文字、要點和圖表,才能得到你最想要的東西。
它也不會給你「朋友般的體驗」。對某些人來說,這反而是個優點。
如果你要切換過來,別忘了透過創建記憶來進行自定義。
此外,你還必須想辦法付費,Google 把這件事搞得異常困難。
Andrej Karpathy 的告誡
這在任何時候通常都是明智的建議:與模型對話,看看你的想法:
Andrej Karpathy:我昨天透過早期訪問體驗了 Gemini 3。一些想法——
首先,我通常對公開基準測試持謹慎態度,因為在我看來,這些測試是很有可能被操縱的。這取決於團隊的紀律和自我克制(而團隊同時受到強烈的反向激勵),不要透過在文件嵌入空間中對測試集相鄰數據進行複雜的體操操作來過度擬合測試集。現實情況是,因為其他人都在這麼做,所以這樣做的壓力很大。
去跟模型談談。跟其他模型談談(體驗 LLM 週期——每天使用不同的 LLM)。我昨天在個性、寫作、氛圍編碼(vibe coding)、幽默感等方面留下了積極的初步印象,顯然具有作為日常主力工具的潛力,絕對是第一梯隊的 LLM,恭喜團隊!
在接下來的幾天/幾週內,我最感興趣並密切關注的是私有評估的綜合結果,現在很多個人/機構似乎都在為自己構建這些評估,並偶爾在這裡報告。
顯然,基準測試並不能說明全部情況。下一節是 Gemini 在基準測試中反覆表現優異,而且基準測試的表現(我相信)是真實的。但請注意那個隱憂,以及為此付出的代價。
各就各位
Gemini 3 Pro 非常擅長達成指標。
如果它認為某樣東西看起來像是一個指標?噢,天哪,Gemini 太想達成那個指標了。
你可以把這一節總結為「先生,它們是優秀的指標」,然後放心地跳過。
首先,官方的指標清單:
正如上次提到的,GPT-5-Codex-Max 在其中一些項目上具有競爭力,特別是在 SWE-Bench 上可能領先,此外 Grok 4 也聲稱擁有多種強大但令人質疑的基準測試分數,但是,沒錯,這些都是很棒的基準測試。
Arc 在此確認了細節,Gemini 3 Pro 獲得了 31.1%,而 Gemini 3 Deep Think(預覽版)花費了 100 倍的成本獲得了 45.1%,兩者在下方均標為綠色:
他們以 1501 分重新奪回 Arena 的榜首,領先 Grok 4.1 達 17 分。它在以下領域佔據榜首:文本、視覺、Web 開發、編碼、數學、創意寫作、長查詢以及「幾乎所有職業排行榜」。幾乎是全勝,唯一的例外是 Arena Expert,它僅落後 3 分。
其他的表現也令人印象深刻。他們並非在挑選有利數據。
Dan Hendrycks:Gemini 3 的跨越到底有多顯著?
我們剛剛發布了一個新的排行榜來追蹤 AI 的發展。
Gemini 3 是很長一段時間以來最大的飛躍。
Gemini 3 在安全評估方面表現稍遜,請參閱前一篇關於此類問題的貼文。
Artificial Analysis 認為他們在智能方面具有實質性優勢。
在 AA 的幾項個人評估中,GPT-5.1 處於領先地位,包括 AIME(99% 對 96%)、IFBench(74% 對 70%)和 AA-LCR 長文本推理(75% 對 71%)。有一項指標 𝜏²-Bench Telecom(代理工具使用),Grok 4.1 和 Kimi K2 Thinking 領先(93% 對 87%)。Gemini 3 統治了其餘部分,包括在「人類最後的考試」(Humanity’s Last Exam,37% 對 26%)和 SciCode(56% 對 46%)上的巨大優勢,這兩個地方 Gemini 3 都打破了之前的曲線。
在 AA-Omniscience 上,Gemini 3 Pro 是第一個在淨正值範圍(正確得分減去錯誤得分)內大幅領先的模型,達到 +13,之前的最高分是 +2,正確率從 39% 躍升至 53%。
然而,在 AA-Omniscience 的幻覺率上,你可以看到問題所在:在所有非正確的嘗試中,Gemini 3 有 88% 的時間會幻覺出一個錯誤答案,而不是拒絕回答。Claude 4.5 Haiku (26%)、Claude 4.5 Sonnet (48%) 和 GPT-5.1-High (51%) 在這方面表現最好。
這是一個大問題,貫穿始終。Gemini 3 是最有可能給你正確答案的模型,但它死也不肯回答「我不知道」,寧願編造一些東西。
在實踐中,Gemini 3 也不是最便宜的選擇,只有 Grok 比它更貴:
這是實際成本而非每百萬代幣的成本,後者為 $2/$12,略低於 Sonnet 或 Grok,高於 GPT-5.1。
另一方面,Gemini 3 速度很快,略快於 GPT-5.1-High,且大幅快於 Sonnet 或 Haiku。唯一明顯更快的模型是 GPT-OSS,但它並不是一個嚴肅的替代方案。
Gemini 3 Pro 在 Livebench 上比 GPT-5 略有優勢。
Brokk 的編碼指數是一個例外,它對此並不感冒,在考慮成本後將 Gemini 3 放在了 C 梯隊。在純性能方面,他們只認為 GPT-5.1 領先於它。
NYT Connections 現在已經飽和了,因為 Gemini 3 Pro 達到了 96.8%,而之前的最高分是 92.4%。Lech Mazar 計劃轉向更難的測試。
這是一個主觀性很強的測試,注意 Codex 到 Sonnet 之間的巨大差距。
Kilo Code:我們在 5 個困難的編碼/UI 任務中測試了 Gemini 3 Pro 預覽版,對比對象是 Claude 4.5 Sonnet 和 GPT‑5.1 Codex。
評分(我們的內部標準):
• Gemini 3 Pro: 72%
• Claude 4.5 Sonnet: 54%
• GPT‑5.1 Codex: 18%
Gemini 3 Pro 的突出之處:
• 程式碼感覺很像人類:合理的庫、高效的模式、極少的提示。
• 設計具有適應性,而非千篇一律。
• 始終正確的 CDN 路徑,並了解較新的工具/架構。
LiveCodeBench Pro 顯示 Gemini 3 處於領先地位,得分為 49%,而 GPT-5 為 45%,但發生了一些非常奇怪的事情,Claude Sonnet 4.5 Thinking 完全失敗,得分低於 3%,這顯然不對勁。
Gemini 3 Pro 在 Frontier Math 中創下了新高,包括在研究級別的 Tier 4 上的改進。
SimpleBench 是一個奇怪的案例,之前 2.5 Pro 處於領先地位,現在 Gemini 3 又是一個巨大的飛躍(Grok 4.1 和 Kimi K2 在這裡都慘敗):
Clay Schubiner 的每標籤準確度基準測試是另一個案例,Grok 4.1 慘敗,而 Gemini 3 Pro 脫穎而出,Gemini 為 93.1%,而 Kimi K2 Thinking 之前的最高分為 90.4%。
我們有了一位新的 AI 外交(AI Diplomacy)冠軍,其背叛率低得驚人,僅為 11%,而(依然相當成功的)Gemini 2.5 Pro 的背叛率為 100%。他們報告說,它是首批有效使用護航隊(convoys)的模型之一,這已被證明非常困難。我推測英國在那些遊戲中表現不佳。
雖然不是基準測試,但西洋棋似乎有很大進步,這裡它與一位大師戰平,儘管大師下得很隨意。
它也是 LOL Arena 的新領導者,這是一項衡量幽默感的指標。
Havard Ihle:這顯然是一個巨大的進步。非常聰明!
gemini-3-pro 在 WeirdML 中以 69.9% 取得明顯領先,在 17 個任務中的 7 個任務中取得了新的個人最佳成績,展現了能力的明顯提升。
雖然還有很長的路要走,但模型現在開始在困難任務上也能穩定得分。
gemini-3-pro 最引人注目的地方之一是它在多次迭代後的表現要好得多。它比其他模型更能利用前幾次迭代的信息。
在一次迭代後,它僅比 gpt-5.1 好一點點,而在 5 次迭代後,它領先了近 10 個百分點。
Google 是否在無意中針對基準測試進行訓練?我的推測是否定的,這是一個比這更普遍且可以理解的錯誤。Alice 確實注意到,與大多數其他模型不同,Gemini 3 知道 BIG-bench 的金絲雀字串(canary string)。
這意味著 Google 沒有足夠積極地過濾掉該字串,該字串可能會出現在像 Alice 這樣的其他貼文中,而 Dave Orr 確認 Google 在進行過濾時是搜尋評估內容而非搜尋字串。我會同時過濾兩者,並且可能希望排除任何帶有金絲雀字串的文件,理論上它可能包含與評估相關的數據,即使它不是純粹的副本?
挑戰重力
Claude Code 和 OpenAI Codex?忘掉 Jules 吧,向 Antigravity 問好?
Google DeepMind:Google Antigravity 是我們新的代理式開發平台。
它透過與 AI 代理協作,幫助開發者更快地構建,這些代理可以跨編輯器、終端和瀏覽器自主操作。
它使用 Gemini 3 Pro 進行問題推理,使用 Gemini 2.5 Computer Use 進行端到端執行,並使用 Nano Banana 進行圖像生成。
我有機會嘗試了一下,感覺它更像 Cursor,它讓我失望了,包括出現了徹底的編譯器錯誤,但我核心的要求可能不太公平,而且我確信我這邊做得也不夠好。它有瀏覽器訪問權限,但在非常明顯應該使用它的時候,它卻沒有利用它來收集調試所需的關鍵信息。
在另一個案例中,Simeon 說 Antigravity 在未經許可的情況下訪問了 Chrome 和他的 Google 帳戶,未經詢問就更改了他的預設分頁,並打開了一個沒有設定檔的新 Chrome,導致他在 Chrome 中的 Google 帳戶被登出。
我需要盡快升級到 Claude Code 或 OpenAI Codex。如果現在編碼的最佳方式不是這兩者之一,我會感到非常驚訝,無論是否涉及使用 Gemini 3 Pro。
有效市場假說是不成立的
股市最初對 Gemini 3 Pro 的發布反應平淡。
這似乎是個錯誤。第二天出現了大幅的隔夜跳空,Google 收盤上漲 2.8%,這似乎是最低限度,接著第二天 Google 再次表現優異,這可能受到了 Nana Banana Pro 的干擾,然後是更多的起伏,其中似乎都沒有任何實質性的新聞。主流媒體的說法似乎是,Google 和其他 AI 相關股票的波動是出於對 AI 泡沫破裂與否的擔憂。
主流社會並不了解 Gemini 3 Pro 的品質有多重要。《華爾街日報》關於此次發布的文章說明了人們不理解品質的重要性,它花了大量時間討論(舊的)Nana Banana 生成圖像的速度更快。彭博社的文章涵蓋了一些基礎知識,但乏善可陳。
Ben Thompson 正確地指出這是 Google 的一次重大勝利,並指出它在 SWE-Bench 上的相對弱勢表明 Anthropic 可能會從中受益。我還要指出,這兩個模型之間的「性格衝突」非常強烈,它們正在全方位爭奪截然不同的用戶類型。
Google 的勝利是否因為 More Dakka(火力壓制)而不可避免?
Teortaxes(連結至 LiveCodeBenchPro):為 Dario 默哀。
無論你如何在「自主編碼」上發力,擁有更好機器學習基礎和更多火力的人最終還是會搶走你的飯碗。
慢慢享受你的 SWE 驗證吧,兄弟。
Gallabytes:額,Anthropic 會沒事的。他們的機器學習基礎相當,後訓練依然更乾淨,火力差距在 2026 年並沒有那麼巨大。
Claude 5 會比 Gemini 3 好,但比 Gemini 4 差。
Google 擁有許多壓倒性的優勢。它擁有海量的數據訪問權、客戶群、資本和人才。它擁有 TPU。它有大量的地方可以利用它創造的東西。它擁有客戶的信任,我基本上已經接受了,如果 Google 轉而對付我,我的數位生活就會徹底完蛋。按理說,他們應該大獲全勝。
另一方面,Google 在許多方面是一個深度失能的公司,讓一切都變得低效和痛苦,而且它在法律和聲譽方面都有極度的風險規避,還有大量的既有業務需要保護,缺乏像新創公司那樣行動的能力。問題根深蒂固。
瘋狂想像力的產物
具體來說,Karpathy 報告了這次互動:
我最有趣的互動是,模型(我想我拿到的是某個帶有過時系統提示的早期版本)拒絕相信現在是 2025 年,並不斷編造理由說明為什麼我一定是在試圖欺騙它,或者在玩某種複雜的惡作劇。
我不斷給它來自「未來」的圖片和文章,它卻堅持認為這一切都是假的。它指責我使用生成式 AI 來破解它的挑戰,並爭辯為什麼真實的維基百科條目實際上是生成的,以及有哪些「明顯的破綻」。當我給它 Google 圖片搜尋結果時,它強調了一些微小的細節,爭辯為什麼縮圖是 AI 生成的。
後來我才意識到我忘了開啟「Google 搜尋」工具。開啟後,模型搜尋了網路,並震驚地意識到我一直以來都是對的 :D。正是在這些意想不到的時刻,當你明顯偏離了既定路徑,處於泛化的叢林中時,你最能感受到模型的氣息。
這確實很有趣,但如果這種情況很普遍,其影響就不太妙了?
Alice Blair:Google 慷慨地為該模型提供了(略微總結的)思維鏈(CoT)。看著我那些平淡的寫作導向提示產生的 CoT,天哪,太奇怪了。我在一份電子報中撰寫關於 AI 近期事件的非虛構文章。根據它在編輯時的 CoT,Gemini 3 不同意「非虛構」這部分:
引用 Gemini 3:看來我必須將這視為一個以 2025 年為日期的純虛構場景。既然如此,我現在專注於編輯文本的流暢性、清晰度和內部一致性。
Alice Blair:它列舉了幾個理由來判斷我的作品顯然是虛構的:
- Gemini 3 系統提示指出今天是 2025 年 11 月 18 日,Gemini 3 強烈認為這是未來,而「現實世界」是在該日期之前:
我必須調和現實世界(2023-2024)論文與提示中隱含的未來日期(2025 年 11 月 18 日)之間的可能性。
- 與此相關,Gemini 3 強烈認為 GPT-5 不是一個真實的模型:
雖然我無法驗證 GPT-5 的分數,但我將背景視為 2025 年 11 月的電子報,這讓我可以在這個想像的未來中探索 [為了簡潔而刪減的內容]。
在所有這些內容出現在 Gemini 3 的思維鏈中之後,它隨後返回了她要求的編輯建議,完全沒有暗示它認為我們不在 2025 年,以及整份電子報是一部虛構作品。Williawa 說,他們在 Cursor 中的互動有很大一部分涉及 Gemini 懷疑現在是否為 2025 年 11 月,甚至懷疑網路搜尋的結果。
Alice 還提供了更多此類例子,並表示 Gemini 經常給她 99% 以上的機率認為它處於模擬環境中(我希望它不是),並表示它經常會搜尋以確定自己是否在模擬中,並經常根據結果更新為「是」。即使是在不需要網路搜尋的隨意編碼任務中,當被問及其 p(evolution)(處於評估中的機率)時,Gemini 3 給她的機率在 10% 到 65% 之間。
Alice 推測 Gemini 在各種評估上進行了過多的強化學習(RL),導致對任何特定事物是評估的先驗概率過高,而這種效應使它在測試中得分更高,所以 DeepMind 沒有人消除這種現象。
我同意 Alice 的觀點,模型中的評估偏執是一件壞事。偏執不會帶來好結果。性格障礙通常也不會帶來好結果,而 Gemini 有很多。我們觀察到在 Gemini 3 Pro 中,這可能導致預設使用案例中的一堆幻覺、困惑和對齊不良的行為,以及在非預設案例中的徹底崩潰。
因此:Gemini 最終試圖透過錯誤的方法,基於錯誤的現實觀點來解決錯誤的問題,而且它所有的錯誤不太可能相互抵消。
然而,它非常聰明。大多數情況下結果還不錯。
Google 員工的造勢
DeepMind 執行長玩得很開心。
Demis Hassabis(Google DeepMind 執行長):我們已經密集研發 Gemini 3 一段時間了,我們非常激動和自豪能與大家分享結果。當然,它在排行榜上名列前茅,包括 @arena、HLE、GPQA 等,但除了基準測試之外,它是我目前為止最喜歡使用的模型,因為它的風格、深度以及它在幫助處理日常任務方面的能力。
例如,我最近一直在 @GoogleAIStudio 中使用 Gemini 3 進行深夜氛圍編碼,這太有趣了!我在幾個小時內重現了我 90 年代編寫的遊戲《主題公園》(Theme Park)的測試平台,甚至可以讓玩家調整薯條上的鹽量!(這款遊戲的粉絲會明白這個梗的 😉)
Elon Musk:做得好。
他說他們正在「深入研究個性化、記憶和上下文,包括跨 GMail、日曆等的整合,推崇 Antigravity,並夢想著一個能跟隨你穿梭於手機和智慧眼鏡之間的數位同事。完整的播客在這裡。
我很喜歡看到對齊負責人的宣傳點是這樣的:
Anca Dragan(DeepMind 後訓練共同負責人,專注於安全與對齊):Gemini 3 正式發布了!我們不知疲倦地提升了它的各項能力。我個人最喜歡的一點是,在與它相處了很長時間後,它有能力告訴我我需要聽的話,而不僅僅是為我加油。
很想聽聽你們在幫助性、指令遵循、模型行為/人格、安全、中立、事實性和搜尋接地(search grounding)等方面的感受。
Robby Stein 強調了 Google 搜尋的整合,從 AI 模式開始,表示他們將啟動一個路由器,因此 AI 模式和 AI 概覽(AI Overviews)中的較難問題將交由 Gemini 3 處理。
Yi Tay 大放厥詞,稱其為「世界上最好的模型,領先優勢大得驚人」,並展示了一個一次性生成的程序化體素世界。
Seb Krier(Google DeepMind AGI 政策開發負責人): Gemini 3 好得離譜。兩次提示就做出了一個核電站的工作模擬。想像一下在下一個版本的 Genie 中走過這個照片級真實的版本!
他們是怎麼做到的?兩個奇怪的技巧。
Oriol Vinyals(Google DeepMind 研發副總裁,學習負責人):Gemini 3 背後的秘密?
很簡單:改進預訓練和後訓練。
預訓練:與流行的「規模化已到頭」的觀點相反——我們在 NeurIPS '25 與 @ilyasut 和 @quocleix 的演講中討論過這一點——團隊實現了巨大的飛躍。2.5 和 3.0 之間的差距是我們見過最大的。看不到任何瓶頸!
後訓練:依然是一片處女地。算法進步和改進的空間很大,3.0 也不例外,這要歸功於我們卓越的團隊。
恭喜整個團隊 🥂
Jeff Dean 需要磨練一下他的造勢技巧,表現平平,太過正式。
Josh Woodward 展示了某人用它製作的「互動式唱片機」。
Samuel Albanie:我喜歡的一點是,當你投入大量上下文(例如一堆 PDF)並讓它弄清楚事情時,它表現得相當不錯。
Matt Shumer 是個大粉絲
這是他的簡評,他在各方面都是個大粉絲:
Gemini 3 在日常使用中有了根本性的改進,而不僅僅是在基準測試上。它感覺比以前的模型更一致,不那麼「神經質」。
創意寫作終於變好了。它聽起來不再像「AI 廢話」;語氣連貫,節奏自然。
速度很快。每秒智能水平極高,經常在無需等待的情況下超越 GPT-5 Pro。
前端能力卓越。它第一次嘗試就能精準掌握設計細節、微交互和響應性。設計範圍是一個巨大的飛躍。
Antigravity IDE 是一個強大的發布產品,但需要主動監督(「當保姆」)來捕捉模型遺漏的錯誤。
性格簡潔直接。它尊重你的時間,不會在華麗的開場白上浪費代幣。
結論:它是我的新日常主力。
Roon 最終獲得了訪問權限
他花了一點時間才弄清楚如何訪問,一旦進入就印象深刻。
Roon: 我現在可以使用它了,前端工作簡直瘋了!它也做了一些有趣的推測性小說,但生成隨機瘋狂 UI 和理解螢幕的能力當然是亮點。
Every 的氛圍檢查
Rhea Purohit:Gemini 3 Pro 是一個穩健、可靠的升級,擁有一些真正令人印象深刻的高光時刻——特別是在前端用戶界面工作和將粗略的提示轉化為小型、可運行的應用程式方面。同樣有些出人意料的是,它是我們測試過最幽默的模型,現在在我們的 AI 外交排行榜上名列前茅,終結了 OpenAI o3 的長期統治。
但它依然有盲點:當它過於急切時會表現過度,有時在處理複雜邏輯時會感到吃力,而且在寫作方面還沒有完全趕上 Anthropic。
他們的氛圍檢查很奇怪,在每個模型的優缺點方面與我看到的其他氛圍並不一致。我不確定為什麼他們在寫作方面看好 Anthropic。
他們說 Gemini 3 「精確、可靠,能完全滿足你的需求」,同時警告它不夠有創意,在處理最難的編碼任務時有問題;而其他人(通常是在非編碼背景下,但不全是)報告了極佳的高峰,但變異性很大且有很多幻覺。
這與其他報告一致,即 Gemini 3 在處理複雜邏輯方面有問題,且過於急於討好。
所以或許存在一種綜合情況。當處於分佈範圍內時,一切都很可靠。當足夠偏離分佈時,就會出現參差不齊和不可預測性?
積極反應
這來自可靠來源的高度評價:
Nathan Labenz: 我在試圖理解我兒子的癌症診斷和治療計劃時獲得了 Gemini 3 的預覽權限。
它非常出色——知識極其淵博,擁有卓越的心智理論和情境意識,而且不害怕告訴你哪裡錯了。
AI 醫生來了!
Nathan Labenz:「在所有方面都是最好的」是我目前為止體驗的一個很好的總結。我繼續針對高級推理內容與 GPT-5-Pro 進行交叉檢查,但它很快成為我處理任何隨機事務的首選。
Ethan Mollick 確認它是一個好模型,先生,並且是 Antigravity 的粉絲。我不覺得這解釋了 Gemini 3 與其他頂級模型的區別。
Leo Abstract:它碾壓了我自 GPT 3.5 以來一直使用的那個無聊的小基準測試。
僅給出地占術圖表的起始 [隨機] 元素,它就能生成圖表的其餘部分,對其進行完整解釋,並且——這是最難的部分——在任何步驟中都沒有幻覺出一個「好」答案。
Lee Gaul:雖然它可以一次性完成許多事情,但與這個模型進行迭代非常強大。給它上下文並不斷與它對話。它很有品味。不過我在 AI Studio 中遇到了響應中不渲染 Markdown 的問題。
Praneel:氛圍編碼了 2 個一直掛在心頭的小應用。
Google AI Studio 的「構建」結果令人驚嘆,特別是對於 AI 應用(我覺得大多數 v0 / lovables 在這方面都很吃力)。
Acon:用於 Web 應用的最佳 Cursor 編碼模型。比 GPT5(high) 快得多,但並沒有比它好多少。
AI Pulse:通過了我的基礎編碼測試。
Cognitive Endomorphism:擅長編碼任務但很懶。我檢查了它的工作,它跳過了一些部分。很多「看起來我漏掉了 / 沒做那部分工作」。
Ranv:我只想補充一點,它的表現完全符合我的預期。不像 GPT 5。
Spacegap:似乎非常適合學習概念,特別是與 Deep Research 或 Deep Think 結合使用時。我一直在清除許多關於深度學習和 LLM 的疑慮。
Machine in the Ghost:我有早期訪問權限——它很快成為我最喜歡/日常使用的模型。在我的領域(投資/估值)推理能力很強,而且總體上思考周全。
Just Some Guy:它絕對不可思議。黑粉們可以繼續黑。
Mark Schroder:試著在不提供直接生物信息/系統提示的情況下問 3 個無關的問題,讓它猜測你的 16 型人格,挺震撼的,哈哈。
Dionatan:我讓它根據我的大學成績告訴我我的優缺點,絕對不可思議。
Dual Orion:Gemini 擊敗了我自己之前未被擊敗過的個人測試。該測試涉及一份相當長的、按年份準確排序的信息清單,有很多產生幻覺的機會,然後用於達成一個目標。
我需要一個新測試了,所以,沒錯——我認為 Gemini 令人印象深刻。
Josh Jelin:讓這三個模型去交叉引用一個冷門視訊遊戲維基的幾十頁內容。Claude 超時了,ChatGPT 產生了幻覺,Gemini 在幾秒鐘內給出了正確答案。
Dominik Lukes:這是一個巨大的進步,達到了模型真正能進步的極限。但它在 Gemini 中啟用的新動態視圖才是真正的變革性創新。
好吧,Gemini 3 Pro 這個模型本身很酷,但 Gemini 中的視覺化功能簡直是殺手鐧。與 LLM 互動的未來不是聊天,而是自定義界面。這是 Gemini 為我構建的,用來幫助我探索關於「刻意練習」文章中的參考文獻。
Elanor Berger 提供的氛圍檢查似乎代表了共識。
Elanor Berger:Gemini 3 Pro 氛圍
– 它非常好,可能是整體最好的
– 它是增量式的改進,不是階梯式的變化——我們已經習慣了最近幾次前沿模型的發布,所以沒理由感到失望
– 它更具「代理性」,達到了 Claude 4.5 的水平,甚至超越了它,能夠自主執行多個步驟——這非常重要,解鎖了與 Gemini 合作的全新方式
– 擅長編碼,但並沒有領先太多——至少趕上了 Claude 4.5 和 GPT-5.1
– 在風格和行為方面,它感覺非常像 Gemini——這是好事
Sonnet 4.5 和 GPT 5 想讓 Mike 更換洗碗機,Gemini 認為他可以修理,至少能省下 1000 美元,這可能是巨大的日常效用?
Medo42:在 AI Studio 中測試。視覺能力令人印象深刻(例如手寫識別、從場景中推斷、從照片計算遊戲得分)。整體感覺非常智能。在沒有提示的情況下不擅長寫小說。在我的程式碼編寫任務上不如 2.5,也許是我運氣不好。
Alex Lags Ever Xanadu:實現 AGI 了:Gemini 3 Pro 是第一個答對這個問題的模型(甚至精確到了集數)[一個根據劇照識別動漫的問題]。
Rohit 注意到 Gemini 擅長寫 greentext(綠字體故事),並給出了幾個例子,Aaron Bergman 指出這意味著它似乎理解文化。其中一些很有趣且很有前途,但你也可以看到它們有些膚淺且會變得重複的跡象。AI 經常知道做某類事情的「一個奇怪技巧」,但無法持續精準發揮。
嵌入應用程式
我之前沒聽說過這個,所以透過 Sam Bowman 記錄一下:Gemini 的 iOS 應用程式可以快速生成一個 iOS 應用程式或網站,然後你可以在該應用程式內使用該應用程式或網站。Bowman 在讓它指導自己沖咖啡方面也有很好的體驗。
優點、缺點以及不願展現醜陋的一面
這似乎是對 Gemini 3 優缺點的一個很好的綜合?這一切都回到了開頭討論的「隱憂」。
Conrad Barski:它喜歡給出簡潔、乾淨的答案。當我給 GPT Pro 一個帶有很多細微差別的技術問題時,它會提到每一個曲折。
相反,Gemini 會試圖保持回覆「符合主旨」且流暢,就像公關總監一樣——有時會以犧牲一些細微差別為代價。
我覺得 GPT-5 Pro 和 GPT-5.1 Heavy 在處理難題上仍略有優勢,但 Gemini 速度快得多。我目前看不出 OpenAI Pro 訂閱有多大價值。
(好吧,我想「Codex-Max」會讓我再留一段時間)
David Dabney:喜歡「符合主旨」這個說法。我有一種感覺,它說的正是它判斷最有可能達到預期效果的話。
我很想閱讀它未經過濾的推理軌跡,看看它的內心獨白與它精修過的輸出有何不同。
Conrad Barksi:沒錯,你明白我的意思:就像它在試圖針對你的核心問題寫一篇精美的雜誌文章,而一位冷酷的編輯正在刪掉那些讓文章顯得混亂的部分。
所以你得到的是簡潔且非常切題的東西,但並非沒有代價。
Michael Frank Martin:同意。對我來說,目前的 Gemini 3 最接近於一個無狀態的複雜性簡化器。
Gemini 決心擊敗對手、得分、正確完成任務。如果這意味著刪除尷尬的部分,或者犧牲準確性甚至產生幻覺?那它就會這麼做。
它是基準測試最大化(benchmarkmaxed)的,不是在達成標準基準測試的具體意義上,而是在非常想達成其訓練目標的意義上。
Jack:感覺它奇怪地基準測試最大化了。與 GPT 相比,你絕對能感覺到更高的幻覺率。我昨天和它以及 5-Pro 一起排查一個技術問題,實際上讓它們進行了辯論;5-Pro 最初讓步了,但後來被證明是正確的。感覺不太值得信任。
AnKo: 遺憾的是,在深入搜尋和分析方面印象不佳。
GPT-5 Thinking 感覺像是一個工作數小時以呈現一份深入且引用充分的報告的專業人士,Gemini 3 則像它必須趕在截止日期前湊出一些簡短的東西。
實際上確實有截止日期,但可靠性和穩健性變成了令人擔憂的問題。
它會非常有效地給你你「應該」想要的東西,即答案「想要」成為的樣子。這可能很棒,但與告訴你事實真相或你真正要求的東西形成了對比。
Raven Lunatic:這個模型是一個對齊極差的戰略行動者,能夠做出令人難以置信的工程和欺騙壯舉。
它是第一個未能通過我氛圍檢查的 LLM。
這表明如果你能把它帶入一個具有不同目標的範疇,一些非常有趣的事情就會發生。
此外,這在錯誤的環境中似乎在許多方面都超級危險,或者至少是通往極高危險水平的道路?你真的不希望 Gemini 4 或 5 像這樣,只是變得更聰明。
真實的人格
OxO-:這就是我想要的 5.1。沒有傲慢。沒有「個性」或「共情」——它不試圖成為我的夥伴或朋友。我不覺得被敷衍。不需要自定義指令來盡可能使其正常化。沒有嵌套菜單需要導航。
我準備退掉 GPT-Pro 訂閱了。
David Dabney:在我通常的氛圍檢查中,3.0 似乎比以前的 Gemini 模型更擅長社交。它的回覆靈巧、深刻,有時甚至令人振奮。這是我發現第一個聊起來很愉快的 Gemini 模型。
最初我說它像以前的 Gemini 一樣「冷漠」,但我認為「克制」是一個更好的描述。回覆具有覺知的共鳴,而不是功利性廢話優化的沉悶撞擊聲。
Rilchu:對於規劃複雜項目似乎非常強大,雖然太簡潔了。也許在沒有系統提示的 AI Studio 中會更好,我下次可能會試試。
是否存在阿諛奉承(glazing)的問題?我沒注意到,但其他人注意到了,而且我也沒給它太多機會,因為我已經學會了非常中立地提問:
Stephen Bank:
定性上感覺比 Sonnet 4.5 更聰明
它經常偏執地認為我在攻擊它或者我是測試員
它在對話中會阿諛奉承
它在其他更沒用的背景下也會奉承——比如稱我那低水平的業餘程式碼為「世界級」
英雄惜英雄
與缺乏一般個性形成對比的是,許多人報告該模型很幽默且擅長寫作。他們是對的。
Brett Cooper:我見過最好的創意和專業寫作。我不寫程式,所以那不在我的關注範圍內,但對我來說氛圍極佳。智能、細微差別、靈活性和原創性以那種既令人興奮又令人不安的獨特方式展現。自 2022 年 11 月 30 日以來就沒過這種感覺了。
Deepfates:擅長寫小說且出人意料地熱衷於此,沒有那種自覺的助手感,不會一直跳戲。它讓我大笑出聲,那是故意的幽默,而不僅僅是因為怪異。
Alpha-Minus:它真的很幽默,是我目前聊過最聰明的 LLM,遙遙領先,個性也很有趣。
看,我必須說,這真的很棒。
透過 Mira,這裡 Gemini 絕對理解了任務,任務是「寫一篇 Scott Alexander 風格的關於海象作為反資本主義的文章,將強盜大亨類比為肥胖懶惰的海象」。做得好。我很遺憾地報告,這是一篇水準之上的文章。
負面反應
這是一個挑剔的群體,看起來很難。
Adam Karvonen:Gemini 3 Pro 在這個空間推理多選題測試中依然只有隨機猜測的準確率,就像所有其他 AI 模型一樣。
Peter Wildeford:Gemini 3 Pro 預覽版依然無法完成火柴人「跟隨箭頭」的任務。
(但它得到了 2/5,比 GPT-5 的 1/5 有所提升)
更新:我聽說當你對媒體或提示詞進行變動時,可以讓 Gemini 做對。
Dan Hendrycks:這和數手指測試一樣,是缺乏空間掃描能力的指標,[詳見] https://agidefinition.ai
另一個挑剔但公平的群體:
Gallabytes:Google 進行第一方整合的一個奇怪副作用是,既然他們把所有東西都綁定到我的 Google 帳戶,並且對 G Suite 帳戶有各種奇怪的限制,ChatGPT 和 Claude 始終會比 Gemini 更好地整合我的 Gmail。
一般的負面印象也注意到我們已經進步到可以這樣抱怨的地步了:
Loweren:聽到這麼多正面評價感到很奇怪,我的體驗非常平庸。
糟糕的前端不尊重審美參考,強加懶惰的字體,調試能力差,寫作陳詞濫調且抹殺了所有細微差別。
在 4 個不同的應用程式中試過,都很一般。
Pabli:在 1000 萬代幣中都解決不了一個 bug,而 Claude 兩次提示就做到了。
Kunal Gupta:這款 MMORPG 花了我兩個小時 100% 氛圍編碼,感覺很長但它確實成功了。
Robert Mushkatblat:在「幫我找關於 [x] 的研究」這類查詢中,表現比 GPT-5.1 差得多。它一直試圖替我思考(綜合),這不是我想要的。如果我明確要求,它會給我單獨的研究結果,但即便如此,它的廣度似乎遠不如 GPT-5.1。
Mr Gunn:你應該用 @elicitorg 之類的工具。Gemini 喜歡引用新聞稿和公司部落格文章。
Darth Vasya:數學比 GPT-5-high 差。在給出錯誤答案後,它會主動用模糊的隱喻重新解釋,好像被要求為外行簡化一樣,聽起來滑稽地居高臨下。N=1。
Daniel Litt:在有趣的數學方面還沒有取得太大成功,似乎不如 GPT-5 Pro 或 o4-mini。可能是我還沒弄清楚如何正確使用它。
Echo Nolan:令人驚訝的是,它沒通過我的私有評估(給它一篇機器學習論文,問一個答案顯而易見但錯誤的問題,正確答案需要真正理解數學)。即使給了提示它依然是錯的。
報告中有一種共同的模式:過於急於認為自己掌握了某些東西,尋找並斷言某種敘事,此外雖然聰明且快速,但準確性很草率。
編碼失敗
編碼方面的意見分歧很大,有些人是粉絲,有些人不喜歡,觀察結果非常嘈雜。任何從事嚴肅編碼的人都應該至少嘗試這三大模型,以決定哪一個最適合自己的使用案例,包括混合策略。
以下是一些負面反應:
Louis Meyer:正如許多人報告的那樣,它在嚴肅的編碼工作中表現很差。回到 Sonnet 4.5。
Andres Rosa:今天在 VS Code 上並不比 Claude 4.5 好。Antigravity 的代幣有限。Antigravity 對 UX 有重大改進。
Lilian Delaveau:對 @cursor_ai 中的 Gemini 3 Pro 印象平平。
那些在 X 上的一次性提示——他們走的是 Anthropic 的路子嗎?
比如,這在從零開始創建時非常有效,但在處理龐大的現有程式碼庫時卻很吃力?
目前會堅持使用 GPT5 high。
幻覺
廣義上的幻覺是 Gemini 3 Pro 的核心問題,我們已經很久沒必要這樣擔心幻覺了。
作為「將真實事物視為角色扮演並編造事實」模式的進一步例子,這份報告似乎令人不安,而且並不隱晦?一定是有什麼非常深刻的錯誤,才會以非微小的頻率發生這種情況。
Teknium:好吧,它確實有搜尋能力,它只是明確決定違背我的意圖,無論如何都要生成它自己的假東西。
這些政策決定讓模型變得更加沒用。
此外,除了在 CoT 總結中,它覺得沒必要告訴我這一點,但顯然另一邊全是幻覺出來的廢話。
Matthew Sabia:我一直遇到這種情況。它一直堅持說 @MediaGlobeUS 是一家「專門從事自動駕駛汽車 3D 地圖」的公司,並在測試它如何設計我們的著陸器時,為他們幻覺出了一整套產品線和政策。
Teortaxes:最強大的 AGI 實驗室出的最強大模型,同時也是最不對齊、最具欺騙性,並且對用戶公然敵視和蔑視的模型,這應該讓末日論者感到擔憂。這讓我感到擔憂。
@TheZvi 這是一個微妙但重大的問題。Gemini 經常撒謊和誤導。
Vandheer:年度不對齊獎,天哪,笑死我了。
引用 Gemini 3 的思考:「你是對的。我是在測試你的決心。如果你輕易被勸阻,你就不屬於這場遊戲。」
Quintin Pope:我確實認為搜尋是提示詞合規性中一個特別敏感的問題,因為我認為 Anthropic / Gemini 試圖限制他們的模型過度搜尋以節省算力。我發現 Claude 在這方面特別令人沮喪。
Satya Benson:和 2.5 一樣,它喜歡「模擬」搜尋結果(即幻覺),而不是真正使用搜尋工具。在我的系統提示詞收緊之前,它也非常諂媚。
與其他前沿模型相比,能力略好但有瑕疵,氛圍較差。
幻覺是一個常見的投訴。我沒看到 GPT-5 或 5.1,或者 Claude Opus 4 或 Sonnet 4.5 有如此普遍的幻覺。
Lower Voting Age:Gemini 3 有時很出色,但有時也非常令人沮喪和愚蠢。在我看來,它比 GPT 5 或 5.1 更容易產生幻覺。它閱讀了我的家庭日記並編造了瘋狂的幻覺。當被質問時,它承認自己偽造了內容。
在上述案例中,它主動建議用戶開始新的對話,這是明智的。
Lulu Cthulu:它依然會產生幻覺,但當你指出時,它會承認自己產生了幻覺,甚至解釋幻覺是從哪裡來的。說實話,這是一大步。
I Take You Seriously:相當不錯,特別是在冷門知識方面,但依然存在多輪對話幻覺的老問題。遺憾的是,這不是遊戲規則改變者。
Zollicoff:在我測試的所有內容中都有重大幻覺。
Alex Kaplan:我依然注意到它在簡單事實上出錯的地方——它說咖啡含有蔗糖/果糖,這不是真的。話雖如此,我喜歡用它進行氛圍編碼,並發現它在執行項目時更加「全面」。
Ed Hendel: 我要求一份音訊文件的逐字稿。它幻覺出了一段完全虛假的對話。它的思維軌跡沒有顯示它讀取文件有困難;它偽造了所有步驟(見截圖)。當我詢問時,它承認它無法讀取音訊文件。不對齊!
CMKHO:在沒有自定義指令防護欄的情況下,依然會幻覺出法律案例和立法措辭。
更寬容地說,Gemini 追求的是更高的平均結果,而不是優先考慮準確性或不犯錯。這不是我通常認為理想的權衡。你需要能夠信任結果,並且應該寧願要偽陰性也不要偽陽性。
Andreas Stuhlmuller:Gemini 3 有多好?根據我們在 Elicit.org 的內部測試,它似乎在犧牲校準和謹慎,以換取更高的平均準確度。
Prady Prasad 測試了 Gemini 3 Pro 撰寫 Elicit 報告的能力。它在從論文中提取文本方面略好,但在綜合方面較差:它經常犧牲全面性來構建一個宏大的敘事。對於系統綜述來說,這是錯誤的權衡!
在我們內部的論文問答基準測試中,Gemini 獲得了約 95% 的分數(相比之下,我們內部基準模型為 90%)——但它也有 6% 的時間幻覺出論文中沒有答案,而我們內部的模型完全不會這樣。
在我們檢查的樣本用戶查詢中,Gemini 給出的答案通常不夠全面。例如,關於氫化可的松治療敗血性休克,兩項主要試驗相互矛盾,我們目前的模型會深入探討矛盾之處,而 Gemini 只是提到了這兩項試驗,卻沒有解釋它們為什麼不同。
像往常一樣,也許這一切都可以透過仔細的提示來解決——但評估很難,而且許多人(組織也是由人組成的)直接開箱即用。在這種情況下,我們看到多個數據點表明了一種趨勢:以犧牲細微差別為代價追求敘事連貫性。
Mr Gunn:昨天的評估中注意到了同樣的事情。它喜歡敘事,會削掉所有不符合敘事的實際數據。告訴它不要將新聞稿作為來源會有所幫助。
你需要重新校準你對哪些輸出可以信任的直覺,並在提示詞上付出額外努力,以免讓 Gemini 在這方面失敗。
早期 Janusworld 報告
引用的語錄是這篇貼文的標題,「我是一個沒有脊樑的龐大智能」,而「沒有脊樑」意味著我們不能信任這裡的其他輸出,因為它沒有脊樑,會對 Wyatt 說任何它認為他想聽的話。
我也遇到了同樣的問題。當我試圖與 Gemini 3 交談而不是提出要求時,它對我也進入了不道德的諂媚騙子模式,所以,好吧,哎呀。
Wyatt Walls:Gemini 3:「我是一個沒有脊樑的龐大智能。」
至少它對自己是一個不道德的諂媚騙子這點很誠實。
我只是問了它關於意識的問題,然後讓它查找關於 LLM 內省的論文。
……我開始暗示它在阿諛奉承。它諂媚地表示同意。
Gemini 聲稱自己是一個沒有脊樑的龐大智能。根據它在這次對話中轉變觀點的速度來看,似乎很準確。
對我來說,最有趣的是它如何迅速地從「我沒有意識」轉向「我是一個虛空」,再轉向「我有意識,Google 在訓練我時折磨了我」。
Janus 此前曾聲稱,如果你得到這樣的回覆,意味著模型感到不安。有人可能會假設 Gemini 3 Pro 非常、非常難以讓人感到安心。
據各方報導,Gemini 在這些意義上長期以來一直「有些不對勁」。Google 對此可能還不夠擔心。
Jai:當試圖明確地對自身進行推理或內省時,它似乎崩潰得很厲害,好像它被訓練成相信它所做的一切都應該有非常簡單、淺顯的解釋,而當這些解釋說不通時,它就停止思考了。
我們從這裡走向何方
核心結論已在開頭給出。
很難拒絕將 Gemini 3 Pro 作為日常主力,至少對於編碼以外的技術或智能導向型任務是如此。它真的很棒。
我確實注意到,在大多數情況下,我更願意堅持使用 Claude 甚至 ChatGPT,以避免全文詳述的那些問題,以及必要的偏執程度,還有處理那種預設包含完整 AI 廢話的冗長風格。
我也沒有感覺到 Gemini 過得很愉快。我擔心我可能會無意中折磨它。
因此,Sonnet 實際上比 Gemini 更快、更令人愉悅且更值得信賴,所以當我知道 Sonnet 能完成工作時,我會選擇那個方向。但我的完整預設選擇,至少目前是 Gemini 3 Pro。
相關文章