Show HN：Gemma Gem – 嵌入瀏覽器的 AI 模型 – 無需 API 金鑰，無需雲端
Gemma Gem 是一款開源瀏覽器擴充功能，透過 WebGPU 在裝置上完全運行 Google 的 Gemma 4 模型，讓使用者能在資料不離開機器的情況下，私密地與網頁互動並執行自動化操作。
背景
Gemma Gem 是一款開源的 Chrome 瀏覽器擴充功能，其核心特色在於利用 WebGPU 技術，將 Google 的 Gemma 2B 模型完全運行於使用者的本地設備上。這項工具不依賴雲端 API，確保資料不離開本地端，並賦予 AI 模型直接操作網頁的能力，包括讀取內容、截圖、點擊按鈕、填寫表單甚至執行 JavaScript 腳本。開發者將其定位為一個具備思考鏈推理能力的個人瀏覽助理，並將其代理邏輯設計為無依賴的獨立庫。
社群觀點
針對這種將大型語言模型直接嵌入瀏覽器的做法，Hacker News 社群展開了多層次的討論。部分討論者對技術的實現表示讚賞，認為這展示了當前網頁技術的極限，但同時也對其實用性與架構合理性提出質疑。有觀點認為，讓每個應用程式或瀏覽器分頁都各自運行一套沉重的推理引擎在架構上並不合理。隨著硬體端 NPU 與 GPU 的普及，理想的發展方向應該是由作業系統層級提供統一的協調器，負責處理不同程式的推理請求，就像作業系統管理音效或網路堆疊一樣。若將推理邏輯綁定在瀏覽器生命週期中，一旦分頁崩潰或被系統回收，代理程式的狀態就會隨之消失，因此有人建議採用本地後台守護行程搭配輕量化擴充功能的架構會更為穩健。
安全性是另一個受關注的焦點。社群成員指出，賦予一個僅有 2B 參數規模的模型完整的 JavaScript 執行權限，在安全性上存在潛在風險。此外，雖然本地運行的隱私性極佳，但模型檔案的大小也是一項挑戰。目前 Chrome 已經在進行相關的 API 實驗，例如 Prompt API 與 Summarizer API，後者甚至已經實裝，網站只需簡單調用即可觸發約 2GB 的模型下載。然而，這種動輒數 GB 的下載量遠超瀏覽器本身的大小，這讓部分開發者思考，未來是否應該直接調用作業系統內建的模型，而非由網頁端自行攜帶。
儘管存在架構與效能上的爭議，許多開發者仍看好其作為 SDK 的潛力。對於處理敏感資訊的應用程式而言，如果能將此類本地模型封裝成插件，就能在不要求使用者自行配置複雜本地環境的前提下，提供具備隱私保護的 AI 功能。雖然目前 2B 規模的模型在處理多步驟工具鏈時仍顯得不夠穩定，有時甚至會忽略工具調用指令，但這種「開箱即用」且無需 API 金鑰的本地化嘗試，被視為網頁 AI 發展的一個重要里程碑。
延伸閱讀
在討論中，參與者提到了 Google 正在進行的相關技術實驗，包括 Chrome 的 Prompt API 提案，該提案旨在讓網站能直接透過瀏覽器調用內建模型。另外，已經上線的 Summarizer API 則展示了瀏覽器如何處理模型下載與基礎摘要任務。這些資源顯示了瀏覽器廠商正試圖將 AI 推理能力標準化，使其成為 Web 平台的原生功能。