Lightfeed Extractor：基於 TypeScript 的強大 LLM 網頁數據提取庫

背景

Lightfeed Extractor 是一款基於 TypeScript 開發的開源工具，旨在解決傳統網頁爬蟲因網站改版導致 CSS 選擇器失效的痛點。它結合了 Playwright 瀏覽器自動化技術與大型語言模型（LLM），能將混亂的 HTML 轉化為乾淨的 Markdown，並根據開發者定義的 Zod Schema 提取結構化 JSON 資料。

社群觀點

在 Hacker News 的討論中，社群對這類工具的實用性與道德邊界展開了激烈的辯論。許多開發者認同 LLM 在處理結構化資料提取時的潛力，特別是針對電商價格監控等需要高度韌性的場景。然而，最顯著的爭議點在於該工具宣稱具備「隱身模式」以規避機器人檢測。批評者指出，這種做法本質上是在繞過網站的存取限制，且該工具在初始版本中並未強制遵守 robots.txt 協議，引發了關於頻寬消耗與爬蟲道德的質疑。對此，作者承諾將在後續更新中加入對 robots.txt 的強制檢查，並解釋其防偵測技術主要是為了修復瀏覽器指紋洩漏，而非惡意攻擊。

技術層面上，關於 LLM 輸出 JSON 格式不穩定的問題引發了深度討論。有經驗的開發者指出，雖然頂尖模型如 GPT-4 表現良好，但在使用較小或較便宜的模型時，巢狀陣列與選填欄位經常會導致 JSON 格式崩潰。社群成員分享了不同的解決方案，例如改用 XML 標籤來輔助模型定位，或是將複雜的 Schema 拆解成多個簡單的序列化提取步驟。Lightfeed 作者則強調，該工具的特色在於具備 JSON 修復與清理機制，能針對出錯的欄位進行局部恢復，而非直接捨棄整個輸出，這對於維持生產環境的管線運作至關重要。

此外，成本與效率也是討論焦點。部分開發者質疑在大規模爬取（如數百萬頁面）時，使用 LLM 的成本與延遲是否具備可行性。雖然 Gemini 1.5 Flash 等模型的價格已大幅下降，但處理長文本網頁時的 Token 消耗仍是不小的負擔。另一派觀點則從網站營運者的角度出發，痛斥住宅代理（Residential Proxies）與 AI 爬蟲對伺服器造成的巨大壓力，認為這類工具的普及正在加劇網頁生態的惡化。

延伸閱讀

在討論過程中，社群成員提到了一些相關的技術資源與替代方案。針對 JSON 輸出的穩定性，有開發者推薦參考 Trustcall 專案，該專案探討了利用 JSON Patch 進行多步生成以提高可靠性的方法。在瀏覽器自動化方面，討論中也提到了 Patchright，這是 Lightfeed 所使用的底層技術，用於修復 Playwright 在自動化過程中的特徵洩漏。對於需要處理大規模資料且對成本敏感的場景，部分留言建議結合 LangChain 的結構化輸出功能，並搭配特定模型的 Tool Calling 機制以提升成功率。