SQLite 中的混合搜尋應用漢明距離

背景

這篇文章探討了如何在 SQLite 中利用二進位嵌入（Binary Embeddings）與漢明距離（Hamming Distance）實現語義搜索，並結合 SQLite 原有的 FTS5 全文檢索功能，達成混合搜索（Hybrid Search）。作者透過開發自定義 SQLite 擴充功能，將高維度的浮點數向量量化為位元形式，大幅降低存儲空間並提升運算速度，讓開發者無需依賴外部向量資料庫，即可在單機環境下處理百萬等級的資料檢索。

社群觀點

針對這套實作方案，Hacker News 的討論主要集中在效能優化、現有工具選擇以及授權協議的爭議。在技術層面上，部分開發者提出了進階的優化思路，例如 jonatron 建議採用多階段過濾法，先計算前 64 位元的距離作為初步篩選，再對通過門檻的候選名單進行完整計算，這種近似算法能進一步提升檢索效率。mbreese 則延伸此概念，提議存儲不同精度的量化值，透過多層級的位元比較來縮小搜索範圍，最後才對極少數樣本執行高精度的餘弦相似度運算。

關於工具選擇，社群成員分享了多個已趨成熟的替代方案。雖然作者傾向自行開發擴充功能以保持簡潔，但 stephenheron 推薦了 sqlite-vector，認為其更適合追求現成解決方案的用戶。然而，這引發了關於軟體授權的討論，0cf8612b2e1e 指出該專案的授權條款對某些商業應用而言可能是障礙，隨後有其他成員推薦了採用 Apache 授權的 sqlite-vec，以及支援多種度量標準且效能優異的 USearch。

此外，討論也觸及了搜尋技術的本質與開發門檻。andai 提出了一種「窮人版嵌入」的構思，即透過關鍵字擴展來達成語義相似度，讓不具備共同關鍵字的相關文件也能被檢索到。針對開發流程，esafak 則好奇目前的 AI 模型是否已能輔助撰寫這類底層的資料庫擴充功能。整體而言，社群對於在 SQLite 內部實現輕量化向量搜索持正面態度，但也提醒開發者應根據專案規模與授權需求，在自研與成熟開源工具之間做出權衡。

延伸閱讀

在討論串中，參與者提供了多個值得參考的開源專案：

• sqlite-vec：採用 Apache 授權的 SQLite 向量擴充功能。
• USearch：由 Unum Cloud 開發，支援漢明距離與多種索引變體的向量檢索工具，提供 Python 安裝包。
• zvec：阿里巴巴近期發布的專案，標榜為向量資料庫界的 SQLite，追求極致的輕量與嵌入式體驗。
• sqlite-vector：另一款功能豐富的 SQLite 向量擴充插件，但需注意其授權條款。