網頁抽取品質實測：Crawl4AI、Firecrawl、Jina Reader 與 Readability 差多少？
抽取工具不能只比 HTTP 200；同一組 20 個 URL 要分別量正文、heading、table、code、link、metadata、雜訊、延遲與成本。本文先公開 corpus、adapter contract 與評分 gate，但因目前缺 Firecrawl credential 與四條同版本 raw run，尚不發佈勝負。
#crawl4ai
4 篇文章Crawl4AI 完整介紹：從 Markdown 抓取到結構化資料抽取
Crawl4AI 負責 URL 之後的抓取與抽取：穩定 DOM 先用 JsonCssExtractionStrategy，只有語意判讀或版面不規則時才切 LLMExtractionStrategy。
自己架一套搜尋後端：SearXNG + Crawl4AI，從零到接進 Claude Code
三個元件、各做一件事：SearXNG 負責找、Crawl4AI 負責讀、一層薄薄的程式把兩者黏起來。有三個預設值不改就不會動——`formats` 預設只吐 HTML、`secret_key` 預設是 `ultrasecretkey`、limiter 開了會擋你自己的程式。另外官方安裝方式在 2026 年 3 月換過，網路上多數教學指的 searxng-docker 已經封存了。
Tavily 和 Exa 不能自己架：要怎麼自己組一套
Tavily 和 Exa 都是純雲端 API，不能自己架。能自己組的是 SearXNG（269 個上游引擎、82 個預設開啟）+ Crawl4AI（78.8k stars、Apache-2.0），現成的 Tavily 相容 wrapper 都還是幾十顆星的個人專案，不建議直接用。但 SearXNG 沒有自己的索引，而且從機房 IP 跑會被搜尋引擎打成空結果——這兩件事決定了自架划不划算。