AI 爬蟲工具全景圖：34 個開源專案的五大分類與選型指南
從 MarkItDown (169k stars, MIT) 到 curl-impersonate (7k stars)，整理 34 個「爬資料餵 AI」的開源工具。沿五條軸線分類：整站爬取、AI 瀏覽器代理、文件轉檔、智慧擷取、反偵測基建。選型關鍵不是哪個最好，是場景匹配。
#web-scraping
3 篇文章AI-Ready Content：把網站變成 AI 可讀的資料來源，完整指南
2025–2026 年，網站不只要給人看，還要給 AI 看。從 llms.txt、Schema Markup、GEO 到 RAG ingestion pipeline，這篇整理了讓你的網站變成 AI 可用資料來源的完整技術地圖。
AI Agent 繞過 Cloudflare 反爬蟲完整指南：從踩坑到自建 MCP Server
標準 Playwright 無法通過 Cloudflare 驗證。playwright-extra + stealth 和 nodriver 都能繞過，最終包成 MCP server 讓 AI agent 自動使用。