Scrapy 深入介紹：從 Engine 到 Pipeline 的自架爬蟲架構
Scrapy 把抓取流程拆成 Engine、Scheduler、Downloader、Spider、Item Pipeline 與 Middleware；適合大量、規則明確的 HTTP 頁面，也能自行控制排程、節流、重試與資料落地。
#crawler
5 篇文章Crawl4AI 完整介紹：從 Markdown 抓取到結構化資料抽取
Crawl4AI 負責 URL 之後的抓取與抽取：穩定 DOM 先用 JsonCssExtractionStrategy，只有語意判讀或版面不規則時才切 LLMExtractionStrategy。
Firecrawl 完整介紹：Scrape、Crawl、Map 與結構化抽取怎麼選
Firecrawl 把單頁抓取、網站探索、整站爬取與 JSON 抽取包成同一套 API；雲端版省下瀏覽器、proxy 與 worker 維運，自架版則換得基礎設施控制，但預設能力不等同雲端。
免費搜尋、爬取與瀏覽器 API 怎麼選：週期額度、限速、試用與自架成本
免費方案有每日或每月額度、餘額補回、持續限速與一次性試用；有些 API 沒有免費額度，必須預付或按量計費。
Scrapling 完整介紹：從 adaptive selector 到並行 Spider
Scrapling 把 HTTP、Playwright 瀏覽器、CSS/XPath 抽取與 Spider 放進同一套 Python API；adaptive selector 會保存元素特徵，版面改動後再用相似度重新定位，但仍需要驗證輸出。