Skip to content
所有標籤

#scrapy

2 篇文章
tech deep-dive

Scrapy 深入介紹:從 Engine 到 Pipeline 的自架爬蟲架構

Scrapy 把抓取流程拆成 Engine、Scheduler、Downloader、Spider、Item Pipeline 與 Middleware;適合大量、規則明確的 HTTP 頁面,也能自行控制排程、節流、重試與資料落地。

tech deep-dive

Zyte 深入介紹:從 Scrapy 開發、反爬取頁到 Scrapy Cloud

Scrapy 負責爬取流程與資料模型,Zyte API 接手取頁、瀏覽器與反爬細節,Scrapy Cloud 再負責部署、排程和輸出;三者可以分開採用,不是一套綁死的框架。