Cognee 完整介紹：把文件變成 Agent 可查詢的知識圖記憶
Cognee 是資料到 AI memory 的 pipeline：用 relational store 保存來源與 provenance、vector store 找語意相近內容、graph store 表達 entity 關係，再以 remember、recall、improve、forget 管理生命週期。
#data-pipeline
4 篇文章從來源到索引：私有語料的同步與增量更新管線
私有語料同步的核心不是定時重抓，而是用 canonical ID 固定文件身分、用來源版本與 checksum 判斷變更、用冪等 upsert 寫入，並讓 tombstone 走完所有索引的刪除傳播。
Apache Kafka：不是把訊息排隊，而是保存可重播的事件日誌
Kafka 的核心是依 partition 排序、依 retention 保存的分散式 log；consumer group 用 offset 分工，exactly-once 只在 Kafka transaction 能涵蓋的邊界內成立。
Apify 完整介紹：Actor、Task、排程與資料集怎麼組成爬取平台
Apify 不是單一 crawler，而是把爬取程式包成 Actor，再用 Task 固定設定、Schedule 觸發執行、Dataset 交付結果的平台。適合不想自己維護佇列、排程與執行環境的團隊，但 Actor 費用、運算、proxy、儲存與傳輸會共同消耗預付額度。