Crawl4AI

把任意網站轉成乾淨的、可直接餵給大模型與智慧體的 Markdown。

適合誰

構建 RAG 流程或智慧體工具、需要結構化網頁內容又不想自己寫爬蟲的 AI 工程師。

為什麼值得關注

Crawl4AI 是 Apache-2.0 爬蟲與採集器，GitHub 約 8.7 萬星，可從頁面輸出 Markdown、JSON、截圖與提取後的連結，並處理 JavaScript 渲染、會話、代理與批次任務。它可以通過 Python、Docker 或 CLI 本地執行，同一專案也提供託管 API，每月有免費額度。開源核心永久免費，託管版從每月 $10 起提供更高併發。反爬較強的站點仍需代理或完整瀏覽器，超大規模採集也要調整併發與記憶體，而不是一條命令解決。