Crawl4AI

把任意网站转成干净的、可直接喂给大模型与智能体的 Markdown。

适合谁

构建 RAG 流程或智能体工具、需要结构化网页内容又不想自己写爬虫的 AI 工程师。

为什么值得关注

Crawl4AI 是 Apache-2.0 爬虫与采集器，GitHub 约 8.7 万星，可从页面输出 Markdown、JSON、截图与提取后的链接，并处理 JavaScript 渲染、会话、代理与批量任务。它可以通过 Python、Docker 或 CLI 本地运行，同一项目也提供托管 API，每月有免费额度。开源核心永久免费，托管版从每月 $10 起提供更高并发。反爬较强的站点仍需代理或完整浏览器，超大规模采集也要调整并发与内存，而不是一条命令解决。