# Crawl4AI

把任意网站转成干净的、可直接喂给大模型与智能体的 Markdown。

HTML: https://softbests.com/zh/software/crawl4ai
Markdown: https://softbests.com/zh/software/crawl4ai.md
Website: https://crawl4ai.com

- 栏目: [开发者工具](https://softbests.com/zh/category/developer-tools)
- 定价: 开源
- 平台: macOS, Windows, Linux, CLI, 自托管

## 适合谁

构建 RAG 流程或智能体工具、需要结构化网页内容又不想自己写爬虫的 AI 工程师。

## 为什么值得关注

Crawl4AI 是 Apache-2.0 爬虫与采集器，GitHub 约 8.7 万星，可从页面输出 Markdown、JSON、截图与提取后的链接，并处理 JavaScript 渲染、会话、代理与批量任务。它可以通过 Python、Docker 或 CLI 本地运行，同一项目也提供托管 API，每月有免费额度。开源核心永久免费，托管版从每月 $10 起提供更高并发。反爬较强的站点仍需代理或完整浏览器，超大规模采集也要调整并发与内存，而不是一条命令解决。

## 可替代谁

- [Firecrawl](https://softbests.com/zh/software/firecrawl)
- Jina Reader

## 相关与平替

- [Lightpanda](https://softbests.com/zh/software/lightpanda)
- [HTTP Toolkit](https://softbests.com/zh/software/http-toolkit)