Crawl4AI 旨在简化网页数据的爬取与提取过程，专为 LLM 和 AI 应用打造

使用门槛非常低，一行命令就可以开始，爬取新闻类网站比较简单，速度是真的快（如图爬的是NBC的新闻，输出md格式）

源码：https://github.com/unclecode/crawl4ai

使用文档：https://crawl4ai.com/mkdocs/