Scrapling - 一个万物皆可抓的爬虫框架

Scrapling 是一种 Python Web Scraping 框架,它将快速 HTTP 请求、隐形浏览器、强大的解析和并发爬虫集成到一个库中。抓取静态页面、渲染 JavaScript、与网站交互,并从其背后的 API 调用中提取数据。

构建具有可重用会话、代理轮换、自动重试、暂停/恢复和内置数据导出的爬网程序。从 Python、终端或您的 AI 代理通过其 MCP 服务器和代理技能使用它。从提取几个字段到将整个网站收集为干净的 Markdown,Scrapling 涵盖了完整的抓取工作流程。

本次尝试了用来抓小红书和公众号推文。

很强,可以用来做出产品了,例如公众号文章备份、小红书解析。

https://github.com/D4Vinci/Scrapling

16