🕷️ Kspider 是一个开源免费的可视化爬虫平台,它通过流程图的方式配置爬虫,提供了常用的功能,基本上无需编写代码即可完成数据爬取工作,对技术小白极其友好。
1. 流程图配置📊:通过流程图的方式直观配置爬虫任务。
2. 选择器支持🌐:支持 xpath 和 css 选择器,方便数据提取。
3. 数据提取📄:支持选择提取、正则提取、json 提取等多种数据提取方式。
4. Cookie
管理🍪:支持 Cookie 自动管理,保持会话状态。
5. 插件扩展🔌:支持插件扩展,包括自定义执行器和函数等。
6. 动态页面爬取🌐:支持爬取由 js 动态渲染的页面。
7. 可视化调试🐛:支持爬虫可视化调试,方便查找和解决问题。
8. 同步和异步执行🕰️:支持同步和异步执行,提高爬取效率。
9. 自定义 JS
脚本📝:支持自定义 JS 脚本引擎,增强爬虫灵活性。