trashcxy / videocrawlerengine

视频爬虫引擎是以自定义脚本为草图，生成请求器工作流，实现可控可视的流水线执行。 意在提高脚本的开发效率，让开发者专注于解决反爬。

VideoCrawlerEngine

视频爬取引擎

视频爬虫引擎是以自定义脚本为草图，生成请求器工作流，实现可控可视的流水线执行。 意在提高脚本的开发效率，让开发者专注于解决反爬。

WEB UI

环境搭建

pip install -r requirements.txt

使用方法

python main.py

• 开启本地服务器(默认端口2333)

• 浏览器打开 http://localhost:2333

架构草图

Requirements

• Python >= 3.6
• Nbdler >= 3.0.3
• PyJSCaller >= 0.2.0
• Flask

许可证

Apache-2.0

TODO

• 脚本开发文档
• 请求器开发文档
• 脚本执行和web server实现进程隔离

关于

项目已完成初步开发，后续的开发主要倾向于功能的完善和修复漏洞。