任务可以无浏览器界面执行吗 about easyspider

[NaiboWang]

可以迁移任务信息，任务支持命令行执行，Windows设计完成后先获取任务ID，然后把execution_instances文件夹内的.json文件夹复制到Ubuntu，然后就可以命令行执行。

用户的配置信息文件夹直接迁移是无效的，需要在新机器上重新创建用户配置信息，并进行登录等操作。

对于无浏览器界面执行，请关注0.3.0版本的发布信息。

其实我很好奇为什么这么多人想要在各种复杂场景下运行软件，感觉违背了“Easy”这个初衷哈哈。

[aogg]

Easy就是记录时候简单，运行时无任何影响人性化

[apexg]

本的发布信息。

谢谢您的及时回复，感觉你的设计太棒了。解决了我的一个很大问题。但是你要知道，easy深层次是简化代码开发量，就是从web获取各种xpath，你的设计做到了。但是在生产上运行，如果带界面，那么爬取1000万条记录需要耗费多少时间？1亿条呢？

[apexg]

另外一个问题，可以用web端来进行easy的任务设计吗？就是不用桌面端exe程序进行注入？如果能实现，就太顺滑了。

[NaiboWang]

本的发布信息。

谢谢您的及时回复，感觉你的设计太棒了。解决了我的一个很大问题。但是你要知道，easy深层次是简化代码开发量，就是从web获取各种xpath，你的设计做到了。但是在生产上运行，如果带界面，那么爬取1000万条记录需要耗费多少时间？1亿条呢？

其实我觉得按照这个软件的设计逻辑，有没有浏览器只是能不能看到的问题，跟爬取速度没太大关系，因为是模拟一个真实的浏览器在运行。
想要加速爬取，是通过并行多开的方式同时开很多个程序在跑，单个程序的爬取速度和有没有浏览器界面没关系……

[NaiboWang]

另外一个问题，可以用web端来进行easy的任务设计吗？就是不用桌面端exe程序进行注入？如果能实现，就太顺滑了。

暂时不能，因为需要对本地文件进行读写，并操作webdriver进行设计，必须要本地程序注入。

[NaiboWang]

新版本已支持无浏览器执行，视频地址后半部分有：https://www.bilibili.com/video/BV1dV4y1z764/

[fushiqingyun]

本的发布信息。

谢谢您的及时回复，感觉你的设计太棒了。解决了我的一个很大问题。但是你要知道，easy深层次是简化代码开发量，就是从web获取各种xpath，你的设计做到了。但是在生产上运行，如果带界面，那么爬取1000万条记录需要耗费多少时间？1亿条呢？
类似自动化的爬取不太适合大批量的抓取，量大的话还是走纯协议比较好，逆向加密参数和滑块等手段可以做到高并发访问