ddostest123 / custom_crawler

百度企业信用-国家企业公示系统爬虫

custom_crawler

• 百度企业信用-国家企业公示系统爬虫

• 支持版本:

下载安装

• 下载源码:

https://github.com/pythonyhd/custom_crawler

• 安装依赖:

pip install -r requirements.txt

使用方法

* 首先您需要获取一批搜索关键词放到redis数据库当中
* 程序会根据关键词进行搜索，获取全部数据
* 本项目支持MySQL数据库，mongodb数据库，MySQL支持异步存储

问题反馈

　　任何问题欢迎在Issues 中反馈。

　　你的反馈会让此项目变得更加完美。

贡献代码

　　本项目依然不够完善，如果发现bug或有新的功能添加，请在Issues中提交bug(或新功能)描述，在确认后提交你的代码。

---

TODO

• 兼容py2

---