bishion / spider

阿里网店的极限词检查

spider

阿里巴巴极限词检查

功能点

1. 针对阿里的页面做了过滤
2. 自动调用极限词接口
3. 自动翻页
4. 支持图片识别,并且会打印图片链接以及对应的敏感词列表
5. 支持白名单

可能需要安装的第三方包

1. PyExecJs
2. bs4
3. requests

更新日志

20190519

1. 支持图片识别
2. 支持白名单,其中白名单配在 同级目录下的 white_list.ini 中
3. 打印含有敏感词的图片以及它们的对应关系

20190518

1. 支持翻页
2. 只检查标题, 详情
3. 解决上个版本中没有对阿里详情页二次跳转的bug
4. 加入百度的 OCR 功能

Bug 解决

1. 如果程序包名跟系统包名冲突，会报很多诡异的问题。我的是一个包名叫 site，结果一直报找不到module(pycharm有这个问题，命令行执行没有)
2. 长时间扫 1688 的网页会被强制登录
3. ini 的文件路径需要使用 os.path.dirname(os.path.abspath(file)),不然会一直报找不到某个section，而不是提示你文件不存在