caspartse / qq-groups-spider

QQ Groups Spider（QQ 群爬虫）

QQ-Groups-Spider (v0.3.0)

QQ Groups Spider（QQ 群爬虫）

批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、地域、分类、标签、群简介等内容，返回 XLS / CSV / JSON 结果文件。

代码说明

测试环境

• BunsenLabs GNU/Linux 8.9 (Hydrogen)
• Windows XP Service Pack 3 (on VirtualBox)
• Python (2.7)

第三方库支持

• bottle
• requests
• simplejson
• pyexcel-xls
• unicodecsv

本地运行

$ python app.py

SAE 上运行

按照 https://www.sinacloud.com/doc/sae/python/tutorial.html#bottle 说明配置即可。

Demo

在线演示

http://kagent.applinzi.com/qqun

截图示例

致谢

@小木哥1

更新日志

• 2017-12-31 v0.3.0 支持多个关键词（返回 zip 压缩包）；页面优化；（暂时）移除 XlsxWriter 模块。
• 2017-07-27 v0.2.0 更换新接口；优化模板页面；增加群上限、地域、分类、标签等字段；新增导出 JSON 格式。
• 2016-02-19 v0.1.2 更新二维码验证参数。
• 2016-08-19 v0.1.1 改善代码逻辑；加入 XlsxWriter 模块；增加本地运行支持。
• 2016-07-23 v0.1.0 初始化。

qq-groups-spider's Issues

It seems that this pro doesn't work now.

Any solutions?

非常棒的项目，遗憾的是本地运行出错

Traceback (most recent call last):
File "K:\CODE\QQ-Groups-Spider\lib\bottle.py", line 3113, in run
server.run(app)
File "K:\CODE\QQ-Groups-Spider\lib\bottle.py", line 2812, in run
**self.options)
File "C:\Python27\lib\site-packages\paste\httpserver.py", line 1310, in serve
request_queue_size=request_queue_size)
File "C:\Python27\lib\site-packages\paste\httpserver.py", line 1153, in init
request_queue_size=request_queue_size)
File "C:\Python27\lib\site-packages\paste\httpserver.py", line 1132, in init
request_queue_size=request_queue_size)
File "C:\Python27\lib\site-packages\paste\httpserver.py", line 345, in init
HTTPServer.init(self, server_address, RequestHandlerClass)
File "C:\Python27\lib\SocketServer.py", line 417, in init
self.server_bind()
File "C:\Python27\lib\BaseHTTPServer.py", line 108, in server_bind
SocketServer.TCPServer.server_bind(self)
File "C:\Python27\lib\SocketServer.py", line 431, in server_bind
self.socket.bind(self.server_address)
File "C:\Python27\lib\socket.py", line 228, in meth
return getattr(self._sock,name)(*args)
error: [Errno 10013]

该错误如何修改呢？

扫码登陆QQ是怎么实现的,需要申请开发者吗?

报501错误了

501

<title>501 Not Implemented</title>

501 Not Implemented

---

nginx

Expecting value: line 1 column 1 (char 0)
这是怎么回事啊

感觉这样不妥呀

这不是的爬虫啊，
只是获取当前登录的qq号所加的群，
以及其它人上传的数据吧，

本地运行后，需要做什么操作嘛，因为没有反应，直接访问local会报下面错误

Error: 500 Internal Server Error
Sorry, the requested URL 'http://localhost:8080/qqun' caused an error:

Template 'qqun' not found.

这个项目真的不要太好哦

有没有可能再获取QQ群里的成员呢，或者是QQ号呢，

大神可以留个QQ吗

萌新有问题求助

可以导出群成员信息吗？

可以导出群成员信息吗？这个实现难吗？

现在不能用了，大神，qq的验证方式改了

现在扫描已经不能验证了，估计是验证方式改了，能修正下程序吗？

麻烦问一下，扫码登录具体是怎么一个流程？扫码登录过后就能获取cookie了吗

主要是我用php在做一个类似的

期待新功能

期待增加 抓取QQ群成员基本信息功能。

运行时报错

File "/home/webadmin/qq-group-spider/QQ-Groups-Spider-master/vendor/bottle.py", line 3123, in run
server.run(app)
File "/home/webadmin/qq-group-spider/QQ-Groups-Spider-master/vendor/bottle.py", line 2818, in run
from paste import httpserver
ImportError: No module named paste