cuhksz-tql / weibospider_sentimentanalysis Goto Github PK

你好，我使用simple版本查看了一下我抓取的微博数据，Tweets和Comments对不上，比如说固定某一个Tweets，他对应的评论正常有23条，但是抓取的Comments显示只抓取了10条，并且这10条并不是连续的10条，好像随她喜欢，喜欢哪条评论抓哪条，这是什么原因？你们遇到过这种问题么？

2020-07-18 19:03:56 [scrapy.middleware] INFO: Enabled item pipelines:
['sina.pipelines.MongoDBPipeline']
2020-07-18 19:03:56 [scrapy.core.engine] INFO: Spider opened
2020-07-18 19:03:56 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-07-18 19:03:56 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-07-18 19:03:56 [py.warnings] WARNING: D:\study\Python3.7\lib\site-packages\scrapy\spiders_init_.py:81: UserWarning: Spider.make_requests_from_url method is deprecated: it will be removed and not be called by the default Spider.start_requests method in future Scrapy releases. Please override Spider.start_requests method instead.
warnings.warn(

1.请问这段抓取个人信息的代码不能用吗？
2.配置好环境以后直接在redis_init.py中填写需要的关键词和时间段就可以运行了吗？如果想限定发微博的地点，能否直接在url_format中加一个“region=custom:xx:xx”呢？
3.如果查找的关键词有很多，在数据库中如何区分呢?能否增加一列字段为keyword？
4.还要就是爬的过程中出现error：list index out of range是什么情况呢

from sina.settings import LOCAL_MONGO_HOST, LOCAL_MONGO_PORT, DB_NAME

用了10个账号，并发设置为1，延迟设置为1。现在爬不下来东西，是哪里出问题了吗？

您好，请问这个数据集，您能给我一份吗？
我的邮箱是[email protected]
因为我的毕业论文中需要用到这样的一份数据集，但是我自己来爬取有一些难度，希望您能帮帮我，能把这个数据集给我发一份吗？
万分感谢