爬取单个用户的微博不能超过50页。 about weibospider

[nghuyong]

如果有cookie，应该不止50页吧

[mamingsuper]

如果有cookie，应该不止50页吧

感谢回复，是有cookie的，然后也降低爬取速度了，但是差不多都是50页自动结束。

[nghuyong]

能提供一个用户id的例子吗

[mamingsuper]

能提供一个用户id的例子吗

好的！

用户ID：6244553417

时间：2022-1-1 到 2023-1-1 爬取结果：1000条数据 然后代码运行完成

{'downloader/request_bytes': 709037,
'downloader/request_count': 645,
'downloader/request_method_count/GET': 645,
'downloader/response_bytes': 2531993,
'downloader/response_count': 645,
'downloader/response_status_count/200': 645,
'dupefilter/filtered': 3,
'elapsed_time_seconds': 786.770646,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2024, 2, 14, 3, 36, 23, 765561),
'httpcompression/response_bytes': 17931461,
'httpcompression/response_count': 641,
'item_scraped_count': 1065,
'log_count/DEBUG': 1712,
'log_count/INFO': 23,
'log_count/WARNING': 1,
'memusage/max': 74203136,
'memusage/startup': 66420736,
'request_depth_max': 54,
'response_received_count': 645,
'scheduler/dequeued': 645,
'scheduler/dequeued/memory': 645,
'scheduler/enqueued': 645,
'scheduler/enqueued/memory': 645,
'start_time': datetime.datetime(2024, 2, 14, 3, 23, 16, 994915)}
2024-02-14 04:36:23 [scrapy.core.engine] INFO: Spider closed (finished)

[nghuyong]

针对单个用户的基于时间段的检索接口，微博自身有限制，大概只能采集500条，所以如果时间段内用户超过500条就不能采集了。这里通过将大的时间段拆分成小的时间段（10天一次）来依次采集可以解决。

基于最近的代码
用户ID：6244553417
时间：2022-1-1 到 2023-1-1
可以采集9431条推文