是否能够添加初始url类似 scrapy_redis redis_key的功能 about scrapy-distributed

[Insutanto]

一般这种情况是由单独的脚本写数据到队列中。
如果是使用rabbitmq作为队列，我自己写爬虫的时候是这么加的。

from scrapy.http.request import Request
from scrapy_distributed.queues.common import BytesDump, keys_string
from scrapy_distributed.queues.amqp import RabbitQueue

if __name__ == "__main__":
    _queue: RabbitQueue = RabbitQueue.from_queue_conf("amqp://guest:guest@localhost:5672/?heartbeat=0", YourSpider.queue_conf)
    body = json.dumps(keys_string(RabbitQueue._request_to_dict(Request(url=your_url), YourSpider())), cls=BytesDump)
    _queue.channel.basic_publish(exchange="", routing_key=_queue.name, body=body, properties=BasicProperties(delivery_mode=2))

后续可以考虑封装起来。

[zhouboboya]

这样的话，1、start_requests方法 是不是就没有用了，或者说起始的url 为空， 任务会自动从队列中加载这样的逻辑？

我得想法2、是在sitemap.py 中模仿scrapy_redis实现一个类似RabbitMixin的方法，和scrapy_redis那样的逻辑就行了，您看这样可以吗？

[Insutanto]

这样的话，1、start_requests方法 是不是就没有用了，或者说起始的url 为空， 任务会自动从队列中加载这样的逻辑？

我得想法2、是在sitemap.py 中模仿scrapy_redis实现一个类似RabbitMixin的方法，和scrapy_redis那样的逻辑就行了，您看这样可以吗？

用 start_requests 也是可以的。
如果是用sitemap爬虫，初始URL是从 sitemap_urls 取，和 scrapy 自带的 sitemap 爬虫一样。