实际应用中,有个页数限制的参数。 about webcollector

[hujunxianligong]

页数限制，是业务层面的事情。而且限制页数并不是一个面向精抽取业务爬虫的好的策略。如果是做搜索引擎，可以考虑加入。在WebCollector 2.x中，生成的爬取任务是通过在visitAndGetNextLinks方法的返回值决定的，可以很好地解决你说的这个问题。如果页号大于多少就不放入返回值。这样比控制最大页数更精准。如果你非要做页数控制，可以做一个全局的变量来控制。

[hujunxianligong]

还有一种策略，你可以通过simhash来判断页面是否相同。如果遇到相同的页面，在visitAndGetNextLinks方法中不处理这个页面，同时返回null即可。