xrogzu / proxypool

给爬虫使用的代理IP池

ProxyPool

获取可用代理池的库，从网上抓取的代理很多都是不可用的。这个库先用爬虫抓取代理，再做一些检查是否可用，可用的话就存放到mongodb中。

ProxyPool可以供给网络爬虫使用，ProxyPool由Spring Boot+RxJava2.x+MongoDB搭建

使用方法：

单独使用代理抓取逻辑，无任何界面，可以在任何项目中使用

对于Java项目如果使用gradle构建，由于默认不是使用jcenter，需要在相应module的build.gradle中配置

repositories {
    mavenCentral()
    jcenter()
}

Gradle:

compile 'com.cv4j.proxy:proxypool:1.1.1'

也可以将该repository clone独立运行，带web界面

可用的代理会存放到MongoDB中。每隔几小时会抓取一次可用的代理。不过本地需要事先搭建好MongoDB。

本地访问地址：http://localhost:8080/proxypool/load?pagename=proxy_list

线上环境地址：http://47.97.7.119:8080/proxypool/load?pagename=proxy_list

线上环境地址(移动端)：http://47.97.7.119:8080/proxypool/load?pagename=m_proxy_list

预览效果如下：

另外，还提供了一个接口，返回代理池中所有的Proxy

本地访问地址：http://localhost:8080/proxypool/getAllResultProxy

线上环境地址：http://47.97.7.119:8080/proxypool/getAllResultProxy

资源计划管理 http://localhost:8080/proxypool/load?pagename=resource_list http://localhost:8080/proxypool/load?pagename=plan_list