codesofun / web-bee Goto Github PK

View Code? Open in Web Editor NEW

186.0 186.0 38.0 246 KB

🐝 Web vertical crawler framework for fun

License: MIT License

Java 100.00%

crawler framework java java-8 webbee

web-bee's People

Contributors

Stargazers

Watchers

web-bee's Issues

抓取数据return类型

需要增加针对用户的JSON格式返回类型

完善httpClient封装

需要增加封装request的header请求，并且可以让用户配置post,get,put,delete等请求方式

关于分页下一页

目前支持服务器回调的nextUrl
对于没有回调的需要完善处理进行自动获取
并且getNextUrl("key")处理的不好需要修改

redis 每爬数百次报错

JedisConnectionException: java.net.ConnectException: Address already in use (connect failed)

org.apache.http.conn.ConnectTimeoutException: Connect to www.zhihu.com:443 [www.zhihu.com/118.178.213.186] failed: connect timed out

org.apache.http.conn.ConnectTimeoutException: Connect to www.zhihu.com:443 [www.zhihu.com/118.178.213.186] failed: connect timed out

httpclient使用中生成的请求应该限定超时时间，不能让线程一直等待状态！

实现自动解析网络流type后缀

需要完成 Content-Type 转 extension 自动匹配生成文件

httpClient封装请求

已完成httpClient封装get post put 请求，但是不够优雅，需要简化代码

异常处理

爬取过程中抛异常 eg：404 、 timeout、需要进行处理重新爬取3次机会再失败进行标记缓存java或持久化中间件中

文章分页自动抓取下一页内容

有些难点：
js引擎渲染bind-dom无法直接拿到精确url
滚动加载下一页
api返回html并非json

完善日志系统

日志规范

封装elements

用户不需要自己处理elements元素，最好自己实现

为下载文件添加进度条

让用户有更加好的体验

爬取视频

爬取视频，并写一个慕课网视频爬取demo

分析知乎百万用户

初步打算使用echarts 图表对知乎用户：

回答数/点赞数/学历/留学经历：粉丝数做出统计
统计知乎粉丝top 100用户
统计文章赞top100，评论top100
统计知乎 xxx最xxx 的文章
放到官网

完善webBee选择器

将webBee选择器进一步扩展和优化，基本达到jquery的目的，降低学习成本

异常处理

增加良好的处理异常措施，让用户一目了然，并防止程序宕机

jar包托管

发布到maven**仓库

文件下载器优化

讨论请求出带抓取文件队列后的下载问题。

单页面爬虫处理

如何处理单页面爬虫？

java8

应该多使用java8语言优势

爬取图片

增加爬取图片接口

API网站整站爬取

wget -r -p -np -k http 功能实现

实现缓存

不依靠中间件实现java底层缓存api或选择器返回抓取数据，进行缓存，顺便进行学习

持续集成测试问题

需要解决 travis CI 持续集成报1.6不支持的bug
场景：抛出多个异常1.6不支持

怎么运行起来？项目之间关系是什么？

下载后，导入eclipse：

很多jar报错呢。
luence，全局搜索都没有。
项目是怎么依赖关系？

定时器

对于一些反爬不错的网站典型：知乎
应该特别注意模仿用户行为，应该增加定时器每天分三个时段进行智能爬取

缓存

爬取知乎百万数据为防止爬取重复用户以及生成关系策略需要进行缓存
java缓存百万数据不切实际额，需要开发webbee-redis插件

提供一个爬取图片的例子

提供一个爬取图片的例子，批量爬取

为下载文件实现多线程

@wangtonghe 为下载文件实现多线程，需要技术支持😄

如何使用?

如何使用?有没相应文档?

爬虫抓取优化

实现类似 Jquery 的 $ 选择器抓取需要爬的数据

完善页面处理器

    //todo page.getJson/html/string().$('textarea.content').as('content').bulid().$('#img').as('img')
    //todo 期望结果: {content:[],img:[]} 一条{}多条[] 的json格式
    //todo page.nextUrl('span>ss>s')
    //todo 直接获取api接口

提供一个单个下载[视频]、[图片] API

提供一个不需要用户传入Task的API，方便下载单个视频例如： 今日头条 昵图网 等。增加自由度，甚至抽离出：输入url自动下载视频的app

工厂模式

合理利用工厂模式，减少代码重复率

codesofun / web-bee Goto Github PK

web-bee's People

Contributors

Stargazers

Watchers

Forkers

web-bee's Issues

Recommend Projects

Recommend Topics

Recommend Org