sekift / moas

光速吃瓜信息集合。快速体验：http://news.bubbt.com/h5

moas-back

moas，恐鸟，于1850年灭绝。在这里是一个集成SpringBoot等工具爬取新闻热点的爬虫。
体验网址：http://news.bubbt.com/h5

项目介绍

moas-crawler爬虫+moas-back web+moas-front前端

1、moas-crawler+moas-back配置

JDK：1.8.0_121
集成环境：IntelliJ IDEA 2019.1
项目管理：Maven 2.5.2
集成框架：SpringBoot 2.1.8+Spring 5.1.9
持久层框架：MyBatis 3.4.6+MyBatis-Generator 1.3.2
数据库：MySql 5.5.25
数据库连接池：Druid 1.1.10
日志框架：Logback 1.2.3
测试框架：Junit 4.12

2、moas-front配置

使用HBuiderX制作的vue项目，具体可看官方文档（https://www.dcloud.net.cn/）。

项目配置

项目配置请看/doc/moas-crawler配置文档.doc，sql数据表信息请看back.sql。

功能更新

2021/05/03 更新
1.增加虚拟机资讯功能。

2020/11/13 更新
1.更换IP。

2020/09/19 更新
1.增加热点功能，按每天、每周等分类。

2020/07/04 更新
1、增加moas-crawler分词功能，热点跟踪。
2、增加moas-back热点词语功能，热点搜索功能。

2020/05/19 更新
1、完善moas-crawler、moas-back项目。
2、完善moas-front项目，打包并运行h5。

2020/04/24 更新
1、第一个版本，整合爬虫moas-crawler。
2、增加爬取微信、百度等11个网站热点。
3、创建moas-back web项目。
4、创建moas-front前端项目。

开发moas-crawer

1、先在数据库top_news_url中增加爬取网站的信息；
2、然后在parser/impl下增加对新加网站的解析，信息爬取；
3、再修改parser/impl下的TopNewsParserImpl；
4、调整入库即可。

注意点

1、moas-front打包后有一js文件300k+，加载启动缓慢，至少5秒左右。
2、分词是使用FoolNLTK包，地址为：https://github.com/rockyzhengwu/FoolNLTK 。注意在centos上线时，如过报错，一般时因为glib版本过低所至，按要求升级。一般libc.so.6升级到20即可。