dee1024 / housedb

🏡🏡🏡 房源数据爬虫。支持断点续爬，价格变更通知，提供数据的分析统计服务。

Housedb 1.2

房产信息网站大数据爬虫。部分数据来源于链家网站（http://www.lianjia.com )，请勿用于商业用途，仅供交流和个人娱乐。

特性

• 定期更新房源数据　
• 提供房源价格变动通知服务

数据预览

数据统计

• 各个区域的房源数量情况
• 各个区域的均价情况
• 不同楼龄的房源数量情况
• 关注数最高的房源情况

房源价格变更

安装说明

运行环境：JDK1.7+、Mysql、Elastic Stack(用于出报表，可选)

编译环境：JDK1.7+、Maven3

• 步骤一：新建库命名为housedb并导入基础表结构和数据，执行 db/housedb.sql文件即可

• 步骤二：配置 application.properties 文件

  1.Mysql数据源配置，redis配置请忽略

  2.设置每天定时任务执行的小时区间

  3.设置SMTP账号和接收通知的邮箱地址

  4.dev如果设置为true，则为"开发者模式"，忽略定制任务执行小时区间的限制

  5.如果没有代理服务器，则把 needproxy 设置为 false

• 步骤三：启动服务

java -jar housedb-20180410003739.jar

• 步骤四：定时任务启动爬虫

  默认启动服务后，5分钟爬虫启动。爬虫会先生成当天的执行任务，记录在process 表中，然后逐一执行抓取房源索引，并记录在houseindex表，接着抓取房源明细，记录在house表。 爬虫初次抓，数据量大约为1w ~ 2w之前，这些都是目前在线房源数，初次不会做邮件通知。通知会在第二天爬虫做房源信息检查的时候，发现有新房源或者是房源价格调整，则会发起通知。

housedb's Issues

mac java 9 报错

报错信息

 java -jar target/housedb-20180504194948.jar 
Exception in thread "main" java.lang.ClassCastException: java.base/jdk.internal.loader.ClassLoaders$AppClassLoader cannot be cast to java.base/java.net.URLClassLoader
	at org.springframework.boot.devtools.restart.DefaultRestartInitializer.getUrls(DefaultRestartInitializer.java:91)
	at org.springframework.boot.devtools.restart.DefaultRestartInitializer.getInitialUrls(DefaultRestartInitializer.java:54)

java version

weideMacBook-Pro:housedb wei$ java -version
java version "9.0.4"
Java(TM) SE Runtime Environment (build 9.0.4+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.4+11, mixed mode)

如何部署

能简单写一下如何部署使用的教程么？