fansy1990 / spark_mllib_1.6.0_ Goto Github PK

Spark1.6 MLlib 算法展示平台

相关软件：
IDEA 2014，JDK1.7，Hadoop2.6，MySQL5.6，EasyUI1.3.6，jQuery2.0，Spring4.1.3，
Hibernate4.3.1，struts2.3.1，Maven3.2.1，Spark1.6

1. 部署：
  1）配置好db.properties中相应用户名密码／数据库等参数；
  2）第一次启动tomcat，修改hibernate.cfg.xml文件中的hibernate.hbm2ddl.auto值为create，第二次启动修改为update；
  3) 打开集群参数页面，点击初始化，初始化集群参数，如果集群参数和当前集群不匹配，那么需要做相应修改；
     暂时考虑使用配置文件的方式来配置集群参数，如果要调整为数据库配置，那么修改Utisl.dbOrFile参数即可；
     即，暂时只需修改utisl.properties文件；
     
  4）拷贝Spark_MLlib_Algorithm_1.6.0工程生成的算法到到3）中spark.jar所在路径；
  5）拷贝集群中的yarn-site.xml到3）中spark.files所在路径；
  6）拷贝spark-assembly-1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0.jar到3）中spark.yarn.jar所在路径；


2. 功能：
   1） 各种算法建模调用实现；
   2）某些算法建模对比实现（主要是使用这个模型来进行预测）：
      可以对比的模型具有哪些共同特征：
      a. 算法特征一样（这个是设计的参数）；
      b. 具有共同的建模输入；

3. 编写算法流程：
   1）编写src/main/java/下算法对应的Thread；
   2）编写webapp下的对应页面；
   3）编写webapp/js下对应的js；
   4）修改webapp/preprocess/upload.jsp，添加一条数据上传记录，并在main/data下添加对应的数据；
   5）启动工程，在页面上传数据，然后选择算法，设置参数，即可提交任务，提交任务后在监控界面即可看到算法运行状态；