hairless / plink Goto Github PK

功能点

1. Checkpoint & Savapoint 平台默认配置和页面配置
2. 手动触发Savapoint
3. stop with Savapoint
4. Checkpoint 信息自动上报
5. 历史状态列表
6. 新增自动从最新的状态（cp or sp）恢复选项
7. 任务重试时状态恢复
8. 手动启动状态恢复

1. 顶部左侧 LOGO 改成 Plink
2. 列表的选择器改成触发改变
3. 作业并行度的输入改成 数字输入框

1、自定义reporter，上报checkpoint信息
2、添加数据库表，用于落地数据
3、提供添加和查询接口
4、在reporter里通过平台添加接口进行上报

描述一下 bug
创建一个flink sql类型任务，定义sql时有用到反引号，任务启动失败

** 使用的Plink版本**
0.2.0

重现过程
具体的重现步骤:

1. 创建一个flink sql类型任务，编辑完sql(sql中有反引号)
2. 启动任务，任务启动失败

您的功能请求是否与问题有关？请描述。
当机器上的HADOOP发行版是CDH时，机器可能没有HADOOP_HOME这个变量，且HADOOP_CONF_DIR是和HADOOP分开存放的
例如：

$> ls -l /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3
drwxr-xr-x  2 root root  4096 Mar 26  2019 bin
drwxr-xr-x 26 root root  4096 Aug 25  2017 etc
drwxr-xr-x  4 root root  4096 Aug 25  2017 include
drwxr-xr-x  2 root root 61440 Nov  2 12:21 jars
drwxr-xr-x 37 root root  4096 Aug 25  2017 lib
drwxr-xr-x  2 root root  4096 Aug 25  2017 lib64
drwxr-xr-x  3 root root  4096 Aug 25  2017 libexec
drwxr-xr-x  2 root root  4096 Aug 25  2017 meta
drwxr-xr-x  3 root root  4096 Aug 25  2017 share

$> readlink -f /etc/hadoop/conf
/etc/hadoop/conf.cloudera.yarn


$> ls -l /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/etc/hadoop
lrwxrwxrwx 1 root root   10 Aug 25  2017 conf.dist -> conf.empty
drwxr-xr-x 2 root root 4096 Dec 11 16:20 conf.empty
drwxr-xr-x 2 root root 4096 Aug 25  2017 conf.impala
drwxr-xr-x 2 root root 4096 Aug 25  2017 conf.pseudo
drwxr-xr-x 2 root root 4096 Aug 25  2017 conf.pseudo.mr1

描述您想要的解决方案
希望加载HADOOP配置时，能够直接定义HADOOP_CONF_DIR。

现在的情况
final String CONF_SUFFIX = "/etc/hadoop";
Collection<File> files = FileUtils.listFiles(new File(hadoopHome, CONF_SUFFIX), new String[]{"xml"}, false);


CDH的配置 HADOOP_CONF_DIR= /etc/hadoop/conf
无法指定CDH的配置，因为后缀定死了

CDH的HADOOP_HOME=/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3
无法指定CDH的配置，因为CDH的HADOOP_HOME/etc/hadoop不是实际的配置文件

其他内容
无

项目打包
maven release
git release
git new batch 0.1
docker 发版
完善文档

1. SQL 编辑器
2. SQL 调试
3. 流程图（待定 。。。）

描述一下 bug
简单的描述一下bug
在构建的时候会报错 java.lang.String can't cast to be java.lang.String[]
原因是因为这里下面截图中还要又一个子级的 的，而源码中直接写成 ,我本地改过来就可以了。

** 使用的Plink版本**
例：0.1.0

重现过程
具体的重现步骤:

1. 哪个页面/模块 '...'
2. 点击了 'clean install"
3. 看到了xxx错误

屏幕截图
如果有的话，请贴一下截图帮助我们更快的定位问题

其他内容
可添加任何关于bug的其他内容到此处

1. 后端支持作业自动重试（默认3次）

您的功能请求是否与问题有关？请描述。
在查看日志是由于DTO没有重写toString，导致无法查看详细消息
2020-09-04 14:52:16.861 WARN [common-Thread-2] c.g.h.p.schedule.task.InstanceStatusSyncTask : asyncSubmitJob error jobInstance=com.github.hairless.plink.model.pojo.JobInstance@1a422382
描述您想要的解决方案
// BaseModel 重写toString :
public String toString() {
return ToStringBuilder.reflectionToString(this);
}

bug描述：
在yarn模式下，提交任务提交失败，查看日志报Could not build the program from JAR file

使用的Plink版本
例：0.2.0

重现过程
具体的重现步骤:
1.在作业列表启动任务，启动任务失败
2.查看日志，报Could not build the program from JAR file

屏幕截图

1. 将 ViewUI 换成 AntDesign
2. 移除原来的 TypeScript
3. 增加登录页
4. 路由菜单动态加载（方便与权限整合）
5. 增加顶部菜单
6. 整体 UI 样式风格翻新

• 前端运行server请求不到后端接口
• 列表页筛选条件没有和页面路由同步
• 任务列表页增加类型和状态的筛选
• 根据枚举接口获取枚举详情（任务状态、任务类型、客户端版本）
• 任务详细启动后需要定时更新任务状态
• 任务详情的实例列表需要分页
• 日期的展示需要格式化
• 详情页的任务停止调用的启动接口

//需要后端配合

• 根据任务状态现在任务操作，例：运行中任务不可编辑，不可启动，不可删除，停止中任务不可停止

描述一下 bug
DTO没有重写toString方法，导致日志看不见详细信息

2020-09-04 14:52:16.861 WARN [common-Thread-2] c.g.h.p.schedule.task.InstanceStatusSyncTask : asyncSubmitJob error jobInstance=com.github.hairless.plink.model.pojo.JobInstance@1a422382

** 使用的Plink版本**
0.1.0

重现过程
具体的重现步骤:

1. plink-model

屏幕截图

其他内容
可添加任何关于bug的其他内容到此处

Cluster.mode：local

java.lang.NullPointerException: null
at org.apache.flink.util.Preconditions.checkNotNull(Preconditions.java:61)
at org.apache.flink.client.program.PackagedProgram.(PackagedProgram.java:116)
at org.apache.flink.client.program.PackagedProgram.(PackagedProgram.java:61)
at org.apache.flink.client.program.PackagedProgram$Builder.build(PackagedProgram.java:585)
at com.github.hairless.plink.service.impl.LocalFlinkClusterServiceImpl.submitJob(LocalFlinkClusterServiceImpl.java:61)
at com.github.hairless.plink.schedule.task.SubmitJobTask.asyncSubmitJobTask(SubmitJobTask.java:55)
at com.github.hairless.plink.schedule.task.SubmitJobTask$$FastClassBySpringCGLIB$$86b74b1f.invoke()
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:769)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
at org.springframework.aop.interceptor.AsyncExecutionInterceptor.lambda$invoke$0(AsyncExecutionInterceptor.java:115)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

您的功能请求是否与问题有关？请描述。
否

描述您想要的解决方案

1. flink sql任务模板jar
2. sql解析[后端]
3. sql调试[后端]

其他内容
无

支持flink on yarn提交任务

flink新版本已经不再支持window的提交命令
window部署文档之前已经移除
此处需要移除/docs/README.md 中window部署相关的链接

1. 作业编辑相关的配置放到一个标签页下
2. 编辑时默认的 clientVersion = 1.10.x

plink 新功能点收集

以下是暂定的Plink 0.2待支持的功能点，有任何新想法请在下面追加评论，
功能点收集完成后会在qq群里进行投票来确定最终的功能点，欢迎大家积极参与

• 支持flink sql任务
• 支持flink on yarn
• 支持查看启动日志
• flink metrics采集与展示
• 支持监控报警
• 支持系统自动重试
• 支持用户体系

v0.1 dev plan items

1. 原型
2. 前端
   1. 作业管理
      1. 作业列表
         1. 新建作业
         2. 查询作业
         3. 作业启动/批量
         4. 作业重启/批量
         5. 作业停止/批量
         6. 作业删除/批量
      2. 实例列表
         1. 查询实例
         2. 实例详情
         3. 删除实例
   2. 作业详情
      1. 配置详情
      2. 作业启动
      3. 作业重启
      4. 作业停止
      5. 作业删除
      6. 实例列表(单任务维度)
   3. 作业编辑
      1. 配置编辑
      2. 上传jar
      3. jar列表
3. 后端
   1. 接口
      1. 新建作业接口
      2. 更新作业接口
      3. 查询作业接口
      4. 删除作业接口
      5. 启动作业接口
      6. 重启作业接口
      7. 停止作业接口
      8. 文件上传接口(Jar)
      9. 文件名获取接口
   2. 定时任务
      1. 作业状态轮询
      2. 定时提交新建实例(待确认)

领取任务的评论模板

注 : 要参与一起贡献的，评论后请加下面的 QQ 群.
如 :

1. 前端 / 作业列表
2. 前端 / 作业管理 / 作业列表 / 作业启动
3. 后端 / 启动作业接口

联系方式

• QQ 群 : 602995595

功能点

1. 用户
2. 角色
3. 权限
4. 路由
5. 菜单

期望支持Flink YARN Session提交任务

➜ ~ docker pull registry.cn-hangzhou.aliyuncs.com/hairless/plink:master
Error response from daemon: manifest for registry.cn-hangzhou.aliyuncs.com/hairless/plink:master not found