一个简单的调度小工具 生产环境主要用于从一个数据源,经过一定的处理,写入到另外一个接收方。可用于系统集成。
- 从一个HDFS目录读取数据,同步到缓存中;
- 冲一个HDFS目录读取数据,经过统计计算,写入到MySQL中;
- 将HDFS中的结果同步到MySQL中;
数据源一般是Kafka、HDFS这种,消费端可以做简单的处理写入到数据库。 支持功能: 提供HTTP API提交任务; 消费端可动态增加和减少worker数量; 可实时采样数据源数据; 可杀掉任务; 适配器目前支持HDFS路径、Kafka通道、静态文件; 支持类名配置适配器;