songxiaosheng / scalable Goto Github PK

避免形成环的DAG检测器

数据来源于第三方系统到数据源之后需要经过处理插件的处理，数据可以经过多个或者一个数据处理插件数据的规范是很重要的保证任何一个处理插件都可以根据数据格式来识别数据。

大规模的数据流转计算需要无状态、可均衡调度资源的

这是一个高性能，可扩展，海量数据处理的数据流处理系统。

灵活的数据流扩展可以按需定制，用来实现企业级数据分片，转换，计算，核对等场景。

传统的监控系统无法深入业务细节，实现系统内部数据准确性的数据核对监控告警。

可扩展的数据处理插件主要包含如下几种：

• 数据源插件：数据来源不仅仅局限于一个固定的数据源，数据源可以是来自于数据库表，磁盘文件，用户输入等异构数据源头。
• 数据处理插件：数据处理过程可以按需定制比如数据分片，数据转换，数据计算，数据核对等场景。
• 数据汇总插件：数据汇总用于最后的数据聚合，存储，告警等场景。

数据源插件的工作主要是用来收集数据的，数据流转是这样的，内部主动拉取数据或者通过RPC接口、MQ等被动接收外部发送过来的数据，收集到的数据经过简单的处理之后就可以发送到数据处理端，数据可以发送至一个或者多个，这个取决于配置的策略。

数据处理插件的工作主要是被动的接收来自数据源插件发送过来的数据，接收到的数据将会在内部进行处理，具体数据的处理逻辑由当前实际的插件功能决定，可以进行数据转换，数据核对等场景。处理过的数据可以继续发送到其他的数据处理插件中，也可以发送到数据汇总插件中，后面的数据处理插件可以继续做同样的逻辑也可以直接结束。

数据汇总插件的工作主要用于结束数据流转，当然这个插件是可选的，如果不需要明确使用当前插件来标识数据结束流转的可以直接在数据处理插件中将数据流转结束掉。