yang-reck Goto Github PK

awesome-docker

:whale: A curated list of Docker resources and projects

database-contrast-util

数据库对比工具

datafaker

Datafaker is a large-scale test data and flow test data generation tool. Datafaker fakes data and inserts to varied data sources. 测试数据生成工具

datax-elasticsearch

datax数据同步elasticsearch的reader和writer插件，支持一对多的扁平数据转换成es的嵌套对象，也支持嵌套对象的读取和ognl表达式过滤，理论上可以无限嵌套。

datax-service

针对datax进行2次开发，实现data 以rpc的方式传递json配置调用推数服务，同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心； 同时项目内扩展了kafkawriter，rabbitmqwriter，esreader，hivereader。增强了hdfs插件，支持分区表推送，支持动态参数传递（例如时间实现自增式抽取）。具体使用方式可以参照example模块。目前该服务已经稳定服务某上市公司半年，累计总任务数100+ ，日推送数据过10亿。具体如何使用，如何做插件开发以及datax底层原理，请关注https://blog.csdn.net/xiaoyao1999hn

datax-web

DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

debezium

Change data capture for a variety of databases. Please log issues at https://issues.redhat.com/browse/DBZ.

docker-resources

Docker resources collection. docker资源汇总

exchangis

Exchangis is a lightweight,highly extensible data exchange platform that supports data transmission between structured and unstructured heterogeneous data sources

flink-learning

flink learning blog. http://www.flink-learning.com 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等内容的学习案例，还有 Flink 落地应用的大型项目案例（PVUV、日志存储、百亿数据实时去重、监控告警）分享。欢迎大家支持我的专栏《大数据实时计算引擎 Flink 实战与性能优化》

guardian

Guardian of Waterdrop and Spark

hera

hera 分布式任务调度系统 大数据任务调度系统 任务调度 （数据部门专用）

hera-1

hera 分布式任务调度系统 大数据任务调度系统 任务调度 （数据部门专用）

hkpic

incubator-dolphinscheduler

Dolphin Scheduler is a distributed and easy-to-extend visual workflow scheduling platform, dedicated to solving the complex dependencies in data processing, making the scheduling system out of the box for data processing.(分布式易扩展的可视化工作流任务调度)

kafka-connect-oracle

Kafka Source Connector For Oracle

kafka-connect-oracle-cdc

Demonstration Oracle CDC Source Connector with Kafka Connect

kubernetes-learning

《从Docker到Kubernetes进阶课程》在线文档

larkmidtable

基于flinkx的分布式数据中台产品

logreader

一个Sqlserver的事务日志解析程序，可根据事务日志还原操作Sql

mssqlloganalyzer

Microsoft SQL Server Log Analyzer.DBLOG.DatabaseLogAnalyzer can read the SQL Server transaction logs online, and return RedoSQL and UndoSQL for every transactions.

ogg-marklogic-adapter

Oracle goldengate adapter for MarkLogic, CDC, Change Data Capture tool

oracdc

Oracle database CDC (Change Data Capture)

postgres_books

pulsar

Apache Pulsar - distributed pub-sub messaging system

schema-registry-ui

Web tool for Avro Schema Registry |