Coder Social home page Coder Social logo

xhhx55's Projects

alchemy icon alchemy

给flink开发的web系统。支持页面上定义udf,进行sql和jar任务的提交;支持source、sink、job的管理;可以管理openshift上的flink集群

analysis icon analysis

小象数据完整产品包括用户行为分析、用户画像、智慧运营,通过采集用户行为数据和第三方数据进行实时处理和分析,实时获取用户操作、产品体验和运营活动的数据反馈。兼容神策SDK,完整产品包括用户行为分析、用户画像、智慧运营,通过采集用户行为数据和第三方数据进行实时处理和分析,实时获取用户操作、产品体验和运营活动的数据反馈。采用flume进行数据采集,采用flink+clickhouse构建PB级别的海量结构化数据存储和实时分析。

apps-remote-api icon apps-remote-api

基于python torndo实现Rest API服务,用于远程提交spark,查询yarn任务状态,查询Yarn日志地址,停止Yarn上任务

big-whale icon big-whale

Spark、Flink等离线任务的调度以及实时任务的监控

bigdata icon bigdata

:fire:总结大数据框架Flink、ClickHouse、Hadoop、Hive、Kafka、....部署、调优、

bigdata-1 icon bigdata-1

大数据相关组件学习-包含es,flink,spark,Hadoop等相关组件的java api用法

bigdata-practice icon bigdata-practice

:metal: 常用大数据工具学习实战,包含Hadoop、HBase、Kafka、ClickHouse、Hive、Redis、Zookeeper....未完待续

cmdb icon cmdb

CMDB: As far as possible to achieve more universal configuration and management of IT resources, demo: http://121.42.12.46:8000

cmdb-1 icon cmdb-1

CMDB 配置管理系统 资产管理系统

common-datax icon common-datax

基于DataX的通用数据同步微服务,一个Restful接口搞定所有通用数据同步

database-series icon database-series

📚深入浅出数据库存储:数据库理论、关系型数据库、文档型数据库、键值型数据库、New SQL、搜索引擎、数据仓库与 OLAP、大数据与数据中台

datax-service icon datax-service

针对datax进行2次开发,实现data 以rpc的方式传递json配置调用推数服务,同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心; 同时项目内扩展了kafkawriter,rabbitmqwriter,esreader,hivereader。增强了hdfs插件,支持分区表推送,支持动态参数传递(例如时间实现自增式抽取)。具体使用方式可以参照example模块。目前该服务已经稳定服务某上市公司半年,累计总任务数100+ ,日推送数据过10亿。具体如何使用,如何做插件开发以及datax底层原理,请关注https://blog.csdn.net/xiaoyao1999hn

datax-web icon datax-web

DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

dpkb icon dpkb

大数据相关内容汇总,包括分布式存储引擎、分布式计算引擎、数仓建设等。关键词:Hadoop、HBase、ES、Kudu、Hive、Presto、Spark、Flink、Kylin、ClickHouse

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.