AllData 一站式大数据平台

社区建设 && 社区捐赠

目前正在建设团队，将大力投入发展AllData项目，欢迎大家踊跃参与建设与讨论！

由于近期购买服务器需要，希望能得到社区的成员捐赠支持

捐赠方式：扫码支付作者10-100元，然后添加作者个人微信AllDataDC，邀请您进入内部研发微信群以及社区讨论微信群

1、您会获得面对面与作者1对1咨询宝贵机会，将有30分钟咨询

2、您会获得收益，作者会分享Github 1000 Stars+ 从0到1建设开源大数据平台经验心得

3、您会获得内部最新总设文档，支付时请备注联系方式，支付后请联系作者微信AllDataDC

4、您将有机会获得商业版定制的机会，加作者微信好友，可以提供第一手安装部署资料

5、您将有机会成为AllData极客开发团队成员，获得成就感与价值输出愉悦感

AllData社区服务器捐赠10-100元

AllData社区负责人进微信群

中文 | English

在线体验版 | Documentation | Installation | Architecture | Integration | Community

AllData社区项目官方文档 | AllData数据中台体验版地址 | AllData数据中台前端

Stargazers over time

Architecture

Component	Description	Important Composition
assembly	WHOLE PACKAGE BUILD FOR ALL DATA PLATFORM assembly engine	整包构建引擎
commerce	COMMERCE FOR ALL DATA PLATFORM commerce engine	商业业务引擎
dataAI	AI FOR ALL DATA PLATFORM artificial intelligence engine	人工智能引擎
dataDevops	DEVOPS FOR ALL DATA PLATFORM O&M Engine	运维引擎
dataGovern	DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine	数据治理引擎
dataHub	DATA HUB FOR ALL DATA PLATFORM Data HUB Engine	数据中台前端
dataOds	DATA ODS FOR ALL DATA PLATFORM data acquisition engine	数据源管理平台
dataOlap	OLAP FOR ALL DATA PLATFORM OLAP query engine	混合OLAP查询引擎
dataStudio	DEVELOP IDE FOR ALL DATA PLATFORM DEVELOP IDE ENGINE	批流一体开发IDE
dataSync	DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine	数据集成引擎
dataTasks	DATA Task FOR ALL DATA PLATFORM Data Task Engine	数据业务管理平台
docs	Document	文档
mlApps	MLAPPS FOR ALL DATA PLATFORM MLAPPS Engine	算法市场
oneData	MICROSERVICE FOR ALL DATA PLATFORM distributed storage engine	微服务引擎
oneHub	ONE HUB FOR ALL DATA PLATFORM ONE HUB Engine	数据平台引擎
oneLake	ONE LAKE FOR ALL DATA PLATFORM ONE LAKE engine	数据湖引擎
oneShop	BUSINESS FOR ALL DATA PLATFORM	商业项目
AllData	AllData社区项目通过二开大数据生态组件，以及大数据采集、大数据存储、大数据计算、大数据开发来建设一站式大数据平台	Github一站式开源大数据平台AllData社区项目

AllData社区商业计划图

AllData社区项目业务流程图

AllData社区项目树状图

全站式AllData产品路线图

AllData社区项目时间旅行

开源大数据平台原型图

在线预览

Integration

Data Quality

Livy访问查看JOB

Flink1.16 OGG-JSON解析

S3 Hudi成功写入

1、数据平台

AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios. It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.

2、商城展示

3、数据来源

	商城前台：
		mall-shopping-app: 商城App
		mall-shopping-app-service: 商城App服务
		mall-shopping-wc: 商城小程序
		mall-shopping-mobile: 商城前台
		mall-shopping-pc: 商城pc端
		pcAdminService: 商城pc端服务
		mobileService: 商城前台服务（小程序和前台接入此接口）
	商城后台：
		mall-admin-web: 商城后台
		pcAdminService: 商城后台服务

4、数据收集

log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK，负责收集app客户端数据；
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发；

5、数据存储

分布式文件系统：hdfs
分布式数据库：hbase、mongodb、elasticsearch
分布式内存存储系统：redis

6、数据计算

compute-mr（离线计算）: Hive、MR
compute-realtime（流计算）: storm、flink
multi-dimension-analysis（多维度分析）: kylin, spark

7、数据开发

task-schedular: 任务调度
task-ops: 任务运维

8、数据产品

data-face: 数据可视化
data-insight: 用户画像分析

9、数据应用

system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统，实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s，scala，playframework，docker打包平台。
job-schedule: 任务提交平台