wwzzmm / bigdata-dpkb

大数据相关内容汇总，包括分布式存储引擎、分布式计算引擎、数仓建设等。关键词：Hadoop、HBase、ES、Kudu、Hive、Presto、Spark、Flink、Kylin、ClickHouse

DPKB

大数据相关知识库，主要包括：

• 数据存储层、数据库（HDFS、Hive、HBase、Kudu、Doris、StarRocks、ClickHouse、TiDB等）
• 数据处理层、OLAP引擎（Spark、Flink、Presto、Trino等）
• 数据湖（IceBerg、Hudi、Delta等）
• 大数据开发、应用（主要包括ETL、调度、数仓、数据应用等，例如Seatunnel、Dolphinscheduler等）
• 数据治理（元数据管理、数据模型、数据标准、数据质量、数据安全等）

持续更新中（2023-11）

一、数据存储层、数据库（HDFS、Hive、HBase、Kudu、Doris、StarRocks、ClickHouse、TiDB等）

▶ HDFS

▶ Hive

1）官网、社区、博客

• Hive 官网

2）专栏

• Hive 教程

3）大厂实践

• HiveCube 在有赞的实践 2019-11
• Hive Metastore Federation 在滴滴的实践 2019-03

▶ HBase

1）官网、社区、博客

• HBase 官网
• hbasefly

2）专栏

3）大厂实践

4）其他

• HBase Bulkload 实践探讨 2019-12

▶ Kudu

1）官网、社区、博客

• Kudu 官网

2）专栏

• Kudu 原理 论文
• 网易云Kudu技术专栏

3）大厂实践

• Apache Kudu 在网易的实践 2021-08
• Apache Kudu 在网易实时数仓的实践 2020-02
• Kudu架构介绍及其在小米的应用实践 2017-06

4) 其他

• 我是如何成为Apache Kudu committer & PMC 的？ 2019-06

▶ Doris

1）官网、社区、博客

• Doris 官网
• Doris github
• Doris 论坛

2）专栏

• Doris全面解析
• Doris最佳实践

3）案例实践

• Apache Doris在美团外卖数仓中的应用实践 2020-04
• Apache Doris 在韵达物流领域的应用实践 2021-07
• Apache Doris 在蜀海供应链的实践 2021-07
• 京东物流基于 Doris 的亿级数据自助探索应用 2021-07
• Doris on ES在快手商业化的最佳实践 2021-08
• 基于Doris的有道精品课数据中台建设实践 2020-12
• 美团外卖实时数仓建设实践 2020-10
• Doris在作业帮实时数仓中的应用&实践 2020-09
• 基于Apache Doris的小米增长分析平台实践 2020-08
• Apache Doris在京东双十一大促中的实践 2020-03
• Apache Doris 在百度商业大规模微服务全链路监控的实践 2020-02

▶ StarRocks

1）官网、社区、博客

• StarRocks
• StarRocks文档
• 编程小梦 康凯森

2) 专栏

• StarRocks技术内幕

▶ ClickHouse

1）官网、社区、博客

• ClickHouse 官网

2）专栏

3）大厂实践

• ClickHouse 在有赞的实践之路 2021-01

4）其他

二、数据处理层、OLAP引擎（Spark、Flink、Presto、Trino等）

▶ Spark

1）官网、社区、博客

• Spark 官网

2）专栏

• Apache Spark 的设计与实现

3）大厂实践

• SparkSQL 在有赞的实践 2019-01
• SparkSQL 在有赞大数据的实践（二） 2020-01

▶ Flink

1）官网、社区、博客

• Flink 官网
• Flink Confluence
• Flink Blog
• Ververica Blog
• Ververica 中文
• Flink 知识图谱
• Jark's Blog - WuChong - 云邪

2）专栏

• Flink 架构、源码分析专栏
• Flink 实战系列
• Flink 开源项目汇总

教程

• Flink SQL Cookbook - Ververica
• Flink 零基础入门
• Flink 进阶教程
• Apache Flink 漫谈系列
• Flink 相关论文

3）大厂实践

• flink-forward-asia-hackathon-2021

▶ Presto、Trino

1）官网、社区、博客

• PrestoDB 官网
• Trino 官网 原PrestoSql
• Google Presto Group
• Presto 知乎专栏
• 若飞-技术博客

2）专栏

• Presto 架构、源码分析专栏
• Presto 最佳实践、调优、踩坑专栏
• Presto 资料汇总、会议资讯专栏

3）大厂实践

• Presto 在车好多的实践 2020-12
• Presto 在滴滴的探索与实践 2020-10
• Presto 在有赞的实践之路 2020-04
• PrestoCon 2020：云原生数据湖分析DLA的Presto实践 2020-03
• 携程 Presto 技术演进之路 2018-08
• Presto 实现原理和美团的使用实践 2014-06
• Presto 高性能引擎在美图的实践 2021-09

三、数据湖（IceBerg、Hudi、Delta等）

• 一文看懂：什么是数据库、数据湖、数据仓库、湖仓一体、智能湖仓？ 2021-08

▶ Iceberg

1）官网、社区、博客

• Iceberg 官网

2）应用

• 数据湖 Iceberg | 实时数据仓库的发展、架构和趋势 2021-03
• 数据湖 Iceberg | Apache Iceberg 快速入门 2021-03
• 数据湖 Iceberg | 如何正确使用 Iceberg 2021-04
• 数据湖 Iceberg | 在网易云音乐的实践 2021-04

▶ Hudi

1）官网、社区、博客

• Hudi 官网

2）应用

• Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践

▶ Delta

四、大数据开发、应用（主要包括ETL、调度、数仓、数据应用等，例如Seatunnel、Dolphinscheduler等）

▶ Seatunnel

▶ DolphinScheduler

▶ 大数据架构

• SQL on Hadoop 在快手大数据平台的实践与优化 2019-06
• 携程机票大数据架构最佳实践 2017-08
• 火山引擎DataLeap一站式数据治理解决方案及平台架构 2023-10

▶ 数仓相关

• 有赞数据仓库实践之路 2020-03
• OneData 建设探索之路：SaaS 收银运营数仓建设 2019-10
• 面向AI技术的工程架构实践 | 贝壳一站式大数据开发平台实践 2020-11

▶ 报表平台

• 有赞 BI 平台实现原理 2021-01

五、数据治理（元数据管理、数据模型、数据标准、数据质量、数据安全等）

▶ 数据治理

• 美团配送数据治理实践 2020-03
• 全链路数据治理在网易严选的实践 2020-10
• 数据资产、数据治理 - 有赞 2019-11

▶ 元数据管理

• 字节跳动构建Data Catalog数据目录系统的实践 2022-04
• 有赞数据仓库元数据系统实践 2018-08
• 饿了么元数据管理实践之路 2018-07
• 数据治理方案技术调研 Atlas VS Datahub VS Amundsen 2020-11
• 数据资产治理-元数据采集那点事 - 有赞 2020-12
• 来看看字节跳动内部的数据血缘用例与设计 2022-02
• 携程数据血缘构建及应用 2021-09
• Datahub A Metadata Platform for the Modern Data Stack

▶ 数据标准

• 有赞指标库实践 2020-03

▶ 数据安全

• 浅谈有赞大数据安全体系 2021-01

六、机器学习、AI

▶ 机器学习平台

• 机器学习平台建设指南 2021-04
• 一站式机器学习平台建设实践 2020-02
• 汽车之家机器学习平台的架构与实践 2020-07
• 微博推荐算法实践与机器学习平台演进 2021-05
• 爱奇艺机器学习平台的建设实践 2020-11
• 爱奇艺一站式机器学习平台Deepthought的建设与初探 2020-06
• 一站式机器学习平台在 vivo AI 的实践 2020-02
• 再见，Yarn！滴滴机器学习平台架构演进 2019-03
• 网易严选机器学习平台建设实践 2022
• Sunfish-有赞智能平台实践 2020-06

七、资源汇总

▶ 大厂技术博客

• 美团技术团队
• 有赞技术团队
• 滴滴云博客

▶ 大数据相关网站

• dbaplus

▶ 相关开源项目

• 数仓相关开源项目汇总

▶ 相关论文

• raft 中文翻译