renhwztetecs / alibabacloud-jindofs

alibabacloud-jindofs

简体中文

Jindo 介绍

Jindo 是阿里云大数据平台 EMR (E-MapReduce) 的核心自研组件，主要包含三个部分：JindoFS、JindoTable 与 JindoFuse/Python，为各种大数据引擎提供统一的存储优化、缓存优化、计算加速，以及多种扩展功能，涵盖数据访问、数据治理和数据安全。Jindo 在远端存储与计算引擎之间构成一层加速层，与二者的关系如图：

JindoFS 介绍

JindoFS 作为阿里云基于 OSS 的一揽子数据湖存储优化方案，完全兼容 Hadoop/Spark 生态，并针对 Spark、Hive、Flink、Presto 等大数据组件和 AI 生态实现了大量扩展和优化。JindoFS 项目包括 JindoFS OSS 支持、JindoFS 分布式缓存系统（JindoFS Cache 模式）和 JindoFS 分布式存储优化系统（JindoFS Block 模式）。JindoSDK 是各个计算组件可以用来使用JindoFS 这些优化扩展功能和模式的套件，包括 Hadoop Java SDK、Python SDK 和 Fuse/POSIX 支持。JindoSDK 在阿里云 E-MapReduce 产品中被深度集成，同时也开放给非 EMR 产品用户在各种 Hadoop/Spark 环境上使用，欢迎大家反馈问题和提供最佳实践。关于JindoFS 请参考 JindoFS 介绍和使用。JindoSDK 下载请访问JindoSDK 下载页面。

JindoFS SDK 生产使用

• Hadoop/Spark 生态使用 JindoFS SDK

• JindoFS Python SDK

• JindoFS Fuse

JindoFS SDK 开发使用(IDE)

• Hadoop 使用 JindoFS SDK 在 IDE 开发调试

• Spark 使用 JindoFS SDK 在 IDE 开发调试

数据迁移最佳实践

• Jindo Distcp 介绍和使用

JindoFS 云原生

• Fluid 结合 JindoFS 介绍和使用

JindoFS 比较

• JindoFS SDK 和 Hadoop OSS Connector 比较

• JindoFS Fuse 性能比较

• JindoFS 缓存系统（Cache 模式）性能比较

• JindoFS 存储系统（Block 模式）和 HDFS 比较

JindoFS 相关文章

• JindoFS 相关文章