DAE(Data Analytics Engine) - Jarvis 数据科学引擎基于Python交互,是一个单机大数据、高性能数据分析工具。满足您在百 G 级别数据量下,使用个人开发机/工作站完成数据分析、机器学习的工作。 主要目标&特性:
- 单机性能极致优化:面向百 GB 规模数据科学场景, 提供对比Spark、Pandas 5~10 倍的分析性能。
- 开箱即用:pip 一键安装单机极简部署,轻松运维。
- 自由探查分析:提供SQL、Pandas、Sklearn等数据访问方式,满足各类数据分析场景。
- 轻松集成:支持对接 HDFS,HIVE 等多种数据源,支持 CSV、Parquet、Iceberg 等多种数据格式,支持多数据源的联合分析。