paopjian / cube-studio

云原生一站式机器学习平台，oa，项目组权限，在线开发，分布式训练，超参搜索，推理服务，多集群调度，多项目组资源组，边缘计算

Cube Studio

整体架构

cube是 腾讯音乐 开源的一站式云原生机器学习平台，目前主要包含

• 1、数据管理：特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；
• 2、在线开发：在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；
• 3、训练编排：任务流编排，在线拖拉拽；开放的模板市场，支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智能修正；
• 4、超参搜索：nni，katib，ray的超参搜索；
• 5、推理服务：tf/pytorch/onnx模型的推理服务，serverless流量管控，triton gpu推理加速，依据gpu利用率/qps等指标的hpa能力，虚拟化gpu，虚拟显存等服务化能力；
• 6、资源统筹：多集群多项目组资源统筹，联邦调度，边缘计算；

帮助文档

https://github.com/tencentmusic/cube-studio/wiki

开源共建

学习、部署、体验、开源建设 欢迎来撩。或添加微信luanpeng1234，备注<开源建设>， 共建指南

支持模板

提示：

• 1、可自由定制任务插件，更适用当前业务需求

模板	类型	组件说明
自定义镜像	基础命令	完全自定义单机运行环境，可自由实现所有自定义单机功能
datax	导入导出	异构数据源导入导出
media-download	数据处理	分布式媒体文件下载
video-audio	数据处理	分布式视频提取音频
video-img	数据处理	分布式视频提取图片
ray	数据处理	python ray框架 多机分布式功能，适用于超多文件在多机上的并发处理
xgb	机器学习	xgb模型训练
ray-sklearn	机器学习	基于ray框架的sklearn支持算法多机分布式并行计算
volcano	数据处理	volcano框架的多机分布式，可紫玉控制代码，利用环境变量实现多机worker的工作与协同
pytorchjob-train	训练	pytorch的多机多卡分布式训练
horovod-train	训练	horovod的多机多卡分布式训练
tfjob-train	训练	tf分布式训练，内部支持plain和runner两种方式
tfjob-runner	训练	tf分布式-runner方式
tfjob-plain	训练	tf分布式-plain方式
kaldi-train	训练	kaldi音频分布式训练
tf-model-evaluation	模型评估	tensorflow2.3分布式模型评估
tf-offline-predict	离线推理	tf模型离线推理
model-offline-predict	离线推理	分布式模型离线推理
deploy-service	服务部署	部署云原生推理服务

平台部署

参考wiki 平台完成部署之后如下:

贡献

算法： @hujunaifuture @jaffe-fly @JLWLL @ma-chengcheng @chendile

平台： @xiaoyangmai @VincentWei2021 @SeibertronSS @cyxnzb @gilearn @wulingling0108

落地公司