Coder Social home page Coder Social logo

isxcode / spark-yun Goto Github PK

View Code? Open in Web Editor NEW
47.0 47.0 21.0 4.4 MB

Big data computing platform based on Spark <至轻云-打造大数据计算平台/数据中台>

Home Page: https://zhiqingyun.isxcode.com

License: Apache License 2.0

Dockerfile 0.05% Java 42.99% HTML 0.03% TypeScript 9.77% XSLT 0.53% JavaScript 0.19% Shell 2.68% Vue 41.83% SCSS 0.90% Python 1.03%
data-analysis docker platform spark

spark-yun's People

Contributors

ispong avatar

Stargazers

avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar

Watchers

avatar avatar avatar avatar

Forkers

ispong itsharex j1ahe fancinater yiq-github yuzu-wq gilnelisex aoyia echojamie beyondjsc sai1boats suevip1 fossabot

spark-yun's Issues

✨ 初始化项目

项目

至轻云大数据创新团队

需求内容

  1. 使用gradle构建项目
  2. 使用spring初始化后端
  3. 使用react初始化前端
  4. 将前端项目并入后端中
  5. 使用github action构建spring的项目

✨ 后端模块化

项目

至轻云大数据创新团队

需求内容

  1. 实现h2
  2. 实现jpa
  3. 实现数据增删改查 分页查询，多表查询等
  4. 项目更新方案，自动话升级

:sparkles: 作业流支持编辑作业关系功能

项目

至轻云大数据创新团队

需求内容

输入json
[
{
"from":"",
"to":""
},
{
"from":"",
"to":""
},
{
"from":"",
"to":""
},
{
"from":"",
"to":""
}
]
类似上述结构，然后点击生成可视化图形。

:sparkles: sparksql作业增加可选配置的选项

项目

至轻云大数据创新团队

需求内容

当前sparksql作业只支持选择计算引擎，像其他的配置目前不支持。
需要支持内存设置，容器大小设置，队列设置等等参数。

:sparkles: 用户登录系统

项目

至轻云大数据创新团队

需求内容

  1. 使用common对用户做拦截
  2. 添加后端管理系统-添加用户管理系统

:sparkles: 数据资产模块

项目

至轻云大数据创新团队

需求内容

选择DB，直接查看数据源中的所有数据，实时查询元数据信息，有多少查多少。
条数大小，让用户点击查看，不提供实时查询

:sparkles: 数据建模模块

项目

至轻云大数据创新团队

需求内容

不指定表名，直接编辑字段名称，然后选择数据源生成表

:sparkles: 前端模块化

项目

至轻云大数据创新团队

需求内容

  1. 前端基础结构
  2. scss
  3. webpack
  4. ant-design
  5. axios
  6. 路有

✨ 首页模块

项目

至轻云大数据创新团队

需求内容

首页
支持用户可视化查询
当前的集群数量，作业流数量，作业数量，数据源数量等数据

构建issue提交模版

使用github 最新的issue模版，
创建需求模版，任务模板，项目管理模版，
创建issue类型分类
都需要记录在wiki的项目管理中

✨ 演示2258

项目

至轻云大数据创新团队

需求内容

标题即是需求内容

:sparkles: 自定义API功能

项目

至轻云大数据创新团队

需求内容

选择DB
json配置请求样式
{
"page":"$page",
"pageSize":"$pageSize",
"username":"$username",
"age":"$age"
}
编写查询sql
select username, username2 from xx where username > $username and age < $age
编写返回json
[
{
"zhangsan":"$username",
"lisi":{
"wangwu":"$username2"
}
}
]

:sparkles: 日志使用websocket动态推送

项目

至轻云大数据创新团队

需求内容

目前日志查询使用的是等待接口返回，然后直接返回日志，体验效果严重不友好。
需要实现使用websocket动态查询日志。
当前日志的量比较小，一般返回比较快，不用考虑websocket导致服务器资源的吃不消的问题。

构建项目规范

确立需求流程，整理规范文档。

  1. 以issue编号为统一需求id
  2. 整理项目开发流程
  3. 所有的项目管理文档，以wiki中为主

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.