kubernetes-learning-playground / multi-clusters Goto Github PK

View Code? Open in Web Editor NEW

117.0 117.0 6.0 1.79 MB

简易型k8s多集群控制器

Go 96.29% Dockerfile 0.52% Makefile 1.80% Shell 1.39%

kubernetes kubernetes-cluster multicluster operator

multi-clusters's People

Contributors

Stargazers

Watchers

Forkers

haozhangcx touflag gdzy1987 changxing2 jy02404353 silence-van

multi-clusters's Issues

feat: 新增命令行工具

实现多集群查询功能。
实现命令行工具，提供类似 kube-mutli-cluster get pods -c cluster1 的功能

feat: 新增展示集群数量的命令

目前无法展示多集群中有多少集群资源对象，需要开发新的命令如：kubectl-multicluster list cluster

feat: 支持下发资源时，差异化部署

ex: 新增 annotation 改变副本数等等

feat: 对 kubectl-multicluster 命令行进行扩展

支持 apply delete 等 kubectl 原生功能，增强用户对 kubectl-multicluster 命令行的依赖，不至于查询的时候使用 kubectl-multicluster而创建资源时使用 kubectl 。

fix: 修改使用聚合api server

目前使用gin实现 http server，预计修改为聚合api server

refector: 重构启动项目

将启动项目与结构改为接近k8s风格，方便扩展

bug: 目前默认集群状态永远只有 "Running"，不会有状态切换

// FIXME: 目前默认集群状态永远只有 "Running"，不会有状态切换
// 预计要定时轮询巡检特定节点集群是否正常

[root@VM-0-16-centos ~]# kubectl-multicluster list clusters
集群名称	状态   	是否为主集群
tencent1	Running	false
tencent2	Running	false
tencent4	Running	true

bug: 当默认是所有集群查的时候，cluster字段会不显示

因为marshal时，只获取runtime.object字段，集群名字段没有拿出

➜  cmd git:(main) go run ctl_plugin/main.go deployments                       
集群名称        DEPLOYMENT                                      NAMESPACE                               TOTAL   AVAILABLE       READY 
                patch-deployment                                default                                 2       2               2       
                kueue-controller-manager                        kueue-system                            1       1               1       
                dep-test                                        default                                 5       5               5       
                testngx                                         default                                 10      10              10      
                test-pod-maxnum-scheduler                       kube-system                             1       1               1       
                testngx                                         default                                 10      10              10      
                test-pod-maxnum-scheduler                       kube-system                             1       1               1

feat: 需要再做一次重新安装，测试是否有bug

feat:支持 join 动态加入集群

feat: 集成为helm 部署

feat: 使用operator实现多集群下发资源功能

预计使用简易版 operator 实现多集群的下发

feat: 支持集群内部署

helm dockerfile yaml等

feat: 修改新增命令行使用 gvr 输入

[root@VM-0-16-centos ~]# kubectl-multicluster list pods
集群名称	NAME                                                          	NAMESPACE                        	NODE             	POD IP        	状态     	容器名                   	容器镜像
tencent1	multiclusterresource-deployment-75d98bb7bd-d42kz              	default                          	vm-0-17-centos   	10.244.167.205	Running  	example-container        	nginx:1.19.0-alpine
tencent4	multiclusterresource-deployment-75d98bb7bd-r5v8p              	default                          	vm-0-16-centos   	10.244.0.195  	Running  	example-container        	nginx:1.19.0-alpine
tencent4	multiclusterresource-deployment-75d98bb7bd-22tbg              	default                          	vm-0-16-centos   	10.244.0.194  	Running  	example-container        	nginx:1.19.0-alpine
tencent2	multiclusterresource-deployment-7c6dcfd8dd-xnnsf              	default                          	vm-0-13-centos   	10.244.0.49   	Running  	example-container        	nginx:latest

计画改成 v1.pods，支持任何 k8s 资源对象输入

[root@VM-0-16-centos ~]# kubectl-multicluster list v1.pods
集群名称	NAME                                                          	NAMESPACE                        	NODE             	POD IP        	状态     	容器名                   	容器镜像
tencent1	multiclusterresource-deployment-75d98bb7bd-d42kz              	default                          	vm-0-17-centos   	10.244.167.205	Running  	example-container        	nginx:1.19.0-alpine
tencent4	multiclusterresource-deployment-75d98bb7bd-r5v8p              	default                          	vm-0-16-centos   	10.244.0.195  	Running  	example-container        	nginx:1.19.0-alpine
tencent4	multiclusterresource-deployment-75d98bb7bd-22tbg              	default                          	vm-0-16-centos   	10.244.0.194  	Running  	example-container        	nginx:1.19.0-alpine
tencent2	multiclusterresource-deployment-7c6dcfd8dd-xnnsf              	default                          	vm-0-13-centos   	10.244.0.49   	Running  	example-container        	nginx:latest

feat: 资源对象配置化

目前启动哪些资源是代码中写死的，预计抽象出配置文件 config.yaml。
把需要启动哪些资源使用配置的方式写出来。
ex:

"apps/v1/deplyoments"
"v1/pods"
"v1/configmaps"

bug: 安装 .multi-cluster-operator/config 出现问题

如果在 server 启动步骤创建 config 文件夹是没有用的
在容器中没有映射

预计使用 bash 脚本的方式创建 config 文件

feat: 考虑增加一些调度过滤功能

   placement:
     clusters:
       - name: tencent1
       - name: tencent2
       - name: tencent4

目前只有简单字段，考虑增加 clusterSelector字段

bug: 启动服务会有 migrate 问题

[root@VM-0-16-centos helm]# kubectl get pods
NAME                                               READY   STATUS             RESTARTS         AGE
multi-cluster-operator-6c6fc9dcc9-xs79f            0/1     Error              1 (1s ago)       2s

[root@VM-0-16-centos helm]# kubectl logs multi-cluster-operator-6c6fc9dcc9-xs79f
F0129 10:02:52.587503       1 mysql_options.go:144] Failed to apply migrations: Dirty database version 1. Fix and force version.

感觉是 go-migrate 使用的问题

bug: 创建资源时，设置ownerReferences

之前写代码时忘记加上 ownerReferences ，日后补上！！

feat: 支持多集群功能，存储功能

目前仅支持单一集群资源入库，未来预计支持多集群模式

需要修改表字段，增加一个 cluster 集群名字段
使用配置文件方式支持多集群

refactor: 重构内部部分代码 ex: apply delete

feat: 多集群 restconfig 获取方式优化

操作多集群时，会需要用到各自集群的 restconfig 对象，目前使用配置文件 + volume 挂载的方式，感觉不是特别好。
是否可以做一个服务，专门用于获取不同集群的 restconfig

feat: 优化表结构创建方式

使用 golang代码完成自动创建表结构

feat: 目前集群资源对象没有使用 k8s crd 进行描述

目前的集群没有进行 cr 自定义资源的描述，没有办法进行 describe 命令展示，只有 list。


[root@VM-0-16-centos yaml]# kubectl-multicluster list clusters
集群名称	           状态   	 是否为主集群
tencent4	   Running	 true
tencent1	   Running	 false
tencent2	   Running	 false

feat: 支持选举机制多pod

feat: 接入多集群网络互通方案

考虑采用第三方方案 "Submariner"
karmada kube-ovn 都有相关文档
https://kubeovn.github.io/docs/v1.12.x/advance/with-submariner/
https://submariner.io/operations/deployment/helm/
https://karmada.io/zh/docs/userguide/network/working-with-submariner/

fix: 项目代码重构

bug: 使用动态加入集群时，应用重启时，会遗忘上次加入的集群

例如：当原集群只有 cluster1时，动态加入cluster2
此时都正常，但是当应用重启后，又只会剩下 cluster1 连接而已