basedosdados / iac Goto Github PK

Atualmente a aplicação está em execução no ambiente da AWS, em uma instância ec2 através de uma imagem docker.

Os dados da aplicação estavam armazenados no formato h2, recomendado para ambiente de desenvolvimento. A aplicação fornece uma documentação para esses casos, disponível em: https://www.metabase.com/docs/latest/operations-guide/migrating-from-h2.html.

Sub tarefas:

• 0. Clonar a instância de produção devido a falta de acesso no ambiente;
• 1. Atualização da versão da aplicação v0.. -> v0.43.4;
• 2. Criação de um db postgres para realizar a migração de h2 para postgresql (Utilizado um container docker no próprio ambiente);
• 3. Download e execução da ferramenta de migração de dados da própria aplicação;
• 4. Dump do banco postgres metabase;
• 5. Criação de um novo banco no Cloud SQL do ambiente GCP e import do dump;
• 6. Instalação do chart metabase pmint93/metabase no cluster k8s;
• 7. Configurar ingress e issuer do chart;
• 8. Excluir recursos/serviços da aplicação utilizados no ambiente da AWS

Link do Jira: EQP-114

Página de status atual: status.basedosdados.org

Para realizar a implantação da solução de logs é necessário mais recursos computacionais para este cluster.

EQP-92

Módulo para gerenciar a instancia cloud sql do projeto basedosdados-dev

Para o funcionamento [ELK] utilizando as melhores práticas é necessário uma ferramenta responsável pela autenticação dos clientes.

Tal ferramenta visa centralizar a gestão das permissões de clientes por sistema.

O modelo de exemplo utilizado na prefeitura do rj é um Django personalizado.

EQP-93

Objetivo é armazenar e disponibilizar os dados para consumo no metabase, referente aos dados do próprio metabase, em específico, os dados de uso dos dashboards públicos.

Como bem levantado pelo @André Gorenstin no discord, existe uma issue aberta no repositório do metabase que resume o problema enfrentado metabase/metabase#9583.

Possível solução:

• 1. Integração via ingress do k8s.

Atualmente as configurações do agente prefect basedosdados-devresidem dentro do diretório e namespace do prefect server. Deve-se isolar o mesmo em um novo diretório e namespace próprio para melhor organização dos seus componentes.

Após tal segregação será necessário ajustar o deploy do DBT, tanto no repositório queries-basedosdados como no repositório queries-basedosdados-dev

Para apoio no rastreio dos recursos GCP, é recomendado que faça o uso de tags em todos os recursos criados. Criar os labels abaixo e associá-los em todos os recursos gerenciados via terraform.

• Organization:
• Project:
• ManagedBy: Terraform
• Enviroment:

Disponibilizar a documentação de todos os componentes que agregram a infraestrutura do ambiente GCP.

Possível ferramenta para trabalhar nesta documentação como código: https://github.com/mingrammer/diagrams.

• Início
• Arquitetura
  • GitHub Actions
    • cd-terraform.yaml
    • ci-terraform.yaml
    • infracost.yaml
  • Kubernetes
    • cert-manager
    • ckan-staging
    • ckan-production
    • cloud-sql-proxy
    • elastic
    • jupyterlab
    • metabase
    • nginx
    • prefect
    • prefect-agent-basedosdados
    • prefect-agent-projects
    • prefect-agent-questions
    • tailscale
    • vault
  • Terraform
• Desenvolvimento
  • Terraform
  • Kubernetes
• Ferramentas
  • GitHub Action
  • Terraform
  • Kubernetes

Certificar que os agentes do prefect basedosdados-perguntas e basedosdados-projetos são capazes de executar as pipelines sem erros.

EQP-59

Monitoramento dos serviços de infra, incluindo pipelines, dbt etc. @guialvesp1 complementar.

Todos os manifestos issuer.yaml atualmente carregam o email de @guialvesp1 ou @gabriel-milan. Corrigir todos para o e-mail da equipe de infraestrutura da Base dos Dados ([email protected])

Atualmente a aplicação e suas dependências estão em execução no ambiente da AWS, dockerizada em uma instância EC2.

Sub tarefas:

• 1. Criar e validar o ambiente de desenvolvimento baseado nas imagens do chart a ser utilizado no cluster k8s;
• 2. Levantar opções para realizar a instalação da extensão do CKAN basedosdados;
• 3. Criar banco de dados ckan-staging no Cloud SQL GCP e utilizar o dump do bdd_db (CKAN produção ambiente AWS);
• 4. Criar o ambiente ckan-staging no cluster k8s;
• 5. Criar ingress e issuer do chart;
• 6. Criar e validar o deploy via GH Actions