Validação contínua dos dados usando Goodtables e Data Packages about covid19-br

[turicas]

Seria ótimo, mas eu não tenho como fazer isso (estou coordenando os voluntários e preenchendo os dados). Você consegueria implementar?

[augusto-herrmann]

Sim, já fiz isso no belisards/coronabr#4. Mas teria que pensar em uma maneira de validar no Google Drive, pois o fluxo que sei como fazer é quando os arquivos CSV estão no próprio Github.

[turicas]

Adicionei os CSVs com o resultado da coleta em data/output/boletim.csv e data/output/caso.csv

[augusto-herrmann]

Excelente! Vou fazer o meu fork e trabalhar na validação.

Existe alguma fonte que contenha as descrições dos campos? Vou precisar descrever cada um deles.

[augusto-herrmann]

Para rodar a validação na CLI, basta instalar o pacote goodtables:

pip install goodtables

e depois rodar

goodtables data/datapackage.json

Se houver algum erro (ex.: tipo incorreto, linhas duplicadas, etc.), ele irá acusar os erros.

@turicas, acha que vale a pena colocar essa informação no README.md também?

Acrescentei um badge que faz a validação online no serviço goodtables.io toda vez que se faz um push ou pull request no repositório.

Por fim, estou consultando a possibilidade de fazer a documentação das tabelas bilíngue (inglês e português). Por enquanto está em inglês.

[augusto-herrmann]

Achei a especificação para deixar o datapackage.json bilíngue. Resta verificar se as ferramentas do goodtables oferecem suporte a essa funcionalidade.

[turicas]

Opa, desculpe, acabei não respondendo antes - mas revisei o PR lá. Os campos estão na aba "METADADOS" na página da tabela no dataset.

Você poderia adicionar o goodtables no development requirements e instruções no README?
Sobre o lance de ser bilíngue, muito bom! o/

[augusto-herrmann]

Você poderia adicionar o goodtables no development requirements e instruções no README?

Claro! Vou fazer isso também.

[dionatamsouza]

Olá, não sei onde reportar isto mas encontrei dados que parecem inconsistentes na API. Uma das cidades está retornando "null", não fez sentido pra mim. Achei interessante reportar.
https://brasil.io/api/dataset/covid19/caso/data?format=json

[turicas]

@dionatamsouza O que quer dizer com "retornando null"? Passe mais detalhes sobre o registro que você acredita estar com problemas.
Você leu a documentação da API e o FAQ, linkados no README desse repositório?

[dionatamsouza]

Não sei se entendi certo, mas em https://brasil.io/api/dataset/covid19/caso/data deveria retornar a lista de municípios e casos, certo? Aí ali no 4º registro tem city null, com 34 casos confirmados. E isto fiquei sem entender.

{
"city": null,
"city_ibge_code": "12",
"confirmed": 34,
"confirmed_per_100k_inhabitants": 3.85516,
"date": "2020-03-29",
"death_rate": null,
"deaths": 0,
"estimated_population_2019": 881935,
"is_last": true,
"order_for_place": 13,
"place_type": "state",
"state": "AC"
}

[endersonmaia]

...Aí ali no 4º registro tem city null, com 34 casos confirmados. E isto fiquei sem entender.

{
"city": null,
"city_ibge_code": "12",
...
"place_type": "state",
"state": "AC"
}

Observe "place_type": "state".

LEIA : https://github.com/turicas/covid19-br/blob/master/api.md

Veja a documentação de cada campo, e tem um exemplo filtrando por estado.