msusicky / ockovani-covid

Repozitář pro projekt zobrazující statistiky očkování.

	Workflow status
deployment
acceptance
production
publication

COVID-19 data o očkování (https://ockovani.opendatalab.cz)

Za systémem stojí Jan Staněk (http://jstanek.cz/), Marek Sušický (marek(at)susicky.net) a přátele, kteří poskytli cenné připomínky.

Čtěte!

Tento web poskytuje data, která zobrazují statistiky jednotlivých očkovacích míst. Systém je komplikovaný a pro správná rozhodnutí je nezbytné si přečíst, jak funguje. Nezávazně doporučujeme sledovat, kolik je na daném místě registrovaných lidí, kteří mají a nemají termín, kolik je volných slotů na očkování a kolik vakcín přibližně dostává dané místo. Nedává smysl měnit často registraci, změnou registrace se dostáváte na poslední místo ve stejné věkové kategorii na novém místě.

Starý popis webu - před dostupností opendat od UZIS

Během marné snahy zajistit očkovací místa pro příbuzné jsme si všimli toho, že neexistuje žádný přehled volných míst. Ještě v lednu jsme začali tvořit aplikaci, ale narazili na neexistenci dat. Pak došly vakcíny a nedávalo smysl systém spouštět. Nyní je situace taková, že mnoho lidí čeká na vakcinaci, ale pokud nejsou na tom správném místě, budou čekat dál. Na jiných místech už ale lidé 80+ "došli". S naší mapou se lidé mohou přeregistrovat, dostat vakcinu rychleji a zefektivnit celý proces očkování. Prosím kohokoliv, kdo může přispět ke zveřejnění oficiálních dat o volných kapacitách a distribuci vakcín, aby tak učinil.

Web: https://ockovani.opendatalab.cz

Napsali o nás

• Deník N: Kde mají volná místa? Programátoři po nocích vymysleli aplikaci, která může zkrátit čekání na vakcínu
• Živě: Když to neudělal stát, poradili si programátoři sami. Vytvořili aplikaci s přehledem volných míst pro očkování
• Hospodářské noviny: Programátor rozjel web, který ukáže, kde je volno na očkování. Ve skladech leží 250 tisíc dávek vakcín, říká
• Forbes: Kde se nechat naočkovat. Platforma z ČVUT ukazuje dostupné očkovací kapacity
• Echo24: Kde je volná vakcína? Web ukazuje stav na očkovacích místech
• Aktuálně: Mladí muži marně hledali očkovací termín pro prarodiče. Vytvořili web s volnými místy
• inSmart: Kde je pro mě vakcína? ČVUT vyvinulo aplikaci s přehledem volných míst na očkování proti Covidu
• Česká věda do světa: Odborníci z ČVUT vytvořili aplikaci pro očkování proti koronaviru
• Deník: Vyberte si nejmenší frontu. Pomůže aplikace s vytížeností očkovacích míst
• ČTK: Počet čekajících na vakcínu na covid je možné si ověřit na webu
• pribram.cz: Počet čekajících na vakcínu na covid je možné si ověřit na webu
• MoneyMAG: Počet čekajících na vakcínu je možné si ověřit na webu
• EuroZprávy: Počet čekajících na vakcínu je možné si ověřit na webu
• Český rozhlas: Kde mají dostatek vakcín? Vědci z ČVUT vytvořili web, který porovnává jednotlivá očkovací místa
• Vitalia: Jak si (ne)vybrat nejpomalejší místo na očkování proti covidu
• Televize Seznam: Večerní zprávy (15. 3.)
• TV9P: Marta Kloučková Quintet a webová aplikace z FIT
• TV Nova: Mladí programátoři vytvořili web, kde zjistíte kapacity očkovacích míst
• LIDOVKY: Jak vybrat rychlé očkovací centrum mezi pomalými? Správný výběr může ‚zkrátit‘ frontu i o týdny
• Seznam Zprávy: Návod: Co udělat před tím, než se zaregistrujete k očkování
• iDNES.cz: Očkování je možné i v den registrace. Přehled míst, kde se nejméně čeká
• Svět Androida: Kde je nejkratší řada na očkování? Takto to lehce zjistíte i z mobilu
• ČT24: Lékaři nabízejí na internetu očkování vakcínami proti koronaviru, kterým se blíží expirace. Chrání je před likvidací
• LIDOVKY: Lékaři zachraňují vakcíny před vylitím. Speciální web nabízí volné dávky, kterým brzy končí trvanlivost
• VTM: Očkování nefunguje, vždyť na covid minulý týden zemřelo víc očkovaných. Jenže je to přesně naopak
• Aktuálně: "O osudu si rozhodli sami." Pohled do nemocnic ukazuje na epidemii neočkovaných

Poznámky k fungování

Pro získávání dat využívala metody scrapingu. Nyní využíváme oficiálních dat od UZIS.

Aplikace se skládá z modulu fetcher, pak samotného webu a skriptu, který web stáhne a publikuje na github pages. Tento krok je realizován proto, že nechceme vystavovat veřejně aplikační server a chceme přenést zátěž na prostředky Githubu. Navíc jde o statické stránky, u kterých není problém obsloužit mnoho tisíc lidí současně.

How to run it [ENG]

Quick start with docker-compose

To start the server without fetching recent data use docker-compose up.

The development server (default flask one for the moment) will start at port 5000, you can access the deployment at http://localhost:5000/.

If you want to fetch recent data please set the FETCH_DATA environment variable:

FETCH_DATA=true docker-compose up

Installation without docker-compose

1. create virtual environment

   python3 -m venv venv

2. activate virtual environment

   source venv/bin/activate

3. install requirements

   pip install -r requirements.txt

4. setup config.py according to the config.sample.py template

5. setup Flask environment

   export FLASK_ENV=development

6. execute database migrations

   flask db upgrade

7. fetch data

   flask fetch-data all

8. compute metrics

   flask compute-metrics all

9. start Flask webserver

   flask run

Update web

Old manual way, now it's done automatically using GitHub Actions.

1. activate venv

   source venv/bin/activate

2. execute database migration if needed

   flask db upgrade

3. fetch data

   flask fetch-data all

4. restart or start webserver if needed

   systemctl start ockovani-prd.service

5. publish website

   bash tools/manual_publish.sh

ockovani-covid's Issues

Add links to UZIS vaccination center detail

List of centers: https://cfa.uzis.cz/vaccination-centers/
Link to specific center: https://cfa.uzis.cz/vaccination-centers/586ab361-ba26-4429-b0f3-8ff9831f07b2/
Id is same as in open data

Opendata fetcher - db queries for mista

It is necessary to cache list of Mista and then just check them quickly and not to query each row...

Add news / project timeline page

Add news section - what has changed / project timeline

Add detail for kraj and okres pages

• similar stats as for vaccination center can be computed for whole okres or kraj
• components should be created not to copy the code

depends on #102

Rozparsovani dat z 1 a napojeni na dalsi data - tzn. vyplneni ockovaci_mista

Vylepsit UI, aby to pekne vypadalo

Show all active centers in map

Centers for which we don't have info about their free capacity should be marked gray

Compute vaccines that should be reserved for 2nd round

On each vacc. place should be some amount (or need) of reserved vaccines for the second round of the vaccination. Compute it

Describe colorful backgrounds of numbers

Colors can be confusing - we should somehow describe that they don't have any special meaning and they are just for the better orientation

Add available vaccinactions to vac. places

From the opendata add info about vacc. that should be available

Vyresit scrape API s volnymi misty

Dotazovani API a zapis do databaze

Fix time shift in UI

Update time is wrong

Set up a full working logging + runnable scripts for VM

Add more info to the free slots overview

Overview of free slots in "mista" page should contain info about people in queue, ratio of successful reservations within last week, ...

How to include something similar in okres/kraj/misto pages?

• People in queue
• Ratio of new reservations in last week
• Number of vaccines that arrived in the last 7 days
• Vaccines needed for the 2nd round - #55

Improve statistics page UI

Fix automatic execution of update-web pipeline

Pipeline should be automatically executed after update-data (doesn't work) and deploy-production (works)

Vaccination center detail

We have more details in object OckovaciMisto than we actually use -> add them to the top of the vaccination center page

Improve dates formatting

• add weekday to dates
• use words like today/yesterday in last update info

Create csv dump page

For covtest etc...

Show different colors of markers in map

Red - no free capacity
Green - free capacity

Maybe introduce yellow for centers with free capacity below 10/50/100? (this should be also in tables)

Fix removing deleted files from github pages

Statistics - improve

It is necessary to check how big is the difference between consumption and vaccinated people - mista.
It looks that vaccination is better source, or consumption is D-2.

Create a leaflet map

It will be great to have Leaflet map there.
New link on the top is expected with description Map.
All vaccination places should be there - fetched from opendata from UZIS.

Use better tooltips

Bootstrap has better tooltips than plain HTML - https://getbootstrap.com/docs/4.0/components/tooltips/

Add 1 sec wait to scraper

Pripravit data pro tabulku ockovaci_misto - scraping

Cilem je scrapovat pres hlidace volnych terminu subjekty, ktere na reservio jsou

Improve vaccination center detail

• check data - count of used vaccines can be outdated for some vaccination centers - (it is but, warnign added)
• thousands separator in numbers
• add doses to model
• use doses instead of ampoules
• compute stats using pandas instead of SQL and plain python
• create reusable UI component
• hide overflows of category column - tooltip with whole description

summarizing lines

Could you pls add summarizing line to the table of vaccines delivered on this page https://msusicky.github.io/ockovani-covid/statistiky and to the table of vaccinations according age as well? Thank you.

Add vacc. places from UZIS opendata

Add to our DB official dataset from UZIS with off. vacc. places and link them to our ockovaci_mista

Rozbehnuti dotazu do DB z GUI

Zobrazeni ockovacich mist a volnych terminu
Zobrazeni specifickych mest

Fetch total capacity

Add "celkem_mista" to VolnaMistaDen and VolnaMistaCas, this info has to be fetched from different API endpoint (TODO)

Import_id should be handled properly

Dates handling

It is necessary to solve date handling - insert new dates and delete old one ?

Rozbehnuti prostredi na HW AWS

Fill github about (link to website)

Put web link to About - edit available only to owner :-)

Create tool for inserting/updating UZIS data into table ockovaci_mista

Tool should process this file: https://onemocneni-aktualne.mzcr.cz/api/v2/covid-19/prehled-ockovacich-mist.json and insert missing places into the table or update existing ones.

Table contains also some manually filled columns (service_id, operation_id, ...), these have to remain unchanged

Move to the new domain - ockovani.opendatalab.cz

To have better URL we'd decided to move under OpenDataLab (@msusicky is one of the leader)
It is already active, but now only redirecting to old repo.

• Prepare branch with working menu links etc
• Have a message on the intro page about move
• Change github pusher
• Have both working for 2 days - weekend
• Do a redirect from the old repo

Add link to GitHub repo to the web

Add sum of free spaces to the misto/mesto summary

Load last update time from data

Store time of the source data update to the imports table and print this time instead of the time when fetcher started

Show time of the last web update and time of the last data update

Store min date and max date and compare them if they are all from the same day? - fail if new data are not present

Idea - reservation - compute date of assignment

In data there is a flag if registered person has reservation or not. But there is no date of the assignement. Makes sense to compute it from today and yesterday data and put it as a result. Maybe to realize it with trigger ?

Plus -> see how long does it take to obtain a reservation. -> powerful metric

Add exclamation marks

We have more and more notes and warnings in tooltips which are hardly visible - clean and visible way could be exclamation mark next to the column name and tooltip with description.

Prepare new database structure for UZIS data

Statistics - separate thousands

Hi,
could you consider separating the numbers by thousands in the tables and elsewhere? tnx

Add page for open data

Move links to CSV files to separate page and describe their structure there

Perhaps more explanation for the data

I would appreciate a bit more information around the raw data presented, tooltips for columns, short description for each table.

https://msusicky.github.io/ockovani-covid/misto/c8e549b8-aafb-4b4c-ae3b-b1ccee70513f - what is the meaning of the third column in the second table (Stav registrací > Poměr)?

Is it possible to show how many people were vaccinated every day? If so, can it be broken down into groups too?

Github actions pipeline

• check if main and develop branches are in sync (merges from develop will not bring conflicts)
• check if main and develop are protected
• improve logging and exit code of used scripts
• implement pipeline for main update - deploy to prd environment and update static pages
• implement pipeline for develop update - deploy to test environment
• implement scheduled pipeline for data update

Depends on: #97

Update section "Zdroje, ze kterých čerpáme data"

Kapacita - datum_ziskani is date only

2021-01-18 00:00:00 - should be with seconds

Vytvoreni github pages a zprovozneni pushe