maxhalford / bike-sharing-history

🚲 Git scraping for bike sharing APIs

Hello there 👋

I'm Max, a data scientist working in the climate industry at Carbonfact.

I lead The Fellowship of Online Machine Learning, which is a group of people who enjoy researching and implementing online algorithms. In particular, we develop and maintain River.

I teach data science to graduate students at the Toulouse School of Economics. You can find the course content here.

bike-sharing-history's Issues

Défi dockless & doublons nom station

On peut avoir des doublons de nom de station dans les dockless (ex: 6 All. de Tourny, 33000 Bordeaux, France)

• car pas la mm station_area
• attention aux pk de station !

3 millions de lignes avec doublon

select station, filename, commit_at, count(1) nb
from raw.raw_station_status
where filename like '%bordeaux%'
group by all having nb>1;

.parquet vides ou weather dans le bucket GCP des station-status

Il y a, dans le bucket (bike-sharing-history)[https://console.cloud.google.com/storage/browser/bike-sharing-history] 58 .parquet vides & des fichiers ./weather/ empêchant de pouvoir charger TOUTES les villes dans DuckDB

SET s3_endpoint='storage.googleapis.com';
select * from READ_PARQUET('s3://bike-sharing-history/**/*.parquet', filename = true)

ex : bordeaux/vcub/2024/Jan.parquet, vannes/veloceo/2024/Jan.parquet

requête pour en avoir le cœur net :

select *
from parquet_metadata('s3://bike-sharing-history/**/*.parquet')
where column_id = 0 and (path_in_schema != 'station' or num_values <= 1);

Défi date commit_at ingestion vs last_updated GBFS

Défis identifiés:

• comment savoir si un fichier n'a pas été fetch ?
  • quid du champ skipped_updates si le fichier n'a pas été mis à jour du tout ?
  • comment fonctionne git.Repo('.').iter_commits ?
    le fichier est qd mm dispo j'imagine
• impact fetch retry d'une ville ...
  • toutes les villes ont le mm commit_at (cf. archive.py > ligne 151)
• quid du champ last_updated du GBFS ? dth de génération du fichier GBFS
  • serait alors plus précis que le "commit_at"
  • mais ferait "changer" le fichier dans l'histo github à chaque fois (de plus, il n'a pas été accumulé jq là)
• quid du champ last_reported pour chaque station status dans le GBFS ?
  • je ne sais pas encore trop quoi en faire !
• défi de la timezone de chaque ville 🧐