giuseppericcio / bigdata

Svolgimento degli homeworks assegnati nell'ambito del corso di Big Data Engineering del prof. Vincenzo Moscato, Università degli Studi di Napoli "Federico II", a.a. 2022-23

BigData Homeworks 1: Analytics in HIVE, Pig e PySpark di una raccolta di dati relative a tutte le ricerche della Federico II di Napoli

• HW1: Eseguire almeno 5 diverse 💹 analytics di tipo descrittivo sul dataset relativo ai progetti di ricerca della Federico II. Ogni analytics dovrà essere implementata attraverso Pig, HIVE e PySpark e presentata attraverso apposita reportistica.

Nel seguente repository è possibile scaricare le analytics in 🐷 PIG ➡️ Qui

È possibile visualizzare le implementazioni e analytics fatte su PySpark e HIVE nei seguenti link:

Implementazione 🎇 PySpark

📓 Notebook Colab ➡️ Vai

Implementazione 🐝 HIVE

📔 Notebook Hive ➡️ Vai

---

BigData Homeworks 2: Analytics su Database NoSQL MongoDB e Neo4J - Analisi delle competenze e dei Topic trattati nel corso degli anni applicate su una raccolta di dati relative a tutte le ricerche della Federico II di Napoli

• HW2: Sullo stesso dataset inerente ai progetti di ricerca della Federico II, vengono realizzate nuove 💹 analytics relative alla somma finanziata e ai topic/tematiche affrontate nei progetti di ricerca, visualizzando anche come queste variano negli anni. Per questo scopo, vengono utilizzati i database NoSQL MongoDB e Neo4j, ed il tutto è rappresentato nella dashboard aggiornata.

Analytics 🍃 MongoDB

📓 Notebook MongoDB ➡️ Vai

Analytics 🌐 Neo4j

🗒️ Analytics Neo4j ➡️ Vai

---

Report finale

📑 È possibile visualizzare il report completo di tutte le analytics incluse negli Homework 1 e 2 ➡️ Vai

---

BigData Homeworks 3: Acquisizione streaming dati da Open Meteo, memorizzazione su HDFS, analitiche con PySpark

• HW3: Per questo Homework viene utilizzato Apache Kafka (configurazione presente all'interno del documento) per gestire l'acquisizione di uno stream di dati da una data sorgente, in questo caso Open Meteo, che tramite HDFS vengono memorizzati all'interno di un file di log. In seguito, utilizzando PySpark visto già in Homework 1, vengono eseguite delle query sullo stream di dati, visualizzando il tutto su una apposita dashboard.

Implementazione 🪶 Apache Kafka

📂 Repository Kafka ➡️ Vai