esgi5_bigdata's Issues
Syllabus
- Pour chaque groupe (4 personnes), créez un compte développeur sur twitter
afin d'obtenir une clé token pour utiliser l'API Rest. - Utiliser votre token avec python-tweepy ou R (ou autre : Java,Curl, PHP...) pour
récupérer des données sur un mot clé choisi par votre groupe. - Une fois ces données à peu près structurées, importez les sur ES.
- Extraire des indicateurs de ces données.
- Élaborez une stratégie d'analyse pour les extractions d'indicateurs plus
complexes. - Préparez une présentation PowerPoint (se mettre dans la peau d'une direction
Marketing pour conduire votre analyse).
L’idée est de faire une étude sur un phénomène donné (une analyse des sentiments), ce que vous communiquer comme étude devrait convaincre les décideurs de faire confiance à votre analyse/prediction…
Un exemple :
Faire une analyse des sentiments sur la corrélation des tweets générés par les lycéens au USA concernant les armes/menace et les fusillades serait très intéressant pour le gouvernement pour prédire des futurs incidents
Pour cela, on doit choisir très minutieusement les mots clés, hashtag, etc. généré par les utilisateur de twitter et la population visée.
Une fois les données récupérées, on peut faire nettoyage de données (texte mining) via le nuage de mot (stowords, stemming,etc.) afin connaitre les termes qui reviennent le plus, mais aussi les mots clefs, ensuite utiliser ma base elastic
pour préparer ma données (via search, agrégats) et enfin créer une visualisation avec Kibana + D3js (ou équivalent) pour faire comprendre l’utilité de ma solution aux opérationnelles.
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.