dataworkshop / dw-poznan-project Goto Github PK

TRAVIS - Była już mowa o testowaniu aplikacji. Przydałoby się dodać testy do naszej biblioteki, chodzi o testy do bibliotek filmweb_integrator oraz movies_analyzer

Będzie głównym motywem przewodnim do końca roku. (będą jakieś 3-4 spotkania). Więc projekt ma być w założeniach.

• Krótki, aby była możliwość go wykonania i pokazania kroków na spotkaniach
• W miarę prosty. Tak aby każdy mógł wziąć w nim udział
• Posiadać elementy Data Science/Machine Learning

filmweb-rekomendacje:

• Przy pomocy http://surpriselib.com/ analiza parametrów dotyczących użytkowników movies_analyzer

• HITS Rate
• LEAVE-ONEOUT CROSS VALIDATION
• cumulative hit rate
• AVERAGE RECIPROCAL hit rate (ARHR)
• Coverage, Diversity, Novelty

• Rekomendacje na podstawie danych IMDB, MovieLens oraz biblioteki SURPRISE. Tutaj częścią zajmuje się Krzystof, ale można mu pomóc i podzielić się i spróbować różnych metod i wskażników do rekomendacji. Niech za źródło będzie zestaw ocen przygotowany przez IMDB https://www.imdb.com/interfaces/ oraz https://grouplens.org/datasets/movielens/100k/

Workshop: 12.11: 1 część: Analiza zescrapowanych danych

Przypisane do @mateuszrusin

W tym wątku chciałbym aby ktoś przygotował pierwszą częśc dotyczącą pokazania podstawy DataFrame oraz jak powiązać te dane z . IMDB. Duża część jest już dostępna w poprzednim spotkaniu: https://github.com/dataworkshop/dw-poznan-project/tree/master/spotkania/2019-10-29

Propozycje (godzina od 18:00 do 20:00):

• Open Space, Malta
• Open Space Posnania

Ustalono że spotkamy się 12-go listopadą w strefie nauki i pracy galerii Malta: http://galeriamalta.pl/strefa-nauki-i-pracy-2420/, o godzinie: 18:30 - 20:30. Agenda

• Data Engineering czyli jak połączyć dane ulubionych filmweb i IMDB
• Wykresy, czyli co pokazać na wykresach
• Druga część. Przedstawię metody testowania aplikacji 🙂 (edited)

Poprawki do Integracji Danych - Nasze łączenie przez IMDB nie jest doskonałe i wiele filmów nie zostaje powiązanych. Można byłoby poprawić ładowanie danych

Workshop 12:11: 2 część: Pokazanie testowania aplikacji:

Przypisane do @alexiej

W drugiej częśći mogę pokazać metody dotyczące testowania aplikacji w takich narzędziach jak PyCharm, oraz Visual Studio Code.

• Wykorzystania testowania do Continuus Integration w narzędziach takich jak Jenkins czy Gitlab.

• Wykresy - Poprawa UX wykresów i dodanie nowych. Możliwe wykresy

• Dashborad - czyli zestawienie kilku wykresów na jednym ekranie z najważniejszymi informacji, ulubione filmy, najbardziej lubiane gatunki, najbardziej lubiani aktorzy, najmniej lubiani aktorzy, ilość ocen, średnie oceny na najważniejsze gatunki i porównanie z imdb, itp... Tego typu małych wykresów może sporo
• Zestawienie czasowe jak bardzo lubimy dane gatunki, jak zmieniał nam się gust
• Zestawienia ze zdjęciami aktorów jak bardzo popularni byli w danym czasie, na Isi x czas na y, nasza średnia ocena, i weilkość zdjęcia aktora to ilość ocen jaką daliśmy.
• inne pomysły :) Nie wszystkie znajdą się w końcowym produkcie ale część z nich może być naprawdę ciekawa

Workshop: 12.11: 1 część: Wykresy do analizy przetworzonych danych
Przypisane do: @krzysztofho

• Wykorzystanie danych zebranych z połączenia IMDB oraz zescrapowanych filmweb oraz przedstawienie tych danych na wykresach.
• Wyciągnąć ciekawe wnioski z zebranych danych.

Można do tego wykorzystać wiele fajnych bibliotek jak chociażby plotly, https://plot.ly/python/, a . przykłady zobaczyć na: https://python-graph-gallery.com/