dkhoroshev / mephi-bigdata-hadoop

BigData Hadoop

Описание

Бизнес логика:

Программа, которая строит тепловую карту кликов по странице.

Входные данные: координаты нажатия x,y, userId, timestamp (справочник областей экрана: <координаты области> - <название области>, справочник температур: <диапазон значений> - <температура (высокая, средняя, низкая)>). Размер экрана и количество областей передавать в качестве параметров скрипту-генератору справочника разметки.

Выходные данные: название области экрана, количество нажатий

Output Format:

CSV файл

Дополнительные требования:

Использование Custom Type

Отчет обязательно должен включать:

1. ZIP-сжатая src папка и pom.xml/build.gradle с реализацией
2. Скриншоты успешно выполненных тестов
3. Скриншоты листингов файлов, загруженных в HDFS
4. Скриншоты успешно выполненной MapReduce Job
5. Краткая инструкция по сборке и развертыванию (команды, требования к OS и т.д.)

Инструкция по запуску

docker-compose up -d

mephi-bigdata-hadoop's Issues

Написать генератор исходный данных и словаря

В передаваемых параметрах указывать расширение экрана пользователя и кол-во зон.
Например:
./generator -r 1200x800 -x 2 -y 3 -t t1,t2
На выходе 2 файла:

1. Данные. Формат:
   x,y, userId, timestamp
2. справочник "Область экрана". Формат:
   <координаты области>-<название области>
   <координаты области> Формат:
   x_min,y_min,x_max,y_max - максимальный и минимальные значения X и Y для формирования области.
3. справочник "температур"
   <диапазон значений> - <температура> Формат:
   0,t1 - низкая (синий)
   t1,t2 - средняя (желтый)
   t2 и более - высокая (красный)

Написать класс Map для входных данных

Справочник для определения зон принять полученный при генерации.