Ambiente para estudo dos principais frameworks big data em docker.
Esse setup vai criar dockers com os frameworks HDFS, HBase, Hive, Presto, Spark, Jupyter, Hue, Mongodb, Metabase, Nifi, kafka, Mysql e Zookeeper.
OBS: Esse passo deve ser realizado apena uma vez. Após o ambiente criado, utilizar o docker-compose para iniciar os containers como mostrado no tópico INICIANDO O AMBIENTE
OBS: A criação do diretório é importante para os mapeamentos necessários
- No Linux:
- Criar o diretório na home do usuário ex: /home/user/docker
git clone https://github.com/imarkes/Curso-Spark.git
docker-compose up -d
docker image ls
docker container ls
docker stop [nome do container]
docker stop $(docker ps -a -q)
docker rm [nome do container]
docker rm $(docker ps -a -q)
docker container inspect [nome do container]
docker-compose up -d [nome do container]
docker-compose up -d
docker container logs [nome do container]
- HDFS http://localhost:50070
- Presto http://localhost:8080
- Hbase http://localhost:16010/master-status
- Mongo Express http://localhost:8081
- Kafka Manager http://localhost:9000
- Metabase http://localhost:3000
- Nifi http://localhost:9090
- Jupyter Spark http://localhost:8889
- Hue http://localhost:8888
- Spark http://localhost:4040
docker exec -it datanode bash
docker exec -it hbase-master bash
docker exec -it datanode bash
docker exec -it kafka bash
jdbc:mysql://database/employees
jdbc:hive2://hive-server:10000/default
jdbc:presto://presto:8080/hive/default
Usuário: admin
Senha: admin
Usuário: [email protected]
Senha: bigdata123
Usuário: root
Senha: secret
Usuário: root
Senha: root
Authentication Database: admin
- https://zookeeper.apache.org/
- https://kafka.apache.org/
- https://nifi.apache.org/
- https://prestodb.io/
- https://spark.apache.org/
- https://www.mongodb.com/
- https://www.metabase.com/
- https://jupyter.org/
- https://hbase.apache.org/
- https://sqoop.apache.org/
- https://hadoop.apache.org/
- https://hive.apache.org/
- https://gethue.com/
- https://github.com/yahoo/CMAK
- https://www.docker.com/
Este repositório é um fork do fabiogjardim