pedrohvfernandes / semana-javascript-7.0-ml-tensorflow

Projeto feito no evento semana JS expert ao lado do @Erickwendel. Usando somente JS e ML(machine learning) para usar os olhos e os gestos das mãos ao lado do front-end sem o uso do back-end.

Semana-Javascript-7.0

Projeto desenvolvido durante a Semana Javascript 7.0, evento organizado por Erick Wendel

Sobre o projeto

O projeto consiste em uma aplicação web a onde que é possivel usar a webcam com ML(Machine learning) para identificar os gestos de mão e assim controlar a aplicação. Para que isso seja possivel foi utilizado a biblioteca fingerpose para manipular os dados que chega do tensorflow, que por baixo dos panos utiliza a API tensorflow.js para receber os dados no front-end e que por sua vez ela utiliza por de baixo dos panos a biblioteca mediapipe, sendo que uma abstrai a outra. Com isso, facilitando a integração de ML no front-end sem o uso de back-end para fazer a gestão dele. E para complementar o projeto foi usado workers, injeção de dependência com factories e MVC com a camada service usando js vanilla.

As funcionalidades iniciais fazendo gestos com a mão para mexer na tela é: descer a tela, clicar em algum elemento da tela, piscar os olhos para iniciar o video etc.

Certificado:

Tecnologias utilizadas

• HTML
• CSS
• Javascript
• Fingerpose
  • Tensorflow.js
    • Mediapipe
• pseudo-styler

Como executar o projeto

• npm i
• npm run start
• Tenha uma camera conectada ao pc/notebook e permita o acesso a ela

Para testar o projeto final:

• clique aqui para V05 versão final
• clique aqui para V04
• clique aqui para V03
• clique aqui para V02
• clique aqui para V01

👨‍💻 Autor:

• Linkedin: https://www.linkedin.com/in/pedro-henrique-vieira-fernandes
• Git: https://github.com/PedrohvFernandes
• Instagram: pedro17fernandes
• portfolio: PedrohvFernandes.github.io