cleytongoncalves / relatoriotecnicoia

Relatório Técnico de T.E.I.A.

Tema da Aplicação

Reconhecimento de sinais da Língua Brasileira de Sinais (Libras)

Contexto

Segundo o IBGE, cerca de 5,1% da população brasileira tem algum problema auditivo. Isso representa mais de 10 milhões de brasileiros. Desses, muitos utilizam a Língua Brasileira de Sinais (Libras) como forma primária de comunicação.

Enquanto já temos resultados muito bons na tradução de textos, a tradução de línguas gestuais ainda está em um processo muito inicial. Existem sistemas que convertem texto e voz para libras, mas ainda não há uma forma confiável de se realizar o contrário, convertendo de libras para voz por exemplo. Com tal funcionalidade, seria possível que o falante da língua de sinais realizasse um papel ativo, gerando conteúdo e não só o consumindo.

Trabalhos Relacionados

Recognition of Static Gestures Applied to Brazilian Sign Language (Libras)

Dissertação de mestrado que apresenta a elaboração de um agente de inteligência artificial utilizando um vetor de características para extração de formas e contornos presentes nas imagens, e um classificador Perceptron Multicamada com arquitetura de classificação em 2 estágios.

Foi atingido cerca de 96% de sucesso, porém limitado ao reconhecimento de apenas 40 gestos. Isso se deve principalmente ao fato de ser extraído apenas formas e contornos, o que dificulta o reconhecimento de diversos sinais similares ou rotacionados.

I. L. O. Bastos, M. F. Angelo and A. C. Loula, "Recognition of Static Gestures Applied to Brazilian Sign Language (Libras)," 2015 28th SIBGRAPI Conference on Graphics, Patterns and Images, Salvador, 2015, pp. 305-312.

An Approach to Glove-Based Gesture Recognition

A parte inicial do artigo analisa e compara diversas formas diferentes de se realizar o reconhecimento dos gestos, levando em consideração a precisão, mas também a extensibilidade e a independência de usuário específico.

Parvini F., McLeod D., Shahabi C., Navai B., Zali B., Ghandeharizadeh S. (2009) An Approach to Glove-Based Gesture Recognition. In: Jacko J.A. (eds) Human-Computer Interaction. Novel Interaction Methods and Techniques. HCI 2009. Lecture Notes in Computer Science, vol 5611. Springer, Berlin, Heidelberg

Automatic recognition of finger spelling for libras based on a two-layer architecture

Neste trabalho os autores utilizam uma arquitetura de 2 etapas, sendo a etapa inicial para agrupamento de sinais similares entre si, e uma etapa final para desambiguificar as confusões entre os simbolos.

Pizzolato, E. B., dos Santos Anjo, M., & Pedroso, G. C. (2010, March). Automatic recognition of finger spelling for libras based on a two-layer architecture. In Proceedings of the 2010 ACM Symposium on Applied Computing (pp. 969-973). ACM.

Evaluation of Deep Learning based Pose Estimation for Sign Language Recognition

Este trabalho cria e aplica um dataset de ASL em dois algoritmos de reconhecimento que utilizam Deep Learning para avaliar e comparar sua eficácia, e estuda o uso de um algoritmo para estimação de pose estática.

Srujana Gattupalli, Amir Ghaderi, and Vassilis Athitsos. 2016. Evaluation of Deep Learning based Pose Estimation for Sign Language Recognition. In Proceedings of the 9th ACM International Conference on PErvasive Technologies Related to Assistive Environments (PETRA '16). ACM, New York, NY, USA, Article 12, 7 pages. DOI: https://doi.org/10.1145/2910674.2910716