f4biosa / bigdata_nlp

Repositório com códigos para estudo de Processamento de Linguagem Natural em Big Data.

Processamento de Linguagem Natural em Big Data

Repositório com códigos para estudo de Processamento de Linguagem Natural em Big Data com Apache Spark. Iremos utilizar modelos de Deep Learning (DL) com Large Language Models (LLM) para análise de sentimentos.

Os modelos de DL para análise de sentimentos podem aprender representações de texto automaticamente sem a necessidade de engenharia de feature. Esses modelos podem capturar padrões mais complexos nos dados e podem ter um desempenho melhor em tarefas com mais nuances, como detecção de sarcasmo ou reconhecimento de emoções. No entanto, eles podem exigir conjuntos de dados maiores para treinamento e podem ser computacionalmente caros, exigindo recursos de computação de alto desempenho (GPUs).

Spark NLP

Neste repositório vamos fazer uso de uma técnica denominada Processamento de Linguagem Natural, mais conhecido pelo termo em inglês Natural Language Processing (NLP). O processamento de linguagem natural usa machine learning para revelar a estrutura e o significado do texto. Com aplicativos de processamento de linguagem natural, as organizações podem analisar textos e extrair informações sobre pessoas, lugares e eventos para entender melhor as opiniões em mídias sociais e conversas de clientes.

Spark NLP é uma biblioteca de processamento de linguagem natural de última geração que foi construída sobre o Apache Spark. Ele fornece bibliotecas de NLP simples, eficientes e precisas para pipelines de aprendizado de máquina que podem ser implantadas facilmente em um ambiente distribuído. Ele oferece suporte a quase todas as tarefas e módulos de NLP que podem ser usados sem problemas em um cluster Spark.