luizsci42 / analise-de-sentimentos-pandemia-covid19

Repositório utilizado para o plano de PIBIC 2020-2021 com o prof. Dr. Hendrik Macedo. Tem como finalidade criar um dataset para treinamento de modelos de aprendizado de máquina sobre as 5 emoções de Ekman e analisar os sentimentos predominantes durante os primeiros 12 meses da pandemia de COVID-19.

Hi, i'm Luiz Felipe!

Business Intelligence Analyst by Sergipe Parque Tecnológico, allocated at Secretaria de Estado da Fazenda Undergraduate student on Computer Science at Universidade Federal de Sergipe
Researcher at Ludiico Labs

class LuizFelipe:

    def __init__(self):
        self.name = 'Luiz Felipe Souza'
        self.code = {
            'fields_of_interest': ['Data Science', 'Natural Language Processing'],
            'tools': ['Scikit-learn', 'PowerBI', 'Jupyter Notebook', 'Pentaho', 'Docker'],
            'Backend': ['Python Flask']           
        }


if __name__ == '__main__':
    me = LuizFelipe()

Hi there! I'm Luiz Felipe and I'm cunrrently working as Business Intelligence Analyst on SergipeTec (Sergipe Parque Tecnológico) and undegraduating on Computer Science at Universidade Federal de Sergipe.

I had made some projects at Ludiico Labs, an academic group inside the university, from which i had gained experience on
Android, FullStack Development, Data Science and Natural Language Processing.

In all these projects, I used to be very proactive and criative, collaborating not only with the development, but also
with sugestions, solutions and new strategies when something went wrong.

At my job, I work with processes and tools of Business Intelligence, as ETL (Extract, Transform, Load), reporting with dashboards and training of machine learning models.
      
My interests include Ethical technology development, Data Science, Creative Writing and Inovation.

---

From @luizsci42

analise-de-sentimentos-pandemia-covid19's Issues

Treinar um novo modelo com maior desempenho

Algumas medidas podem ser tomadas para obter um melhor modelo, dentre as quais otimização de parâretros (fine tuning) e/ou testar outro modelo.

Em testes iniciais, consegui obter um weighted f1-score de 58% obtido utilizando cross-validation com 10 folds, a partir de um modelo de logistic regression com parâmetros padrão, sem a necessidade de balancear o conjunto de treinamento. Estou prosseguindo tentando otimizar os parâmetros tanto do LinearSVC, quanto do Logistic Regression.

Outras possíveis medidas também envolvem o pré-processamento do texto, como stemming e lemmatization.

Futuramente, também posso fazer uso do BERT. O seguinte tutorial me parece uma boa introdução: https://www.analyticsvidhya.com/blog/2023/06/step-by-step-bert-implementation-guide/

Revisar dataset de treinamento

Por ter sido montado a partir de um crawler, baseando-se em hashtgs, muitos tweets presentes no dataset podem conter ruído. É necessário verificar as labels e remover o que não for útil.