NEA - Núcleo de Estatística Aplicada

Este trabalho tem como objetivo explorar o campo do Processamento de Linguagem Natural (PLN) utilizando Redes Neurais e Aprendizado Profundo, áreas que não foram amplamente abordadas durante o bacharelado em Estatística e Ciência de Dados. A metodologia incluiu uma análise detalhada de Redes Neurais Superficiais e Profundas, com foco em modelos Transformers, especialmente BERT e RoBERTa. Para a avaliação, foram utilizados cálculos de autoatenção e uma comparação entre os dois modelos Transformers, destacando suas diferenças no pré-treinamento e suas respectivas vantagens e desvantagens. Os resultados foram obtidos a partir de um banco de dados específico para análise de sentimentos, onde foram aplicadas métricas de desempenho para avaliar a eficácia dos modelos. Conclui-se que tanto BERT quanto RoBERTa apresentam potencial significativo para aplicações em PLN, com variações em desempenho de acordo com a natureza do pré-treinamento.Este trabalho tem como objetivo explorar o campo do Processamento de Linguagem Natural (PLN) utilizando Redes Neurais e Aprendizado Profundo, áreas que não foram amplamente abordadas durante o bacharelado em Estatística e Ciência de Dados. A metodologia incluiu uma análise detalhada de Redes Neurais Superficiais e Profundas, com foco em modelos Transformers, especialmente BERT e RoBERTa. Para a avaliação, foram utilizados cálculos de autoatenção e uma comparação entre os dois modelos Transformers, destacando suas diferenças no pré-treinamento e suas respectivas vantagens e desvantagens. Os resultados foram obtidos a partir de um banco de dados específico para análise de sentimentos, onde foram aplicadas métricas de desempenho para avaliar a eficácia dos modelos. Conclui-se que tanto BERT quanto RoBERTa apresentam potencial significativo para aplicações em PLN, com variações em desempenho de acordo com a natureza do pré-treinamento.