Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana
Resumen
La innovación en el procesamiento del lenguaje natural (NLP) ha llevado a la creación de modelos como BERT, RoBERTa, GPT-4o, Llama 3 y Gemini. Sin embargo, la adaptación de estos modelos a dialectos específicos, especialmente en lenguas distintas del inglés, sigue siendo poco explorada, especialmente con jergas o lenguaje informal. En respuesta a esta necesidad, nuestra investigación evalúa modelos monolingües al español que mejor se adapten a las expresiones coloquiales peruanas, siendo la mejor alternativa RoBERTuito, un modelo pre-entrenado en un extenso corpus de tweets en español que destaca su eficacia en tareas de clasificación de texto. Afinamos y comparamos este modelo para reflejar las características del español peruano. Implementamos un proceso de recolección y preprocesamiento de datos de Facebook, enfocándonos en comentarios en español peruano. Este dataset especializado con más de 11,000 comentarios etiquetados fueron usados para entrenar modelos monolingües en la tarea de análisis de sentimientos y obtener una detección más precisa de la polaridad en textos que incluyen jergas peruanas. RoBERTuito obtuvo un F1-score equilibrado de 0.750, con una precisión de 0.858, un recall de 0.870 y una exactitud de 0.789. En comparación, BETO alcanzó una precisión de 0.794, recall de 0.725 y exactitud de 0.669; BERTuit, una precisión de 0.751, recall de 0.869 y exactitud de 0.722; y RoBERTa-BNE, una precisión de 0.783, recall de 0.759 y exactitud de 0.750. Este estudio no solo proporciona una solución para el análisis de sentimientos en español peruano, sino que también establece una base para adaptar modelos monolingües a contextos lingüísticos específicos.
Descripción
Citación
Aprobación
Revisión
Complementado por
Referenciado por
Grado o título
Maestro en Ingeniería de Sistemas con Mención en Dirección y Gestión en Tecnología de Información
Programa
Maestría en Ingeniería de Sistemas con Mención en Dirección y Gestión en Tecnología de Información
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Peruana Unión
DOI
Licencia Creative Commons
Archivos
Cargando...
Nombre
Reporte de similitud.pdf
Tamaño
1,68 MB
Formato
Adobe PDF
Cargando...
Nombre
Sergio_Tesis_Maestro_2024.pdf
Tamaño
4,44 MB
Formato
Adobe PDF
Cargando...
Nombre
Autorización.pdf
Tamaño
269,77 KB
Formato
Adobe PDF