Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana

Calizaya Milla, Sergio Elvis; Santos Gonzales, Jair Samuel

Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana

dc.contributor.advisor	Huanca Torres, Fredy Abel
dc.contributor.author	Calizaya Milla, Sergio Elvis
dc.contributor.author	Santos Gonzales, Jair Samuel
dc.date.accessioned	2024-10-18T17:23:38Z
dc.date.available	2024-10-18T17:23:38Z
dc.date.issued	2024-09-30
dc.description.abstract	La innovación en el procesamiento del lenguaje natural (NLP) ha llevado a la creación de modelos como BERT, RoBERTa, GPT-4o, Llama 3 y Gemini. Sin embargo, la adaptación de estos modelos a dialectos específicos, especialmente en lenguas distintas del inglés, sigue siendo poco explorada, especialmente con jergas o lenguaje informal. En respuesta a esta necesidad, nuestra investigación evalúa modelos monolingües al español que mejor se adapten a las expresiones coloquiales peruanas, siendo la mejor alternativa RoBERTuito, un modelo pre-entrenado en un extenso corpus de tweets en español que destaca su eficacia en tareas de clasificación de texto. Afinamos y comparamos este modelo para reflejar las características del español peruano. Implementamos un proceso de recolección y preprocesamiento de datos de Facebook, enfocándonos en comentarios en español peruano. Este dataset especializado con más de 11,000 comentarios etiquetados fueron usados para entrenar modelos monolingües en la tarea de análisis de sentimientos y obtener una detección más precisa de la polaridad en textos que incluyen jergas peruanas. RoBERTuito obtuvo un F1-score equilibrado de 0.750, con una precisión de 0.858, un recall de 0.870 y una exactitud de 0.789. En comparación, BETO alcanzó una precisión de 0.794, recall de 0.725 y exactitud de 0.669; BERTuit, una precisión de 0.751, recall de 0.869 y exactitud de 0.722; y RoBERTa-BNE, una precisión de 0.783, recall de 0.759 y exactitud de 0.750. Este estudio no solo proporciona una solución para el análisis de sentimientos en español peruano, sino que también establece una base para adaptar modelos monolingües a contextos lingüísticos específicos.
dc.description.escuela	Escuela de Posgrado
dc.description.lineadeinvestigacion	Inteligencia artificial
dc.description.sede	Lima
dc.format	application/pdf
dc.identifier.uri	http://repositorio.upeu.edu.pe/handle/20.500.12840/8017
dc.language.iso	spa
dc.publisher	Universidad Peruana Unión
dc.publisher.country	PE
dc.rights	info:eu-repo/semantics/openAccess
dc.rights.uri	http://creativecommons.org/licenses/by-nc-sa/4.0/
dc.subject	Fine-tuning
dc.subject	Análisis de sentimiento
dc.subject	Transformers
dc.subject	BERT
dc.subject	Español
dc.subject	Jergas
dc.subject.ocde	http://purl.org/pe-repo/ocde/ford#1.02.01
dc.title	Fine-Tuning de Modelos Monolingües BERT preentrenados para el análisis de sentimientos en contextos de jerga peruana
dc.type	info:eu-repo/semantics/masterThesis
renati.advisor.dni	01345134
renati.advisor.orcid	https://orcid.org/0000-0001-7645-7144
renati.author.dni	46445513
renati.author.dni	76521399
renati.discipline	612467
renati.juror	López Gonzales, Javier Linkolk
renati.juror	Saboya Ríos, Nemias
renati.juror	Soria Quijaite, Juan Jesús
renati.juror	Huanca López, Lizeth Geanina
renati.juror	Huanca Torres, Fredy Abel
renati.level	http://purl.org/pe-repo/renati/nivel#maestro
renati.type	http://purl.org/pe-repo/renati/type#tesis
thesis.degree.discipline	Maestría en Ingeniería de Sistemas con Mención en Dirección y Gestión en Tecnología de Información
thesis.degree.grantor	Universidad Peruana Unión. Unidad de Posgrado de Ingeniería y Arquitectura
thesis.degree.name	Maestro en Ingeniería de Sistemas con Mención en Dirección y Gestión en Tecnología de Información