Propuesta de una rúbrica para evaluar la calidad de las tesis doctorales: Un enfoque de evaluación formativa

Abstract

La presente investigación tuvo como objetivo determinar las propiedades psicométricas de una rúbrica diseñada, con fines formativos, para evaluar la calidad de las tesis doctorales en programas de PhD en Educación. La rúbrica está constituida por seis dimensiones, y sus puntuaciones van de 1 a 4. Para determinar su grado de validez se usó el coeficiente V de Aiken, y para determinar su nivel de fiabilidad se usaron el coeficiente de concordancia Kappa de Cohen y el coeficiente de concordancia Kappa de Fleiss. En ambos procedimientos participaron 6 investigadores con grado de PhD en Educación como jueces y evaluadores. Además, se seleccionó una tesis de cada una de las 31 mejores universidades de mundo en el área de educación para realizar el análisis de fiabilidad inter-observador. Luego de realizar los análisis respectivos, se concluyó que cada dimensión de la rúbrica tiene un alto nivel de validez al obtener puntuaciones superiores a 0.83; y que la rúbrica es altamente fiable puesto que la fuerza de concordancia entre uno y otro observador, así como en su conjunto, resultaron ser considerables o casi perfectas.