Este sitio web utiliza cookies para mejorar la experiencia de navegación, personalizar las tutorías académicas y desarrollar investigación pedagógica. Si continúa consideramos que acepta su uso. Acepto Política de cookies

MAPA PRECISO DE FORTALEZAS Y DEBILIDADES

El modelo de diagnóstico cognitivo se alinea mejor con los currículos basados en competencias y con la evaluación programática

Componentes del diagnóstico cognitivo en el que la matriz Q clasifica los elementos según los atributos cognitivos necesarios.

En muchas situaciones evaluativas, un puntaje general no brinda suficiente información a los estudiantes sobre lo que están haciendo bien y lo que no. Los modelos de diagnóstico cognitivo (MDCs) evalúan si los examinados tienen las habilidades necesarias para responder las preguntas de un examen, de modo que puedan obtener una retroalimentación más precisa sobre sus fortalezas y debilidades. Esto significa apostar por más palabras en lugar de números. Carlos F. Collares, profesor asistente en la Universidad de Maastricht (Países Bajos) y psicometrista del European Board of Medical Assessors (EBMA), defiende superar la unidimensionalidad para adoptar un uso más cualitativo de la psicometría moderna.

Madrid - 28 de julio de 2022. Cognitive diagnostic modelling in healthcare professions education: an eye‑opener es un artículo reciente publicado en Advances in Health Sciences Education por el Prof. Collares que intenta desmitificar la llamada "era postpsicométrica". De acuerdo con su exposición, la literatura confirma que los puntajes no son efectivos en la prevención o detección oportuna de brechas críticas de aprendizaje. El profesor Collares, que forma parte del consejo asesor de Practicum Script, afirma que “la inclusión de comentarios basados en CDM en los resultados de las pruebas sumativas puede proporcionar una herramienta esencial para los estudiantes, profesores y otras partes interesadas permitiéndoles abordar brechas específicas en los atributos cognitivos, así como ir más allá de la mera remediación de gapas de conocimiento”.

EL MDC entronca con el análisis de clases latentes. En lugar de asumir que estamos midiendo una sola dimensión o factor, el MDC relaciona un conjunto de variables multivariadas con un conjunto de variables latentes. Se llama análisis de clases latentes debido a que la variable latente es discreta. Por su parte, una clase se caracteriza por un patrón de probabilidades condicionales que indican la probabilidad de que las variables adquieran determinados valores. El resultado es un perfil multidimensional rico de qué atributos o competencias específicas se poseen y cuáles no. De esta manera, el MDC proporciona evidencia más granular y tiene potencial para guiar las decisiones de enseñanza y aprendizaje en el aula.

En definitiva, “las variables latentes elegidas para medir los constructos de interés —explica el profesor Collares— ya no son continuas, como en los modelos de respuesta al ítem, sino categóricas”. Además, el MDC estima la relación entre los atributos cognitivos de los examinados (cualquier proceso cognitivo, habilidad o competencia que se considere necesario para resolver correctamente el problema) y los diferentes atributos necesarios para resolver los elementos de la prueba.  Por otra parte, el MDC permite que cualquier elemento refleje más de una variable latente al mismo tiempo. Las interacciones entre variables latentes se pueden modelar con flexibilidad, lo que lo convierte en un enfoque factible que puede abarcar la multidimensionalidad de los ítemes con un mayor nivel de autenticidad profesional.

Según el profesor Collares, “las críticas sobre los paradigmas psicométricos que se utilizan actualmente en la educación de las profesiones de la salud incluyen reclamaciones de reduccionismo, objetivación y cumplimiento deficiente de los supuestos”. Sin embargo, probablemente la limitación más importante proviene de la dificultad de los alumnos para interpretar las puntuaciones numéricas y el impacto perjudicial que las puntuaciones pueden tener sobre ellos. Por ejemplo, se puede asignar una buena puntuación incluso si la respuesta correcta se obtiene utilizando un proceso cognitivo incorrecto, las rutas erróneas pueden conducir a una respuesta correcta y una puntuación de cero en una escala binaria es independiente del grado de malentendido que resulte en la respuesta incorrecta.

Como sucede en la evaluación programática, un enfoque en el que la información sobre la competencia y el progreso del participante se recopila y se analiza continuamente para permitir decisiones de alto riesgo al final de una fase de capacitación, el MDC se diferencia de los paradigmas psicométricos más antiguos al proporcionar una retroalimentación de diagnóstico significativa. Clasifica a los examinados atendiendo a su dominio o no dominio de un gran número de atributos categóricos latentes específicos. Como resultado, el aprendizaje adaptativo con fines formativos es posible y la tutorización se torna más inteligente.

Pero, ¿cómo aprobarían los alumnos en un marco de evaluación basado en el diagnóstico cognitivo? En opinión del profesor Collares, “probablemente se otorgaría una calificación de aprobado de acuerdo con las competencias demostradas o los atributos cognitivos y no simplemente en función de la puntuación obtenida”. El número de falsos positivos y falsos negativos en una evaluación podría estimarse mejor e incluso reducirse. Del mismo modo, las puntuaciones asociadas con la clase latente en la que se han demostrado todos los atributos de interés podrían informar una puntuación de corte basada en el diagnóstico cognitivo. “Mis primeros intentos de usar CDM para establecer estándares sugieren fuertemente que la evaluación programática no es un lujo sino una necesidad”, enfatiza el psicometrista.

Aplicabilidad a Practicum Script

El MDC permite medir los diferentes procesos cognitivos involucrados en el razonamiento clínico. “En el artículo —expresa el Prof. Collares—, hablo de dos tipos de razonamiento: inductivo y deductivo; el quid de la cuestión es que la mayoría de las pruebas se enfocan en el razonamiento deductivo y las preguntas que requieren razonamiento inductivo pueden ser disfuncionales en los análisis psicométricos unidimensionales tradicionales”. Este enfoque ignora el fenómeno de la especificidad de la tarea. PracticumScript, en cambio, proporciona una amplia variedad de ejercicios que estimulan ambos tipos de razonamiento e incluso otro: la heurística. El simulador presenta una evaluación de todas las etapas del razonamiento clínico, todas decisivas para el futuro facultativo.

En este sentido, para el Prof. Collares, “en la valoración de la heurística disponible en los ejercicios de aplicación del conocimiento de Practicum Script queda muy claro que la competencia es específica, no genérica, lo que confirma el fenómeno de la especificidad que se viene observando hace más de 40 años. ” Para él, “en lugar de ignorar este fenómeno, el MDC nos permitió abrazarlo en Practicum Script, por lo que estoy muy orgulloso de lo que pudimos lograr con el uso del MDC en el trabajo conjunto entre la Fundación Practicum y EBMA”.

Comprender las estructuras de conocimiento y permitir una medición detallada de atributos cognitivos complejos debería tener implicaciones claras y servir como base racional para el diseño instruccional, la evaluación formativa y la mejora de la educación en general. De lo contrario, la mejora sigue siendo en gran medida un proceso de prueba y error. El Prof. Collares considera que “un currículo basado en competencias debe enfatizar lo que se espera que hagan los alumnos en lugar de principalmente lo que se espera que sepan”. En principio, dicho plan de estudios está centrado en el alumno y se adapta a las necesidades cambiantes de los alumnos, los docentes y la sociedad.

Script Connect
Centro de atención personalizada

Ponemos a su disposición un servicio de atención personalizado, a través del cual obtener soporte técnico y ayuda, tanto para la navegación dentro del sitio como para el uso del programa.

Preguntas frecuentes