Precorrección
Se calcula el número de respuestas correctas de cada examinado y los parámetros básicos de comportamiento de las preguntas, con Teoría Clásica de la Medición.
Filtraje
Se eliminan del examen aquellas preguntas cuyo comportamiento no se sitúe dentro del rango establecido por el Consejo Estadístico:
– Aquellas muy difíciles (p ≤ 0.2). Esto significa que independientemente de la causa (redacción, aspectos clínicos polémicos, ambigüedad...), si la pregunta sólo fue respondida correctamente por una minoría (menos
de 20% de los examinados), se elimina del examen.
– Aquellas con mala correlación entre la respuesta a la pregunta y el puntaje global en el examen, esto es, con rbis ≤ 0.15.
Las preguntas filtradas son eliminadas del examen para todo efecto.
Corrección IRT
Se calcula la curva caracterítica de cada pregunta con Teoría de Respuesta al Ítem, usando un modelo de Rasch. Esta curva estima la probabilidad de responder correctamente esa pregunta para cualquier nivel de habilidad
(conocimientos) del examinado.
A partir de esta curva se calcula un valor de dificultad no calibrada de la pregunta.
|
|
Puntaje
El puntaje en el cálculo hecho hasta aquí está expresado en logits, las unidades que utiliza el método IRT. Es necesario trasnformarlo en forma lineal a la escala tradicional de EUNACOM, de 0 a 100.
Cualquier recta arbitraria que convierta logits a puntos de 0-100 serviría para este efecto, a condición de que se mantenga en el tiempo.
Para escoger una recta de transformación se decidió fijar dos puntos:
– El puntaje mínimo de aprobación expresado en logits debe corresponder a los 51 puntos que establece el reglamento.
– El puntaje promedio de los egresados chilenos, expresado en logits, debe corresponder al promedio del puntaje de la misma población, expresado en porcentaje de respuestas correctas.
Para determinar el primer punto, se utilizó el resultado del trabajo de determinación de punto de corte, realizado por un grupo de expertos y que se describe en la próxima página.
Para determinar el segundo punto, se utiliza como población de referencia el resultado de la primera promoción que utiliza IRT como método de corrección. De este modo se asegura que en esa primera aplicación no habrá diferencia en promedio entre el resultado obtenido con el método tradicional y el obtenido por IRT.
|
Equating
En base a un pequeño grupo de preguntas de dificultad conocida, usadas en exámenes anteriores, se calcula una constante de transformación, un valor que se suma o se resta a la dificultad de cada pregunta, desplazando así la curva no calibrada de cada pregunta, a la posición que le corresponde para quedar en los mismos valores de dificultad que las preguntas del Banco de Preguntas.
De este modo, el puntaje obtenido en el examen que se está corrigiendo se hace comparable directamente a los puntajes de personas que rindieron examenes anteriores. |
|
…………………………………………
Quienes deseen conocer las ecuaciones y el algoritmo exactos que se utilizan en la corrección del EUNACOM, pueden leer la Hoja Técnica de Corrección.
Quienes deseen leer una descripción intuitiva de las ventajas de IRT sobre el sistema tradicional, pueden leer el artículo Corrección del EUNACOM mediante Teoría de Respuesta al Ítem (IRT). |
