Fig. 1.- Digitalización de las hojas de respuesta.

Fig. 2.- Los doctores Julio Pertuzé (UC), Ignacio González (U Andes), Christel Hanne (U Chile) y Mauricio Soto (USACh), directores de sus respectivas escuelas de medicina, durante la auditoría 2008.

Fig. 3.- Acta de auditoría 2009.

Fig. 4.- Entrega de certificados en ASOFAMECh, diciembre 2009.

1.- Luego de escanear las hojas de respuesta (fig 1), se corrigen las respuestas individuales de cada examinado (proceso automático).

2.- Se calcula el comportamiento de cada pregunta para el total de examinados, determinándose el porcentaje de examinados que respondió correctamente cada pregunta (p), así como la capacidad de discriminación de cada pregunta (rbis), este proceso también es automático.

3.- De acuerdo a los límites que ha fijado el Consejo Estadístico con anterioridad a la rendición del examen, se filtran (se eliminan) aquellas preguntas que sean demasiado fáciles, demasiado difíciles o que discriminen mal. Este filtraje es automático y aritmético, está incorporado al software de corrección y no requiere intervención manual. La determinación del filtraje es tomada por el Consejo Estadístico en base a los datos del año anterior, ya que es una decisión previa a la aplicación del Examen.

3.1.- Para la versión 2012, el Consejo Estadístico determinó considerar preguntas válidas aquellas con
p > 0.20 y con rbis > 0.15.

3.2.- Aquellas preguntas con p ≤ 0.20 pero con rbis > 0.15 serán revisadas caso a caso en una sesión especial del Comité de Contenidos, quienes decidirán si la pregunta se elimina o no, dependiendo de si se atribuye la dificultad a aspectos de forma (rechazar) o de contenido (incluir).

4.- El número de preguntas no filtradas define el máximo de respuestas correctas posibles (ejemplo: si 168 preguntas "sobreviven" al filtraje, este número corresponderá al 100%)

4.1.- Se descontará una respuesta correcta por cada 4 incorrectas.
Correctas corregidas = Correctas respondidas - (Incorrectas / 4).

4.2.- No se descontarán las respuestas en blanco.

4.3.- Ejemplo: Si el máximo de correctas después del filtraje es de 168 y un examinado responde 140 correctas, 20 incorrectas y 8 blancas, su puntaje será de:
(140 - (20/4) / 168) * 100= 80.36

5.- Además de la identificación del examinado y el puntaje obtenido, cada certificado incluirá un valor que indicará el percentil en que se ubicó el examinado respecto a la población que rindió el examen ese mismo año. Los percentiles se calculan para la población normativa, definida como "los egresados de escuelas de medicina chilenas de la última promoción, que rindan por primera vez el examen". A aquellos examinados que no formen parte de la población normativa (repitentes, egresados de promociones anteriores, o titulados en el extranjero), se les calcula el percentil por interpolación con los puntajes de la población normativa.

6.- Antes de imprimirse los certificados, se realiza una auditoría, que consiste en la invitación a los directores de escuela y un representante de los alumnos (ASEMECH) a corregir manualmente una muestra del tamaño que ellos deseen de hojas de respuesta de su propia escuela o de otras escuelas y comparar el resultado manual con el obtenido automáticamente (fig. 2). Para ello se les provee de la clave de respuestas correctas, así como de la lista de preguntas filtradas (cuya respuesta debe ignorarse). Los directores firman un acta dando su conformidad al procedimiento (fig. 3).

7.- Se imprimen los certificados, que se entregan directamente a los interesados ya sea directamente en ASOFAMECh, o en las escuelas de regiones donde el examinado rindió el examen (Fig. 4).