Analyse de la validité du contenu et de la qualité formelle des questions isolées des épreuves classantes nationales informatisées (ECNi) de l’année universitaire 2015–2016

Contexte : Les premieres epreuves classantes nationales informatisees (ECNi) cloturant le deuxieme cycle des etudes medicales en France ont eu lieu en juin 2016 et ont comporte des dossiers cliniques progressifs (DCP), des questions isolees (QI), ainsi qu’une epreuve de lecture critique d’articles (LCA). Les QI representaient une nouveaute de cet examen puisque les DCP et la LCA etaient utilises depuis 2004. But : Analyse de la validite du contenu et de la qualite formelle des QI des premieres epreuves ECNi. Methodes : Un questionnaire contenant les criteres docimologiques a recueillir a ete defini et valide au prealable. Les 120 QI de l’ECNi 2016 ont ete analysees par un binome independant. Les discordances entre les evaluateurs ont ete interpretees. Toutes les analyses ont ete colligees sur tableur Excel puis les statistiques ont ete realisees sur Graphpad Prism version 6 et Stata v12. Resultats : Les redacteurs des QI ont majoritairement respecte les consignes de forme. Les niveaux d’habiletes intellectuelles requis concernaient majoritairement les processus de memorisation, de simple recuperation de l’information et de comprehension (82 % des QI). Dans 7 a 23 % des QI, l’utilisation de distracteurs etait jugee inappropriee. Une predominance de QI portait sur les disciplines medicales (72,5 %). L’unite d’enseignement (« Circulation – Metabolismes ») etait la plus representee (26 %). Les discordances etaient faibles (6,2 % des evaluations). Conclusion : Il s’agit de la premiere analyse de la validite du contenu et de la qualite formelle des QI des ECNi. Leur format de redaction a ete largement respecte par les auteurs. Elles ont peu fait appel a des processus de raisonnement complexe. Il semblerait utile de favoriser les courtes vignettes cliniques pour ameliorer cet aspect.