Développement de l’instrument d’évaluation

En général, le plan directeur détermine le choix d’instrument d’évaluation.

Le contenu de l’instrument d’évaluation doit refléter la liste et la pondération des compétences indiquées dans le plan directeur. Les questions (également appelées « items ») du test ou de l’examen sont élaborées par des experts en contenu qui ont suivi des ateliers et des séances de formation en rédaction de questions.

La qualité des questions est un déterminant clé de la validité et de la fiabilité d’un test ou d’un examen. Elle influence aussi la perception qu’ont les candidats du test ou de l’examen. On continue d’élaborer et de mettre en banque des questions jusqu’à ce qu’on en ait suffisamment pour préparer une version du test ou de l’examen et maintenir une réserve de questions expérimentales, de questions d’ancrage, de questions de remplacement ainsi que de questions pour les guides de préparation et les tests et examens futurs. Les questions, une fois rédigées, sont révisées pour s’assurer qu’elles sont claires. On les révise aussi parfois pour veiller à leur acceptabilité culturelle. Les questions, en particulier les questions pour les examens d’autorisation d’exercer, font ensuite l’objet d’un essai pilote, souvent sous forme de questions expérimentales, et d’une analyse statistique pour déterminer leur pertinence. Les questions qui n’obtiennent pas de bons résultats statistiques sont révisées ou supprimées.

Une fois que toutes les questions sont passées par le processus de révision et qu’une version préliminaire du test ou de l’examen a été produite, on établit la note de passage. Cette norme est établie en fonction du contenu et du niveau de difficulté des questions de l’examen. La méthode Angoff est la technique la plus couramment employée pour déterminer la note de passage. Il s’agit d’un processus important pour l’établissement approprié de la norme et de l’équivalence des diverses versions de l’examen à mesure qu’on change les questions.