Passer la navigation

Validité de l’examen

Comment nous assurons-nous que l’ECP est un bon examen ?

Tous les organismes de réglementation au Canada, à l’exception de l’Ordre au Québec[1], s’en remettent à l’ACORP afin d’évaluer avec précision si les candidats sont compétents et prêts à exercer la profession de manière sécuritaire. De son côté, le public canadien s’en remet aux organismes de réglementation pour s’assurer qu’il reçoit de bons soins de la part d’un physiothérapeute, c’est-à-dire des soins sécuritaires, de qualité supérieure et fondés sur des données probantes. Cela signifie que l’ACORP doit veiller à ce que son examen soit efficace et fiable. C’est pourquoi l’ACORP évalue constamment la fiabilité et la validité de l’examen.

[1] L’Ordre au Québec applique son propre processus d’accréditation et d’évaluation.

Que sont la fiabilité et la validité ?

Fiabilité :

Dans le cas des examens, la fiabilité signifie la cohérence ou la répétabilité. Cela veut dire que si un candidat passe l’examen un jour, puis le repasse une semaine plus tard sans changement significatif de son apprentissage ou de son expérience durant cette semaine, il obtiendra une note similaire à celle qu’il a reçue auparavant. Autrement dit, l’examen indique plus ou moins le même niveau de capacité d’un candidat individuel chaque fois qu’il est passé. Dans le contexte de l’ECP, la fiabilité peut aussi signifier que les différents examinateurs notent les candidats essentiellement de la même façon.

Plusieurs méthodes statistiques sont utilisées pour évaluer la fiabilité des examens écrit et clinique. L’ACORP mesure et surveille le coefficient alpha de Cronbach qui indique si un examen comprend des niveaux de fiabilité acceptables. Le personnel et les membres des comités de l’ACORP examinent le coefficient alpha de chaque examen, ainsi que d’autres mesures appropriées, avant de publier les notes.

De plus, dans le cas de l’examen clinique, il est important de s’assurer que les examens sont passés et notés de la même façon. À cette fin, nous appliquons les mesures suivantes :

  • formation normalisée des examinateurs
  • formation normalisée de tous nos « patients standardisés »
  • création et distribution de feuilles d’examen et de réponses identiques
  • correction et notation centralisées des stations écrites avec tous les correcteurs dans une salle en même temps
  • processus décisionnel centralisé concernant les incidents liés à la sécurité et au professionnalisme et création d’un manuel de « règles de décision » pour garantir la cohérence d’un examen à l’autre.

Validité :

Tandis que la fiabilité d’un examen est axée sur la cohérence, sa validité concerne son exactitude – l’examen mesure-t-il ce qu’il est censé mesurer? Dans le cas de l’ECP, l’examen doit permettre d’établir correctement qu’un candidat possède les compétences nécessaires (connaissances, capacités et habiletés) pour commencer à exercer la physiothérapie. Si l’examen ne mesure pas ce qu’il est censé mesurer, l’ACORP pourrait accorder le droit d’exercer à des candidats qui ne sont pas véritablement des physiothérapeutes compétents et sécuritaires. Sans la validité, peu importe si un examen est fiable, car il ne mesure pas les compétences appropriées.

Tandis que la fiabilité se mesure au moyen de statistiques, la validité est établie par un ou plusieurs processus. Elle est constituée au fil du temps en suivant des normes reconnues internationalement visant l’élaboration et le maintien d’un examen solide ainsi qu’en appliquant des pratiques exemplaires pour chaque étape du cycle de développement de l’examen.

Toutes les étapes du cycle de développement de l’évaluation doivent être suivies pour promouvoir la validité de l’examen.

Étape 1 : Élaboration et conception de l’examen

  1. Objectifs clairs et précis : La première étape pour établir un examen valide consiste à préciser quel est exactement l’objectif de l’examen. Dans le cas de l’ACORP , l’objectif de l’examen est de déterminer si un candidat possède les connaissances, les habiletés et les capacités nécessaires pour commencer à pratiquer la physiothérapie. Il s’agit d’un objectif précis à un moment précis de la carrière d’un physiothérapeute – non pas un physiothérapeute spécialiste, ni un physiothérapeute comptant cinq ans d’expérience, mais vraiment un physiothérapeute qui commence à pratiquer.
  2. L’examen est fondé sur une analyse des tâches (pratique) qui est exécutée et mise à jour périodiquement: L’analyse de la pratique repose sur des renseignements liés à la pratique de la physiothérapie recueillis (sous forme de sondage) auprès de centaines de physiothérapeutes en activité dans toutes les régions du Canada.
  3. L’examen de compétence en physiothérapie est « multimodal »: c’est-à-dire qu’il comprend une composante écrite (connaissance) et une composante clinique (performance) permettant d’évaluer différents types d’habiletés et de capacités chez le physiothérapeute débutant.

Étape 2 : Rédaction des questions des examens écrit et clinique

  1. Les questions d’examen sont liées à un « plan » d’examen qui reflète:
    1. les résultats de l’analyse de la pratique indiquant la fréquence et l’importance des différentes habiletés de la pratique de la physiothérapie et
    2. les pratiques exemplaires en matière d’évaluation.
  2. Toutes les questions d’examen sont élaborées par des experts en physiothérapie de tous les coins du pays. Les experts sont choisis en raison de leur réputation comme praticiens dans leurs régions. Les experts reçoivent une formation en rédaction des questions.
  3. Les ébauches de questions d’examen rédigées par les experts régionaux sont examinées par un comité régional, puis par un comité national formé d’autres experts reconnus en physiothérapie. Aucun physiothérapeute ne peut élaborer une question sans qu’un autre spécialiste l’examine et la révise. Les questions rédigées par plusieurs experts en la matière sont meilleures que les questions rédigées par un seul expert, car aucun expert ne peut posséder une connaissance parfaite de tous les concepts examinés dans le cadre de l’examen[2]. C’est pourquoi l’ACORP emploie un processus en deux étapes faisant appel à des experts régionaux puis à une révision des questions par un comité national.
  4. Toutes les questions d’examen sont examinées après chaque séance d’examen afin d’évaluer leur rendement. Les questions qui sont statistiquement problématiques (ex. :très difficiles, ne permettent pas de distinguer les candidats plus performants et moins performants) sont définitivement retirées de la banque de questions d’examen ou réécrites.
  5. Les nouvelles questions sont pré-évaluées. Elles sont intégrées à chaque examen et leur rendement est évalué avant qu’elles ne soient incluses dans la notation réelle de l’examen. Ce processus est réalisé à l’insu des examinateurs et des candidats qui ne savent pas quelles questions sont nouvelles et sont en phase de pré-évaluation.
  6. Des pratiques exemplaires sont suivies pour évaluer le niveau de difficulté de chaque question.
  7. Les questionnaires d’examen sont constitués en s’assurant qu’ils concordent avec le plan d’examen et qu’ils sont standardisés afin qu’ils soient plus ou moins du même niveau de difficulté que les autres examens.

Étape 3 : Prestation de l’examen

  1. Des procédures de sécurité strictes sont suivies afin que les candidats ne puissent mémoriser les questions d’examen écrit et clinique et les transmettre aux autres candidats – ce qui diminuerait la capacité de la question d’évaluer avec exactitude la compétence d’un candidat.
  2. L’ACORP applique des mesures de contrôle de la qualité rigoureuses afin que les examens soient passés de manière appropriée.
  3. L’ACORP impose des sanctions très strictes à toute personne prise à tricher aux examens.
  4. Dans le contexte de l’examen clinique, les mesures additionnelles suivantes sont appliquées :
    1. Une formation est donnée avant chaque examen clinique afin de s’assurer que tous les examinateurs du pays notent l’examen de la même façon.
    2. Les patients standardisés reçoivent une formation rigoureuse supervisée par des physiothérapeutes afin que les scénarios cliniques soient présentés de la bonne façon.

Étape 4 : Correction de l’examen

  1. Des pratiques exemplaires sont adoptées pour noter les examens et établir la note de passage
  2. Des analyses régulières sont conduites afin d’adopter de nouvelles méthodes de notation en fonction des nouvelles pratiques exemplaires.

Étape 5 : Amélioration continue de la qualité

  1. L’ECP est examiné régulièrement par des réviseurs indépendants afin d’évaluer sa conformité aux normes internationales d’examen d’agrément. Ces normes internationales sont établies par l’Organisation internationale de normalisation (ISO)/le Conseil canadien des normes, ou la National Commission for Certifying Agencies – des agences de certification reconnues internationalement.
  2. L’Alliance exécute régulièrement ses propres contrôles de qualité et prend des initiatives pour améliorer la qualité afin de garantir la validité et la fiabilité des examens.
[2] Tiré de « ISO/IEC 17024 Conformity Assessment: general requirements for bodies operating certification of persons », Cynthia D. Woodley. CLEAR Exam Review, Volume XXV (2). Hiver 2015, page 18.

Examens externes

Le programme d’examen de l’ACORP , son élaboration et son exécution, ainsi que les initiatives continues d’amélioration de la qualité sont conçus et mis en œuvre conformément aux normes internationales d’attribution de permis et d’agrément en vigueur – Standards for Educational and Psychological Testing (AERA, APA, NCME) et les Standards for the Accreditation of Certification Programs de la NCCA.

Le programme d’examen de l’ACORP a été régulièrement évalué par des experts externes depuis sa création. L’évaluation la plus récente en 2010 mentionnait : « L’évaluation du programme d’examen de l’Alliance a révélé un programme extrêmement solide, essentiellement conforme aux normes d’examen de l’industrie et adapté aux besoins des principaux intervenants[3]. » Une autre évaluation de l’examen est en cours.

[3] « An Evaluation of the Canadian Alliance of Physiotherapy Regulators’ Physiotherapy Competency Exam. » Department of Research and Development, Professional Examination Services, New York, New York. 9 avril 2010.