Pratiques exemplaires pour les tests non supervisés

Document produit par le Centre de psychologie du personnel - octobre 2015

Version PDF, 340 Ko

En dotation, l’évaluation a pour but de déterminer si le candidat possède les connaissances, les habiletés, les capacités ou les compétences nécessaires pour exécuter efficacement les fonctions du poste. Pour ce faire, les outils d’évaluation doivent être valides, fiables, justes et défendables.

Le présent document présente les pratiques exemplaires en matière d’utilisation, d’élaboration, d’administration et de notation des tests non supervisés, de façon à protéger l’intégrité, le mérite et l’équité dans les processus de nomination. Ce document porte surtout sur les tests de connaissances non supervisés que les candidats peuvent passer à l’endroit de leur choix, souvent appelés « examens à la maison ». Toutefois, une grande partie du contenu de ce document peut s’appliquer à d’autres types d’évaluations non supervisées, mais peut aussi différer selon le type de test.

Table des matières

• Qu’est-ce qu’un « examen à la maison »?
• Avantages d’un examen à la maison
• Inconvénients de l’examen à la maison
• Utilisation optimale de l’examen à la maison
• Lignes directrices pour construire des questions à développement
• Lignes directrices pour la sécurité du test
• Lignes directrices pour la notation des questions à développement
• Autres recommandations
• Bibliographie
• Liste de verbes directifs
• Liste de vérification pour la notation des questions à développement
• Liste de vérification pour la construction de questions à développement
  

Qu’est-ce qu’un « examen à la maison »?

• Il s’agit d’un test remis aux candidats à passer lorsqu’ils le veulent sans supervision dans un délai donné. On suppose qu’il est généralement à livre ouvert.
• Il est passé dans un environnement non supervisé, habituellement avec accès à des textes et documents de référence.
• Il peut prendre diverses formes (il peut notamment être corrigé par ordinateur ou de façon subjective; il peut s’agir d’un examen en ligne ou d’un examen papier-crayon) et permettre d’évaluer diverses qualifications.
• Il est généralement composé de questions à développement ou de questions à réponse construite. Il en existe deux types :
  • Réponse longue : permet aux candidats de fournir des réponses plus longues et leur offre beaucoup de souplesse dans leurs réponses (p. ex. dans le cas des questions à développement).
  • Réponse à court développement : limite la forme et le contenu des réponses des candidats (p. ex. réponse courte, série de problèmes).
• Selon le temps imparti, les candidats peuvent travailler à leur propre rythme, ce qui leur permet de fournir des réponses plus longues et plus élaborées.

Avantages d’un examen à la maison

• Le principal avantage d’un tel examen est qu’il permet aux candidats de démontrer leur capacité à raisonner, à organiser et à synthétiser leurs connaissances ainsi qu’à montrer leur jugement et leur capacité de réflexion critique à un niveau élevé par écrit.
• Il reflète de façon réaliste les tâches du poste dans le cadre desquelles les employés doivent organiser et interpréter des renseignements provenant de diverses sources, et générer et communiquer des pensées et des idées.
• Il favorise l’accessibilité puisque les candidats peuvent passer le test au moment et à l’endroit de leur choix, de même que dans leur propre espace de travail, qui est à même de mieux répondre à leurs besoins. Les candidats peuvent également passer le test sur leur propre ordinateur; ce qui leur permet d’avoir accès à du matériel ou des logiciels spéciaux ou à la technologie d’adaptation dont ils ont besoin, comme des souris et des claviers ergonomiques, des lecteurs d’écran et des logiciels de synthèse de la parole en texte.
• Il réduit les coûts opérationnels puisque les candidats n’ont pas besoin de se déplacer et que les organisations n’ont pas besoin de réserver des locaux pour le test, d’expédier les cahiers d’examen ou d’administrer le test.

Inconvénients de l’examen à la maison

• Pour les évaluations à notation subjective (c.‑à‑d. notes), comme les questions à développement ou les études de cas, la nature de la notation peut être peu fiable et peut être sujette à un certain nombre d’erreurs d’évaluation (p. ex. effet de contexte, effet de halo).
• Pour les questions à réponses longues, il faut beaucoup de temps pour lire et corriger de façon appropriée les réponses des candidats.
• Compte tenu du format du test non supervisé, le candidat peut collaborer avec d’autres personnes ou consulter d’autres personnes, ce qui est interdit. Il peut aussi y avoir du plagiat et la consultation de matériel non autorisé.

Utilisation optimale de l’examen à la maison

• Pour évaluer les capacités d’analyse, de synthèse et d’évaluation des candidats en leur demandant d’organiser, d’intégrer et d’interpréter l’information, de construire des arguments, de donner des explications, d’évaluer des idées et de formuler des pensées et des opinions originales. Les examens à la maison permettent également d’évaluer la capacité du candidat à communiquer par écrit et à présenter ses réponses de manière logique.
• Pour évaluer comment les candidats appliquent leurs connaissances à une situation, un contexte ou un problème spécifique (p. ex. étude de cas), plutôt que de simplement citer des faits préalablement mémorisés. Les examens à la maison ne sont pas recommandés pour évaluer les connaissances lorsque les candidats peuvent simplement copier et coller la bonne réponse à partir d’Internet.
• Pour évaluer de petits groupes de candidats puisque la notation de tels examens peut exiger beaucoup de temps.

Lignes directrices pour construire des questions à développement

• Définir clairement ce qui doit être évalué.
• Formuler la question de sorte que la tâche soit clairement définie pour les candidats.
• Situer la question dans un contexte ou par rapport à un problème ou une situation.
• Utiliser des verbes directeurs pour fournir une indication du type de raisonnement et de contenu attendu en réponse à la question. Les verbes directeurs suivants peuvent aider à orienter les candidats vers l’approche souhaitée (Liste d’autres verbes directeurs).
  • Être en accord/en désaccord
  • Analyser
  • Comparer/Mettre en contraste
  • Décrire
  • Illustrer
  • Justifier
  • Résumer
  • Nota : Évitez d’utiliser le terme « discuter » car cela suscitera des réponses trop étendues ou trop vagues.
• Il peut également être utile de déterminer le groupe cible (p. ex. grand public, haute direction). Cela donne le contexte aux candidats et aide à guider leurs réponses.   
• Penser à utiliser plusieurs questions à réponse restreinte plutôt qu’une ou deux questions à réponse longue pour obtenir un plus grand échantillonnage de contenu.
• Ne permettre pas aux candidats de choisir les questions auxquelles ils répondront. Cela diminue la validité et la fiabilité du test parce qu’il pourrait différer d’un candidat à l’autre.
• Fournir des instructions claires et indiquer les attentes :
  • Indiquer la longueur souhaitée pour chaque réponse (p. ex. moins de 500 mots), le format attendu (p. ex. phrases complètes) et le nombre de points attribués pour chaque question.
  • Indiquer comment seront traitées la grammaire et la syntaxe, entre autres choses.
  • Indiquer un temps limite pour terminer le test (p. ex. 48 heures, cinq jours).
• Pour de plus amples renseignements, consulter la liste de vérification pour la construction de questions à développement.

Lignes directrices pour la sécurité du test

Il est essentiel de préciser clairement ce qui est et ce qui n’est pas permis. Les points suivants sont fournis à titre d’exemples d’information qui peut être incluse dans les directives pour renforcer la sécurité d’un examen à la maison et s’assurer qu’il est défendable.

• Informer les candidats de la nature confidentielle du test et de leur responsabilité de respecter cette confidentialité et de passer le test honnêtement.
• Si l’accès à la documentation de référence est jugé approprié, préciser les types de documents qui peuvent et qui ne peuvent pas être consultés (p. ex. ressources, rapports et documents de référence) et mentionner qu’il est attendu que la documentation employée soit citée en conséquence.
• Le cas échéant, faire savoir aux candidats qu’il est interdit de consulter ou de collaborer avec d’autres candidats ou d’autres personnes.
• Demander aux candidats d’apposer leur signature afin de confirmer qu’ils ont lu et compris les directives.
• Indiquer les conséquences du non-respect des directives (p. ex. invalidation des résultats du test, fin de la demande d’emploi, enquête pour fraude).

Voici un exemple de directives pour un examen à la maison données à des étudiants de l’Université Harvard :

• « Vous pouvez consulter vos livres ou d’autres documents de référence. Vous ne pouvez pas consulter d’autres personnes, à l’exception de (l’instructeur) sur tout aspect de cet examen. Les règles d’attribution s’appliquent aux examens à la maison : toutes les sources doivent être citées. »
• Les étudiants doivent également signer un affidavit de conformité :

  « J’affirme que je n’ai eu aucune conversation concernant cet examen avec une personne autre que (l’instructeur) et d’autres personnes autorisées. De plus, je certifie que le travail ci-joint représente mon propre raisonnement. Tous renseignements, concepts ou mots qui proviennent d’autres sources sont cités conformément aux lignes directrices (de l’université). Je suis conscient des conséquences graves qu’entraînent des discussions inappropriées de l’examen avec d’autres personnes ou la citation inappropriée de travaux qui ne sont pas les miens. »

Lignes directrices pour la notation des questions à développement

• Choisir une méthode de notation comprenant des critères explicites afin d’accroître l’équité et de garantir l’uniformité de la notation. Une telle approche consiste à préparer à l’avance la réponse attendue pour chaque question, en définissant les principaux éléments de la réponse et en leur attribuant un nombre de points. Les réponses des candidats peuvent ensuite être comparées à la réponse attendue et ils peuvent recevoir des points ou des points partiels lorsque leurs réponses comprennent des éléments souhaités de la réponse attendue. Une note globale pour la question peut ensuite être établie en additionnant les points obtenus pour chaque élément requis.
• Décider à l’avance comment les éléments de communication écrite seront traités, comme la grammaire, la ponctuation, l’organisation et l’enchaînement, l’utilisation du vocabulaire ou de la terminologie, ou l’information non pertinente ou inexacte.
• Prévoir amplement de temps pour la notation. Souvent, les réponses doivent être lues plus d’une fois pour être notées avec exactitude.
• Noter toutes les réponses à une question avant de passer à la question suivante.
• Changer de temps en temps l’ordre dans lequel les tests des candidats sont notés pour éviter l’effet de l’ordre des candidats (p. ex. noter toutes les réponses à la question 1, mélanger les examens, puis noter toutes les réponses à la question 2, etc.).
• Donner une note pour les réponses sans regarder le nom des candidats pour éviter toute préconception possible due à des facteurs tels que le sexe ou la connaissance du candidat.
• S’assurer qu’au moins deux personnes qualifiées notent indépendamment les réponses des candidats et discutent et négocient les points qu’elles ont accordés.
• Pour de plus amples renseignements, consulter la liste de vérification pour la notation des questions à développement.

Autres recommandations

• Compte tenu de la possibilité de collaboration ou de consultation non autorisées lors d’une évaluation non supervisée, la Commission de la fonction publique recommande de faire passer des tests de vérification supervisés après que les candidats ont réussi l’évaluation non supervisée. En avertissant les candidats que leurs notes à l’examen non supervisé seront vérifiées au moyen d’une autre méthode d’évaluation indépendante, cela pourrait les dissuader d’adopter un comportement non autorisé lors du test.
• Il est recommandé de n’utiliser les questions à développement qu’une seule fois parce qu’elles peuvent facilement être partagées et retenues.
• Une vérification de plagiat peut être effectuée par l’examen des documents que les candidats auraient été susceptibles de consulter.

Bibliographie

• Center for Innovation in Teaching & Learning (2009). Improving your test questions. Récupéré le 27 août 2014.
• Centre for Teaching Excellence, University of Waterloo. Preparing tests and exams. Récupéré le 27 août 2014.
• Criswell, J.R. & Criswell, S.J. (2004). Asking essay questions: Answering contemporary needs. Education, 124 (3), 510-516.
• Evaluation and Examination Service, University of Iowa. Preparing and evaluating essay test questions, Technical bulletin 36. Récupéré le 27 août 2014.
• Harvard Kennedy School of Government (2014). Exam procedures and policies. Récupéré le 27 août 2014.
• Instructional Assessment Resources, University of Texas (2001). Rubrics. Récupéré le 27 août 2014.
• Jacobs, L.C. (2004). How to write better tests: A handbook for improving test construction skills. Récupéré le 27 août 2014.
• Piontek, M.E. (2008). Best practices for designing and grading exams. Center for Research on Learning and Teaching, University of Michigan.
• Reiner, C.M., Bothell, T.W., Sudweeks, R.R., & Wood, B. (2002). Preparing effective essay questions: A self-directed workbook for educators. New Forums Press.
• Salkind, N.J. (2013). Essay items. Tests & Measurement for People Who (Think They) Hate Tests & Measurement, 2^nd edition. Sage Publications.
• University of New South Wales (2013). Open book and take home exams. Récupéré le 27 août 2014.

Liste de verbes directifs

Tirée de Reiner, Bothell, Sudweeks et Wood, 2002

• Analyser
• Appliquer
• Attribuer
• Classer
• Comparer
• Composer
• Concevoir
• Créer
• Critiquer
• Décrire
• Défendre
• Définir
• Différencier
• Élaborer
• Énumérer
• Évaluer
• Expliquer
• Générer
• Identifier
• Illustrer
• Inférer
• Interpréter
• Justifier
• Mettre en contraste
• Prédire
• Proposer
• Rappeler
• Reconnaître
• Résumer
• Retracer

Liste de vérification pour la notation des questions à développement

Adaptation de McMillan, 2001

• ❑ La réponse type a-t-elle été déterminée avant l’évaluation des candidats?
• ❑ La méthode de notation est-elle appropriée?
• ❑ Le rôle des éléments de la communication écrite a-t-il été clarifié?
• ❑ Les questions sont-elles notées une à la fois?
• ❑ A-t-on modifié l’ordre dans lequel les tests sont notés?
• ❑ L’identité du candidat demeure-t-elle anonyme?

Liste de vérification pour la construction de questions à développement

Adaptation de Reiner, Bothell, Sudweeks et Wood, 2002

• ❑ La compétence ou la capacité serait-elle mieux évaluée au moyen d’un autre type d’évaluation?
• ❑ La question à développement est-elle lieé à la compétence ou à la capacité évaluée?
• ❑ La question à développement est-elle trop longue, et est-ce qu’elle devrait plutôt être subdivisée en plusieurs questions à développement relativement courtes?
• ❑ La question à développement contient-elle une tâche claire et précise ainsi qu’un problème ou une situation spécifique?
• ❑ La question est-elle formulée et structurée de manière à ce que les candidats comprennent clairement ce qu’ils doivent faire?
• ❑ La tâche exigée des candidats est-elle raisonnable?
• ❑ Le problème ou la situation faisant partie de la question à développement est-il nouveau ou est-elle nouvelle?
• ❑ Les candidats sont-ils au courant du temps dont ils disposent pour rédiger leurs réponses?
• ❑ Les candidats savent-ils combien de points sont attribués pour la question à développement?
• ❑ L’examen est-il exempt de toute question facultative?
• ❑ Est-ce qu’une réponse type ou un aperçu des principaux points qui doivent être inclus dans la réponse a été rédigé et a fait l’objet d’une discussion? La réponse type est-elle liée à la compétence ou à la capacité évaluée?