Rapport d'évaluation – Programme d'administration des tests de langue seconde de la Commission de la fonction publique

Table des matières

• Sommaire
  • Pourquoi est-ce important?
  • Principales constatations
  • Recommandations
• 1. Objet de l'évaluation
• 2. Description du Programme d'administration des tests de langue seconde
  • 2.1 Activités de la Commission de la fonction publique pour l'administration des tests de langue seconde
• 3. Portée et conception de l'évaluation
  • 3.1 Objectifs et portée
  • 3.2 Méthodologie
• 4. Constatations
  • 4.1 Pertinence : Besoin continu du programme
  • 4.2 Pertinence : Conformité avec les priorités gouvernementales et le résultat stratégique de la Commission de la fonction publique
  • 4.3 Pertinence : Rôles et responsabilités
  • 4.4 Rendement : Répondre aux besoins des organisations d'embauche
  • 4.5 Rendement : Réponse aux besoins des personnes évaluées
  • 4.6 Rendement : Processus rigoureux et fiables
  • 4.7 Rendement : Efficience et économie
  • 4.8 Rendement : Solutions de rechange
• 5. Conclusions
• 6. Réponse et plan d'action de la direction
• Annexes
  • Annexe 1 – Méthodologie et limites connexes
  • Annexe 2 – Échantillons de rétroaction sur la performance au test de compétence orale

 

Sommaire

Le présent rapport porte sur les résultats de l'évaluation du Programme d'administration des tests de langue seconde réalisée par la Commission de la fonction publique (CFP). L'évaluation avait pour objectif d'analyser la pertinence et le rendement des activités d'administration des tests de langue seconde.

Conformément au système de dotation fondé sur la délégation des pouvoirs établi par la Loi sur l'emploi dans la fonction publique (LEFP), la CFP demande aux organisations ayant des pouvoirs de nomination délégués en vertu de la LEFP d'évaluer les compétences des candidats dans leur seconde langue officielle à l'aide des tests d'évaluation de langue seconde (ELS) de la CFP, qui sont :

• le test de compréhension de l'écrit;
• le test d'expression écrite;
• le test de compétence orale (TCO).

Les tests d'ELS ne sont pas seulement utilisés par les organisations investies de pouvoirs de nomination délégués en vertu de la LEFP, mais également par des organisations non assujetties à la LEFP qui détiennent leurs propres pouvoirs de nomination. Ce dernier groupe comprend des employeurs distincts comme l'Agence du revenu du Canada, Parcs Canada ainsi que les Forces armées canadiennes et la Gendarmerie royale du Canada (membres).

Les tests actuels d'ELS ont été élaborés par le Centre de psychologie du personnel (CPP) de la CFP, lequel est responsable de l'élaboration, de la surveillance et de l'amélioration continue des trois tests. Le CPP surveille leur administration, et aussi forme et accrédite les administrateurs de test. Les bureaux régionaux de la CFP, sur demande et sur la base du recouvrement des coûts, administrent les tests de compréhension de l'écrit et d'expression écrite au nom des organisations. Le bureau régional de la Commission de la fonction publique de Montréal partage la responsabilité d'administration du test de compétence orale (TCO).

Pourquoi est-ce important?

Il y a près de 70 000 tests d'ELS administrés chaque année au sein de la fonction publique fédérale. Ces tests permettent aux organisations d'embauche d'évaluer les compétences en langue seconde des candidats dans les processus de nomination à des postes bilingues. Par conséquent, ils appuient l'engagement du gouvernement fédéral envers les langues officielles au sein des institutions fédérales sur le plan de la langue de travail et des services au public.

Principales constatations

L'importance des langues officielles du Canada pour la fonction publique est démontrée dans la loi et les priorités pangouvernementales. Les services d'administration des tests de langue seconde de la CFP sont conformes aux priorités pangouvernementales ainsi qu'au résultat stratégique de la CFP car elle appuie le mérite dans les nominations.

L'administration des tests de langue seconde répond à un besoin continu non seulement à des fins de dotation, mais aussi de perfectionnement professionnel des employés de la fonction publique, tant pour les organisations assujetties à la LEFP que celles qui ne le sont pas.

Les rôles et responsabilités pour l'administration des tests de langue officielle sont partagés entre le Conseil du Trésor, la CFP et les organisations d'embauche. Ces partenaires connaissent bien leurs rôles et responsabilités respectifs.

La majorité (plus de 80 %) des utilisateurs ministériels sondés ont exprimé leur satisfaction à l'égard des services d'ELS en général et plus de 90 % des personnes évaluées étaient dans l'ensemble satisfaites de leur expérience de test. Pourtant, des améliorations sont nécessaires à certains égards. Par exemple, au cours des deux dernières années, le programme n'a pas respecté ses normes de mise à l'horaire pour le TCO et les utilisateurs ministériels insatisfaits ont déclaré avoir éprouvé des difficultés à joindre la personne appropriée de la CFP lorsque de l'aide supplémentaire était nécessaire.

Bien que certaines personnes évaluées qui ont consulté l'information publiée en ligne la trouvent utile pour se préparer aux tests, bon nombre d'entre eux ne savent pas qu'une telle information existe.

Il y a un écart entre l'information contenue dans la rétroaction que reçoivent les personnes évaluées pour le TCO et l'information qu'elles souhaitent recevoir sur leur performance.

Quoique cela ne soit pas propre aux activités d'administration des tests de langue seconde, l'évaluation a permis de constater que certaines personnes handicapées qui sont évaluées ont refusé de demander des mesures d'adaptation (3 % des personnes évaluées sondées). Parmi les principales raisons citées pour ce refus, notons : la crainte de répercussions négatives, un processus de demande de mesures d'adaptation perçu comme étant trop compliqué et l'ignorance de leur droit à des mesures d'adaptation.

Il existe des mécanismes adéquats pour assurer l'amélioration constante du contenu et de la sécurité des tests pour les trois catégories de test d'ELS. Le contrôle de la qualité du TCO est également adéquat.

Des gains d'efficience ont été obtenus en rendant obligatoires les tests en ligne pour les tests de compréhension de l'écrit et d'expression écrite. Par contre, comme le programme repose beaucoup sur la technologie, il devient vulnérable aux interruptions de service des TI.

Il existe d'autres méthodes d'évaluation de la langue seconde, mais il faut faire preuve de prudence car toutes les solutions de rechange n'assurent pas l'application uniforme des normes relatives aux langues officielles dans l'ensemble des organisations d'embauche.

Recommandations

Compte tenu de ce qui précède, l'équipe d'évaluation formule les recommandations suivantes :

Recommandation 1: Le CPP ou la CFP devrait examiner ses points d'entrée de service à la clientèle afin de déterminer les améliorations à apporter.

Recommandation 2: Le CPP ou la CFP devrait réévaluer son modèle actuel de ressourcement pour les évaluateurs de langue seconde, y compris le nombre d'équivalents temps plein nécessaires pour l'administration du test de compétence orale de l'évaluation de langue seconde, afin de mieux répondre à la demande des clients.

Recommandation 3: Afin de mieux joindre son public cible, la CFP devrait examiner ses efforts de sensibilisation et la façon dont l'information sur les exigences linguistiques des postes et sur les tests d'ELS est présentée en ligne.

Recommandation 4: La CFP devrait examiner la rétroaction standard qu'elle fournit aux personnes évaluées au moyen du test de compétence orale afin de déterminer les améliorations nécessaires pour mieux répondre à leurs besoins, tout en tenant compte des besoins de sécurité du test. La CFP devrait aussi étudier la possibilité d'offrir une version moins exigeante en ressources de son service de rétroaction détaillée, à moindre coût.

Recommandation 5: La CFP devrait rechercher d'autres moyens de promouvoir le droit des candidats à des mesures d'adaptation et à une évaluation de leur capacité qui est juste et exempte d'obstacles. La CFP devrait aussi revoir son processus de traitement des demandes de mesures d'adaptation afin de déterminer les obstacles possibles et, le cas échéant, comment les éliminer.

1. Objet de l'évaluation

L'évaluation a pour objectif d'analyser la pertinence et le rendement du programme d'administration des tests de langue seconde en répondant aux huit questions suivantes :

• Dans quelle mesure le programme continue-t-il à combler un besoin existant?
• Dans quelle mesure le programme est-il conforme aux priorités pangouvernementales et contribue-t-il à l'atteinte du résultat stratégique de la Commission de la fonction publique?
• Les rôles et responsabilités sont-ils clairs et bien communiqués?
• La conception et l'administration du programme répondent-elles aux besoins des utilisateurs ministériels?
• La conception et l'administration du programme répondent-elles aux besoins des personnes évaluées?
• Dans quelle mesure les processus des tests d'évaluation de langue seconde (ELS) (élaboration de tests, maintenance, documents de formation, contrôle de la qualité, sécurité des examens, etc.) sont-ils rigoureux et fiables?
• Le programme est-il géré de façon efficiente et rentable (y compris l'utilisation optimale de la technologie)?
• Existe-t-il d'autres approches pour évaluer la seconde langue officielle des candidats?

L'évaluation du programme d'administration des tests de langue seconde de la Commission de la fonction publique (CFP) a été menée à la demande de la présidente dans le cadre du Plan de vérification et d'évaluation triennal axé sur les risques pour 2015-2018 de la CFP.

Les utilisateurs ministériels des tests d'ELS comprennent les organisations investies de pouvoirs de nomination délégués en vertu de la Loi sur l'emploi dans la fonction publique (LEFP), ainsi que certaines organisations qui détiennent leurs propres pouvoirs de nomination, comme l'Agence du revenu du Canada, Parcs Canada, les Forces armées canadiennes et la Gendarmerie royale du Canada (membres). Ce dernier groupe est appelé « organisations non assujetties à la LEFP » dans le présent rapport.

2. Description du Programme d'administration des tests de langue seconde

Conformément au système de dotation fondé sur la délégation des pouvoirs qui est établi par la Loi sur l'emploi dans la fonction publique (LEFP), la CFP exige, par l'intermédiaire de sa Politique de nomination, que les administrateurs généraux utilisent les tests d'évaluation de langue seconde (ELS) qu'elle approuve pour l'évaluation de la compétence dans la seconde langue officielle dans le cadre des processus de nomination.

Les qualifications relatives à la seconde langue officielle sont établies par l'employeur, soit le Conseil du Trésor (CT), et font partie des Normes de qualification relatives aux langues officielles. Les qualifications s'appliquent aux postes de l'administration publique centrale du gouvernement fédéral qui exigent l'usage des deux langues officielles. Les normes définissent trois niveaux de compétence (A, B et C, C étant le niveau le plus élevé) pour les trois compétences linguistiques suivantes :

• compréhension de l'écrit dans la seconde langue officielle;
• expression écrite dans la seconde langue officielle;
• compétence orale dans la seconde langue officielle.

À l'heure actuelle, les seuls instruments approuvés par la CFP pour évaluer les qualifications relatives à la seconde langue officielle sont les tests d'ELS suivants :

Pour les trois tests d'ELS, il y a une période d'attente de 30 jours à observer avant qu'une personne puisse repasser le test. Les résultats des tests ont une période de validité de cinq ans, mais ils peuvent demeurer valides indéfiniment pour les personnes qui demeurent dans un même poste, pourvu que le profil linguistique du poste ne devienne pas supérieur à celui du titulaire du poste. Afin de s'assurer que l'employé maintient le niveau requis de compétence linguistique, un gestionnaire peut lui demander de se faire tester avant ou après cette période de cinq ans. Une exemption de passer d'autres tests de langue seconde est accordée aux personnes qui obtiennent une note suffisamment élevée pour ne plus avoir à en passer.

2.1 Activités de la Commission de la fonction publique pour l'administration des tests de langue seconde

Il y a près de 70 000 tests d'évaluation de langue seconde (ELS) qui sont administrés chaque année au sein de la fonction publique fédérale du Canada. Ces tests permettent aux organisations d'évaluer les compétences en langue seconde des candidats à des postes bilingues. Par conséquent, ils appuient l'engagement du gouvernement fédéral envers les langues officielles au sein des institutions fédérales au chapitre de la langue de travail et des services au public.

Conformément à l'Architecture d'alignement des programmes de la CFP pour 2015-2016, le Programme d'administration des tests de langue seconde relève de la Direction générale de la dotation et des services d'évaluation, plus précisément du Centre de psychologie du personnel (CPP) et de la Direction des programmes centraux et des bureaux régionaux (DPCBR). Le budget pour l'administration des tests de langue seconde s'élève à environ 4 millions de dollars par année. Les revenus générés par les services d'administration des tests de langue seconde se sont élevés à environ 1,5 million de dollars par année au cours des quatre dernières années, ce qui représente près de 20 % des revenus totaux de la CFP. Le Programme d'administration des tests de langue seconde peut être divisé en trois groupes d'activités :

Recherche et développement

La Division de recherche et développement du CPP mène les activités de recherche et développement relatives à l'ELS. Cette division crée, surveille et met continuellement à jour les trois tests d'ELS. Les tests sont créés en suivant les normes professionnelles et les principes universels dans le domaine de l'élaboration des tests. La Division de recherche et développement surveille la création de formats alternatifs de tests pour offrir des mesures d'adaptation aux personnes handicapées. Elle est aussi chargée de défendre les tests quand des plaintes sont adressées à la Commission des relations de travail et de l'emploi dans la fonction publique, ou à un autre tribunal ou une autre cour.

Prestation des services

La Division de la consultation et des services en matière de tests et la Division des services d'évaluation et de counselling du CPP, ainsi que la Direction des programmes centraux et des bureaux régionaux, fournissent des services d'administration des tests (y compris l'établissement des calendriers, les corrections, la communication des résultats et la rétroaction). Les organisations peuvent administrer elles-mêmes les tests d'expression écrite ou de compréhension de l'écrit, ou encore elles peuvent recourir aux services d'administration de tests de la CFP. Au sein de la CFP, la Division de la consultation et des services en matière de tests est chargée de tous les services de tests en ligne, et de déterminer les mesures d'adaptation pour tous les tests d'ELS. En outre, elle certifie les administrateurs de tests en ligne et s'assure de donner suite aux mesures correctives lorsque surviennent des incidents durant des séances de test. La Division des services d'évaluation et de counselling est aussi chargée de tous les tests de compétence orale (TCO) administrés dans la région de la capitale nationale, tandis que la Direction des programmes centraux et des bureaux régionaux (DPCBR) est chargée de l'administration des tests dans les bureaux régionaux de la CFP.

Surveillance et contrôle de la Qualité

Le Service de contrôle de la qualité, qui fait partie de la Division des services d'évaluation et de counselling du CPP, est chargé des activités de surveillance et de contrôle de la qualité du TCO pour l'évaluation de langue seconde. Il assure la formation continue et l'accréditation des évaluateurs de TCO de la CFP.

Le tableau 1 indique les équivalents temps plein (ETP) pour chaque groupe d'activités.

3. Portée et conception de l'évaluation

3.1 Objectifs et portée

L'évaluation a permis d'examiner la pertinence et le rendement du Programme d'administration des tests de langue seconde de la Commission de la fonction publique (CFP), conformément à la Politique sur l'évaluation et à la Directive sur la fonction d'évaluation du Conseil du Trésor (CT). L'évaluation ne visait pas à examiner la validité des tests d'évaluation de langue seconde (ELS) ni leur capacité de déterminer la compétence en langue seconde.

L'évaluation a été réalisée de janvier à décembre 2015. Il s'agit de la première évaluation du Programme d'administration des tests de langue seconde de la CFP. Les données du programme ont été examinées sur une période de cinq ans, de 2010-2011 à 2014-2015.

3.2 Méthodologie

L'équipe d'évaluation a utilisé une combinaison de méthodes quantitatives et qualitatives, incorporant de nombreuses sources de données probantes. Plus précisément, les méthodes suivantes ont été utilisées (les limites connexes se trouvent à l'annexe 1) :

4. Constatations

4.1 Pertinence : Besoin continu du programme

Dans quelle mesure le Programme d'administration des tests de langue seconde de la Commission de la fonction publique continue-t-il à combler un besoin existant?

Nous avons examiné les données administratives du programme afin de relever les tendances de son utilisation au cours du passé récent. Nous avons aussi examiné le nombre de postes bilingues au sein de la fonction publique fédérale.

Les données sur l'utilisation montrent que le programme continue d'être nécessaire, non seulement à des fins de dotation, mais aussi pour le perfectionnement des employés

Comme l'indique la figure 1, la demande de tests d'évaluation de langue seconde (ELS) à des fins de dotation a diminué après le réaménagement des effectifs de 2011-2013. La demande a cependant augmenté de 14 % en 2014-2015. De plus, les données préliminaires pour les deux premiers trimestres de 2015-2016, non comprises dans la figure, étaient aussi à la hausse.

La figure 1 montre aussi que la demande de tests d'ELS pour la catégorie « À des fins documentaires, redétermination et autre » est demeurée très stable au fil du temps. Les personnes soumises à un test dans cette catégorie comprennent celles dont les résultats de test d'ELS ont expiré et qui veulent, à des fins de mobilité ou pour d'autres raisons, maintenir des résultats d'ELS valides. Elle comprend aussi les personnes dont le profil linguistique a changé et qui doivent passer un test selon le nouveau profil, ainsi que les personnes passant un test pour être admissibles à la prime au bilinguisme conformément à la Directive sur la prime au bilinguisme du Conseil national mixte.

Figure 1 : Nombre de tests d'ELS selon les motifs de l'administration des tests et l'année

Source : Système de correction des tests et de production des rapports de la Commission de la fonction publique

Lorsque nous avons examiné plus particulièrement les données concernant le test de compétence orale (TCO) pour l'ELS, nous avons constaté que la proportion des personnes évaluées qui passent ce test à des fins autres que la dotation a représenté de façon constante plus de 50 % de la totalité des tests administrés au cours des cinq dernières années.

Les données ont aussi révélé que l'usage que font les organisations non assujetties à la Loi sur l'emploi dans la fonction publique (LEFP) du Programme d'administration des tests de langue seconde est également resté stable au cours des cinq dernières années, représentant environ 40 % de la totalité des tests administrés par année.

Le nombre de nominations à des postes bilingues au sein de la fonction publique est demeuré stable

Lorsque nous avons examiné les activités de dotation en vertu de la LEFP selon les exigences linguistiques du poste au cours des cinq dernières années, nous avons remarqué que la proportion de postes bilingues demeure stable à entre 45 % et 46 %.

4.2 Pertinence : Conformité avec les priorités gouvernementales et le résultat stratégique de la Commission de la fonction publique

Dans quelle mesure le programme est-il conforme aux priorités pangouvernementales et au résultat stratégique de la Commission de la fonction publique?

Nous avons examiné la législation et les documents stratégiques pangouvernementaux afin de déterminer si les obligations en matière de langues officielles (LO) constituaient une priorité du gouvernement fédéral. Nous avons aussi visé à déterminer si le Programme d'administration des tests de langue seconde était conforme ou non au résultat stratégique de la Commission de la fonction publique (CFP).

Les langues officielles et le bilinguisme de la fonction publique sont une priorité du gouvernement fédéral

En vertu de la Loi sur les langues officielles (LLO), à laquelle les tribunaux ont reconnu un statut quasi constitutionnel, le gouvernement doit assurer le respect du français et de l'anglais à titre de langues officielles du Canada, leur égalité de statut et l'égalité de droits et privilèges quant à leur usage dans les institutions fédérales. Afin d'appuyer les engagements du gouvernement envers les langues officielles (LO), la Chambre des communes et le Sénat disposent de comités permanents pour examiner et étudier les questions, les politiques et les programmes relatifs aux langues officielles.

Dans le discours du Trône pour ouvrir la première session de la quarante-deuxième législature du Canada, le gouvernement a promis d'« encourager l'utilisation des langues officielles du pays ». Plus précisément, la ministre du Patrimoine canadien a été mandatée pour travailler avec le président du Conseil du Trésor afin de s'assurer que la prestation de tous les services fédéraux est entièrement conforme à la LLO.

L'importance des langues officielles est soulignée dans des documents clés du gouvernement

Dans le Vingt-deuxième rapport annuel au premier ministre sur la fonction publique du Canada, le greffier du Conseil privé a déclaré que la fonction publique « [reflète], comme il se doit, la diversité du Canada et fait la promotion de nos langues officielles, notamment en milieu de travail ».

De plus, dans le cadre de l'Initiative Destination 2020, le Conseil du Réseau des champions des langues officielles a évoqué l'importance de tirer parti du bilinguisme dans la fonction publique de demain, déclarant qu'« [une] fonction publique de niveau mondial outillée pour servir le Canada et les Canadiens maintenant et à l'avenir nécessite la création d'une fonction publique davantage bilingue… »

Le Programme d'administration des tests de langue seconde est conforme au résultat stratégique de la Commission de la fonction publique

Le résultat stratégique de la CFP pour 2015-2016 est « une fonction publique hautement compétente, impartiale et représentative, capable de lui fournir des services dans les deux langues officielles, et au sein de laquelle les nominations sont fondées sur le mérite et sur les valeurs que sont la justice, l'accessibilité, la représentativité et la transparence. » La CFP assure que les tests sont accessibles à toutes les personnes évaluées en vertu des principes universels de conception des examens et en formats multiples.

Les activités d'administration des tests de langue seconde sont conformes à ce résultat puisqu'elles permettent d'évaluer les critères de mérite relatifs à la compétence dans la seconde langue officielle pour les postes bilingues. Ce faisant, elles contribuent aussi à établir une fonction publique capable d'offrir des services aux Canadiens dans les deux langues officielles.

4.3 Pertinence : Rôles et responsabilités

Les rôles et responsabilités sont-ils clairs et bien communiqués?

Les responsabilités liées au Programme d'administration des tests de langue seconde sont partagées entre de nombreuses organisations fédérales. Par conséquent, des rôles et responsabilités clairement définis devraient être attribués à chacun des intervenants. Nous avons examiné les documents du programme, mené des entrevues auprès des intervenants clés et effectué des sondages auprès des utilisateurs du programme afin de déterminer si les rôles et les responsabilités sont clairement définis, conformes et communiqués.

Les rôles et les responsabilités sont conformes, définis et communiqués; toutefois, ils ne sont pas toujours clairs pour les personnes évaluées

Un examen des documents nous a permis de déterminer que les rôles et les responsabilités du Conseil du Trésor (CT), de la CFP et des organisations d'embauche pour l'administration des tests de langue seconde sont bien définis. Voici un résumé des principaux rôles et des principales responsabilités de chaque groupe.

Ces rôles et responsabilités sont communiqués par l'intermédiaire des sites Web du Secrétariat du Conseil du Trésor et de la CFP, ainsi que du site Web emplois.gc.ca. Pourtant, les données d'entrevue révèlent de la confusion chez certaines personnes évaluées qui ne font pas la distinction entre le rôle de la CFP et celui du CT. Ainsi, la CFP reçoit parfois des plaintes qui ne relèvent pas de son rôle et de ses responsabilités.

Bien que l'évaluation ait reconnu que des personnes sont confuses quant aux rôles et responsabilités de la CFP, du CT et des organisations d'embauche, leur nombre demeure relativement petit (moins de cinq plaintes par année). Par conséquent, les responsables de l'évaluation ne voient pas la nécessité de formuler une recommandation particulière au sujet des rôles et des responsabilités. Toutefois, dans le cadre de la recommandation 3 du présent rapport, l'évaluation discute de la nécessité pour la CFP d'examiner la façon dont l'information sur les exigences linguistiques et l'administration des tests de langue seconde est présentée sur ses nombreuses pages Web afin de s'assurer que tous les renseignements rendus accessibles atteignent son public cible.

Les rôles et responsabilités sont partagés entre plusieurs personnes au sein des organisations clientes

Les responsables de l'évaluation ont aussi examiné les rôles et les responsabilités dans les organisations d'embauche pour les activités d'administration des tests de langue seconde. Dans les manuels d'administration des tests de langue seconde et d'autres documents à l'appui fournis aux organisations clientes, la CFP définit clairement les rôles et les responsabilités des clients pour les activités d'administration des tests de langue seconde et l'utilisation des systèmes connexes de TI.

Le sondage mené auprès du personnel des ressources humaines a permis de constater qu'au sein des organisations d'embauche, les responsabilités pour l'administration des tests de langue seconde sont aussi partagées entre plusieurs personnes. Par exemple, une personne administre les tests en ligne, une deuxième établit le calendrier des TCO de l'ELS, une troisième agit à titre d'agent responsable sur place pour le test de compétence orale administré par téléphone, etc.

4.4 Rendement : Répondre aux besoins des organisations d'embauche

La conception et l'administration du programme répondent-elles aux besoins des utilisateurs ministériels (les organisations assujetties à la Loi sur l'emploi dans la fonction publique et les organisations qui ne le sont pas)?

Un des principaux objectifs du Programme d'administration des tests de langue seconde est de permettre aux organisations d'embauche d'évaluer de façon efficace la qualification essentielle qu'est la compétence en langue seconde tout en maintenant l'efficience du processus de dotation. Par conséquent, nous avons évalué le degré de satisfaction à l'égard des activités d'administration des tests parmi les utilisateurs ministériels.

Les utilisateurs ministériels sont satisfaits des systèmes informatiques utilisés pour l'administration des tests de langue seconde

Les utilisateurs ministériels du programme interagissent avec les quatre systèmes informatiques suivants :

• Système de contrôle de l'inventaire des examens (SCIE) – système qui permet aux utilisateurs ministériels de commander le matériel d'examen;
• Système de réservation de l'évaluation de langue seconde (ELS-SR) – système qui permet aux utilisateurs ministériels de soumettre des demandes d'administration par la CFP de tests de langue seconde aux candidats (toute combinaison de compréhension de l'écrit, d'expression écrite et de compétence orale);
• Fonctionnalité des tests en ligne (FTEL) – plateforme électronique en ligne sur laquelle un éventail de tests est stocké et qui est utilisée par les administrateurs organisationnels accrédités pour les tests d'ELS en ligne;
• Outil de recherche des résultats de tests (ORRT) – outil qui permet aux utilisateurs ministériels d'accéder aux résultats officiels des tests d'ELS par voie électronique pour les candidats possédant un code d'identification de dossier personnel (CIDP).

Le Programme d'administration des tests de langue seconde utilise aussi le Système en ligne d'interaction orale (SLIO) pour stocker et écouter des enregistrements audio numériques des questions sélectionnées pour l'administration du test de compétence orale (TCO). Puisqu'aucun employé des organisations clientes n'était évaluateur de TCO au moment où cette évaluation a été effectuée, aucun client ministériel n'a été sondé concernant ce système.

La majorité des utilisateurs ministériels a convenu que les systèmes informatiques rattachés aux activités d'administration des tests de langue seconde sont faciles à utiliser. Plus précisément, 86 % des utilisateurs ministériels ont exprimé leur satisfaction à l'égard de la convivialité de l'ELS-SR. Ce pourcentage était de 81 % pour le SCIE, de 87 % pour la FTEL et de 93 % pour l'ORRT.

Pourtant, comme il a été mentionné à la section 4.3 du présent rapport, les responsabilités des utilisateurs ministériels sont décentralisées entre plusieurs personnes qui travaillent pour l'organisation cliente. Cela est démontré aussi dans la liste des utilisateurs de chaque système. Par conséquent, bien qu'il y ait certains recoupements entre les noms qui apparaissent sur les listes d'utilisateurs des quatre systèmes, il se peut qu'un utilisateur d'un système particulier n'utilise pas les trois autres systèmes. Cette situation peut créer des chevauchements dans les communications du CPP qui, en vue de s'assurer que les informations qu'il communique aux organisations atteignent les bonnes personnes, doit les communiquer au moyen de plusieurs listes d'utilisateurs.

Bien que cela entraîne parfois du travail supplémentaire, les responsables du programme sont persuadés que l'initiative pluriannuelle actuelle dirigée par la Direction des services de technologie de l'information (DSTI) de la CFP en vue de rationaliser les applications du CPP permettra de rectifier la situation. Dans le cadre de cette initiative, les systèmes informatiques du CPP seront simplifiés et modernisés. Par conséquent, la communication avec les utilisateurs ministériels deviendra plus facile à mesure que le nombre de listes de clients sera aussi réduit.

Les utilisateurs ministériels sont satisfaits de la qualité du service reçu lorsqu'ils contactent directement la Commission de la fonction publique mais mentionnent avoir éprouvé des difficultés à joindre la bonne personne

Plus de 81 % des utilisateurs ont exprimé leur satisfaction à l'égard du service offert lorsqu'ils ont contacté la CFP afin d'obtenir des renseignements supplémentaires ou de l'aide. Pourtant, les données qualitatives recueillies auprès des utilisateurs qui ont exprimé leur insatisfaction ont révélé que les deux sources d'insatisfaction les plus courantes étaient la difficulté de joindre la personne appropriée de la CFP ou du CPP et un manque perçu de soutien lorsque des problèmes liés à l'administration des tests survenaient sur la plateforme de la FTEL.

Le rôle de la CFP quant à la plateforme de la FTEL est d'aider les clients à trouver des solutions relativement à ce qui devrait être fait en cas d'incident pendant une séance d'administration de tests. La CFP ne peut pas soutenir tous les systèmes opérationnels utilisés par ses clients ministériels. La CFP ne peut fournir qu'un soutien limité aux clients qui doivent, en fin de compte, contacter le centre d'assistance informatique de leur organisation pour obtenir de l'aide. À cette fin, un protocole d'entente établi entre la CFP et les organisations précise que la CFP n'assumera pas la responsabilité s'il y a des interruptions hors de son contrôle, comme celles découlant des activités de réparation ou de maintenance de Services partagés Canada.

Pour ce qui est de la difficulté mentionnée de joindre la personne appropriée de la CFP ou du CPP, les responsables de l'évaluation ont aussi effectué un examen de tous les points d'entrée de service à la clientèle qui sont accessibles pour les problèmes liés à l'ELS. Nous avons constaté qu'il existe de nombreux points d'entrée de service à la clientèle et que les directives concernant la personne à contacter ne sont pas toujours claires.

Par exemple, pour les problèmes liés au calendrier des tests de compétence orale d'ELS, six adresses courriel génériques sont associées à l'icône « Pour nous joindre ». Autre exemple : l'icône « Pour nous joindre » reliée à la page extranet des coordonnateurs du centre de test d'ELS présente de nombreuses adresses courriel génériques et des coordonnées de : personnes-ressources, y compris celles pour obtenir des informations générales sur les activités politiques et l'administration des priorités.

Recommandation 1 :

Le CPP ou la CFP devrait examiner ses points d'entrée de service à la clientèle afin de déterminer les améliorations à apporter.

La Commission de la fonction publique n'a pu satisfaire les normes de mise à l'horaire des tests de compétence orale (TCO) au cours des deux dernières années

Pour l'administration du TCO, la CFP possède trois différentes normes de mise à l'horaire, selon la raison de l'évaluation, tel que précisé au tableau 4. Dans son cadre de gestion du rendement, elle s'est fixé comme objectif de respecter ces normes 95 % du temps. Même si elle a pu atteindre cette cible avant 2013-2014, cela n'a pas été le cas durant les deux dernières années et le rendement est en déclin.

Les restrictions en matière de ressources humaines, combinées à une hausse de 19 % de la demande au cours des deux dernières années, ainsi qu'à un arriéré attribuable au déménagement du centre de données de la CFP, expliquent en partie les problèmes qui ont influé sur le programme. Les résultats du sondage sur le degré de satisfaction par rapport aux services offerts sont également faibles, 46 % des utilisateurs ministériels s'étant montrés insatisfaits pour ce qui est du respect de la norme de 10 jours, 36 % pour celui de la norme de 20 jours et 57 % pour celui de la norme de 50 jours.

Les TCO sont administrés par une équipe de spécialistes (EDS-1) qu'il a été difficile de maintenir en nombres suffisants. À titre de mesure d'urgence, la CFP a prévu de doter l'équipe de deux équivalents temps plein (ETP) de plus pour chaque langue. Même si le CPP a réussi à embaucher dix nouveaux évaluateurs de langue en 2015-2016, le processus de dotation n'a pas permis d'avoir tout le personnel supplémentaire voulu.

Recommandation 2 :

Le CPP ou la CFP devrait réévaluer son modèle actuel de ressourcement pour les évaluateurs de langue seconde, y compris le nombre d'équivalents temps plein nécessaires pour l'administration du test de compétence orale de l'évaluation de langue seconde, afin de mieux répondre à la demande des clients.

4.5 Rendement : Réponse aux besoins des personnes évaluées

La conception et l'administration du programme répondent-elles bien aux besoins des personnes évaluées?

Le degré de satisfaction générale des personnes évaluées par rapport au Programme d'administration des tests de langue seconde est déterminant pour l'atteinte des résultats escomptés. Nous nous sommes donc penchés sur la satisfaction des personnes évaluées à l'égard de leur expérience générale d'évaluation. Nous avons également examiné l'information sur les tests qui était accessible aux personnes évaluées et leurs points de vue concernant son utilité pour se préparer à les passer. De plus, nous nous sommes intéressés à l'opinion des personnes évaluées sur la rétroaction qu'elles ont reçue pour le test de compétence orale (TCO).

Les personnes évaluées étaient satisfaites en général du processus d'évaluation de la langue seconde

Le sondage réalisé auprès des personnes évaluées révèle que plus de 90 % d'entre elles étaient satisfaites de leur expérience concernant l'ensemble des tests d'ELS. Plus précisément, plus de 90 % se sont déclarées satisfaites des conditions d'évaluation et de l'environnement en général, alors que plus de 97 % ont jugé que les instructions fournies étaient claires. Concernant le TCO lui-même, plus de 97 % des personnes évaluées ont indiqué qu'on entendait bien les extraits audio utilisés.

Les données qualitatives recueillies au moyen du sondage et des entrevues révèlent par ailleurs que plusieurs personnes ayant passé le TCO avaient aimé la façon de faire des évaluateurs de langue seconde, dont l'attitude a été jugée cordiale, polie et positive.

Les personnes évaluées ont trouvé utile l'information fournie pour les aider à se préparer aux tests, mais certains ne savaient pas qu'elle était disponible

Soixante-dix-neuf pourcent des personnes évaluées qui ont été sondées et qui avaient passé les tests d'expression écrite ou de compréhension de l'écrit savaient qu'il y avait de l'information sur le site Web de la CFP pour les aider à se préparer aux tests, contre 21 % qui l'ignoraient. Sur celles qui savaient, 45 % l'ont appris par l'intermédiaire de l'organisation ayant demandé qu'elles passent le test, alors que 37 % l'ont su grâce à leur propre recherche ou par des collègues et amis. Parmi le groupe qui a consulté l'information, 71 % ont convenu que l'information avait été utile pour leur préparation.

Pour ce qui est des personnes ayant passé le test de compétence orale (TCO), les données du sondage ont révélé que même si 80 % d'entre elles savaient qu'il y avait de l'information sur le site Web de la CFP pour les aider à se préparer, elles étaient rarement au courant de toute l'information disponible, ou l'ont peu souvent consultée en totalité. Sur celles qui savaient, 51 % l'ont appris par l'intermédiaire de l'organisation ayant demandé qu'elles passent le test, alors que 34 % l'ont su grâce à leur propre recherche ou par des collègues et amis.

Pour le TCO, l'information accessible en ligne comprend :

• Un prospectus d'information générale;
• Une vidéo qui guide les personnes évaluées dans les quatre parties du test et précise ce à quoi elles doivent s'attendre dans chacune des parties;
• Plusieurs extraits audio qui expliquent les éléments évalués aux niveaux A, B et C, ainsi que des extraits d'entrevue à chaque niveau.

L'évaluation a révélé que 63 % des personnes qui ont passé le TCO soit n'avaient pas consulté la vidéo, soit ne connaissaient pas son existence. Les résultats ont été de 43 % pour les extraits audio et 26 % pour le prospectus d'information générale.

En revanche, parmi les personnes qui ont consulté les ressources, 81 % ont convenu que le prospectus avait été utile pour le test, alors que ce chiffre était de 66 % pour la vidéo et 83 % pour les extraits audio.

En outre, et comme il a été mentionné à la section 4.3 du présent rapport, la CFP procure également aux candidats des renseignements généraux sur les rôles et responsabilités et sur les exigences linguistiques des postes.

L'information destinée aux personnes évaluées se trouve sur de multiples pages Web qui ne sont pas nécessairement reliées, ce qui peut rendre plus difficile pour les candidats la consultation de toute l'information disponible. Les trois catégories d'information accessible pour les personnes évaluées comprennent :

• L'information spécifique aux trois tests d'ELS, dont le contenu appartient au CPP;
• Les renseignements sur les rôles et responsabilités et les exigences linguistiques des postes, dont le contenu appartient à Programmes centraux et bureaux régionaux (PCBR);
• L'information sur les exigences linguistiques disponibles sur le site Web emplois.gc.ca, dont le contenu appartient à la Direction du développement des affaires et des systèmes (DDAS).

Recommandation 3 :

Afin de mieux joindre son public cible, la CFP devrait examiner ses efforts de sensibilisation et la façon dont l'information sur les exigences linguistiques des postes et sur les tests d'ELS est présentée en ligne.

Un grand nombre de personnes évaluées ont été insatisfaites de la rétroaction sur la performance au test qu'elles ont reçue pour le test de compétence orale

À la suite de la séance d'évaluation, les personnes qui ont passé le TCO reçoivent un rapport de rétroaction d'une page renfermant des commentaires sur leur performance. Ces commentaires sont automatisés et rédigés sous forme d'énoncés qui indiquent ce que la personne évaluée a pu démontrer au cours du test pour le niveau de compétence atteint plutôt que ce qu'elle n'a pas pu démontrer pour atteindre le niveau de compétence suivant. Certaines personnes évaluées ont indiqué qu'elles étaient restées perplexes quant à savoir ce qu'il fallait faire pour atteindre le niveau de compétence suivant, parce que les commentaires semblaient « positifs » dans l'ensemble.

Un examen d'échantillons de rétroaction a révélé que la rétroaction concernant les niveaux de compétence contigus pouvait avoir jusqu'à quatre sections identiques sur six. Les similitudes entre les différents niveaux ajoutent à la difficulté, pour les personnes évaluées, de comprendre pourquoi elles n'ont pas pu atteindre le niveau suivant de compétence. L'annexe 2 présente des échantillons de rétroaction concernant les niveaux de compétence B et C.

Les données du sondage révèlent que sur l'ensemble des personnes ayant passé le TCO et qui avaient reçu une rétroaction au cours des deux dernières années, 33 % ont exprimé l'avis que celle-ci avait été utile, alors que 46 % ont indiqué le contraire et 21 % étaient sans opinion.

La CFP offre, sur la base du recouvrement des coûts, une rétroaction détaillée qui donne au candidat une idée claire de son rendement au plus récent test. Elle se fonde sur une analyse approfondie et des exemples tirés directement du test en question. Pour pouvoir recevoir une rétroaction détaillée, le candidat doit avoir passé le TCO dans les huit semaines de la date de signature du contrat, doit être inscrit à une formation linguistique et doit assister à une séance de rétroaction avec le représentant de son organisation chargé de la formation linguistique. Ce service de rétroaction détaillée est relativement coûteux (1,28 x tarif quotidien pour les services professionnels offerts par la Direction générale de la dotation et des services d'évaluation) et relativement inconnu (70 % du personnel des RH sondé n'étant pas au courant de son existence). Quarante-neuf séances de rétroaction détaillée ont été organisées en 2014-2015, 34 en 2013-2014, et 26 en 2012-2013.

Recommandation 4 :

La CFP devrait examiner la rétroaction standard qu'elle fournit aux personnes évaluées au moyen du test de compétence orale afin de déterminer les améliorations nécessaires pour mieux répondre à leurs besoins, tout en tenant compte des besoins de sécurité du test. La CFP devrait aussi étudier la possibilité d'offrir une version moins exigeante en ressources de son service de rétroaction détaillée, à moindre coût.

Pour les tests d'expression écrite et de compréhension de l'écrit, les personnes évaluées ne reçoivent aucune rétroaction concernant leur performance. Les données recueillies lors du sondage et des entrevues n'ont pas indiqué clairement un besoin chez les personnes évaluées d'obtenir de plus amples commentaires relativement à ces deux tests. En revanche, ces mêmes données ont permis de constater que les personnes évaluées aimeraient avoir accès à plus d'exemples de questions que celles actuellement disponibles sur le site Web de la Commission (au moment de l'évaluation, il y en avait deux pour le test d'expression écrite et quatre pour celui de compréhension de l'écrit). Depuis lors, la CFP a lancé, en décembre 2015, deux exercices complets d'auto-évaluation pour l'ELS. Le premier concerne le test d'expression écrite, le second le test de compréhension de l'écrit. Les deux exercices d'auto-évaluation renferment 40 questions.

Des efforts ont été consentis dans le cadre du programme pour créer des tests inclusifs, mais un besoin de mesures d'adaptation sur une base individuelle demeure

La CFP a l'autorité politique en matière d'évaluation, ce qui inclut l'obligation de prendre des mesures d'adaptation pour les personnes qui en ont besoin. Cette obligation permet de donner une chance égale à tous les candidats de démontrer qu'ils possèdent les qualifications recherchées par l'évaluateur. Les données sur les entrevues et les documents examinés indiquent que le Centre de psychologie du personnel a consenti des efforts significatifs ces dernières années afin d'intégrer les caractéristiques de la conception universelle des tests dans ses instruments d'évaluation de langue seconde. Les éléments de cette conception visent à réduire le besoin de mesures d'adaptation en évaluation en rendant accessibles les tests au plus grand nombre de personnes possible. Par exemple, les changements apportés à la longueur, au format et au contenu des questions peuvent permettre de réduire sensiblement les obstacles pour les individus ayant un déficit d'attention, de mémoire et de vision. Bien que ces efforts soient un pas dans la bonne direction, un besoin de mesures d'adaptation sur une base individuelle demeure. De cette façon, l'information fournie aux personnes évaluées par le programme, sur le site Web de la CFP, précise leur droit d'obtenir des mesures d'adaptation.

Des personnes ne demandent pas de mesures d'adaptation même si elles y ont droit

Les données de sondage sur les personnes évaluées montrent que quatre-vingt-six pour cent des personnes évaluées connaissaient leur droit à des mesures d'adaptation avant le test. Alors que 95  % de toutes les personnes évaluées sondées ont répondu qu'elles n'avaient pas demandé de mesures d'adaptation car elles n'en avaient pas besoin, 2 % (39) d'entre elles ont déclaré avoir demandé ces mesures et 3 % (44) ont répondu qu'elles avaient décidé de ne pas en demander même si elles en avaient besoin. Les trois principales raisons invoquées pour ne pas demander de mesures d'adaptation étaient la crainte de conséquences négatives, le fait que la procédure était jugée trop compliquée et l'ignorance de ces droits.

Parmi les personnes évaluées qui ont obtenu des mesures d'adaptation, 82 % ont exprimé leur satisfaction pour le processus en général, tandis que 6 % sont neutres et 12  % sont insatisfaits. Même s'il a été demandé de fournir de l'information additionnelle à celles qui avaient exprimé leur insatisfaction, peu l'ont fait. Parmi ceux qui ont fourni leurs commentaires, la raison la plus invoquée était que le processus était trop compliqué. Ces résultats concernant le processus ont ressorti aussi du sondage auprès du personnel des ressources humaines, dans lequel 77 % des utilisateurs ont exprimé leur satisfaction à propos du processus, tandis que 17 % sont demeurés neutres et 6 % ont exprimé leur insatisfaction. La principale raison invoquée pour cette insatisfaction du personnel des ressources humaines concerne les délais du processus.

Cette constatation ne concerne pas uniquement le Programme d'administration des tests de langue seconde et l'échantillon en question est restreint. Cependant, compte tenu des obligations de la CFP en vertu de la Loi sur l'équité en matière d'emploi, de déceler et d'éliminer les obstacles à l'emploi, nous sommes d'avis qu'il y a lieu de faire la recommandation de revoir le processus pour les mesures d'adaptation.

Recommandation 5 :

La CFP devrait rechercher d'autres moyens de promouvoir le droit des candidats à des mesures d'adaptation et à une évaluation de leur capacité qui est juste et exempte d'obstacles. La CFP devrait aussi revoir son processus de traitement des demandes de mesures d'adaptation afin de déterminer les obstacles possibles et, le cas échéant, comment les éliminer.

4.6 Rendement : Processus rigoureux et fiables

Dans quelle mesure les processus des tests d'évaluation de langue seconde (ELS) (élaboration de tests, maintenance, documents de formation, contrôle de la qualité, sécurité des examens, etc.) sont-ils rigoureux et fiables?

Dans cette évaluation, on a examiné l'existence et l'adéquation des mécanismes destinés à maintenir et à mettre à jour le contenu des tests et à garantir leur sécurité. Nous nous sommes penchés sur la qualité des ressources fournies et de la formation dispensée. Nous avons par ailleurs examiné le processus de contrôle de la qualité appliqué au test de compétence orale (TCO).

Des mécanismes sont en place pour maintenir et mettre à jour le contenu des tests et garantir leur sécurité

Comme l'exige le document intitulé « Les tests dans la fonction publique », la validité et la fidélité des tests d'ELS sont étudiées et bien documentées. La CFP surveille périodiquement le rendement des tests d'évaluation de langue seconde pour s'assurer que les tests sont justes envers les personnes faisant partie des groupes visés par l'équité en matière d'emploi. Avec les tests de compréhension de l'écrit et d'expression écrite générés par ordinateur, en plus de leur administration en ligne obligatoire, la CFP peut faire l'essai pilote de manière continue de nouvelles composantes de test. Le CPP a une unité multidisciplinaire (composée de psychologues et d'experts en éducation) dédiée à la recherche-développement en matière d'ELS. Cette unité applique des normes professionnelles dans l'élaboration des tests d'évaluation de langue seconde.

Les tests générés par ordinateur et l'administration en ligne ont également augmenté la sécurité des tests. La CFP possède maintenant plus de tests électroniques que de tests papier, en plus de pouvoir suivre électroniquement l'accès à ceux-ci.

Les utilisateurs ministériels sont satisfaits de la qualité du matériel de test et de la formation fournis par l'administrateur

Pour les tests d'expression écrite et de compréhension de l'écrit, plus de 84 % des utilisateurs ministériels sondés ont déclaré que les manuels d'administration des tests et les instructions connexes étaient clairs. Quant au TCO, 92 % des utilisateurs ministériels se sont dits satisfaits de la clarté des instructions données sur place aux agents chargés de surveiller le TCO fait au téléphone dans les locaux de l'organisation d'embauche.

L'évaluation a aussi révélé que 86 % des utilisateurs ministériels ont exprimé leur satisfaction quant à la formation reçue pour devenir administrateur de test en ligne certifié. Cette formation leur permet d'administrer le test d'expression écrite et le test de compréhension de l'écrit en ligne par l'intermédiaire de la plateforme de la FTEL.

Le contrôle de la qualité pour le test de compétence orale est adéquat

Afin d'assurer la fiabilité des résultats entre les évaluateurs du TCO, ceux-ci font l'objet d'un suivi. La fiabilité des résultats d'un évaluateur à l'autre correspond au degré d'accord entre les différents évaluateurs. Un des éléments du programme de contrôle de la qualité est qu'environ 9 % des TCO administrés sont soumis à différents degrés de contrôle de la qualité – par exemple, évaluation à l'aveugle des enregistrements, surveillance continue des évaluateurs, demandes de réévaluation des résultats, etc.

Les données administratives montrent également que le nombre de plaintes se rapportant au TCO est faible. Elles représentent à peu près 0,2 % de tous les TCO administrés. Le nombre de demandes de réévaluation des résultats du TCO est également peu élevé, à moins de 5 % de l'ensemble des TCO administrés.

Les données du sondage révèlent que 61 % des personnes évaluées au moyen du TCO savaient au moment du test qu'il était possible de demander un recomptage des notes. Ce chiffre est plutôt positif car il est pratique courante pour le personnel des RH de n'informer officiellement les candidats de leurs droits de recours qu'une fois les résultats connus. Par exemple, les candidats ne sont généralement informés de la possibilité d'avoir des discussions informelles qu'au moment de recevoir un avis leur annonçant que leur candidature est éliminée du processus. Cela vaut également pour les droits de recours devant la Commission des relations de travail et de l'emploi dans la fonction publique, dont les candidats sont officiellement avisés par l'intermédiaire du processus de notification tout juste avant une nomination.

Soulignons, cependant, que la CFP ne compte pas sur la communauté des RH pour informer les candidats de leurs droits de recours par rapport aux tests d'ELS. En fait, l'information accessible en ligne aux personnes évaluées pour se préparer aux tests les avise également de leurs droits de recours dans une page de questions réponses. L'équipe d'évaluation est également d'avis que si la troisième recommandation du présent rapport est entièrement appliquée, le pourcentage de personnes évaluées au courant, au moment du test, de la possibilité de réévaluer les résultats devrait vraisemblablement augmenter.

4.7 Rendement : Efficience et économie

Le programme est-il géré de façon efficiente et rentable (y compris l'utilisation optimale de la technologie)?

Des outils et processus d'évaluation efficaces contribuent à la qualité de l'embauche dans la fonction publique. Les technologies de l'information (TI) utilisées dans les tests peuvent améliorer les processus mais également les entraver, en partie selon leur adaptabilité. L'équipe d'évaluation a examiné dans quelle mesure le recours à la technologie permet de réaliser des tests rapides, abordables et fiables.

Des gains d'efficience appréciables ont été obtenus à maints égards

Plus de 90 % des tests d'ELS sont maintenant administrés en ligne. Le passage des tests papier aux tests en ligne a permis de réduire les délais de service, de 15 jours ouvrables à 24 heures.

Le recours aux tests générés par ordinateur permet à la CFP de répondre rapidement aux incidents éventuels en matière de sécurité. Les tests peuvent être mis à jour ou remplacés depuis l'organisme central (24 heures contre 6 semaines pour les tests papier).

De plus, comme il a déjà été mentionné, les tests en ligne offrent maintenant la possibilité à la CFP de faire l'essai en continu de nouvelles composantes, à une fraction du coût des grandes études pilote (les économies sont de 50 000 $ à 70 000 $ par année).

Il existe des solutions de rechange à la technologie de production des tests générés par ordinateur utilisée par le programme qui pourraient accroître la sécurité des tests, optimiser l'utilisation des ressources et accélérer le processus du test. Elles seront examinées à la section 4.8 du présent rapport.

La capacité du programme à assurer les services repose en grande partie sur la disponibilité des systèmes de technologies de l'information

Les gains d'efficience dont il a été question plus haut dépendent en grande partie de la disponibilité des systèmes de TI. Il en résulte que les interruptions de services TI ont maintenant un impact décisif sur les services d'évaluation linguistique. Par exemple, le déménagement du centre de données de la CFP à Borden, Ontario en 2015 a donné lieu à une interruption de service de trois semaines. Un autre élément est le fait que, pour remédier aux nombreuses interruptions du système de communication vocale par protocole Internet, on a dû installer un système de téléphonie Centrix pour tous les évaluateurs de TCO, étant donné qu'une grande partie de l'administration de ces tests se fait par téléphone.

En 2012, le CPP avait environ 17 différentes applications TI, dont certaines ne peuvent plus être prises en charge. La rationalisation et la modernisation de ces applications ont été jugées prioritaires pour la CFP. Depuis, et comme il a déjà été mentionné à la section 4.4 du rapport, la Direction des services de technologie de l'information de la CFP a mené un projet pluriannuel pour moderniser, optimiser et rationaliser les applications du CPP.

L'équipe d'évaluation n'avait pas pour mandat d'examiner ce projet de rationalisation des applications. Toutefois, elle a noté, selon les données recueillies lors des entrevues, que le programme avait de grandes attentes quant au potentiel de ce projet de faire des gains d'efficience au niveau des technologiques et, par extension, d'optimiser l'utilisation de la technologie.

4.8 Rendement : Solutions de rechange

Existe-t-il d'autres approches pour évaluer la seconde langue officielle des candidats?

L'équipe d'évaluation s'est penchée sur les solutions technologiques susceptibles d'améliorer l'efficacité du processus. Elle a également étudié comment d'autres administrations gèrent des programmes semblables.

L'équipe d'évaluation n'avait pas pour mandat de rechercher d'autres types de tests pour remplacer ceux actuellement employés pour l'évaluation de la langue seconde. À cette fin, un groupe de travail composé de divers intervenants et mené par la Direction générale des politiques de la CFP a commencé à étudier cette question pendant la présente évaluation.

Des tests évolutifs générés par ordinateur pourraient être bénéfiques au programme à long terme

Les tests évolutifs sont adaptés au niveau d'aptitude de la personne évaluée. Les tests d'ELS de compréhension de l'écrit et d'expression écrite correspondent aux tests LOFT (Linear-on-the-Fly). Ils ne s'adaptent pas aux aptitudes de la personne évaluée mais ils sont assemblés pour chaque personne tout juste avant l'administration du test.

Les solutions de rechange pour ce type de test (LOFT) seraient les suivantes :

• Test CAT (test évolutif par ordinateur) : Chaque question du test s'adapte en temps réel à la réponse de la question précédente.
• Test MST (à échelons multiples) : Ce type de test renferme des composantes évolutives et non évolutives. Essentiellement, un test MST comprend plusieurs séries d'éléments non évolutifs, ou sous-tests, dont chacun est pré construit à partir de questions conçues pour respecter des spécifications précises.

Alors que le test CAT s'adapte au niveau des questions, le test MST le fait au niveau des sous-tests. Le test MST offre plus de souplesse que le test CAT mais au détriment de la précision. Il est plus efficace que les tests fixes mais moins que les tests entièrement adaptés.

L'unité de recherche-développement du programme est consciente des avantages des tests évolutifs. Elle envisage actuellement la possibilité, à long terme, d'intégrer des composantes évolutives dans ses tests de compréhension de l'écrit et d'expression écrite.

Les programmes semblables dans d'autres administrations

Une recherche documentaire a été effectuée pour savoir comment procèdent les autres administrations qui offrent des programmes semblables. Le tableau ci-après classe les résultats dans trois catégories.

Comme l'illustre le tableau ci-dessus, les modèles qui ne sont pas fondés sur des tests obligatoires présentent des avantages sur le plan de la souplesse des approches mais au détriment de l'application uniforme des normes relatives aux langues officielles dans l'ensemble des organisations d'embauche.

5. Conclusions

Est-ce que le Programme d'administration des tests de langue seconde répond à un besoin existant?

• Le Programme d'administration des tests de la langue seconde répond à un besoin continu, non seulement pour la dotation mais aussi pour le perfectionnement professionnel des employés de la fonction publique. Cela est valable à la fois pour les organisations assujetties à la Loi sur l'emploi dans la fonction publique (LEFP) et celles qui ne le sont pas.

Le Programme d'administration des tests de langue seconde est-il conforme aux priorités gouvernementales et au résultat stratégique de la Commission de la fonction publique?

• L'importance des langues officielles au Canada est démontrée dans la législation et les principaux documents stratégiques du gouvernement.
• Le Programme d'administration des tests de langue seconde est aussi conforme au résultat stratégique de la Commission de la fonction publique, car celui-ci appuie le mérite par une évaluation minutieuse de la compétence dans la seconde langue officielle des employés de la fonction publique.

Les rôles et responsabilités du programme sont-ils clairement définis et communiqués?

• Au sein de la fonction publique du Canada, les rôles et responsabilités en matière d'évaluation de la seconde langue officielle sont partagés entre le Conseil du Trésor, la Commission de la fonction publique et les organisations d'embauche.
• Même si les rôles respectifs de ces partenaires sont définis et communiqués, certaines personnes évaluées sont confuses quant aux responsabilités de chacun.

Le programme atteint-il les résultats attendus?

• La majorité (plus de 80 %) des utilisateurs ministériels sondés ont exprimé leur satisfaction à l'égard des services d'évaluation de la langue seconde et plus de 90 % des personnes évaluées ont déclaré être satisfaites de leur expérience de test.
• En ce qui concerne le test de compétence orale, satisfaire aux normes de mise à l'horaire s'est avéré difficile au cours des deux dernières années et la satisfaction des utilisateurs sur ce plan est faible.
• Pour ce qui est des utilisateurs insatisfaits, ceux-ci ont déclaré avoir éprouvé des difficultés à joindre la personne appropriée de la CFP lorsque de l'aide supplémentaire était nécessaire.
• De nombreuses personnes évaluées ne sont pas au courant de toute l'information mise à leur disposition sur le site Web de la CFP pour les aider à se préparer au test.
• Il existe un écart entre la rétroaction sur la performance au TCO que les personnes évaluées souhaitent obtenir et l'information contenue dans la rétroaction standard qu'elles reçoivent.
• La plupart des personnes évaluées connaissent leurs droits à des mesures d'adaptation, certaines personnes décident encore d'y renoncer par crainte des conséquences négatives ou parce qu'elles trouvent que le processus de demande est trop compliquée.
• Il existe des mécanismes adéquats pour assurer l'amélioration constante du contenu et de la sécurité des tests pour les trois catégories de test d'ELS. Le contrôle de la qualité du TCO est également adéquat.

Le programme est-il efficient et économique?

• Des gains d'efficience ont été obtenus en rendant obligatoires les tests en ligne pour les tests de compréhension de l'écrit et d'expression écrite. En revanche, comme le programme repose beaucoup sur la technologie, il devient vulnérable aux interruptions de service de technologies de l'information.

Existe-t-il de meilleures façons d'administrer le programme?

• Il existe d'autres méthodes d'évaluation de la langue seconde, mais il faut faire preuve de prudence car toutes les options n'assurent pas une application uniforme des normes sur les langues officielles dans toutes les organisations d'embauche.

Annexes

Annexe 2 – Échantillons de rétroaction sur la performance au test de compétence orale

Dans ces deux échantillons, le contenu des sections en gras est identique aux deux niveaux de compétence (B et C). L'intégrité du texte de ce document source est conservée telle que présentée à l'origine, y compris sa traduction originale.