Examen des leçons apprises : Mesures d’adaptation pour les tests en ligne non supervisés d’évaluation de langue seconde

Table des matières

• Introduction
• 1.1. Contexte
• 1.2 Objectif, portée et méthodologie de l’examen
• 2 Leçons apprises et bonnes pratiques
• 2.1 Planification et conception du projet
• 2.2 Gouvernance et coordination du projet
• 2.3 Méthode agile comme approche de gestion de projet
• 3. Conclusion
• Annexes

Version approuvée du rapport, le 11 juin 2021

Introduction

1.1. Contexte

1. En temps normal, la Politique de nomination exige que les ministères et organismes fédéraux utilisent les tests de la Commission de la fonction publique du Canada (CFP) afin d’évaluer les compétences en langue seconde pour toutes les nominations à des postes bilingues.^{Note de bas de page 1} Ces tests sont administrés dans les centres d’examen de la CFP partout au pays, ainsi que dans les ministères et organismes fédéraux.

2. La pandémie de la COVID-19 a touché les activités gouvernementales dans de nombreux secteurs, y compris la capacité de la CFP et des ministères à effectuer des tests en personne. La pandémie a surtout accru les demandes et attentes des organismes fédéraux et de la population canadienne en ce qui concerne l’accès à des solutions et approches d’évaluation et de dotation modernes qui répondent aux besoins de tous les utilisateurs en situation de travail à distance.^{Note de bas de page 2}

3. Le 24 mars 2020, la CFP a rapidement mis en œuvre 2 mesures temporaires et des directives de soutien afin d’offrir plus de souplesse aux ministères et organismes quant à l’évaluation des exigences en matière de langue seconde pour les postes bilingues. Ces mesures, qui devaient initialement demeurer en vigueur jusqu’au 31 mars 2021, ont été prolongées jusqu’au 30 septembre 2021. Elles exemptent d’abord les administrateurs généraux de l’obligation d’utiliser les tests de la CFP pour évaluer les compétences en langue seconde (compréhension de l’écrit, expression écrite et compétence orale). Deuxièmement, ces mesures temporaires autorisent les ministères et organismes à utiliser une autre méthode d’évaluation.

4. Toutefois, le recours à cette autre méthode d’évaluation doit respecter les principes directeurs concernant les solutions de remplacement mises en œuvre pour les évaluations de langue seconde de la CFP.^{Note de bas de page 3} Il faut souligner que, pour toute nomination de plus de 12 mois, la compétence dans la seconde langue officielle de la personne nommée doit être confirmée au moyen des tests d'évaluation de langue seconde de la CFP dans les 24 mois suivant la nomination.

5. Toujours dans le cadre des mesures spéciales liées à la pandémie de la COVID-19, la CFP a lancé des tests en ligne non supervisés pour évaluer les compétences en langue seconde, pour les examens de compréhension de l’écrit et d’expression écrite. Les tests en ligne non supervisés pour les évaluations de langue seconde permettent aux ministères et organismes de pourvoir des postes bilingues durant la pandémie.^{Note de bas de page 4} Ces tests sont effectués en ligne et à distance. Ils sont disponibles pour toutes les nouvelles annonces d’emploi publiées sur la plateforme de recrutement Emplois GC.

6. Le nombre de tests d’évaluation de langue seconde effectués par la CFP dans ses centres d'examen répartis partout au pays ainsi que par les ministères, a considérablement diminué en 2020-2021 par rapport à 2019-2020 (voir les tableaux 2 et 3 en annexe). Il est important de souligner que les tests associés aux mesures temporaires spéciales ont remplacé les tests habituels au cours de l’exercice 2020-2021. Quant aux tests en ligne non supervisés, 6 315 examens de compréhension de l’écrit et 7 491 examens d’expression écrite été administrés durant la période du 16 janvier au 31 mars 2021 (voir le tableau 4 en annexe).

7. À l’été 2020, un risque a été toutefois signalé en ce qui concerne l’administration des tests en ligne non supervisés, car ces évaluations ne permettaient pas de répondre aux attentes des candidats qui avaient besoin de mesures d’adaptation. Pour atténuer ce risque, la CFP a constitué une équipe afin de travailler sur un projet lié aux mesures d’adaptation pour les tests en ligne non supervisés. Cette équipe comprenait des employés du Secteur des services et du développement des affaires, ainsi que de la Direction des services de technologie de l'information, relevant du Secteur des affaires ministérielles.

8. Le 17 septembre, le Comité exécutif de gestion a été informé que le coût de réalisation du projet lié aux mesures d’adaptation pour les tests en ligne non supervisés serait d’environ 150 000 $ pour la Direction des services de technologie de l'information, et de 50 000 $ pour le Secteur des services et du développement des affaires. Un plan décrivant les grandes lignes du projet a été présenté. Il mettait l'accent sur l’importance de s’assurer que des ressources dédiées seraient pleinement allouées pour réaliser ce projet. Le vice-président du Secteur des affaires ministérielles s'est engagé à fournir des mises à jour régulières sur ce projet.

9. Malgré les défis signalés au début octobre 2020 pour obtenir les serveurs nécessaires à la réalisation du projet, la CFP a pu obtenir les serveurs requis auprès de Services partagés Canada; la CFP a surtout réussi à les obtenir à l'étape de démonstration, avant la fin octobre 2020. Il a toutefois été souligné que l’échéancier du projet pourrait être compromis en raison des priorités concurrentes sur lesquelles travaillent la Direction des services de technologie de l'information et le Centre de psychologie du personnel.

10. Il faut aussi préciser que le projet relatif aux mesures d’adaptation pour les tests en ligne non supervisés était rendu nécessaire du fait que ces tests étaient hébergés dans le Système de ressourcement de la fonction publique, sous la plateforme des Tests en ligne non supervisés qui existait déjà. Or, cette plateforme n’offrait pas la capacité de répondre aux attentes des candidats qui ont besoin de mesures d’adaptation pour passer les tests de langue seconde, comme, par exemple, l'allocation de temps additionnel, le choix d’une police de caractères plus grande, ou un service de lecture (lecture à haute voix des questions d’examen).

11. Ces limitations relatives à la plateforme de test en ligne existante ont amené l’équipe de projet à constater que les tests en ligne non supervisés pour les évaluations de langue seconde n'étaient pas entièrement accessibles. Or, avant la pandémie, les tests de la CFP respectaient les normes en matière d’accessibilité. Pour résoudre ce problème, l’équipe de projet a constaté que le nouvel outil d’évaluation des candidats, qui hébergeait auparavant la « Boîte de réception pour la gestion – électronique » réalisée en collaboration avec Code for Canada ^{Note de bas de page 5}, offrait non seulement des fonctionnalités communes pour les demandes de mesures d'adaptation, tels que les changements apportés à l’horaire ou à la durée du test (temps additionnel, pauses), mais rendrait aussi possibles d’autres types d’adaptation, tels que les tests à choix multiples.

12. Compte tenu des lacunes relevées dans l’ancienne plateforme de Test en ligne non supervisés pour les évaluations de langue seconde, l'équipe de projet a décidé d'héberger les tests sur la plateforme du nouvel outil d’évaluation, en particulier pour les candidats qui ont besoin de mesures d’adaptation. Cette nouvelle plateforme, qui permet de répondre aux besoins des candidats en situation de handicap, est officiellement entrée en production le 9 février 2021 et est utilisée depuis le 12 mars 2021.

1.2 Objectif, portée et méthodologie de l’examen

13. Le projet lié aux mesures d’adaptation pour les tests en ligne non supervisés d’évaluation de langue seconde a été conçu pour faciliter l’accès à ces tests pour les personnes qui ont besoin de mesures d’adaptation, permettant ainsi aux ministères et organismes de pourvoir aux postes bilingues durant la pandémie. Les mesures d’adaptation sont des changements apportés à la procédure, au format ou au contenu de l’outil d’évaluation de langue seconde. Elles visent à éliminer les obstacles à une évaluation équitable en permettant aux candidats de démontrer pleinement leurs compétences.^{Note de bas de page 6} Il est important de souligner que les mesures d’adaptation en matière d’évaluation ne modifient ni la nature, ni le niveau de la qualification évaluée.^{Note de bas de page 7}

14. Cet examen visait à étudier les leçons apprises au sujet des activités de la CFP associées à la planification, à la conception et à la mise en œuvre des mesures d’adaptation pour les tests en ligne non supervisés d’évaluation de langue seconde. Il s’agit d’un projet prioritaire pour la CFP en réponse à la pandémie de la COVD-19. Il figure en effet dans le plan de vérification interne et d’évaluation 2021-2023.

15. L’examen a permis de relever les bonnes pratiques et les leçons apprises qui pourront être appliquées à la planification, à la conception et à la mise en œuvre de projets similaires à l’avenir. La Direction de la vérification interne et de l’évaluation a pu réaliser ce travail grâce à l’étroite collaboration de la Direction des services de technologie de l’information ainsi que du Secteur des services et du développement des affaires.

16. La portée de l’examen englobait les activités entreprises entre septembre 2020 et mars 2021 pour contribuer à l’avancement de ce projet prioritaire qui a été mis en place afin d’offrir des mesures d’adaptation aux candidats qui en font la demande pour passer un Test en ligne non supervisé d’évaluation de langue seconde, pour les examens de compréhension de l’écrit et d’expression écrite.

17. Les principaux aspects retenus pour cet examen sont regroupés en 3 domaines qui sont importants pour la réussite d’un projet de cette envergure: planification et conception, structure de gouvernance et méthode de gestion du projet. Ces aspects ont été examinés afin de dégager les leçons apprises qui pourraient être appliquées à la planification et à la mise en œuvre de projets similaires à la CFP.

18. L’approche suivie pour cet examen reposait sur les méthodes suivantes :

• Examen de documents : L’examen a porté sur les documents du projet lié aux mesures d’adaptation pour les tests en ligne non supervisés d’évaluation de langue seconde qui ont été fournis par certains des intervenants principaux, ainsi que des documents de politique et de stratégie ministériels de la CFP.
• Entrevues : Au total, nous avons mené 20 entrevues avec les principaux intervenants impliqués dans la conception et à l’exécution du projet lié aux mesures d’adaptation, afin d’obtenir leurs expériences relatives au projet. Les intervenants consultés comprenaient des représentants de la Direction des services de technologie de l’information et du Secteur des services et du développement des affaires, y compris des employés du Centre de psychologie du personnel et de la Direction du recrutement national.
• Revue de littérature :La revue de littérature a porté sur des publications qui offrent d’autres points de vue et perspectives sur des questions relatives à la gestion de projet et à l’utilisation de la méthodologie agile.

2 Leçons apprises et bonnes pratiques

2.1 Planification et conception du projet

19. En règle générale, la planification de projet vise à déterminer à l’avance les moyens à prendre pour produire et livrer l’extrant, tout en respectant les contraintes. Il s’agit donc de déterminer, à l’étape de la planification, ce qui doit être fait, comment, par qui, à quel coût et selon quel échéancier.

Définition des travaux et des exigences du projet

20. L’équipe d’examen a constaté une divergence de vues parmi les personnes consultées quant à savoir si la portée, les exigences, les livrables et l’échéancier du projet étaient clairement définis.

21. Une partie des personnes consultées a souligné que la portée du projet a été définie de façon minimaliste, en utilisant le concept de « produit minimum viable ». L’équipe d’examen a appris qu’en raison des circonstances exceptionnelles liées à la pandémie et à l’urgence d’agir pour répondre aux besoins des candidats en situation de handicap, il était nécessaire d’adopter une définition minimale de la portée du projet. Un « produit minimum viable » est un produit qui répond aux besoins les plus importants des utilisateurs, et qui permet de planifier et de hiérarchiser les fonctionnalités les plus attendues d’une application.^{Note de bas de page 8} Le concept de « produit minimum viable » est souvent mis en pratique dans le cadre de la méthode de gestion agile, en particulier pour le développement d’une application informatique ou d’un logiciel.

22. Selon ces répondants, dont la plupart sont des employés de la Direction des services de technologie de l’information, il n’aurait pas été réaliste de définir clairement toutes les exigences et tous les besoins avant de commencer le projet. Ces répondants étaient d’avis que, malgré une définition minimale de la portée et du plan de projet, l’équipe de projet avait un bon niveau de compréhension et de connaissance des livrables attendus pour chacun des cycles de travail. Autrement dit, l’équipe de projet avait une vision, un budget déjà établi et une définition des travaux ou des besoins du projet qui avait été certes évaluée dans les grandes lignes, mais qui mettait plutôt l’accent sur le produit minimum viable.

23. À l’opposé, certaines des autres personnes consultées ont jugé que la portée du projet a été définie dans les grandes lignes seulement, en fournissant très peu de détails sur les livrables, ainsi que sur les exigences et l’échéancier du projet. Selon ces personnes, qui travaillent pour la plupart au Centre de psychologie du personnel, cette situation a suscité une certaine ambiguïté au sujet du projet. Elles pensent que la mise en œuvre du projet aurait été plus efficace s’il y avait eu un plan de travail minimalement défini, pour leur permettre de mieux comprendre leur rôle dans le cadre du projet.

24. Cette différence de points de vue entre les intervenants à propos de la planification et de la définition des exigences et des livrables pourrait s’expliquer, d’une part par les différences fondamentales entre la méthode de gestion de projet utilisée pour ce projet, dite « gestion agile », et l'approche habituelle en matière de gestion de projet, et d’autre part, par la façon dont la méthode agile a été utilisée dans ce projet. Cette distinction sera abordée dans la dernière partie du rapport (voir section 2.3).

25. À ce stade, il convient toutefois de souligner qu’au-delà de cette divergence de points de vue sur la méthode de gestion de projet, quelques-unes des personnes consultées ont suggéré que pour de futures initiatives similaires, il faudrait s’assurer dès l’étape de planification que toutes les composantes de l’équipe travaillent ensemble en vue de partager une même compréhension de la méthode de gestion de projet utilisée ainsi que de sa pertinence pour le projet en cours.

Mise en place d’une équipe de projet et allocation de ressources

26. Le terme équipe de projet désigne « collectivement les personnes qui travaillent au projet et qui y sont affectées soit à temps plein pendant une partie significative de la phase d’exécution, soit à temps partiel pour la plus grande partie de la phase d’exécution » ^{Note de bas de page 9}. De façon générale, l’examen a permis de révéler que le développement de la plateforme permettant d’offrir des mesures d’adaptation a été un succès en raison de l’approche utilisée dans la planification du projet : constitution de l’équipe de projet, allocation des ressources et délai raisonnable pour le développement de la plateforme.

27. Quant à l’approche utilisée pour la constitution de l’équipe de projet, la quasi-totalité des personnes consultées ont souligné que le fait d’avoir des personnes dédiées au projet ainsi que les experts requis en développement des applications, assurance de la qualité et accessibilité, a énormément contribué à la réussite du projet. Cette équipe comprenait des membres du Secteur des services et du développement des affaires ainsi que de la Direction des services de technologie de l'information.

28. Un autre facteur de réussite fréquemment cité est la détermination de tous les membres de l’équipe à travailler d’arrache-pied à l’avancement du projet, tout particulièrement les membres de l’équipe de technologie de l’information. Plusieurs répondants ont mentionné que sans cette détermination de l’équipe de projet, il aurait été difficile de respecter l’échéancier et d’obtenir d’aussi bons résultats.

29. Toutefois, l’équipe d’examen a souligné que certains aspects de la constitution de l’équipe et de l’allocation des ressources auraient pu être mieux planifiés avant le démarrage du projet. Par exemple, un des aspects fondamentaux de la planification d’un projet est la sélection des personnes-ressources et leur disponibilité. Cet aspect permet d’identifier les personnes compétentes, de les affecter aux tâches, et d’obtenir leur engagement. Plusieurs des personnes consultées ont reconnu que les membres de l’équipe du projet ont fait preuve de détermination et d’engagement pour faire progresser le projet même s’ils ont dû gérer des priorités concurrentes, ce qui a posé un défi pour mettre le projet en œuvre dans les meilleurs délais. Il faut en effet souligner que, d’une part, les employés de la Direction des services de technologie de l’information travaillaient en parallèle sur d’autres projets prioritaires, et que, d’autre part, les employés du Centre de psychologie du personnel composaient avec 5 autres projets connexes visant à améliorer la prestation des services d’évaluation de langue seconde.

30. L’examen a permis de constater que le Centre de psychologie du personnel, tout comme la Direction des services de technologie de l’information, est un environnement de travail où les employés sont très occupés. Il est difficile pour les intervenants impliqués dans un projet de prendre un engagement avant de connaître la liste des tâches à exécuter, l’échéancier prévu et le budget dont ils disposent. La sélection et l’affectation des personnes-ressources est un aspect important de la planification de projet qui pourrait être revu et amélioré. À ce titre, la Direction des services de technologie de l’information et le Centre de psychologie du personnel devraient continuer à coordonner leurs efforts et travailler ensemble, à l’étape de la planification des projets, en vue d’optimiser le processus d’identification des ressources nécessaires à l’exécution des projets. Cela permettrait d’augmenter l’efficacité des équipes de projet une fois constituées.

31. Pour optimiser les efforts de planification et appuyer un meilleur fonctionnement de l’équipe de projet, les personnes consultées ont formulé quelques suggestions sur la nécessité de disposer des bonnes ressources avant le démarrage du projet. La première suggestion souligne l’importance d’avoir une équipe aussi complète que possible dès le début du projet. Selon plusieurs répondants, pour un projet d’une telle envergure, nécessitant la collaboration de divers secteurs de la CFP, il faudrait avoir un chef de projet capable d’assurer une bonne planification du projet, de déterminer les risques liés au projet et les mesures d’atténuation connexes, d’évaluer les progrès réalisés, et surtout, capable de mettre en relation les différents intervenants du projet depuis l’étape de planification jusqu’à la réalisation complète du projet. L’importance du chef de projet est corroborée par la littérature en matière de gestion de projet qui affirme que c’est cet élément qui dirige la planification; autant que possible.^{Note de bas de page 10}

32. Pour sa part, l’équipe d’examen a constaté que l’absence d’un chef de projet a relativement nui à la cohésion et à l’efficacité de l’équipe, surtout au début, car un chef de projet a été désigné peu après le démarrage du projet. Presque toutes les personnes consultées ont mis l’accent sur le rôle déterminant que le chef de projet a joué pour s’assurer que tout était en place et que les efforts étaient coordonnés pour mener à bien le projet.

33. De même, les répondants ont indiqué qu’il est crucial d’avoir dès le début du projet un analyste d’affaires capable de traduire les exigences du client en langage informatique. Plusieurs des personnes consultées ont estimé que ce rôle avait un peu fait défaut au début du projet. L’analyse a révélé que ce rôle a bel et bien été assumé par un membre de l’équipe de projet, en raison de l’urgence d’agir et de l’échéancier serré à respecter pour développer de nouvelles applications, mais ce dernier devait aussi assumer plusieurs autres rôles en même temps. Étant donné l’importance d’avoir un analyste d’affaires dédié au projet, il aurait clairement fallu en désigner un et communiquer son nom à toute l’équipe de projet. En somme, la réussite d’un projet, avec une forte composante numérique, repose sur une équipe de projet qui, dès le début, comprend un chef de projet et un analyste d’affaires. L’importance de ces deux joueurs clés sera abordée plus loin, à la section 2.3.

Développement de l’application (plateforme)

34. Comme nous l’avons déjà indiqué, le projet lié aux mesures d’adaptation pour les tests en ligne non supervisés d’évaluation de langue seconde visait à héberger sur une nouvelle plateforme de tests en ligne accessibles, les plus récents outils développés par la CFP pour les évaluations de langue seconde. Cette plateforme vise à assurer que les tests de langue sont accessibles à toute la population canadienne, y compris les personnes qui ont besoin de mesures d’adaptation. Pour ce faire, l’équipe de projet, notamment les experts en développement d’applications de la CFP, a utilisé la plateforme du nouvel Outil d’évaluation des candidats qui était déjà en cours de développement en collaboration avec Code for Canada.

35. L’examen a démontré que le développement de la plateforme liée aux mesures d’adaptation pour les tests en ligne non supervisés d’évaluation de langue seconde a été un grand succès compte tenu des délais serrés et des circonstances exceptionnelles dans lesquelles elle a été développée. En effet, le projet a été lancé en septembre 2020 seulement, alors que la plateforme est déjà en cours d’utilisation depuis avril 2021. La nouvelle plateforme offre des fonctionnalités communes à de nombreuses demandes de mesures d'adaptation, telles que la possibilité de modifier l’horaire ou la durée du test, ou de prendre des pauses.^{Note de bas de page 11}

36. Une grande majorité des personnes consultées ont souligné que le plus grand succès de ce projet est le fait que la CFP a été en mesure de développer une plateforme pour administrer ces examens en quelques mois seulement, afin de répondre aux attentes des personnes qui ont besoin de mesures d’adaptation.

37. Enfin, les personnes consultées ont fait remarquer que la plateforme a été développée selon les meilleures pratiques de l’industrie et en tenant compte des besoins futurs de la CFP. Par exemple, les répondants ont précisé que la plateforme a été développée en utilisant des outils numériques modernes qui respectent les normes infonuagiques. Selon les personnes consultées, le transfert de la plateforme développée pour les mesures d’adaptation vers la plateforme infonuagique devrait se faire plus facilement une fois que la structure infonuagique de la CFP aura été mise en place.

2.2 Gouvernance et coordination du projet

38. L’examen a révélé que, en règle générale, une structure de gouvernance appropriée était en place pour favoriser la planification, la conception et la mise en œuvre du projet. Cette structure de gouvernance incluait les principaux intervenants impliqués dans le projet ainsi que les experts pouvant comprendre les enjeux connexes. Elle comprenait essentiellement le Comité de gestion du projet, le Comité directeur du Centre de psychologie du personnel pour les tests en ligne non-supervisés, en plus de l’équipe de projet et du Comité exécutif de gestion de la CFP.

39. Comité de gestion du projet : Ce comité a servi d’organe principal de prise de décisions pour le projet. Il était composé des représentants du Secteur des services et du développement des affaires et du Secteur des affaires ministérielles, y compris les 2 vice-présidents, la directrice générale par intérim du Centre de psychologie du personnel, le directeur général de la Direction des services de technologie de l’information, ainsi que les directeurs et gestionnaires de ces deux directions qui contribuaient aussi au projet. Ce comité se réunissait chaque semaine pour revoir la portée et l’avancement du projet, prendre rapidement des décisions au besoin, quand elles étaient nécessaires à la réalisation du projet, ainsi que pour offrir des orientations pour s’assurer que les différentes composantes du projet progressaient comme prévu.

40. Comité directeur, Centre de psychologie du personnel, Tests en ligne non-supervisés : Ce comité a été mis en place dans le Secteur des services et du développement des affaires pour appuyer le Comité de gestion du projet. Il incluait tous les intervenants de ce secteur associés au projet et se réunissait une fois par semaine.

41. Équipe de projet : Cette équipe comprenait des gestionnaires et des employés de niveau opérationnel, provenant du Secteur des services et du développement des affaires ainsi que de la Direction des services de technologie de l'information. Des rencontres de courte durée, de 15 minutes environ, ont été tenues chaque jour pour permettre aux membres de l’équipe de collaborer, de cerner et de résoudre les problèmes émergeants et d’assurer le bon déroulement du travail au sein de l’équipe.

42. Comité exécutif de gestion : Des exposés ont régulièrement été présentés au Comité exécutif de gestion pour faire le point sur l’avancement de tous les projets liés aux évaluations de langue seconde, y compris le projet relatif aux mesures d’adaptation.

Ce qui a bien fonctionné :

43. Structure de gouvernance moins stricte et plus flexible : Plusieurs des personnes consultées ont mentionné que le fait d’avoir établi des lignes de communication reposant sur une structure de gouvernance moins stricte dans le cadre de ce projet, a vraiment contribué à accélérer le processus de prise de décisions, puisqu’il n’était pas nécessaire de respecter scrupuleusement les procédures d'approbation habituelles. Par exemple, il n’a pas été nécessaire de suivre toutes les procédures normales d’approbation, sauf pour le Comité de gestion de l’information et de la technologie de l’information qui savait déjà que ce projet était en cours.

44. Engagement et soutien de la haute direction : Plusieurs répondants ont dit avoir particulièrement apprécié l’engagement de la haute direction lors des réunions de suivi du Comité de gestion du projet. Ces répondants ont expliqué que les directeurs généraux et les directeurs qui participaient aux réunions du Comité de gestion animées par le chef de projet étaient vraiment engagés, ce qui a permis de régler rapidement les défis et enjeux liés au projet. De même, certaines des personnes consultées ont déclaré qu’elles ont obtenu tout le soutien dont elles avaient besoin du Secteur des services et du développement des affaires. Selon ces répondants, l’accès à la haute direction a été facile et a contribué à la prise de décisions opportunes et efficaces parce qu’il s’agissait d’un projet prioritaire.

45. Mobilisation des principaux intervenants : L’examen a révélé que la participation des principaux intervenants et de toutes les personnes directement impliquées dans le projet à la même table de discussion chaque semaine a facilité le processus de prise de décisions. La mobilisation et la participation active des joueurs clés a contribué à la prise de décisions opportunes concernant la gestion du projet qui ont été communiquées à tous les acteurs intéressés. Sur la base de leurs expériences en gestion de projets à la CFP, certains intervenants de la Direction des services de technologie de l'information ont suggéré qu’une telle structure de gouvernance assurant la mobilisation et la participation des joueurs clés capables de prendre des décisions éclairées au moment opportun devrait être mise en place pour tous les projets liés aux technologies numériques. Ces répondants ont informé l’équipe d’examen qu’il n’y avait pas le même niveau d’engagement des intervenants clés dans le passé, et que la structure de gouvernance en place n’était pas appropriée pour faire avancer des projets ayant une composante numérique.

46. Bonne collaboration entre les différents acteurs : La majorité des répondants ont souligné que la collaboration entre les différents acteurs était un facteur ayant contribué à la réussite du projet. À leur avis, les différentes équipes ont su collaborer, s’écouter mutuellement et ont travaillé efficacement, même lorsque les exigences et certains rôles n’étaient pas clairement définis. Ils ont mentionné que dans le passé, une bonne collaboration et une bonne écoute ont posé des défis, et qu’il a été souvent difficile aux unités participant à un projet de comprendre clairement les besoins de leurs homologues.

47. Réunions quotidiennes de l’équipe de projet : La plupart des personnes consultées ont jugé que les réunions quotidiennes étaient un des éléments essentiels ayant contribué au succès du projet. Plusieurs répondants ont déclaré que ces réunions quotidiennes offraient une tribune où tous les intervenants pouvaient discuter des enjeux liés au projet et des problèmes qui survenaient, afin de trouver des solutions immédiates. À leur avis, cela a grandement contribué à l’avancement du projet. Quelques répondants ont toutefois estimé que, par moments, certains joueurs essentiels n’arrivaient pas à assister à ces réunions à cause de priorités concurrentes et des lacunes dans l’affectation des ressources. Pour cette raison, ces répondants ont souligné que pour de futurs projets similaires, il est important d’assurer une meilleure présence et une meilleure représentation des entités interpellées par ces projets afin de s’assurer que l’information connexe soit communiquée de façon cohérente et en temps opportun aux principaux intervenants.

Ce qui a moins bien fonctionné

48. Définition des rôles et responsabilités : Plusieurs des personnes consultées ont indiqué que les rôles et responsabilités pouvaient être mieux définis, surtout au début du projet. Elles ont mentionné, par exemple, qu’il y avait des sous-projets qui étaient très peu définis et dont la responsabilité ne revenait à personne, ce qui a suscité une certaine ambiguïté. C’est le cas notamment de la traduction et de la vérification des étiquettes qui sont utilisées dans les fonctionnalités de la plateforme. Les répondants ont affirmé qu’à la suite de la désignation du chef de projet, les rôles et responsabilités ont été mieux définis.

49. Communication et partage de l’information : Bon nombre des personnes consultées ont déclaré qu’elles avaient parfois l’impression que l’information aurait pu être mieux partagée en temps opportun, même si la communication entre les différents intervenants et avec le client s’est relativement bien déroulée. Ces répondants ont expliqué qu’à cause du grand nombre de réunions à différents niveaux, il arrivait parfois que les décisions et comptes rendus des réunions ne parviennent pas efficacement à tous les employés du niveau opérationnel. D’autres répondants ont pour leur part mentionné qu’à certains moments, il leur a semblé qu’il y avait trop d’information, parfois jugée contradictoire et provenant de différents intervenants du projet.

2.3 Méthode agile comme approche de gestion de projet

50. L’équipe d’examen a constaté que l’adoption de la méthode agile pour la gestion du projet a été généralement accueillie favorablement par une grande partie des personnes consultées selon lesquelles cette approche a grandement contribué au succès du projet. Ce point de vue n’est toutefois pas partagé par toutes les personnes consultées. Avant d’aborder en détail la question de l’incidence de l’utilisation de la méthode agile sur le déroulement du projet, il convient de présenter en quoi cette méthode consiste et en quoi elle se distingue de l’approche classique en matière de gestion de projet.

Différences entre la méthode agile et la méthode classique de gestion de projet

51. La « méthode agile » est un processus structuré et itératif de prise de décisions qui permet à une organisation de s’adapter et de faire face à l'incertitude. On parle aussi de « gestion de projet adaptative » car elle consiste en une approche volontaire qui permet de prendre des décisions et d’apporter des ajustements en réponse à de nouvelles informations ou à un changement de contexte. ^{Note de bas de page 12}

52. Même s’il existe plusieurs définitions, il faut souligner que l'expérimentation est au cœur de la gestion agile, incluant des hypothèses, des contrôles et des possibilités de réplication. La méthode agile se distingue essentiellement de la méthode de gestion de projet classique en ce qui concerne le processus de prise de décisions, et surtout, la capacité de l’organisation ou de l’équipe de projet à s'adapter et à répondre efficacement aux dynamiques et aux incertitudes. Le tableau 1 présente brièvement quelques exemples illustrant la différence entre les deux approches.

Tableau 1 : Différences entre l’approche classique et la méthode agile de gestion de projet

Approche classique	Approche agile
Nous proposons cette solution pour répondre à notre objectif	Les solutions ne sont pas connues d'avance
Nous essayons de planifier au maximum dès le départ	Nous planifions au fur et à mesure, tout au long de l’intervention
Nous nous efforçons de suivre le plan et de l’ajuster au besoin	Le plan va changer, peut-être même totalement
Nous suivons en priorité les activités et le coût du projet, et ensuite les effets	Nous suivons en priorité les effets du projet, et ensuite les activités et les coûts
Nous apprenons à la fin du projet pour les futures interventions	Nous apprenons tout au long du projet pour cette intervention et celles à venir
Nous devons essayer de tout réussir	On ne peut pas tout réussir. L’échec fait partie d’une intervention

Incidence de la méthode agile sur la planification de projet

53. Comme nous l’avons déjà mentionné, l’examen a révélé une divergence de vues entre les personnes consultées en ce qui concerne la définition minimale des exigences, des livrables et de l’échéancier du projet. Rappelons qu’il s’agit là des principes préconisés par la méthode agile, laquelle représentait le modèle de gestion sur lequel reposait le projet lié aux mesures d’adaptation pour les tests en ligne non supervisés d'évaluation de langue seconde.

54. Selon les personnes consultées qui préconisaient la méthode agile, cette approche a permis à l’équipe du projet d’être efficace en lui donnant l’occasion de faire plusieurs choses simultanément, de ne pas trop mettre l’accent sur la planification à long terme, car il est impossible de planifier au préalable une liste quasi parfaite d’exigences, et elle a surtout offert plus de flexibilité et de rapidité en matière de prise de décisions. Par exemple, ces répondants ont souligné que le projet a été réalisé dans les meilleurs délais parce que l’accent a été mis sur le développement du contenant plutôt que sur le contenu. Autrement dit, on a accordé davantage d’importance à la conception préalable de la plateforme sans nécessairement attendre que tous les tests aient été complétés avant de passer aux autres tâches prévues pour ce projet.

55. Pour certaines des autres personnes consultées, l’absence d’une définition claire des livrables ou des exigences dès le début du projet est une des plus grandes lacunes observées dans la gestion du projet. Selon ces répondants, cette approche de gestion de projet a suscité une certaine ambigüité autour du projet et a donné lieu à des retards qui auraient pu être évités si l’équipe de projet avait préalablement pris plus de temps pour planifier le projet.

56. Il faut dire que cette divergence de vues renvoie à une différence fondamentale entre la méthode classique de gestion de projet et la méthode agile en ce qui a trait aux facteurs importants dont il faut tenir compte à l’étape de planification d’un projet. Dans l’approche classique, la planification d’un projet est une décision qui consiste à déterminer à l’avance les moyens que le mandataire veut prendre pour produire et livrer l’extrant du projet, avec les ressources disponibles, dans le respect des contraintes.^{Note de bas de page 13} Selon cette approche classique, la planification d’un projet doit être réalisée avec le plus grand soin, car elle constitue une condition sine qua non pour l’exécution du projet.^{Note de bas de page 14}

57. La méthode de gestion agile se situe à l’autre extrémité du continuum en matière de gestion de projet. Selon ce modèle de gestion de projet, l’équipe de projet ne planifie pas tout d’un coup. Au contraire, elle planifie une petite partie, livre, apprend, puis planifie de nouveau un peu plus loin dans un cycle continu. Au lieu de tracer un chemin précis et prédéterminé pour atteindre son but, la planification agile tient compte des résultats intermédiaires (appelés jalons) et organise les cycles de planification des activités plus courts autour de ces repères.^{Note de bas de page 15}

58. À titre illustratif, certaines des personnes consultées ont mentionné que les clients s’attendent à obtenir un produit parfait tout d’un coup. Une telle attente n’était pas tout à fait réaliste dans ce cas en raison de la nature du projet. Certains des répondants ont expliqué que dans le monde numérique, il arrive souvent que les équipes de travail aient du mal à présenter des estimations précises, parce que ces équipes travaillent habituellement avec de nouvelles technologies ou sur des projets qui semblent être vagues au début. Par conséquent, une définition des livrables à chaque étape semblait plus réaliste.

59. Au-delà de cette divergence de vues, nous avons constaté que certains facteurs sont cruciaux pour mener à bien un projet. Il s’agit de facteurs déjà soulevés dans la section 2.1 et qui portent essentiellement sur la disponibilité des personnes-ressources requises avant le démarrage d’un projet, notamment l’importance d’avoir un chef de projet et un analyste d’affaires et de veiller à ce que les principaux intervenants ont une compréhension commune des livrables du projet.

60. Compte tenu de leur expérience, les personnes consultées ont soulevé d’autres considérations dont il faut aussi tenir compte pour assurer la réussite d’un projet. Elles comprennent une compréhension commune de la méthode de gestion utilisée ainsi qu’une liste précise des exigences minimales comprises par toutes les parties prenantes dès le début du projet. Pour ces personnes, il est difficile de mettre efficacement en œuvre une méthode agile si les différentes composantes de l’équipe de projet ne partagent pas la même compréhension de cette approche et ne s’entendent pas sur sa pertinence.

61. Dans le cas du projet lié aux mesures d’adaptation pour les tests en ligne non supervisés d'évaluation de langue seconde, certaines des personnes consultées ont affirmé qu’une compréhension commune et suffisante parmi toutes les composantes de l’équipe du projet à propos de la méthode de gestion du projet et des attentes aurait pu être améliorée dès l’étape de la planification. Par exemple, étant donné que le produit minimum viable est un élément clé de la méthode agile, un consensus aurait dû être obtenu entre les divers intervenants, non seulement par rapport aux fonctionnalités minimales requises pour le projet, mais aussi en matière d’exigences de sécurité informatique et de contrôles minimum requis devant être faits lors de la mise en œuvre du projet.

62. À cet égard, certaines des personnes consultées ont estimé que la gestion des données, tout comme la sécurité informatique et la production de rapports aux fins de communication, devraient être prises en considération comme étant des exigences fondamentales dans les solutions numériques mises en place à la CFP, dès la phase de planification.

63. En ce qui concerne la gestion de données, l’équipe d’examen a appris que cette composante avait fait l’objet de discussions à l’étape de planification du projet, mais elle n’avait pas été retenue comme faisant partie de la portée du projet en raison de l’urgence d’agir. Or, il s’agit d’une dimension essentielle de la mise en œuvre optimale des projets ayant une composante numérique. En effet, comme l’avait conclu l’évaluation formative de la mise en œuvre de la stratégie de gestion des données de la CFP approuvée en 2020 ^{Note de bas de page 16}, il convient d’envisager l’élaboration et la documentation préalable de la procédure d’assurance de la qualité des données afin de soutenir l’amélioration des pratiques de gestion des données, une fois que des solutions nouvelles ou actualisées sont mises en place.

64. Étant donné que la plateforme a été développée en tenant compte des besoins futurs de la CFP en matière de solution numérique, une plus grande considération aurait pu être accordée aux préoccupations liées à la gestion et à la qualité des données. Dans cette perspective, la Direction des services de technologie de l’information pourrait collaborer avec la Direction des services de données et de l’analyse en vue d’assurer une meilleure intégration des exigences relatives à la gestion des données dans la planification des projets ayant une composante numérique. Cela permettrait de promouvoir une mise en œuvre optimale des solutions numériques à la CFP.

65. Une meilleure communication avec le client à l’étape de planification du projet aurait permis de réduire les écarts observés par rapport aux fonctionnalités retenues comme faisant partie du produit minimum viable, pour favoriser une plus grande efficacité dans l’exécution du projet. De même, il a été suggéré d’établir un cadre de référence sommaire (2 à 3 pages au maximum) pour assurer une meilleure planification des projets similaires à l’avenir. Ce document pourrait contenir un aperçu général du plan de travail, un calendrier avec les échéances prévues, et une brève description des rôles et responsabilités de chaque partie.

Incidence de la méthode agile sur l’exécution du projet

66. Lors de l’exécution du projet, la définition de l’ordre de priorité des activités a été effectuée conformément à la méthode agile, c’est-à-dire qu’elle a été faite tout au long de l’intervention, au fur et à mesure de l’évolution du contexte, des besoins et des ressources. L’examen a relevé des points de vue divergents quant à cette approche de la définition des priorités. Cette divergence s’explique, comme nous l’avons déjà mentionné, par un manque de compréhension commune des fondements de l’approche utilisée pour la gestion de ce projet.

67. Pour certains répondants, l’ordre de priorité des activités a été défini en fonction de l’objectif global du projet et de la cible définie pour chacune des activités principales. La liste par ordre de priorité des tâches de chaque équipe a été actualisée à chaque cycle court de planification. Pour d’autres répondants, cette définition des priorités aurait pu être améliorée. Pour ces derniers, les priorités concurrentes sur lesquelles travaillaient la Direction des services de technologie de l'information et le Centre de psychologie du personnel ont posé un défi pour une mise en œuvre efficace du projet. Pour ces répondants, une bonne hiérarchisation des priorités est nécessaire pour optimiser le délai d’exécution du projet et assurer que les ressources humaines dédiées au projet sont disponibles en temps voulu.

68. Toutefois, plusieurs des personnes consultées ont jugé qu’il y a eu une bonne gestion des risques dans le cadre du projet. En effet, les risques potentiels ont été cernés à temps et des mesures ont été prises pour les atténuer. L’équipe d’examen a aussi constaté que la structure de gouvernance du projet a permis d’assurer le respect de l’échéancier et que la portée du projet a été ajustée au fur et à mesure de son exécution, pour mettre l’accent sur l’essentiel du travail à accomplir.

69. Quant aux améliorations qui pourraient être prises en considération pour des projets similaires, une grande majorité des personnes consultées ont suggéré, premièrement, qu’il faudrait une disponibilité accrue du client pour tester les fonctionnalités au fur et à mesure de leur développement par la Direction des services de technologie de l’information. Il faudrait assurer une participation accrue du client tout au long de l’exécution du projet. Cela permettrait de s’assurer que les fonctionnalités développées correspondent bien aux caractéristiques voulues par le client. Les répondants ont aussi souligné l’importance de veiller à ce que la traduction du contenu de chaque fonctionnalité développée se fasse en temps opportun.

70. Deuxièmement, les personnes consultées ont déclaré qu’en raison de l’urgence à développer la plateforme dans les meilleurs délais, il y avait des lacunes dans la documentation des livrables, notamment en ce qui concerne les nouvelles fonctionnalités développées. À l’avenir, il faudrait prévoir du temps pour bien documenter chaque nouvelle fonctionnalité au fur et à mesure qu’elle est créée, de façon à éviter toute ambiguïté dans l’exécution du projet.

71. Dans le même ordre d’idées, l’équipe d’examen a constaté une certaine lacune dans la documentation ou le contrôle des coûts du projet, puisque l’équipe de projet ne disposait pas des outils et programmes informatiques nécessaires pour assurer le suivi des dépenses engagées pour ce projet. C’est un aspect important de la gestion de projet qui, selon l’information recueillie, devrait être pris en considération dans de futurs projets en vue de déceler et de corriger en temps opportun tout éventuel dépassement de coût. Dans la gestion de projet, la documentation ou l’estimation la plus juste possible des coûts engagés n’est pas simplement une question d’exactitude comptable, mais également une préoccupation de gestion.

3. Conclusion

72. Selon la majorité des personnes consultées dans le cadre de cet examen, le projet lié aux mesures d’adaptation pour les tests en ligne non supervisés d'évaluation de langue seconde est un succès, car la CFP a pu mettre en place une plateforme pour l’administration des examens en quelques mois, pour répondre aux attentes des personnes qui ont besoin de mesures d’adaptation. C’est aussi un succès compte tenu des délais serrés et des circonstances exceptionnelles dans lesquelles la CFP a développé cette plateforme.

73. L’équipe d’examen a appris que la plateforme a été développée selon les meilleures normes de l’industrie et en tenant compte des besoins futurs de la CFP en matière de solution numérique. Par exemple, la plateforme a été développée en utilisant des outils modernes respectant les normes infonuagiques, ce qui facilitera son transfert vers une plateforme infonuagique lorsque la CFP sera prête pour ce virage.

74. L’examen a aussi permis de signaler des bonnes pratiques et dégager les leçons apprises en matière de planification, de gouvernance et de gestion d’un projet ayant une composante numérique. L’équipe d’examen a déterminé qu’avant d’entamer un tel projet, il est primordial de s’assurer que l’équipe de projet comprend un chef de projet et un analyste d’affaires. Il est aussi important de s’assurer, dès l’étape de planification, que les principaux intervenants ont une compréhension commune de l’approche de gestion du projet, des attentes et de la portée des livrables prévus dans le cadre du projet. L’équipe d’examen a appris que pour optimiser l’ordre de priorité et l’affectation des ressources à un projet, il est important que tous les secteurs concernés travaillent ensemble et coordonnent leurs efforts dès l’étape de planification. De même, dans les solutions numériques, il est important de prendre en considération certaines exigences essentielles dès l’étape de planification, comme la gestion et la qualité des données, la sécurité informatique et la production de rapports aux fins de communication. Cela permettrait de promouvoir une mise en œuvre optimale des solutions numériques à la CFP.

75. La structure de gouvernance a été déterminante pour la réussite de ce projet. L’équipe d’examen a confirmé que ce projet a été couronné de succès, car la CFP a rapidement mis en place une équipe d’experts qui ont bénéficié de l’engagement et du soutien de la haute direction, avec une structure de gouvernance souple et efficace. Cette collaboration à tous les niveaux a permis, selon les personnes consultées, de prendre des décisions de manière opportune et efficace pour résoudre les problèmes et relever les défis qui se sont posés pendant le déroulement du projet.

76. En ce qui concerne l’adoption de la méthode agile comme approche de gestion du projet, il faut souligner que bon nombre des personnes consultées ont jugé que cette méthode est un des facteurs qui ont largement contribué au succès du projet. Toutefois, l’équipe d’examen a pu constater qu’il est difficile de mettre cette approche en œuvre efficacement si les différentes composantes de l’équipe de projet ne partagent pas la même compréhension de l’approche « agile » et de la façon dont elle sera mise en œuvre.

 

Annexes