Vérification des rapports externes sur le rendement : chapitre 4

3. Constatations

Dans l’ensemble, la vérification a révélé qu’une bonne gouvernance était en place à l’échelle ministérielle, tant pour ce qui est du Rapport ministériel sur le rendement (RMR) que pour les indicateurs canadiens de durabilité de l’environnement (ICDE). Les mesures de contrôle en place pour la production de rapports sur les ICDE sont efficaces, garantissant ainsi que les ICDE respectent les attributs de qualité. Toutefois, la gouvernance du RMR n’était pas suffisamment assurée par les processus et contrôles de gestion à l’échelle des directions générales pour rassembler, examiner et documenter les données et les renseignements sur le rendement et s’assurer qu’ils sont approuvés, présentés et soumis convenablement dans le RMR. La qualité des données et des renseignements sur le rendement présentés dans le RMR est par conséquent variable.

3.1 Gouvernance générale des rapports externes

La vérification a examiné la gouvernance liée à la production des rapports externes sur le rendement pour le RMR et les ICDE. Conformément aux précédents rapports du Bureau du vérificateur général du Canada et à la Politique sur la structure de gestion, des ressources et des résultats (SGRR) du Conseil du Trésor, Environnement et Changement climatique Canada était censé avoir une bonne gouvernance en place, garantissant :

• la coordination et le contrôle des divers cadres de mesure du rendement au sein du Ministère;
• l’intégration des données et des renseignements pertinents;
• la mise en place d’un système officiel de leçons apprises et de suivi.

Coordination et contrôle des divers cadres de mesure du rendement au sein du Ministère

Les rôles, les responsabilités et les processus d’approbation de la haute direction étaient en place lors de l’élaboration du RMR et de la production des rapports sur les ICDE. Le sous-ministre a délégué à la Direction générale des finances la responsabilité de mettre à jour le cadre de mesure du rendement (CMR) et de gérer les cycles du RPP et du RMR conformément aux lignes directrices du Secrétariat du Conseil du Trésor (SCT). La Direction générale de la politique stratégique (DGPS) est responsable de la production des rapports sur les ICDE. Le sous-mi. nistre (SM) et les sous-ministres adjoints (SMA) signent l’approbation finale pour l’ensemble des RMR et des rapports sur les ICDE

La coordination et le contrôle des divers cadres de mesure du rendement du Ministère, comme le RMR et les rapports sur les ICDE, ne présentaient pas de difficultés notables. Une bonne collaboration informelle entre les directions générales permettait de réduire le chevauchement des efforts. Par exemple, bon nombre des ICDE validés par la Direction générale des sciences et de la technologie (DGST) avaient été utilisés dans la préparation du RMR.  

Pour le RPP et le RMR, les rôles et les responsabilités de la haute direction ont été attribués, il y a avait un système d’autorisation fonctionnel, et la haute direction a assuré une supervision générale lors de la mise à jour du CMR, du RPP et du RMR.

La gouvernance au cours de la production des rapports sur les ICDE fonctionnait de manière adéquate. Une description de certains processus de gouvernance connexes peut être consultée à la section 2.2 sur les ICDE.

Intégration des données et des renseignements pertinents

Pour intégrer les données et les renseignements pertinents dans le RMR, la Direction générale des finances, par l’entremise de sa direction de la gestion ministérielle (DGM), communique aux diverses directions générales les exigences du SCT et les formats pour la mise à jour de l’architecture d’alignement des programmes (AAP) et du CMR et pour la préparation du RPP et du RMR. Les directions générales assument les responsabilités liées à la préparation et à la qualité du contenu du RPP, du RMR, y compris les informations sur le rendement par rapport aux résultats attendus.

Chaque direction générale a établi ses propres mesures et procédures pour élaborer et examiner le contenu du RMR. Au cours des dernières années, la DGM a fourni un soutien informel considérable aux directions générales pour les aider à soumettre leurs AAP, CMR et RMR. Par exemple, la DGM a aidé les directions générales à élaborer la définition de leurs résultats attendus ainsi que de leurs indicateurs et objectifs de rendement, et à utiliser une formulation claire aux fins d’inclusion dans le RMR. Toutefois, il n’y avait aucune orientation officielle supplémentaire sur les processus et contrôles de gestion appropriés pour compiler, examiner et consigner les données et les renseignements sur le rendement et garantir qu’ils sont correctement approuvés, présentés et soumis pour le RMR.

Tel que précisé ci-dessous dans la section 2.3 sur les données et les renseignements sur le rendement dans le RMR, les processus et les contrôles des directions générales n’ont pas toujours suffisamment soutenu la gouvernance ministérielle lors de la production du RMR et quant à la qualité des renseignements sur le rendement qu’il contient. La qualité des données et des renseignements sur le rendement présentés dans le RMR est par conséquent variable.

Un système officiel de leçons apprises et de suivi

La vérification a permis de constater que la gestion des leçons apprises a été sensiblement améliorée. Jusqu’à tout récemment, les leçons tirées quant à la production du RMR pour la DGM et les directions générales n’étaient pas officiellement consignées et elles ne faisaient pas l’objet d’un suivi. Faute d’une certaine forme de consignation officielle par le Ministère, les leçons apprises pourraient déjà avoir disparu ou pourraient ne pas être retenues dans les années à venir.

Pendant la vérification, la Direction générale des finances, sous la direction de la DGM, a entrepris officiellement des discussions portant sur les leçons apprises avec certains spécialistes de la planification sélectionnés dans l’ensemble du Ministère, qui sont également membres du Réseau de collaboration en planification. La DGM a commencé à utiliser un logiciel d’échange de renseignements et de coordination (SharePoint) pour consigner les mesures de la DGM relativement à la mise à jour du CMR de 2014-2015 et pour documenter les activités du Réseau de collaboration en planification (RCP). Au terme de la vérification, le RCP s’était réuni à deux occasions pour discuter des leçons tirées. Les membres ont fourni de nombreuses idées afin d’améliorer l’élaboration de rapports externes pour le RMR, comme le découpage de l’ensemble du processus en de plus petites étapes plus faciles à gérer, afin d’améliorer la clarté des présentations et de les envoyer plus rapidement à la DGM. D’autres suggestions comprenaient une meilleure utilisation des pages Web de SharePoint, l’amélioration de l’encadrement écrit et verbal au sein de la DGM et du réseau, et des façons d’améliorer la vitesse d’exécution globale et le processus d’approbation. La DGM a enregistré les rencontres sur SharePoint. Ces événements ont eu lieu vers la fin de la vérification, et nous n’avons observé aucune activité subséquente ou suivi sur les leçons apprises consignées.

3.2 Mesures de contrôle de la qualité des indicateurs canadiens de durabilité de l’environnement

Chaque jour, les Canadiens accèdent près de 300 fois par jour en moyenne aux renseignements relatifs aux ICDE à des fins personnelles, éducatives et économiques. Au cours des deux dernières années, Environnement et Changement climatique Canada a augmenté le nombre d’indicateurs publiés; il y en a maintenant plus de 50. Ces indicateurs sont importants pour la visibilité d’Environnement et Changement climatique Canada dans la collectivité et pour sa réputation scientifique.

Les indicateurs, élaborés grâce à des méthodes scientifiques, sont mis à jour au fur et à mesure que de nouvelles données deviennent disponibles. L’une des pages Web sur lesquelles est publié l’indicateur contient une liste de liens vers les sources de données et les méthodes, qui décrivent la façon dont les données sont recueillies et les limites de l’indicateur, et une autre page Web décrit l’indicateur en détail. La publication peut également contenir des liens vers d’autres sujets connexes.

La DGPS d’Environnement et Changement climatique Canada dirige le processus et son manuel de qualité pour les ICDE précise les étapes à suivre, propose des modèles et décrit les procédures de documentations requises. En collaboration avec les directions générales ou d’autres ministères gouvernementaux, la DGPS élabore de nouveaux indicateurs et met régulièrement à jour ceux qui existent déjà.

Au cours de l’élaboration ou de la mise à jour périodique d’un indicateur, la DGPS prépare un résumé pour entreprendre des discussions avec ses partenaires, dans le cadre de l’examen interne. Le résumé contient une évaluation notée de la pertinence des politiques, de l’utilité, du bien-fondé de la méthodologie et de la disponibilité des données.

Chacun des indicateurs en cours d’élaboration ou de mise à jour doit passer par un processus d’examen technique rigoureux, engagé par Environnement et Changement climatique Canada ou par d’autres ministères gouvernementaux, ainsi que par la DGPS. Dans le but de documenter cet examen, chaque suggestion ou commentaire reçu est inscrit sur un tableau qui répertorie toutes les interventions et leurs mesures. Dès qu’un consensus se dégage sur le fait que les données scientifiques sont solides et qu’un examen approprié a été effectué, les processus d’approbation sont suivis et mènent à l’approbation de la haute direction et du sous-ministre (SM) avant la production des rapports. La DGPS utilise un logiciel d’échange de l’information et de coordination (SharePoint) afin de consigner et de conserver tous les documents sur le travail effectué. Les fichiers sont organisés par indicateurs, ce qui permet de les récupérer pour de futures mises à jour et les leçons tirées.

La vérification a examiné les mesures de contrôle relatives à la qualité des ICDE pour vérifier si les indicateurs publiés sont robustes, exacts, fiables et opportuns, selon les critères de vérification. Les procédures de contrôle ont été examinées par l’entremise d’une enquête, de l’examen de documents et de la vérification d’un petit échantillon d’indicateurs publiés en ligne, pour contrôler l’application des contrôles de la qualité.

La DGVE a constaté qu’un cadre de travail et une orientation efficaces ont été définis; que l’élaboration et la mise à jour des processus liés aux ICDE ont été correctement documentées, et que l’examen et les approbations ont été faits en bonne et due forme. Les mesures de contrôle en place fonctionnaient efficacement et contribuaient à ce que les rapports externes sur les ICDE respectent les attributs de qualité.

3.3 Données et renseignements sur le rendement contenus dans le rapport ministériel sur le rendement

Afin d’évaluer la qualité des données et des renseignements communiqués à l’externe dans le RMR, la DGVE a examiné un échantillon de 18 résultats attendus sur un total de 48 résultats attendus pour les 34 programmes et sous-programmes indiqués dans le RMR de 2012-2013. La DGVE a examiné la rigueur, la fiabilité, l’exactitude et l’opportunité de chacun des 18 résultats. Une description de la méthodologie et de chacun des attributs de qualité des données et de l’information est fournie à l’annexe 1.

Processus et contrôles de gestion à l’échelle de la direction générale

Lors de la vérification, on a cherché des cadres de travail, des mesures de contrôle et des documents concernant l’établissement de rapports externes propres à chaque direction générale qui soient conformes à la part des responsabilités liées à l’établissement de rapports qui incombe à la direction générale en vertu du régime de gouvernance en vigueur. La vérification a également servi à trouver les processus et les contrôles de gestion appropriés à l’échelle de la Direction générale afin de compiler, d’examiner et de documenter les données et les renseignements sur le rendement, et de veiller à ce que les données et les renseignements présentés aux fins de soumission dans le RMR soient dûment approuvés, dans le but d’offrir un soutien suffisant à la gouvernance ministérielle au cours de l’établissement du RMR. La vérification a plus particulièrement servi à trouver: des processus de planification pour l’établissement des rapports externes, les rôles et les responsabilités pour contrôler l’examen technique et la révision des modifications, et une hiérarchie des approbations pour les présentations de chaque direction générale concernant le RMR. D’après l’examen des échantillons effectué par la DGVE, aucune des directions générales examinées ne disposait d’un processus formel pour s’assurer que la direction planifie et effectue correctement l’examen du matériel de production de rapports sur le rendement. Les directions générales se sont appuyées sur leurs coordonnateurs désignés pour organiser la collecte de l’information devant figurer dans le RMR, conformément aux directives du SCT communiquées par la DGM dans le cadre de son cycle annuel de production de rapports. Avant de donner leur approbation, tous les gestionnaires de programme ou de sous-programme ont établi leurs propres attentes en matière de qualité et ont effectué eux-mêmes un examen technique et un examen de la qualité des modifications effectuées.

Les directions générales et la DGM ont utilisé des courriels et une variété de formats de documents et de liens hypertextes pour enregistrer le travail de préparation du RMR. Aux fins de la vérification, plusieurs programmes et sous-programmes ont eu de la difficulté à produire suffisamment de documents pour prouver clairement le travail qui avait été fait pour acquérir et intégrer les données et les renseignements nécessaires dans le but de préparer leurs soumissions pour le RMR, et pour montrer qu’un examen technique approprié et une approbation avaient eu lieu. La DGVE a tenu compte du fait qu’une instruction de travail détaillée est en cours d’élaboration au Service météorologique du Canada dans le cadre du système de gestion de la qualité de la Direction générale, et ce, afin d’assurer que les approbations appropriées sont obtenues et que les dossiers appropriés sont conservés.

Bien que l’ensemble du matériel du programme ait été approuvé par les sous-ministres adjoints de la Direction générale aux fins de soumission dans le cadre du RMR, les processus et les contrôles de gestion et de documentation de la Direction générale n’ont pas assuré la constance de la qualité des données et des renseignements déclarés dans le RMR.

Résultats liés à l’échantillonnage

Pour les 18 échantillons examinés, la DGVE a observé que quatre échantillons avaient respecté les quatre attributs de qualité, et que deux d’entre eux n’avaient satisfait à aucun des attributs. Les résultats détaillés de l’essai ont été partagés avec les directions générales respectives. Le tableau ci-après résume les résultats liés à l’échantillonnage :

D’après l’examen de l’échantillon, la vérification a permis de constater l’importance relative du matériel (voir l’annexe 1 pour la définition) en ce qui a trait à la rigueur, à la fiabilité, à l’exactitude et à l’opportunté des résultats réels déclarés dans le RMR. Comme décrit ci-dessous, plusieurs raisons expliquent le fait qu’un tel nombre d’échantillons n’aient pas satisfait aux attributs de qualité.

En ce qui concerne l’attribut de qualité de la rigueur, dans deux cas Environnement et Changement climatique Canada cherchait encore des sources de données convenables et uniformes qui pourraient être reproductibles. Dans les deux autres cas, Environnement et Changement climatique Canada dépendait d’une contribution externe qui n’a pas été apportée. Un manque de rigueur dans les méthodes liées à la collecte de données ou de renseignements peut également avoir entraîné une incapacité à respecter les autres attributs de qualité.

À titre d’exemple d’un manque de rigueur, le résultat attendu pour un échantillon^Note3 était une « réduction des émissions découlant de la mise en œuvre de nouvelles technologies environnementales ». La DGVE a choisi d’évaluer l’indicateur de rendement qui portait la mention « réduction annuelle des émissions de polluants atmosphériques (principaux polluants atmosphériques) découlant de l’utilisation de technologies environnementales ». L’indicateur avait cinq objectifs précis exprimés en mégatonnes pour la réduction des émissions de certains polluants. Dans le RMR, la colonne des résultats réels signalait une réduction totale de 16 tonnes en 2012 en ce qui concerne les polluants atmosphériques. Cette colonne indiquait aussi que les mesures liées aux substances individuelles n’étaient pas disponibles. Environnement et Changement climatique Canada avait besoin de la contribution de trois organismes externes, mais un seul d’entre eux a fourni des données à temps pour qu’elles soient incluses dans la colonne des résultats réels du rapport ministériel sur le rendement. Le Ministère s’est appuyé, pour établir le chiffre de 16 tonnes, sur le seul rapport fourni par une entité externe. De plus, Environnement et Changement climatique Canada n’a pas été en mesure de réviser ou de vérifier la validité de ce chiffre.

À titre d’exemple d’un manque d’exactitude, le résultat attendu pour un échantillon^Note4 était que « les secteurs visés disposent des renseignements météorologiques et environnementaux nécessaires pour mener leurs activités de façon efficace et sécuritaire ». L’indicateur de rendement a été la combinaison du niveau de satisfaction des quatre principaux clients du SMC, y compris le ministère de la Défense nationale. Les résultats réels déclarés comprenaient un énoncé indiquant que le nombre de réponses fournies par la Défense nationale n’était pas suffisant pour qu’elles soient prises en considération. Sans les données complémentaires fournies par la Défense nationale, le résultat de 7,8 sur 10 qui a été déclaré n’aurait peut-être pas été exact.

En ce qui concerne la fiabilité, la DGVE a appris que, pour certains échantillons, l’alignement des résultats réels rapportés dans l’AAP et le CMR, tel qu’exprimé par l’indicateur de rendement ou le résultat attendu, n’était pas fiable puisque les données et les renseignements recueillis ne représentaient pas bien l’indicateur de rendement et les résultats attendus. Le manque de cohérence d’une année à l’autre constitue une autre raison qui explique pourquoi l’information n’était pas fiable. En effet, les données étaient recueillies de façon différente pour certains échantillons ou des changements avaient été effectués en ce qui a trait à l’AAP ou à l’indicateur depuis l’année précédente. Souvent, aucune explication n’était fournie pour expliquer le manque d’uniformité. Certains autres échantillons étaient présentés pour la première fois dans un rapport, et les restrictions liées aux données n’étaient pas expliquées.

À titre d’exemple de données et de renseignements recueillis qui représentaient mal l’indicateur de rendement ou le résultat attendu, le résultat attendu pour un échantillon sélectionné était « la conformité aux lois et aux règlements sur la pollution administrés par Environnement et Changement climatique Canada  ». L’indicateur de rendement était « la conformité aux règlements sélectionnés et présentés en vertu de cet indicateur : règlement sur le nettoyage à sec (projet pilote initial, autres règlements à ajouter) ». Les résultats réels rapportés dans le RMR lié à la Loi canadienne sur la protection de l’environnement (1999) et le (Règlement sur le tétrachloroéthylène (utilisation pour le nettoyage à sec et rapports) ont été choisis pour le projet pilote. Tout en reconnaissant les défis uniques posés en ce qui a trait à la mesure des mesures d’application de la loi, le projet pilote a suivi une méthodologie rigoureuse qui a produit des résultats exacts. Bien que le résultat réel présenté, c’est-à-dire un taux de conformité de 51 %, était exact en ce qui a trait à ces règlements, le règlement du projet pilote ne constituait qu’un règlement parmi plusieurs en vigueur en vertu des lois sur la pollution administrées par Environnement et Changement climatique Canada, et auxquelles on fait référence dans la section sur les résultats attendus du RMR. Cela n’était toutefois pas bien expliqué dans le RMR. Par conséquent, la fiabilité du résultat n’était pas suffisante pour que soient évaluées les réalisations en fonction de l’ensemble des indicateurs ou des résultats attendus, qui étaient axés sur les lois et les règlements en matière de pollution de façon plus générale. Le programme a l’intention de mettre en œuvre les leçons apprises dans le cadre du projet pilote, et d’évaluer à l’avenir plus de règlements afin d’être en mesure de dresser un portrait plus fiable du rendement. On constatedes incidences d’importance relative liées à la variabilité pour l’ensemble des données et de l’information présentées dans le RMR.

3.4 Sections Analyse du rendement et leçons apprises du rapport ministériel sur le rendement

La vérification a sélectionné six déclarations principales faites dans le RMR de 2012-2013, dans la section Analyse du rendement et leçons apprises, aux fins d’examen à partir des éléments échantillonnés précédemment. En raison de leur niveau de détail et du lien avec d’importantes initiatives en matière de programmes, ces déclarations sont essentielles pour informer le lecteur du RMR au sujet des activités du Ministère.

La DGVE a trouvé que les mesures de contrôle de la qualité de l’information fournie dans la section Analyse du rendement et leçons apprises étaient efficaces et apportaient une assurance sur la rigueur , l’exactitude et le degré d’actualité de cette information. Un point faible a été relevé à propos de la fiabilité : pour tous les éléments sélectionnés, l’analyse du rendement était incomplète, car le Ministère n’avait pas présenté les réalisations faisant l’objet d’un rapport du point de vue du résultat attendu ou prévu. Par exemple, on pouvait lire :

« a réalisé plus de 59 000 activités de promotion de la conformité en 2012-2013. La plupart de ces activités faisaient la promotion des 9 instruments de gestion du risque à priorité élevée en lien avec deux lois, soit la LCPE de 1999 (plus précisément le Plan de gestion des produits chimiques et le Programme de réglementation de la qualité de l’air), et la Loi sur les pêches ».

Bien que la DGVE ait vérifié la rigueur, l’opportunité, l’exactitude et la fiabilité de cette déclaration à tous les autres égards, celle-ci n’indique nullement au lecteur si le résultat obtenu était attendu, s’il s’agissait d’une amélioration ou d’un recul par rapport aux années précédentes.

3.5 Recommandations