Archivé - Validation de l’autoévaluation de la fonction d’évaluation
Présenté au comité
de vérification et d’évaluation
le 9 décembre, 2013
Le ministère des Finances a retenu les services de Public Accountability Consulting Inc. pour valider une auto-évaluation de la fonction d’évaluation afin de répondre aux exigences de la Politique sur l’évaluation du Conseil du Trésor concernant une évaluation impartiale.
Nous avons examiné l’autoévaluation, les documents et les études d’évaluation, réalisé des entrevues et mené un groupe de discussion auprès d’évaluateurs ministériels. Nous avons attribué des notes au Ministère en ce qui concerne les exigences de la Politique du CT.
Nous sommes d’accord avec les conclusions du rapport d’auto-évaluation et sommes d’avis que : le ministère des Finances et la fonction d’évaluation font preuve de conformité générale aux exigences de la Politique sur l’évaluation du Conseil du Trésor ainsi que les directives et les normes connexes.
Nous avons formulé deux recommandations relatives à l’amélioration.
Le ministère des Finances a retenu les services de Public Accountability Consulting Inc. pour valider une auto-évaluation de la fonction d’évaluation afin de répondre aux exigences de la Politique sur l’évaluation du Conseil du Trésor concernant une évaluation impartiale.
Ce document présente nos résultats.
La Politique sur l’évaluation du Conseil du Trésor confère aux administrateurs généraux la responsabilité d’instaurer une « fonction d’évaluation impartiale et solide dans leur ministère » et de veiller « à ce que leur ministère respecte la présente politique ainsi que la directive et les normes connexes ». Dans le cadre de la surveillance de la conformité à la présente politique, une évaluation impartiale de la fonction d’évaluation doit avoir lieu au moins tous les cinq ans. Il s’agit de la première évaluation impartiale effectuée par le ministère des Finances et elle devait être finalisée au plus tard le 14 mars 2014.
La validation / l’évaluation impartiale a pour objet :
- d’évaluer la conformité / le respect des activités d’évaluation du ministère des Finances par rapport à la Politique sur l’évaluation du Conseil du Trésor, aux directives et aux normes connexes;
- En plus d'évaluer la conformité, évaluer les pratiques de gestion, identifier les opportunités et fournir des recommandations pour l'amélioration.
On a retenu les services de PAC afin de valider une autoévaluation qui avait été préparée par la fonction d’évaluation au ministère des Finances. Afin d’effectuer cette validation, nous avons conçu une approche et des modèles adaptés pour pouvoir mener à bien ce projet. En vue de conserver la nature impartiale de cette validation, le Directeur principal, Planification ministérielle au ministère des Finances a assumé la responsabilité pour ce projet.
PAC a tenu des réunions initiales avec le responsable du projet et le Chef de l’évaluation en août 2013, afin de discuter du moment opportun et de l’approche concernant ce projet et aussi de discuter des essais qui seraient utilisés.
A ce moment-là, il n’y avait aucune directive publiée par le Conseil du Trésor concernant la conduite d’évaluations impartiales. Des lignes directrices sont à l’état d’ébauche et la présente évaluation impartiale est entièrement conforme à l’ébauche des directives du SCT qui a été diffusée. Puisque les travaux de la fonction d’évaluation ont pour objet de mettre en application la Politique sur l’évaluation du CT, ainsi que les éléments plus détaillés de la Politique sur l’évaluation, la validation de l’autoévaluation a été effectuée à l’aide des secteurs de responsabilité des administrateurs généraux qui sont énoncés dans la Politique sur l’évaluation : gouvernance, qualité des évaluations, utilisation des évaluations et la couverture de l’univers d’évaluation. Il s’agit des mêmes catégories utilisées par le SCT lors de ses évaluations de la composante de gestion « Évaluation » du Cadre de responsabilisation de gestion.
En août et en septembre 2013, l’équipe d’évaluation impartiale de PAC Inc. a examiné l’autoévaluation détaillée effectuée par la fonction d’évaluation, a réuni d’autres renseignements de base, examiné les études d’évaluation publiées sur le site Web du ministère des Finances ainsi que des documents clés, par exemple le plan d’évaluation quinquennal. L’équipe de PAC a choisi des cadres à interviewer et a finalisé la planification et les dispositions administratives. Au cours de la phase de travaux sur le terrain, nous avons évalué des documents, des rapports de CRG du SCT, des processus de planification d’évaluation et les outils et méthodologies d’évaluation utilisés au ministère des Finances. Nous avons examiné les processus de mission d’évaluation et de gestion du personnel et les dossiers d’évaluation. Nous avons mené des entrevues auprès des trois membres externes du Comité de vérification et d’évaluation, du Sous-ministre, du Sous-ministre adjoint, des membres de la haute direction des deux directions qui ont récemment fait l’objet d’une évaluation et du Chef de l’évaluation. On a mené un groupe de discussion auprès de membres du personnel de l’évaluation. L’équipe de PAC a examiné deux évaluations récentes plus en profondeur (Évaluation de la Direction de la politique de l’impôt et Évaluation de la Direction des communications et des consultations), y compris un examen des documents d’étude et des sondages auprès des clients préparés au terme de ces deux évaluations.
Tous les énoncés contenus dans l’autoévaluation ont été examinés et comparés aux éléments de preuve réunis. Nous avons attribué des notes au Ministère en ce qui a trait aux exigences de la Politique sur l'évaluation du CT, et nous les avons consignées dans des tableaux sommaires. Une fois notre analyse terminée, nous avons préparé notre énoncé de responsable de la validation de tiers et préparé notre rapport d’évaluation impartiale.
(Évaluation impartiale de la fonction d’évaluation)
- Le ministère des Finances Canada et la conformité de la fonction d'évaluation pour les exigences de la Politique du Conseil du Trésor sur l'évaluation, les directives et les normes connexes.
En outre, la validation évalue les pratiques de gestion pour identifier les opportunités et fournir des recommandations pour l'amélioration.
Dans l’exercice de nos fonctions de responsables de la validation, nous sommes entièrement autonomes par rapport à l’organisation visée, et nous possédons les connaissances et les compétences requises pour mener à bien cette mission. La validation, effectuée d’août à octobre 2013, visait principalement l'examen et la mise à l'essai des procédures et des résultats de l'autoévaluation ainsi qu’une notation du Ministère par rapport aux exigences de la Politique sur l'évaluation du CT.
En outre, on a effectué des entrevues auprès du Sous-ministre, du Sous-ministre adjoint, du Président et des membres externes du Comité de vérification et d’évaluation, certains cadres supérieurs et le Chef de l’évaluation. Un groupe de discussion a également été mené auprès de gestionnaires et du personnel de l’évaluation.
Nous sommes d’accord avec les conclusions du rapport d’autoévaluation et avec le point de vue suivant :
Le ministère des Finances et la fonction d'évaluation est en conformité générale * avec les exigences de la Politique du Conseil du Trésor sur l'évaluation, les directives et les normes connexes.
Original signé par
__________________________________
David Rattray, FCGA, FCIS, CIA, CMC
Responsable de la validation de tiers
Responsable adjoint de l’évaluation impartiale
Original signé par
__________________________
Alan Winberg, PHD, CE
Responsable de la validation de tiers
Responsable adjoint de l’évaluation impartiale
*Le respect des exigences de la Politique sur l’évaluation est évalué à l’aide de l’échelle suivante :
« Conformité générale » signifie qu’il n’y a aucune lacune substantielle, bien qu’il puisse y avoir certaines lacunes mineures.
« Conformité partielle » signifie qu’il y a une lacune substantielle et qu’il peut y avoir quelques lacunes mineures.
« Non-conformité » signifie qu’il y a plus d’une lacune majeure dans la pratique qui sont jugées comme étant si importantes qu’elles porteront une grave atteinte à la fonction d’évaluation ou l’empêcheront d’assumer adéquatement la totalité de ses responsabilités ou des volets importants de celles-ci.
La fonction d’évaluation est tenue en haute estime par les cadres ministériels en raison de ses travaux crédibles, opportuns, impartiaux et bien documentés. Le personnel est chevronné et bien renseigné concernant les programmes et les politiques du Ministère et il y a un taux relativement faible de roulement, ce qui permet la continuité dans l’exécution des projets et un niveau de productivité relativement élevé du groupe.
La fonction d’évaluation a fait preuve d’un degré très important d’innovation en ce qui a trait aux pratiques qu’elle a adoptées.
La fonction a adapté les méthodes d’évaluation uniformisées afin de permettre une évaluation pratique et pragmatique d’un ministère axé sur les politiques qui met en œuvre très peu de « programmes » gouvernementaux traditionnels.
Récemment, la fonction a entrepris des démarches qui visent à mener à bien les projets dans un délai de six mois.
Les rapports d’évaluation sont, en général, relativement brefs et concis; ce fait est grandement apprécié par les gestionnaires ministériels.
Il existe un système de suivi rigoureux qui fait en sorte que les plans d’action de la direction soient mis en œuvre de façon opportune.
Le calendrier prévu pour les collectes de données vise à minimiser le temps requis de la part de la direction, au sein du ministère des Finances, durant la période la plus intense des consultations budgétaires et de la préparation du budget.
La conclusion générale de la présente validation et évaluation impartiale est que la fonction d’évaluation est en conformité générale avec les exigences de la Politique sur l'évaluation du Conseil du Trésor, mais l’équipe d’évaluation impartiale a formulé plusieurs observations et recommandations concernant les pratiques exemplaires qui ont pour objet de tirer profit de ce fondement solide.
Les observations ci-dessous portent sur les sujets qui suivent :
Gouvernance : le format actuel du comité de vérification et d'évaluation fonctionne bien. Le format pré-réunion est une innovation productive. L’appui solide du sous-ministre (SM) a permis à la fonction de s’établir. Un comité qui dispense des conseils à la fois sur l’évaluation et la vérification interne a facilité la planification et la coordination des travaux de ces fonctions. L’impartialité du responsable de l’évaluation est rehaussée en raison de la relation hiérarchique directe avec le SM.
Qualité des évaluations : les techniques uniformisées ont été bien adaptées à l’évaluation d’un ministère axé sur les politiques. Le personnel est professionnel et les études ont répondu aux normes de qualité élevées.
Utilisation des évaluations : les travaux d’évaluation effectués jusqu’à ce jour se sont avérés utiles pour la gestion ministérielle. Une planification et des consultations judicieuses effectuées auprès de la direction au début de chaque étude constituent un investissement valable. La concision, la focalisation et le volume réduit des rapports, qui contiennent moins de texte au sujet des questions non controversées (par exemple, la pertinence continue des travaux d’évaluation effectués par les directions) sont des éléments très précieux. Un suivi continu effectué en vue de surveiller la mise en œuvre des plans d’action de la direction est très efficace.
Couverture de l’univers de l’évaluation : le plan quinquennal vise une couverture à 100 % et ceci est en pleine conformité avec la Politique. Lors de la deuxième ronde d’études, une approche davantage focalisée pourrait représenter une valeur plus élevée. Il est probable qu’une concentration sur les questions et priorités à risque plus élevé soit avantageuse.
La première ronde d’évaluations a permis une application des questions de base d’évaluation du CT liées à la fois à la pertinence et au rendement; ceci est en pleine conformité avec la Politique. Les questions de base sur la pertinence comprennent le besoin continu du programme ainsi que la conformité de celui-ci avec les priorités gouvernementales et avec les rôles et responsabilités du gouvernement fédéral. Étant donné que ces questions ont été évaluées lors de la première ronde des évaluations du ministère des Finances, et puisque la pertinence des fonctions de conseils stratégiques a été démontrée, sauf s’il se produit un changement important relativement à la matière examinée lors de la première ronde, le niveau d’effort requis pour examiner ces questions une deuxième fois peut être réduit. Ceci est conforme à la souplesse fournie dans la Directive sur la fonction d'évaluation en ce qui concerne l’application des questions de base. Il est prévu que cela permette à la fonction d’évaluation de cibler les questions principales de rendement et de produire des évaluations qui sont d’une utilité maximale pour les cadres supérieurs, étant donné l’importance des conseils stratégiques ministériels et les exigences fondamentales qui y sont associées.
L’autoévaluation interne effectuée par des responsables de la fonction d’évaluation du ministère des Finances tient compte de la capacité de fournir des renseignements sur l’évaluation, notamment : le caractère approprié de la structure et du ressourcement de la fonction d’évaluation; la planification et le champ d’application de l’évaluation; les processus et les activités de l’évaluation; la planification et la conception de l’évaluation; la gestion de projets d’évaluation; l’établissement de rapports sur l’évaluation. L’autoévaluation tient ensuite compte de la capacité de demander et d’utiliser les renseignements sur l’évaluation, y compris : l’utilisation de l’évaluation au niveau des organisations et au niveau individuel et la satisfaction des besoins des administrateurs généraux. La section finale de l’autoévaluation tient compte de l’environnement habilitant à l’appui de l’évaluation (sa conduite et son utilisation) au ministère des Finances, y compris l’existence d’un comité de niveau supérieur (CVE) pour fournir l’appui et la surveillance nécessaires de la fonction d’évaluation; accéder aux renseignements requis pour l’évaluation et les responsabilités des gestionnaires de projets.
Nous confirmons que :
- nous avons examiné les normes et les notations ainsi que les commentaires formulés dans l’autoévaluation;
- l'auto-évaluation couvre l'ensemble des exigences prévues par la Politique sur l'évaluation, les directives et les normes connexes;
- nous sommes d’accord avec les notations qui figurent dans l’autoévaluation et avec le fait que les commentaires fournissent une preuve adéquate pour appuyer ces dernières;
- les commentaires qui figurent dans l’autoévaluation étaient conformes à nos observations autonomes fondées sur l’examen de la documentation, l’examen des rapports affichés sur le site Web du ministère des Finances, l’examen approfondi de deux rapports récents d’évaluation, les entrevues et les groupes de discussion que nous avons menés.
Recommandations :
Étant donné que la fonction d’évaluation opère en pleine conformité avec la Politique sur l’évaluation, ces recommandations sont fournies à des fins d’examen de la gestion de la fonction en vue d’améliorer, potentiellement, ce qui fonctionne déjà bien.
Recommandation 1 : pour la deuxième ronde de ses évaluations, nous recommandons que le ministère des Finances envisage de préparer des rapports moins volumineux, qui ciblent les questions de risque, de priorité et d’intérêt les plus élevés concernant l’objet du rapport.
Recommandation 2 : nous recommandons que la fonction d’évaluation du ministère des Finances continue de tirer profit de la souplesse accordée aux ministères en vertu de la Politique sur l’évaluation du CT afin de réduire le niveau d’effort requis au cours des projets d’évaluation liés aux questions fondamentales de pertinence.
Réponse de la direction aux recommandations 1 et 2: Le chef de l'évaluation est d'accord et les deux recommandations sont actuellement mis en œuvre. Les deux recommandations devraient être pleinement mis en œuvre d'ici le 31 Mars 2015.
L’équipe d’évaluation impartiale souhaite exprimer son appréciation pour la collaboration et l’aide fournies par le Sous-ministre, le Sous-ministre adjoint, les membres du Comité de la vérification et de l’évaluation, la haute direction du ministère des Finances et le Chef de l’évaluation et le personnel de l’évaluation.
Détails de la page
- Date de modification :