Document d'orientation pour l'examen neutre de la fonction d'évaluation ministérielle

Table des matières

• Remerciements
• 1.0 Introduction
• 2.0 Objet des examens neutres
• 3.0 Rôles du chef de l'évaluation et du comité d'évaluation ministériel dans le cadre des examens neutres
• 4.0 Développement de l'approche et de la portée de l'examen
• 5.0 Détermination de la période d'examen
• 6.0 Élaboration du cadre d'examen
• 7.0 Pour effectuer un examen neutre
• 8.0 Points à considérer en matière de rapport
• 9.0 Références

Remerciements

Le présent document a été rédigé par le Centre d'excellence en évaluation du Secrétariat du Conseil du Trésor du Canada (Secrétariat). Le Centre tient à remercier les ministères et les organismes qui en ont examiné et commenté les ébauches.

1.0 Introduction

Il incombe aux administrateurs généraux de surveiller la conformité de leur ministère ou organisme à la Politique sur l'évaluation de manière à en assurer une mise en application efficace. Aux termes de l'article 7.1 de la Politique, ils doivent « veiller à ce qu'une évaluation neutre de la fonction d'évaluation de leur ministère soit effectuée au moins à tous les cinq ans. »

Le Secrétariat a élaboré le présent document d'orientation dans le but d'aider les ministères à préparer et à effectuer les examens. Chaque ministère peut organiser l'examen de manière à combler au mieux ses besoins en matière d'information et ceux de son administrateur général.

Afin de se conformer à la Politique, tous les grands ministères et organismes devront effectuer et faire approuver leur premier examen neutre d'ici le 31 mars 2014. Chaque examen neutre subséquent devra être approuvé au plus tard cinq ans après le précédent^{Voir la note en bas de page 1}.

Il est précisé à l'article 2.2 de la Politique sur l'évaluation que l'application de l'exigence d'examen neutre est reportée dans le cas des petits ministères et organismes, c'est-à-dire les organisations dont les niveaux de référence annuels et les recettes à valoir sur le crédit sont inférieurs à 300 millions de dollars.

2.0 Objet des examens neutres

L'objet premier des examens neutres consiste à aider les administrateurs généraux à s'acquitter de leur responsabilité de surveillance de la conformité à la Politique sur l'évaluation en vue d'en assurer la mise en application efficace. Les ministères peuvent utiliser l'information recueillie dans le cadre de ces examens pour apporter des améliorations à leur fonction d'évaluation et pour établir des repères afin de faire le suivi des progrès ou des changements.

3.0 Rôles du chef de l'évaluation et du comité d'évaluation ministériel dans le cadre des examens neutres

À titre de dirigeant de la fonction d'évaluation de son ministère, le chef de l'évaluation informe l'administrateur général et le comité d'évaluation ministériel de l'exigence d'effectuer un examen neutre au moins une fois à tous les cinq ans. De plus, il indique la date limite pour achever le prochain examen neutre. De plus, le chef de l'évaluation ou le comité d'évaluation ministériel peut proposer à l'administrateur général des approches pour effectuer l'examen neutre ainsi qu'expliquer les points forts et les points faibles de chaque approche. Les propositions peuvent comprendre les éléments suivants :

• Objectifs à cibler dans le cadre d'examen
• Approche, portée et période pertinentes aux fins de l'examen : les éléments visés par l'examen, les méthodes et les données devant être utilisées et les sources des données en question
• Mesures qui seront employées pour s'assurer que l'examen est neutre (p. ex., les considérations relatives à la gouvernance et à la surveillance de l'examen de même qu'à la participation appropriée de l'unité de l'évaluation)
• Approche utilisée pour les rapports sur l'examen

Étant donné que le chef de l'évaluation, l'unité de l'évaluation et le comité d'évaluation ministériel sont les principaux intervenants dans la fonction d'évaluation ministérielle, il est conseillé aux ministères d'examiner attentivement la nature et la portée de leur participation de manière à garantir la neutralité de l'examen.

4.0 Développement de l'approche et de la portée de l'examen

Les examens requis en application de l'article 7.1 de la Politique sur l'évaluation ont trait à la fonction d'évaluation et non simplement à l'unité ou à la direction de l'évaluation.

Il est conseillé aux ministères de prendre en compte tous les éléments de leur fonction d'évaluation en vue de déterminer s'il convient ou non de les examiner. Cela dit, les ministères peuvent choisir l'approche et la portée de l'examen qui s'avéreront le plus utile et qui répondront à leurs besoins. Les éléments à examiner peuvent comprendre le comité d'évaluation ministériel ainsi que ses rôles et responsabilités tels que décrits dans la Politique sur l'évaluation ou encore les gestionnaires de programmes et leurs rôles et responsabilités entourant la mesure du rendement à titre d'élément servant à étayer les évaluations.

Une fois l'approche choisie et la portée établie, les ministères peuvent les documenter dans un cadre d'examen qui énonce les méthodes, les sources de données et les travaux d'analyse prévus.

Voici certaines approches possibles pour effectuer un examen neutre :

• Examen exhaustif de la conformité, exigence par exigence

  Cette approche comprend un examen de la liste détaillée des exigences de la Politique (ce qui inclut la Politique sur l'évaluation, la Directive sur la fonction d'évaluation et les Normes d'évaluation pour le gouvernement du Canada) afin de formuler des conclusions au sujet de la conformité à chaque exigence et de l'efficacité de la mise en application.

• Examen par thème

  Cette approche consiste à examiner la fonction d'évaluation relativement à des thèmes (p. ex., la gouvernance, les pratiques de gestion, les pratiques d'évaluation et le recours aux évaluations) en vue de tirer des conclusions au sujet de la conformité à la Politique et de l'efficacité de sa mise en application. Chaque thème serait examiné par la consolidation des exigences de la Politique connexes et, s'il y a lieu, des procédures, des processus et des pratiques connexes de l'organisation.

• Examen fondé sur les valeurs

  Par cette approche, l'examen de la fonction d'évaluation vise à déterminer si elle évoque les valeurs clés ou les qualités qui sont importantes pour obtenir les résultats attendus de la Politique sur l'évaluation. Les valeurs en question peuvent comprendre la crédibilité, l'indépendance et l'utilité des produits de l'évaluation. L'examen pourrait aligner chaque exigence de la Politique, toute procédure et pratique et tout processus organisationnels connexes avec les valeurs clés qu'il appuie. On pourrait tirer des conclusions sur la mesure dans laquelle les valeurs clés ont été évoquées en tenant compte de la conformité aux exigences de la Politique et de la mise en application efficace de la Politique.

• Examen fondé sur le risque et examen ciblé

  Conformément à ces approches, des facteurs contextuels et des facteurs de risque sont pris en compte de manière à concentrer l'examen sur des aspects particuliers de la fonction d'évaluation, par exemple :

  • L'approche peut consister à examiner toutes les exigences de la Politique dans une certaine mesure, mais à examiner certaines exigences de manière plus approfondie.
  • L'approche peut consister à examiner un sous-ensemble d'exigences de la Politique afin de tirer des conclusions de portée plus générale sur la conformité à la Politique. Les conclusions pourraient alors être classées par thème, par principe ou par valeur.
  • La sélection des exigences de la Politique, des thèmes, des principes de l'évaluation et des valeurs à examiner ainsi que l'exhaustivité de l'examen pourraient se fonder sur les forces et les faiblesses connues ou perçues de la fonction d'évaluation du ministère ou sur ses priorités d'amélioration.
  • Dans de rares cas, par exemple, lorsqu'un ministère fait l'objet de changements organisationnels d'envergure ou que sa fonction d'évaluation n'a pas encore été établie parfaitement, on pourrait mettre davantage l'accent sur la capacité de produire des renseignements dans le cadre de la fonction d'évaluation plutôt que sur l'utilisation de ces renseignements à l'appui du processus décisionnel.

5.0 Détermination de la période d'examen

La Politique sur l'évaluation stipule qu'un examen neutre doit être mené au moins une fois à tous les cinq ans, mais elle précise ni la période ni le nombre d'années que doit couvrir l'examen.

Les ministères peuvent choisir une période correspondant à leurs besoins d'information et à ceux de leur administrateur général; ils peuvent aussi tenir compte des facteurs contextuels pertinents.

Les ministères peuvent décider d'effectuer l'examen sur la période de cinq ans écoulée depuis l'examen neutre précédent ou de se concentrer sur la situation actuelle pour certains aspects de l'examen et sur la période de cinq ans pour d'autres aspects (par exemple, ceux qui concernent la portée des évaluations).

6.0 Élaboration du cadre d'examen

Une fois que le ministère a choisi l'approche, la portée et la période pour l'examen neutre, il peut élaborer un cadre qui précise les éléments devant être examinés (p. ex., les exigences de la Politique, les thèmes et les valeurs), les méthodes de collecte de données, les sources de données et les analyses prévues.

Les ministères peuvent personnaliser le cadre d'examen en fonction de leurs besoins. Ils peuvent y incorporer tous les éléments qu'ils jugent utiles et déterminer en quoi les éléments seront examinés. Ils peuvent aussi établir le degré d'effort requis pour effectuer un examen qui sera suffisamment robuste et fiable. Un examen neutre antérieur de la fonction d'évaluation peut aider à calibrer les examens neutres subséquents, par exemple, en modifiant les éléments ciblés ou la portée.

Les ministères peuvent recueillir uniquement les données primaires, les données secondaires ou les deux, et ils peuvent recourir à différentes méthodes de collecte, par exemple, l'examen de documents, des entrevues ou des consultations, des groupes de réflexion, des études de cas sur des projets d'évaluation donnés et des comparaisons interministérielles des structures, des processus ou des procédures d'évaluation.

Les sources de données secondaires peuvent comprendre la stratégie de mesure du rendement de l'unité de l'évaluation, les sondages ou les consultations auprès de clients à la suite des évaluations, des examens ou des études de la direction, d'autres examens, les plans d'évaluation ministériels et les rapports annuels sur la mesure du rendement qui sont préparés par l'unité de l'évaluation ou le chef de l'évaluation.

7.0 Pour effectuer un examen neutre

Pour qu'un examen soit neutre, il doit être gouverné, conçu, exécuté et présenté de manière impartiale. Les gens qui effectuent des examens neutres ne devraient pas permettre que des relations ou intérêts officiels, professionnels, personnels ou financiers influent sur l'examen ou en limitent la portée et la rigueur, nuisent à la communication de renseignements ou aient comme effet de diluer ou de fausser les constatations. Ils doivent éviter que des idées préconçues, des préjugés ou des partis pris aient une incidence sur l'analyse des données recueillies dans le cadre de l'examen, la formulation des constatations et des conclusions ou sur le ton et le contenu du rapport d'examen.

Les administrateurs généraux peuvent déterminer le moyen approprié pour garantir la neutralité de l'examen. À titre d'exemple, l'examen peut être supervisé ou dirigé et effectué par des parties extérieures à la fonction d'évaluation du ministère (p. ex., une unité organisationnelle distincte ou un comité directeur). Si l'administrateur général le juge approprié, par contre, l'examen peut être mené par le chef de l'évaluation ou le comité d'évaluation ministériel. Il peut alors comprendre un mécanisme d'étude approfondie et de validation par des pairs ou des spécialistes extérieurs à la fonction d'évaluation du ministère à certaines étapes clés du processus d'examen, entre autres, lors du processus de passation de marché (le cas échéant), lors des travaux d'examen proprement dits et au moment de la révision des résultats provisoires et définitifs de l'examen.

C'est aux administrateurs généraux qu'incombe la responsabilité relative aux examens neutres. Il lui est donc conseillé d'approuver l'approche, le cadre d'examen et le rapport d'examen définitif.

8.0 Points à considérer en matière de rapport

Les ministères peuvent établir la présentation des rapports en fonction de leurs besoins, mais il leur est conseillé de prendre en compte les besoins immédiats des lecteurs, les besoins des personnes qui procéderont au suivi de l'examen et des personnes qui concevront les examens subséquentes.

9.0 Références

• Groupe des Nations Unies pour l'évaluation, Comité d'aide au développement, Framework for Professional Peer Reviews (en anglais seulement).