Guide sur l’évaluation rapide de l’impact

Utilisation du présent document

Le présent guide donne un aperçu de la méthode d’évaluation rapide de l’impact (ERI) et de son meilleur usage au sein du gouvernement du Canada. Il est fondé sur les résultats de trois projets pilotes menés dans trois ministères fédéraux. Les projets pilotes ont utilisé une approche à méthodes mixtes et, par conséquent, ils ne devraient pas être considérés comme des modèles définitifs en ce qui concerne l’utilisation de l’ERI dans d’autres contextes. Les ministères sont priés d’adapter la méthode d’ERI en fonction de leurs exigences et de leurs besoins particuliers.

Remerciements

Le guide a été élaboré par le Centre d’excellence en évaluation du Secrétariat du Conseil du Trésor du Canada. Il est fondé sur des projets pilotes appuyés par M. Andy Rowe, Ph. D, qui a conçu la méthode d’ERI en 2004 et 2005 pour évaluer les effets environnementaux et économiques des décisions liées à la gestion des ressources naturelles.

La Division des résultats tient à remercier M. Rowe de son soutien et de ses conseils, ainsi que Ressources naturelles Canada, l’Agence de la santé publique du Canada et Sécurité publique Canada de leur participation aux projets pilotes. La Division remercie également les ministères et organismes qui ont examiné les versions préliminaires du présent document et fournit des commentaires.

Résumé : Qu’est-ce qu’une évaluation rapide de l’impact?

L’évaluation rapide de l’impact (ERI) offre une façon structurée de recueillir des jugements d’experts sur l’impact d’un programme. Une ERI fait appel à un certain nombre d’experts pour obtenir une juste perspective des impacts d’un programme et, au bout du compte, accroître l’acceptation et l’adoption des conclusions de l’ERI. Chaque expert évalue les résultats du programme par rapport à uncontrefactuel, lequel est un modèle de rechange du programme ou une autre situation, pour en évaluer l’impact par rapport aux solutions de rechange. Trois types d’experts sont consultés :

• intervenants du programme ayant une incidence sur le programme ou qui sont touchés par celui-ci;
• experts en la matière provenant de l’extérieur;
• conseillers techniques.

Glossaire

conseiller technique

expert interne ou externe (bien qu’il soit hors du programme) dans un domaine précis lié à l’évaluation, comme dans le contexte général du programme ou d’un domaine technique ou scientifique relatif au programme.

expert en la matière

universitaire ou autre expert interne possédant une expertise générale dans le champ d’activité du programme.

impact différentiel

la différence entre ce qui s’est produit lors d’une intervention et ce qui se serait produit dans une autre situation (le contrefactuel). Un impact différentiel est donc l’effet «  supplémentaire  » ou différentiel du programme sur un résultat, au-delà de l’effet que le contrefactuel n’aurait pu obtenir.

impact général

mesure agrégée, en pourcentage, de l’impact différentiel du programme pour l’ensemble des résultats. Par exemple, les experts en la matière peuvent évaluer à 15 % l’impact général du programme, ce qui signifie que la présence du programme, par rapport au contrefactuel, a entraîné un impact global de 15 % plus important.

Impacte

Effet à long terme, positif ou négatif, primaire ou secondaire, induit par une intervention à l’étape de développement, directement ou non, et intentionnellement ou non^{Voir la note en bas de page 1}. La définition des effets non intentionnels est un point fort de l’ERI parce qu’elle tient compte de nombreux points de vue.

intérêt

perspective ou point de vue sur un problème. Les intervenants du programme dont les intérêts doivent être pris en compte peuvent comprendre, entre autres, les bénéficiaires du programme, le gestionnaire du programme, les partenaires de mise en œuvre, les cadres et d’autres. Il est utile de disposer d’une définition suffisamment large des intérêts afin de veiller à ce que tous les points de vue pertinents soient obtenus.

intervenant du programme

personne qui a une incidence directe sur le programme ou est touchée directement par celui-ci, et a une connaissance approfondie de son fonctionnement.

résultat

conséquence externe attribuable en partie, à une organisation, à une politique, à un programme ou à une initiative. Les résultats ne découlent pas d’une seule organisation, d’une politique, d’un programme ou d’une initiative, mais ils s’inscrivent dans la zone d’influence de l’organisation.

résultat direct

effet découlant directement d’un programme ou d’une intervention. De tels effets sont généralement des résultats immédiats ou intermédiaires, selon l’intervention. Les «  résultats directs  » sont utilisés, car il est plus facile pour les experts de déterminer la probabilité et l’importance des effets d’un programme sur les résultats directs plutôt que sur les résultats indirects.

1.0 Introduction et aperçu

Une ERI est une façon structurée de recueillir des jugements d’experts sur l’impact d’un programme. Les ERI comprennent trois étapes principales :

1. Les évaluateurs créent un sommaire du programme, qui :
   • établit un consensus entre les groupes d’intervenants;
   • cerne des questions d’évaluation robustes et pertinentes;
   • affirme la légitimité des résultats et la probabilité qu’ils soient utilisés.
2. Les évaluateurs communiquent constamment avec trois groupes d’experts pour obtenir leur évaluation de l’impact de l’intervention par rapport à l’impact du contrefactuel fondé sur un scénario.
3. Les jugements d’experts sont analysés, pondérés et regroupés pour connaître l’impact général estimé du programme.

Ces étapes, ainsi qu’une étape de planification initiale, sont saisies dans l’organigramme de l’ERI à l’annexe A du présent guide.

Le contrefactuel fondé sur un scénario constitue la base d’une ERI. En consultation avec les groupes pertinents, l’évaluateur trouve une solution de rechange à l’intervention évaluée. L’objectif est de décrire ce qui aurait pu se produire si le programme avait été mis en œuvre différemment. La solution de rechange doit être plausible, faisable et légale. Les experts apprécient les résultats du programme évalué et ceux du contrefactuel.

Tout comme un groupe témoin dans un modèle expérimental, le contrefactuel rend possible l’évaluation de l’impact différentiel (la différence attribuable au programme) par rapport à ce qui se serait produit dans le cas d’un autre type de mise en œuvre du programme. Sans le contrefactuel, l’évaluation ne peut déterminer l’impact différentiel, car elle ne peut indiquer ce qui se serait produit si les choses s’étaient passées différemment.

La méthode d’ERI a été conçue en 2004 et 2005 par Andy Rowe, Ph. D, dans le but d’évaluer les effets économiques et environnementaux des décisions liées à la gestion des ressources naturelles. Depuis, elle a été utilisée dans le Sud-Est asiatique, aux États-Unis et ailleurs.

Entre mai 2015 et avril 2016, l’ERI a été mise à l’essai au sein des trois ministères suivants :

1. l’Agence de la santé publique du Canada;
2. Sécurité publique Canada;
3. Ressources naturelles Canada.

Le présent guide est fondé sur les leçons apprises dans le cadre de ces projets pilotes.

Dans l’ensemble, l’ERI peut être une méthode rapide et efficace pour recueillir des jugements d’experts sur l’impact d’un programme, en quelques mois. Toutefois, elle peut également avoir une courbe d’apprentissage considérable à mesure que les ministères apprennent la méthode d’ERI et l’adaptent.

2.0 Quand utiliser une évaluation rapide de l’impact

Les projets pilotes ont utilisé l’ERI dans des contextes plutôt simples où l’élaboration d’un contrefactuel probant a permis à des experts d’évaluer l’impact du programme d’une façon relativement simple. Si le programme ou le contrefactuel est compliqué ou mal compris, l’ERI perd de son efficacité. Cela dit, quelle que soit la méthode, un programme complexe peut être difficile à évaluer. Or, l’ERI peut produire des estimations pour des impacts très compliqués. L’ERI peut être très efficace quand l’évaluateur doit évaluer l’impact, mais n’a pas accès à d’autres méthodes d’évaluation, comme les modèles d’étude de cas expérimentaux, quasi expérimentaux ou comparatifs (par exemple, pour des motifs logistiques, temporels ou éthiques).

L’ERI s’avère également utile lorsque les évaluateurs s’intéressent aux perspectives externes sur l’impact d’un programme, entre autres lorsqu’il s’adresse directement aux Canadiens ou qu’il est fondé sur un programme d’envergure internationale. La participation de divers intervenants peut aider l’évaluateur à veiller à ce que l’évaluation soit fondée sur les meilleures questions possible et approfondit ses connaissances du programme. L’ERI peut fournir un tableau plus complet des forces et des faiblesses du programme au-delà de ce qui peut être apparent aux autres. Par conséquent, l’ERI peut être utile lorsqu’il y a des évaluations contradictoires sur l’impact du programme.

Finalement, l’ERI est peut-être la méthode la plus précieuse lorsque l’évaluation cherche à comparer plusieurs versions d’une intervention potentielle, comme pendant la conception ou le renouvellement du programme. Dans une telle situation, l’ERI peut être menée avant ou après la mise en œuvre du programme afin de déterminer le mérite relatif de plusieurs modèles, autrement dit :

• changer de cap ou rajuster l’orientation du programme en cours de mise en œuvre;
• tirer des leçons après la mise en œuvre du programme et éclairer les itérations subséquentes.

L’ERI possède un avantage sur d’autres méthodes d’évaluation par sa capacité de comparer plusieurs scénarios à l’aide d’un contrefactuel fondé sur un scénario.

Dans bien des cas, il est logique d’adopter une approche à méthodes mixtes et d’utiliser une version de l’ERI conjuguée à d’autres méthodes d’évaluation. Une telle approche a été adoptée pour les projets pilotes. Diverses méthodes et techniques, en fonction de contraintes liées aux ressources, aux échéanciers et aux objectifs, ont été utilisées pour répondre aux questions de l’évaluation.

Par exemple, un évaluateur peut décider de ne pas créer de sommaire du programme, mais plutôt d’utiliser une méthode structurée pour mener les sondages et les ateliers décrits ci-dessous en vue d’obtenir des jugements d’experts sur l’impact du programme. Autrement, l’évaluateur pourrait aussi déterminer qu’il a recueilli assez de données sur l’impact du programme avec son approche actuelle, mais qu’il aimerait créer un sommaire du programme pour établir un consensus et affirmer la légitimité des constatations et la probabilité que les recommandations soient adoptées.

3.0 Contrefactuels

Un élément clé de l’ERI est le contrefactuel. Un contrefactuel fondé sur un scénario est une solution de rechange pour ce qui s’est produit. Autrement dit, il s’agit d’une approche ou d’un modèle différent à l’exécution dont les objectifs sont les mêmes que ceux évalués. Les experts évaluent les effets du contrefactuel de la même façon qu’ils évaluent les effets du programme réel. De cette façon, l’évaluation peut déterminer ce qui se serait produit si la situation était différente et démontrer les effets relatifs de plusieurs options. Le choix d’un bon contrefactuel est donc l’une des étapes les plus importantes de l’évaluation. Sans un bon contrefactuel, il est impossible d’évaluer l’impact différentiel.

Une évaluation peut comprendre un ou plusieurs contrefactuels. L’un des points forts de l’ERI est qu’elle permet de comparer des modèles «  avec  » et «  avec différent  » au moyen de contrefactuels fondés sur un scénario. Dans la fonction publique, il est rare que rien ne soit fait lorsqu’un programme n’est pas mis en œuvre tel qu’il a été conçu initialement. En règle générale, on crée un autre programme à la place. L’utilisation d’un contrefactuel signifie qu’il est possible de comparer ces deux situations, à savoir le modèle initial du programme («  avec  ») et la solution de rechange («  avec différent  »).

Les contrefactuels de l’ERI sont fondés sur un scénario parce qu’ils prennent pour modèle un autre état et ne demandent pas ce qui se serait produit si le programme n’avait pas été mis en œuvre. Selon les objectifs de l’évaluation, il peut être instructif d’inclure un scénario du statu quo ou de ce qui se serait produit en l’absence du programme. Cela pourrait particulièrement intéresser l’évaluateur d’un programme faisant l’objet d’un examen dans un tel cas. D’autres évaluateurs peuvent davantage s’intéresser à la comparaison de plusieurs modèles possibles.

Le contrefactuel permet aussi de comparer des solutions de rechange hypothétiques lors de la conception du programme et avant sa mise en œuvre. Un exemple serait d’avoir la gamme d’options pour éclairer une proposition stratégique. Autrement, grâce à l’ERI, on peut comparer un programme établi depuis longue date au remplacement proposé afin de déterminer les effets possibles du changement.

Pour déterminer le bon contrefactuel, il peut être utile de :

• consulter la liste des options envisagées lors de la conception du programme;
• passer en revue les études et les évaluations du programme;
• analyser la façon dont il diffère des programmes similaires qui ont été proposés ou abordés dans diverses publications;
• se pencher sur ce que font d’autres administrations.

Le contrefactuel peut être quelque chose déjà mis en œuvre ailleurs ou pourrait être quelque chose qui n’a jamais été mis en œuvre. Pour une évaluation menée au cours de la conception du programme (évaluation ex ante), les contrefactuels pourraient être deux ou plusieurs possibilités qui sont envisagées. Les intervenants, les experts en la matière et les conseillers techniques du programme peuvent également avoir de précieux points de vue sur les contrefactuels possibles.

Fait important, le contrefactuel doit être faisable, plausible et légal. Par exemple, le programme d’une autre administration peut avoir les mêmes objectifs. Toutefois, s’il est illégal au Canada ou s’il a dix fois le financement affecté, ce ne serait pas un contrefactuel raisonnable et il ne fournirait pas une comparaison significative.

Il faudrait alors consulter les intervenants du programme pour établir le bon contrefactuel et il reviendra à l’évaluateur de déterminer la faisabilité. Par exemple, si le contrefactuel proposé porte sur un programme réglementaire plutôt que sur une mesure incitative, il peut être une solution de rechange possible, selon le contexte.

Il est important que les intervenants du programme discutent du contrefactuel, en particulier à la deuxième phase de l’ERI, lors de la création du sommaire du programme. Autrement, certains intervenants pourraient éventuellement remettre en question le contrefactuel, et donc la légitimité et les points essentiels de l’évaluation. Sans un examen du contrefactuel par l’ensemble des intérêts, le contrefactuel risque d’être biaisé ou impraticable en raison du manque de ressources ou d’autres contraintes.

4.0 Guide pratique de l’évaluation rapide de l’impact

Il faut habituellement deux à six mois pour mener une ERI, selon la façon dont l’évaluateur conçoit le modèle d’évaluation, exécute la passation de marchés et fait participer les experts.

Le présent guide décrit les quatre phases d’une ERI :

1. la planification de l’évaluation;
2. la création du sommaire du programme;
3. la collecte des jugements d’experts sur les impacts;
4. l’analyse des résultats et les rapports connexes.^{Voir la note en bas de page 2}

Pour chaque phase, le présent guide comporte les étapes à suivre ainsi que la motivation pour les étapes et la théorie qui sous-tend chacune des étapes. On invite les évaluateurs à suivre ces étapes ou à s’en inspirer pour élaborer leurs propres processus ou méthodes fondés sur les objectifs de leur évaluation.

La théorie de la phase 2

Le sommaire du programme est très différent du profil de programme normalisé aux fins des évaluations, étant donné qu’il s’intéresse davantage à la façon dont le programme est concrètement exécuté. C’est à la fois un produit et un processus.

Comme produit, le sommaire du programme comprend les éléments de base de l’évaluation, qui sont les suivants :

• les fondements servant à définir les impacts;
• les intérêts concernés par l’intervention;
• la théorie du changement;
• les contrefactuels.

Le sommaire du programme est un élément clé de la conception du modèle d’évaluation qui contribue à la «  rapidité  » de l’exécution de l’ERI.

Comme processus, l’élaboration du sommaire s’avère utile pour inciter les intérêts à participer à l’évaluation. Cette participation contribue ainsi à affirmer sa légitimité, favorise des réponses de haute qualité lors des sondages et augmente la probabilité de son utilisation une fois achevée. Le sommaire permet aussi de peaufiner les questions d’évaluation et les impacts pour qu’ils soient pertinents aux yeux des intérêts et éclairent les mécanismes de causalité du programme. Le sommaire confirme ou détermine également les indicateurs à mesurer pour répondre aux questions.

À la phase 2, l’évaluateur consulte deux des trois groupes d’experts participant à l’ERI :

• les intervenants;
• les experts techniques.

Cette consultation permettra de vérifier que l’évaluation et les questions connexes sont fondées sur une compréhension exhaustive du programme. Les points de vue des experts en la matière sont moins importants, car ils connaissent moins bien le programme. Les conseillers techniques sont consultés dans le but d’offrir du contexte et des renseignements généraux sur les connaissances scientifiques ou spécialisées pertinentes aux fins de l’évaluation.

Selon la décision prise à la phase 1, la participation d’experts peut se faire par des entrevues individuelles ou en groupe (en personne ou par téléphone), ou par l’envoi de documents demandant leur rétroaction. Il n’est pas nécessaire que l’entrevue soit longue, mais elle devrait avoir pour objectif de confirmer que le sommaire est une représentation raisonnable du programme ou de ce qui doit être modifié. Les intervenants peuvent aussi contribuer à l’élaboration du contrefactuel ou apporter des suggestions. Si des changements sont proposés, y compris les résultats inattendus, ils devraient être ajoutés au sommaire révisé qui sera distribué à nouveau et fera l’objet de discussions.

Une attention particulière devrait être accordée à la confirmation des contrefactuels fondés sur un scénario et d’en vérifier la plausibilité, la faisabilité et la légalité. Le contrefactuel n’est peut-être pas l’option préférée des principaux intervenants, mais tous devraient le trouver acceptable.

Les évaluateurs doivent trouver un juste milieu entre la nécessité de consulter et la nécessité d’entreprendre l’évaluation. Ils devraient s’efforcer d’obtenir un consensus sur ce qui est élaboré, notamment sur le contrefactuel. Dans certains cas, il peut être nécessaire de reconnaître les désaccords, d’en faire état dans le rapport, s’il y a lieu, et de poursuivre l’évaluation.

Une caractéristique importante du sommaire est l’accent mis sur les impacts et les résultats. En bref, les résultats directs sont les changements découlant directement du programme. Par exemple, un programme de formation axée sur les compétences peut être utile pour accroître la confiance en soi ou aider quelqu’un à trouver un emploi. L’impact est un effet à plus long terme et de plus haut niveau, et l’impact différentiel est la différence entre ce qui s’est produit avec l’intervention et ce qui se serait produit avec le contrefactuel.

Le but de l’élaboration du sommaire du programme est de s’assurer que tous les résultats possibles sont traités, y compris ceux qui ne figurent pas au modèle logique ou dans une présentation au Conseil du Trésor. Les experts peuvent trouver des résultats inattendus, qui ne figurent pas au modèle logique, qui pourraient ensuite être utiles pour éclairer une phase ultérieure de l’évaluation. Une telle découverte de résultats inattendus dans le cadre de l’ERI peut s’avérer importante.

L’approche adoptée dans l’un des projets pilotes était d’inclure la liste des résultats immédiats et intermédiaires au modèle logique et de demander aux intervenants si :

• ils prévoyaient que le programme atteignent ces résultats;
• il y avait d’autres résultats qu’ils avaient observé ou s’attendaient à observer qui n’y figuraient pas.

Dresser une telle liste et poser ces questions peut faciliter la tâche aux experts consultés qui souhaitent faire des commentaires. Les évaluateurs peuvent ensuite discuter des résultats qui n’ont pas été atteints aux yeux des intervenants, puis dresser une liste de résultats inattendus qui feront l’objet d’une étude plus approfondie au cours de l’évaluation.

Finalement, si le programme ne présente pas déjà une théorie du changement, on l’élabore en même temps que le sommaire du programme. Comme toute autre théorie du changement, elle devrait expliquer la façon dont les activités et les extrants du programme permettront l’atteinte des résultats attendus et dont chaque niveau de résultat aura une incidence sur le niveau subséquent. Ces théories peuvent être utiles pour toutes les évaluations en cernant la logique d’un programme et la façon dont ses activités entraînent ses résultats.

Une théorie du changement est particulièrement importante dans le cadre de l’ERI, car on demandera aux experts de déterminer la probabilité et l’ampleur de l’impact du programme, et leurs connaissances et leur compréhension de la logique du programme joueront un rôle clé. Lors de l’élaboration du sommaire, l’établissement d’un consensus sur la logique du programme et les principaux mécanismes de changement permettra d’éviter les problèmes occasionnés lorsque divers experts préconisent des mécanismes de changement différents.

Un exemple de la théorie du changement élaborée pour RNCan (annexe A) est disponible en ligne.

Si l’ERI est menée comme source de données dans le cadre d’une évaluation plus large, la phase 2 peut être le bon moment de préparer les autres parties de l’évaluation. Par exemple, si l’évaluation se penchera aussi sur d’autres méthodes d’exécution, l’amélioration du processus ou la mise en œuvre, il peut être utile de profiter de l’occasion et d’en discuter avec des experts.

4.3 Phase 3 : collecte de jugements sur l’impact différentiel du programme

Après avoir identifié vos trois groupes d’experts à la phase 1 (intervenants du programme, experts en la matière et conseillers techniques), chaque groupe doit maintenant être consulté pour connaître son évaluation de l’impact différentiel.

Voici les principales étapes de la consultation des groupes d’experts :

1. Déterminer les renseignements requis de chaque groupe d’experts :
   • On demande aux trois groupes d’experts d’estimer les effets du programme et du contrefactuel. Pour ce faire, on leur demande de juger deux choses : la probabilité que l’intervention ait le résultat souhaité et l’ampleur des effets obtenus, lesquels ont effectivement une incidence sur le résultat. On utilise habituellement une échelle de 0 à 4.
   • Il faudrait interroger les experts sur la probabilité et l’ampleur de chacun des résultats directs figurant au sommaire du programme.
   • Vous pouvez aussi inclure d’autres questions pertinentes, entre autres sur le rapport coût-efficacité du programme ou les façons de l’améliorer pour mieux atteindre ses objectifs et les objectifs stratégiques. Dans l’optique de la théorie du changement, il peut être utile de demander aux experts de déterminer l’importance des activités et des extrants liés aux résultats immédiats.
2. Selon le temps disponible et la décision prise à la phase 1 sur la façon d’obtenir la participation d’experts et de préparer les documents pertinents :
   • Il peut être utile d’adapter les sondages en fonction des différents groupes d’experts et des différents intérêts représentés dans le groupe d’intervenants du programme. Cela est particulièrement vrai pour les répondants externes au ministère, qui pourraient moins bien connaître le processus d’évaluation et les objectifs et, par conséquent, qui ont besoin de plus de renseignements généraux et contextuels comparativement aux intervenants internes.
3. Recueillir les évaluations de la probabilité et de l’ampleur auprès de tous les experts dans les trois groupes d’experts :
   • Par exemple, un expert peut estimer qu’il est hautement probable qu’un programme ait un effet sur un résultat (peut-être 3 sur 4) mais qu’il est probable que cet effet soit très petit (1 sur 4). Avec ces deux chiffres, l’évaluateur peut calculer l’évaluation des résultats du programme par l’expert, comme présenté de façon détaillée à la phase 4.

4.4 Phase 4 : analyse et présentation des résultats

Analyse

L’analyse de l’ERI peut être menée au moyen d’une feuille de calcul et ne nécessite pas d’outils statistiques avancés. Même s’il y a un certain nombre d’étapes à suivre, l’analyse ne se veut pas compliquée. En règle générale, les trois objectifs de l’ERI sont les suivants :

1. Calculer l’évaluation moyenne de la probabilité et de l’ampleur pour chaque groupe d’experts, ainsi que pour les sous-groupes représentant les intérêts de chaque intervenant du programme^{Voir la note en bas de page 4}.
2. Calculer l’impact différentiel attribuable au programme évalué par chaque groupe d’experts (la différence entre les résultats dans le cadre du programme et du contrefactuel).
3. Calculer l’impact général du programme.

Impact attribuable au programme (tableau 2)

4. Pour chaque groupe ou sous-groupe, calculez le changement prévu dans chaque résultat direct dans le cadre du programme. Le changement prévu aura toujours une valeur située entre 0 et 1.
   • Pour calculer le changement prévu dans un résultat direct, multipliez la probabilité évaluée du résultat par son ampleur évaluée. Le résultat de ce calcul peut ensuite être normalisé entre 0 et 1 et en le divisant par la cote maximale autorisée par les échelles. Sur une échelle de 0 à 4, la cote maximale est 16; sur une échelle de 10 points, la cote maximale est 100.
   • Par conséquent, si pour le résultat A les experts en la matière ont estimé que la probabilité que le résultat A se produise se situe à 3 sur 4 et que son ampleur, s’il se produisait, à 2 sur 4, le changement prévu au résultat A serait (3 × 2)/16=0,375.
5. Répétez les calculs à l’étape 4 pour obtenir le changement prévu pour chaque résultat du contrefactuel fondé sur un scénario ou de chaque contrefactuel si vous en avez plusieurs.
6. Calculer l’impact différentiel ou le changement marginal dans chaque résultat en soustrayant le changement prévu dans le résultat en vertu du contrefactuel découlant du changement prévu dans le résultat en vertu du programme. Le résultat est un pourcentage estimé dans le résultat qui est attribué au programme, comme évalué par le groupe d’experts : l’impact différentiel du programme relativement à ce résultat.
   • Par exemple, si le changement prévu dans le résultat A du programme était de 0,375 et le changement prévu dans le résultat A du contrefactuel était de 0,2, l’impact différentiel du programme sur le résultat A s’élève à 17,5 % (0,375-0,2).
   • Dans le tableau 2, l’impact différentiel évalué du programme sur le résultat est de 3 % et de 25 % pour le groupe des bénéficiaires du programme et le groupe de direction du programme, respectivement.
   • Il est également utile de calculer l’impact différentiel de chaque résultat évalué par chaque répondant individuel, notamment les experts en la matière individuels en :
     • multipliant leur probabilité et leur ampleur évaluées;
     • divisant le résultat par la cote maximale autorisée;
     • prenant la différence entre le programme et le contrefactuel, tel qu’il est indiqué ci-dessus.

   Vous pouvez ensuite comparer les évaluations des experts individuels les unes aux autres ainsi que les évaluations d’autres groupes, ce qui rend plus facile de déceler les tendances et les données aberrantes à l’intérieur des données.

7. Finalement, pour obtenir une évaluation du groupe d’intervenants du programme dans son ensemble, calculez l’impact différentiel de chaque résultat pour l’ensemble des sous-groupes.

À la conclusion de ces calculs, vous aurez des évaluations de l’impact différentiel du programme pour chaque résultat direct de chacun des trois groupes d’experts ou, en d’autres termes, une échelle des impacts probables du programme.

Le tableau 2 est un exemple du calcul de deux sous-groupes d’intervenants (les bénéficiaires du programme et la direction du programme) de l’évaluation de l’impact différentiel dans le résultat A. Un calcul similaire serait également effectué pour tous les autres résultats et groupes d’experts. L’utilisation de réponses moyennes permet la pondération égale du sous-groupe des gestionnaires de programme et du sous-groupe des bénéficiaires, même si un plus grand nombre de gestionnaires du programme ont été consultés. Il n’est pas nécessaire de diviser les experts en la matière et les conseillers techniques en sous-groupe, mais ils font l’objet d’un calcul similaire.

Tableau 2  - Version texte

Le tableau 2 donne un exemple de calcul du résultat direct A pour le groupe d’intervenants du programme. On y trouve l’information associée aux répondants A à F, y compris leur groupe d’intervenants, ainsi que leur estimation de la probabilité et de l’ampleur d’un changement dans le résultat A, tant pour le programme que pour le  contrefactuel.

Le tableau indique ensuite au groupe d’intervenants les sept étapes du calcul à faire pour évaluer l’impact différentiel. L’information est d’abord insérée dans la feuille de calcul, puis au cours de la deuxième et de la troisième étape, l’évaluation moyenne de la probabilité et de l’ampleur est calculée pour chaque sous-groupe d’intervenants. La quatrième étape consiste à multiplier la probabilité par l’ampleur, puis à diviser par 16 pour obtenir le changement escompté dans le résultat C du programme. Au cours de la cinquième étape, ce calcul est répété pour le contrefactuel. On établit l’impact lors de la sixième étape en calculant la différence entre le changement escompté au résultat du programme et au résultat du contrefactuel. Au cours de la dernière étape, on détermine l’évaluation moyenne de l’ensemble du groupe d’intervenants en calculant la moyenne des intérêts divergents. Dans le cas présent, l’impact différentiel est évalué à 14 %.

8. Facultatif : calculer l’impact général
   • Au cours de la phase 3, chaque résultat est pondéré en fonction de sa contribution estimative aux impacts différentiels du programme en s’inspirant de la littérature ou d’autres sources ainsi que des discussions avec le conseiller technique et les experts en la matière. Les pondérations attribuées à chaque résultat devraient totaliser 1,0 % ou 100 %. Dans le cas le plus simple, les pondérations peuvent être égales à l’échelle des résultats.
   • Pour les experts en la matière, calculez la contribution de chaque impact différentiel à l’impact général en multipliant l’impact pour chaque résultat par la pondération attribuée.
   • Calculez l’impact général estimé en établissant la somme de la contribution des impacts différentiels générés à l’étape b).
   • Répétez les étapes b) et c) pour les deux autres groupes d’experts.

Le calcul à l’étape 8 donne, pour chaque groupe d’experts, une estimation de leur évaluation de la contribution du programme à l’impact général en termes de pourcentage. Par exemple, imaginez une version simplifiée du projet pilote de RNCan, avec seulement trois résultats :

• l’amélioration des connaissances au sein du milieu de la normalisation;
• une meilleure harmonisation des codes et des normes pour les carburants de remplacement;
• l’efficacité accrue dans le déploiement de véhicules au gaz naturel.

L’ERI constate que les experts en la matière évaluent l’impact différentiel du programme sur chaque résultat à 10 %, à 15 % et à 20 %, respectivement. Cependant, l’évaluateur pourrait arriver à la conclusion, après avoir examiné la littérature et parlé aux experts, que les deux premiers résultats avaient une importance égale pour la contribution à l’impact général, mais que le troisième résultat n’était qu’à moitié aussi important que les deux premiers. Cette pondération serait alors de 40 %, de 40 % et de 20 %, et l’impact général tel qu’il est estimé par les experts en la matière serait de 0,4 × 0,1+0,4 × 0,15+0,2 × 0,2=0,14 (ou 14 %). (Pour consulter l’exemple complet de RNCan, voir l’annexe C du Rapport d’évaluation : Programme écoÉNERGIE pour les carburants de remplacement de RNCan.)

Le tableau 3 présente l’impact général pour un seul groupe d’experts pour un programme comprenant quatre résultats (résultats A à D). On accorde une pondération de 0,2 au résultat A, dont l’impact différentiel est estimé à 0,14, comparativement au résultat B, auquel on attribue une pondération de 0,4. Cela signifie que l’on évalue que le résultat B est deux fois plus important que le résultat A en ce qui a trait à sa contribution à l’impact général du programme. L’impact général est de 0,1625 (ou 16 %).

9. Facultatif : vérifier l‘analyse
   • Une étape utile dans toute évaluation consiste à vérifier la validité et la fiabilité des renseignements obtenus. On peut le faire de façon statistique ainsi qu’en comparant les constatations de l’ERI aux autres évaluations à l’égard du même programme ou de programmes similaires.
10. Rapport
    • Vous pouvez maintenant énoncer les constatations de l’évaluation pour chacun des résultats directs et impacts constatés. Par exemple, les experts peuvent juger que les connaissances du milieu de la normalisation se sont améliorées de 30 % de plus, grâce au programme, que la méthode d’exécution utilisée pour la solution de rechange.

La théorie de la phase 4

Facultatif : impact général

Une étape facultative de l’analyse consiste à calculer l’impact général du programme. La méthode la plus simple serait de prendre l’impact moyen de tous les résultats. Cependant, il pourrait y avoir une justification pour la pondération différente des impacts, si on s’attend à ce que certains contribuent plus à l’impact général que d’autres.

Selon la question à laquelle l’évaluation tente de répondre, cette étape pourrait ne pas être nécessaire. Si les résultats sont diversifiés ou si l’évaluation s’intéresse aux impacts différentiels sur des résultats précis, et non pas en général, alors l’impact différentiel sur chaque résultat peut être la question d’intérêt. Cela évite également la nécessité de choisir une pondération pour chaque résultat, ce qui peut être difficile.

Avantages

• Impact au moyen d’un contrefactuel : L’ERI donne une évaluation claire des impacts, qui peut être utilisée pour renforcer et étudier d’autres secteurs évalués, en plus d’éclairer les rapports et les analyses. Il était intéressant, dans le cadre des projets pilotes, d’observer la quantification des différents points de vue du groupe d’experts, qui a permis à l’évaluation de se pencher sur les raisons pour lesquelles il peut y avoir eu des différences lorsque celles-ci ont été observées.
• Contrôle aux fins des partis pris : En incluant tous les domaines d’intérêt dans le groupe des intervenants du programme, ainsi que des experts entièrement externes au programme, l’ERI assure un contrôle des partis pris. Un avantage particulier est l’inclusion d’une preuve d’expert externe qui n’est souvent pas incluse dans les évaluations, mais qui peut s’avérer utile pour jeter une lumière sur les questions d’évaluation liées à la pertinence, à l’efficacité et à l’impact (ou l’impact éventuel).
• Processus participatif : L’ERI est axée sur la participation de tous les intervenants dans le cadre de l’évaluation. Les intervenants du programme externes dans un projet pilote, par exemple, ont commenté qu’ils avaient aimé le fait de voir le portrait complet de ce que le programme tentait d’accomplir, car il n’avait participé qu’à un seul aspect. Le sommaire du programme appuie ce processus, aidant à mobiliser tous les intervenants et à élaborer la base pour le reste de l’évaluation.
• Constatations complémentaires : L’ERI est une source de données supplémentaire qui peut compléter les méthodes d’évaluation utilisées, ce qui permet la triangulation et une confiance accrue à l’égard des résultats de l’évaluation.
• (Relativement) rapide et souple : En raison de sa rapidité et de sa souplesse relatives, ainsi que de l’utilisation du contrefactuel, l’ERI est bien placée pour être menée pendant la conception du programme, ce qui aide à informer les gestionnaires des coûts et des avantages des différentes possibilités. Un des projets pilotes a mis en évidence que cela était particulièrement utile, car, de la façon que l’évaluation était menée, les gestionnaires de programme envisageaient un renouvellement du programme, l’ERI les a donc aidés à discuter de cette question. Elle peut également être menée ex poste.

Difficultés

• Évaluations d’experts : L’ERI s’appuie sur des jugements d’expert pour apprécier l’impact plutôt que sur l’observation et la collecte directe de données sur le rendement du programme, ce qui peut s’avérer insuffisant en soi pour répondre aux besoins de la direction et de la production des rapports publics.
• Conseillers techniques : L’ERI demande aux évaluateurs d’identifier des experts et conseillers techniques de l’extérieur du programme. Cela peut parfois poser des difficultés et nécessiter plusieurs conversations avec les collègues pour identifier la personne appropriée qui apportera une valeur ajoutée.
• Contrefactuels : L’ERI repose sur la présence d’un bon contrefactuel. Pour les évaluateurs qui connaissent moins bien ces outils, notamment la première fois qu’ils procèdent à l’ERI, il y a une période d’apprentissage à laquelle il est important de consacrer le temps nécessaire.
• Contextes complexes : Certains contextes peuvent ne pas se prêter à l’ERI, plus particulièrement si un programme est trop complexe pour permettre l’établissement d’un contrefactuel convaincant ou pour permettre aux experts d’évaluer raisonnablement les impacts du programme.
• Énoncé d’impact : Il est important que le lecteur de l’évaluation soit en mesure de comprendre clairement ce qui est énoncé en déterminant l’impact du programme. Il peut être utile de demander à un autre évaluateur, idéalement une personne qui ne connaît pas très bien l’ERI, d’examiner le rapport d’évaluation. La rétroaction et les questions du programme portant sur le rapport préliminaire peuvent également aider à déterminer les endroits où il faut apporter plus de clarté.

6.0 Conclusions

L’ERI peut constituer un ajout important à la boîte à outils d’un évaluateur. Comme pour toutes les méthodes d’évaluation, elle n’est pas appropriée partout et elle ne permet pas de répondre à toutes les questions, mais elle peut donner une bonne idée de la façon dont les experts évaluent l’impact d’un programme et elle appuie la mobilisation d’une grande variété de perspectives et de points de vue, à la fois internes et externes. Que ce soit dans le cadre d’une approche complète ou dans le cadre d’une évaluation générale à méthodes mixtes, on encourage les évaluateurs à envisager le recours à l’ERI et à d’autres méthodes pour appuyer leurs évaluations.

Renseignements

Pour obtenir de plus amples renseignements sur l’évaluation et les sujets connexes, consultez la section Centre d’excellence en évaluation du site Web du Secrétariat du Conseil du Trésor du Canada et la Politique sur les résultats.

Vous pouvez aussi communiquer directement avec nous à l’adresse suivante :

Division des résultats
Secteur de la gestion des dépenses
Secrétariat du Conseil du Trésor du Canada
Courriel : results-resultats@tbs-sct.gc.ca

Annexe A : organigramme de l’évaluation rapide de l’impact

Figure 01 - Version texte

Figure 1 is a flow chart of the four phases of a rapid impact evaluation.

La figure 1 est un organigramme des quatre phases d’une évaluation rapide de l’impact.

Au cours de la phase 1, l’évaluation est prévue, y compris obtenir les approbations nécessaires, identifier les experts qui seront consultés et entamer le processus de passation des marchés.

Au cours de la phase 2, un sommaire du programme est élaboré.

Au cours de la phase 3, des experts sont consultés sur la probabilité et l’ampleur de chaque résultat par rapport à un contrefactuel fondé sur les scénarios.

Au cours de la phase 4, les jugements des experts servent à estimer l’incidence globale du programme, et les résultats de l’évaluation font l’objet d’un rapport.

Annexe B : projet pilote

Vous trouverez ci-après le détail du processus d’évaluation rapide de l’impact (ERI) utilisé dans chaque ministère participant au projet pilote ainsi que des réflexions et observations d’ordre général. Prière de retenir que le projet pilote ne touchait que trois phases de l’ERI. Par conséquent, une partie de l’information ci-dessous a été remaniée par mesure de conformité au guide.

Rapports d’évaluation

• Évaluation des activités liées aux zoonoses infectieuses non entériques menées par l’Agence de la santé publique du Canada 2010-2011 à 2015-2016
• Rapport d’évaluation : Programme écoÉNERGIE pour les carburants de remplacement
  • Contrefactuel
  • Annexe A : Modèle logique et théorie du changement du programme
  • Annexe B : Résumé du programme
  • Annexe C : Calcul de l’impact net
• Évaluation de 2015-2016 de l’Initiative de recherche du projet Kanishka

© Sa Majesté la Reine du chef du Canada, représentée par le président du Conseil du Trésor, 2017,
ISSN : 978-0-660-09330-7