Approches d'évaluation axées sur la théorie : Concepts et pratiques

Pourquoi des approches d'évaluation axées sur la théorie?

Au cours des 20 dernières années, les approches axées sur la théorie, qui portent diverses appellations, se sont de plus en plus glissées parmi les réflexions et pratiques courantes concernant la conception, la description, la mesure et l'évaluation des interventions (p. ex., programmes, politiques, initiatives ou projets). Durant cette période, ces approches se sont révélées prometteuses pour ce qui est d'aider les évaluateurs à relever une panoplie de défis, notamment la complexité inhérente de certains types d'interventions et les limitations liées aux modèles d'évaluation expérimentaux.

Pour veiller à ce que l'évaluation continue de jouer un rôle clé en fournissant une appréciation neutre fondée sur la pertinence , l’efficacité et l’efficience des programmes fédéraux, le Secrétariat du Conseil du Trésor du Canada reconnaît qu'il importe d'enrichir le « coffre à outils » mis à la disposition des évaluateurs fédéraux. Les approches d'évaluation axées sur la théorie représentent un outil potentiellement puissant.

Utilisation du présent document

Le présent document explique quelques-uns des principaux concepts inhérents aux approches d'évaluation axées sur la théorie. Les lecteurs seront, espérons-le, encouragés par les renseignements et conseils figurant dans le présent document et, à la longue, envisageront des applications (p. ex., projets pilotes) en milieu fédéral. Dans cette optique, les sections 1.0 à 8.0 du document décrivent l'application générale d'évaluation axées sur la théorie et les sections 9.0 et 10.0 traitent de l'application possible aux fins de divers programmes fédéraux.

Toutefois, il n'est aucunement question ici d'un programme exhaustif de formation en évaluation axée sur la théorie, ni d'un guide détaillé sur la réalisation d'une telle évaluation. Les évaluateurs qui souhaitent intégrer ces approches à leurs pratiques sont encouragés à lire des ouvrages spécialisés, y compris ceux qui sont mentionnés dans le présent document, voire à demander une aide supplémentaire pour mener à bien ce genre d'évaluation.

1.1 Le défi des modèles d'évaluation expérimentaux

Comme mentionné dans les Méthodes d'évaluation des programmes : Mesures et attribution des résultats des programmes (Secrétariat du Conseil du Trésor du Canada, chap. 3), les évaluateurs font face à deux grands défis : mesurer les résultats prévus^{Voir la note en bas de page 1} d’une intervention et attribuer ces résultats aux activités de l'intervention.

Les modèles d'évaluation expérimentaux visent à répondre à ces deux défis (chap. 3). Ces modèles mesurent habituellement tant les résultats de référence que les résultats finaux associés à une intervention. De plus, en intégrant un élément contrefactuel (p. ex., un groupe témoin), ils permettent l'évaluation du lien de causalité entre l'intervention et les résultats observés.

Les modèles d'évaluation expérimentaux et quasi expérimentaux peuvent être relativement puissants et devraient être utilisés au besoin (p. ex., lorsque les interventions s'appuient sur une approche nouvelle ou différente visant à régler un problème et que le but de l'évaluation consiste à déterminer si l'intervention fonctionne). Ces modèles comportent cependant plusieurs lacunes, plus particulièrement les deux points suivants :

• Les modèles manquent de pragmatisme : Dans de nombreux contextes, les modèles expérimentaux, surtout les plus avancés, ne peuvent être mis en œuvre. Il arrive souvent que l'élaboration d'un élément contrefactuel soit difficile ou indésirable, notamment pour des motifs d'ordre éthique. Dans certains cas, il n'est peut-être pas possible de traiter l'exécution de l'intervention de manière à démontrer l'attribution. Dans d'autres cas, les ressources et le temps nécessaires pour élaborer des modèles expérimentaux ne sont peut-être pas disponibles.
• Les interventions sont perçues comme des « boîtes noires » : Les modèles expérimentaux, même lorsqu'ils sont pratiques, n'ont pas pour objectif d'expliquer pourquoi et comment les résultats observés ont été obtenus. Ces modèles ne visent pas à répondre à des questions du genre : « Quel élément de l'intervention ou du contexte est la cause des résultats? » Ils ne visent pas non plus, dans les cas où les résultats prévus n'ont pas été observés, à répondre aux questions suivantes : « Quel élément de l'intervention n'a pas fonctionné? », « L'hypothèse sous-jacente de l'intervention était-elle fausse? » ou « Le problème représente-t-il un cas de mise en œuvre déficiente? ». Les modèles expérimentaux, parce qu'ils ne posent pas ces questions, sont souvent décrits comme des études « boîtes noires » qui permettent peut-être d'évaluer si les résultats prévus ont été obtenus et si l'intervention a joué un rôle, mais qui ne cherchent pas à expliquer pourquoi l'intervention a fonctionné ou non.

Une approche d'évaluation axée sur la théorie peut aider à corriger ces lacunes. En l'absence d'un modèle expérimental général, ce genre d'approche fournit un moyen d'évaluer dans quelle mesure une intervention a produit les résultats observés ou influé sur ces résultats. Cette approche consiste à ouvrir la « boîte noire » et à examiner précisément comment l'intervention entraîne les résultats observés.

1.2 En quoi consistent les approches d'évaluation axées sur la théorie?

Les approches d'évaluation axées sur la théorie utilisent une théorie du changement explicite pour formuler des conclusions quant à la contribution d'une intervention eu égard aux résultats observés. Les approches axées sur la théorie constituent une « logique d'enquête » qui complète la plupart des modèles d'évaluation et techniques de collecte de données examinées dans les Méthodes d'évaluation des programmes : Mesures et attribution des résultats des programmes, et qui peut être utilisée conjointement avec ces modèles et techniques.

Une théorie du changement explique de quelle façon l'intervention devrait produire ses résultats prévus. Cette théorie définit la séquence des événements (extrants, résultats immédiats, résultats intermédiaires, résultats finaux) qui devraient avoir lieu conséquemment à l'intervention. Cette séquence est habituellement appelée la « logique du programme » ou le « modèle logique ». La théorie du changement va toutefois plus loin : elle décrit les mécanismes du changement, formule les hypothèses et définit les risques et le contexte qui pourraient appuyer la théorie ou l'empêcher de se concrétiser sous la forme de résultats observés. La « boîte noire » du changement s'ouvre et les évaluateurs peuvent mieux examiner le lien de causalité entre les extrants de l'intervention et les résultats observés. La théorie du changement peut être utilisée pour comparer, au moyen d'éléments probants, la présumée chaîne causale des résultats avec les observations, en vérifiant chacun des liens et des hypothèses du processus, afin de confirmer la théorie.

Les approches axées sur la théorie font l'objet d'études depuis de nombreuses années (voir Weiss 1997, Rogers 2007 et Funnell et Rogers 2011). Les chercheurs ne s'entendent pas sur la terminologie, ni même sur les concepts. Toutefois, il y a cohérence des messages clés et consensus quant à la valeur des approches axées sur la théorie.

Bibliographie

Chen, H.-T. (1990). Theory-driven evaluations. Newbury Park, CA: Sage Publications Inc.
Chen, H.-T. (1994). Theory-driven evaluations: Need, difficulties and options. Evaluation Practice, 15(1), 79–82.
Funnell, S., & Rogers, P. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey Bass.
Rogers, P. (2007). Theory-based evaluations: Reflections ten years on. New Directions for Evaluation, 114, 63–67.
Weiss, C. H. (1997). How can theory-based evaluation make greater headway? Evaluation Review, 21, 501–524.
Weiss, C. H. (1997). Theory-based evaluation: Past, present, and future. New Directions for Evaluation, 76, 41–55.
Weiss, C. H. (2000). Which links in which theories shall we evaluate? New Directions for Evaluation, 87, 35–45.
Weiss, C. H. (2003). On theory-based evaluation winning friends and influencing people. The Evaluation Exchange, 9(4), 1–5.

Importance du contexte

Les approches axées sur la théorie, plus que toute autre approche d'évaluation, s'intéressent explicitement au contexte de l'intervention. Il est reconnu que des facteurs contextuels peuvent aider une intervention à réaliser ses objectifs ou nuire à l'efficacité de celle-ci. Par exemple, dans une intervention visant à diminuer le tabagisme dans la population, les facteurs contextuels peuvent comprendre l'enthousiasme des personnes chargées de faire respecter l'interdiction de fumer, la composition sociale des populations ciblées et les mesures législatives à l'appui. Ces facteurs sont souvent essentiels pour établir des inférences de causalité et doivent donc faire partie du modèle d'évaluation.

Causalité mécaniste

Dans la plupart des interventions, il existe habituellement plusieurs causes pour un résultat observé. Divers autres facteurs socio-économiques, outre les interventions d'autres ordres de gouvernement, peuvent aussi entrer en jeu. Par exemple, la réussite d'un programme d'incitatifs sous forme d'indemnités visant à encourager les infirmières à s'établir dans les régions rurales et à y travailler peut être fonction non seulement de l'offre et de l'importance de l'indemnité, mais également des taux d'emploi dans le domaine des sciences infirmières, des agglomérations rurales précises dans lesquelles les infirmières sont placées et des antécédents personnels de ces infirmières. Dans ces cas, il n'est pas possible de trouver un seul lien de cause à effet pouvant être attribué intégralement à un mécanisme (c.-à-d. de trouver la cause exacte). Les questions qu'il convient plutôt de se poser dans le cadre de l'évaluation sont les suivantes : « Étant donné le grand nombre de facteurs qui influent sur un résultat, l'intervention a-t-elle contribué de façon remarquable à un résultat observé? Si oui, de quelle façon? » L'objectif devient la compréhension de la contribution, plutôt que la preuve de l'attribution.

Les approches d'évaluation axées sur la théorie visent à comprendre la contribution d'une intervention eu égard aux résultats observés au moyen d'une interprétation mécaniste ou d'une interprétation axée sur le processus de la causalité plutôt qu'à établir la causalité en faisant une comparaison avec un élément contrefactuel. Dans les approches axées sur la théorie, les étapes précises de la chaîne de causalité, chacun des mécanismes de causalité, sont mises à l'essai. S'ils sont confirmés au moyen de preuves empiriques, il y a donc fondement pour établir une inférence de causalité. De plus, il est important de définir et d'évaluer les facteurs déterminants clés externes (c.-à-d. les facteurs contextuels) qui pourraient aussi jouer un rôle dans la chaîne de causalité et influer sur l'affirmation de contribution.

Bibliographie

Blamey, A. et Mackenzie, M. (2007). Theories of change and realistic evaluation: Peas in a pod or apples and oranges. Evaluation, 13(4), 439-455.

Évaluation réaliste

L'évaluation réaliste est une forme d'évaluation axée sur la théorie élaborée par Pawson et Tilley (1997, 2006). Ces deux chercheurs soutiennent que l'efficacité des interventions dépend des mécanismes sous-jacents à l'œuvre dans un contexte donné. Pour Pawson et Tilley,
résultat = mécanisme + contexte

Les mécanismes décrivent les éléments de l'intervention qui déclenchent le changement. Par exemple, dans un processus de lutte contre le tabagisme, les mécanismes pourraient englober la pression exercée par les pairs, la crainte de risques pour la santé et les considérations économiques. Pour les évaluateurs réalistes, les principales questions à poser sont les suivantes : « Qu'est-ce qui fonctionne? », « Pour quelle personne? », « Quelles sont les circonstances? », « Sur quels plans » et « De quelle façon? ». Les évaluateurs réalistes ne s'intéressent moins à la question des résultats, à savoir si l'intervention a fonctionné à un macro-niveau.

L'évaluation réaliste consiste à élaborer et à mettre à l'essai de façon empirique les hypothèses inhérentes aux résultats produits, aux mécanismes en jeu et aux contextes visés. L'approche réaliste est souvent plus axée sur la recherche; elle porte principalement sur l'examen de la théorie d'intervention sous-jacente et ses hypothèses comportementales à l'œuvre ainsi que sur les conditions favorisant l'intervention. L'attention est surtout axée sur les contextes, les mécanismes et les configurations des tendances liées aux résultats (CMCTR) qui sont les plus prometteurs et qui montrent comment les interventions sont censées fonctionner, dans quelles populations et dans quelles conditions. Ces derniers facteurs peuvent être perçus comme des « mini-théories du changement » ou comme des liens dans la théorie du changement générale d'une intervention. Chaque facteur CMCTR est, en effet, assujetti à une évaluation et est étudié en fonction des données disponibles.

Blamey et Mackenzie (2007, p. 444) décrivent de la façon suivante un processus d'évaluation réaliste, utilisant à titre d'exemple une intervention de lutte contre le tabagisme :

Étape 1 : L'évaluateur, en échangeant avec les responsables de la mise en œuvre du programme, essaie de comprendre la nature du programme : « Quel est le but du programme de lutte contre le tabagisme? », « Quelle est la nature de la population cible? », « Dans quels genres de contextes et de milieux le programme sera-t-il exécuté? » « Quelles sont les théories prédominantes sur l'efficacité des services de renonciation au tabagisme pour certains clients dans certaines circonstances? ».

Étape 2 : L'évaluateur définit une série de mini-théories potentielles qui mettent en corrélation les divers contextes d'un programme et les multiples mécanismes permettant la mise en œuvre du programme en vue de l'obtention de différents résultats. Par exemple, les connaissances des praticiens et les éléments probants existants peuvent suggérer qu'il sera plus efficace d'axer le volet éducatif d'un programme de lutte contre le tabagisme, dirigé par une sage-femme auprès de femmes enceintes dans l'attente de leur premier enfant, sur les effets néfastes potentiels du tabagisme pour le bébé in utero. Par contre, les jeunes fumeuses non enceintes seront moins réceptives que les femmes enceintes aux dangers pour la santé d'un bébé à naître. Elles seront plutôt susceptibles de réagir à des interventions anti-tabac visant à les interpeller sur le plan de leur image personnelle.

Étape 3 : À ce stade, l'évaluateur mène une enquête sur les résultats liés à ces mini-théories. L'exercice consiste à dresser un portrait qualitatif et quantitatif du programme en action. Il peut, par exemple, s'agir d'étudier comment différents genres de fumeurs se comportent pour rompre leur habitude après que divers services de renonciation leur ont été fournis selon divers modes. Ce portrait englobe une évaluation de la mesure dans laquelle différentes motivations implicites et différents mécanismes psychologiques sous-jacents ont été déclenchés par un genre particulier de services chez des fumeurs donnés.

Étape 4 : Dans le cadre d'une étude sur les effets des facteurs CMCTR dans un programme, l'évaluateur formule des théories provisoires sur ce qui fonctionne pour des fumeurs donnés dans des circonstances précises.

L'un des principaux points forts de l'approche réaliste est l'importance qu'elle accorde au contexte. Selon cette approche, le contexte doit faire partie du cadre d'évaluation et les contextes donnés, qu'ils se situent à l'intérieur ou à l'extérieur du contrôle de l'intervention, peuvent améliorer le fonctionnement de l'intervention ou exercer un effet négatif.

Le lecteur trouvera des exemples d'évaluation réaliste dans les études de Byng, Norman et Redfern (2005), de Leeuw, Gilse et Kreft (1999), et de Leone (2008).

Théorie du changement : approches

Ces approches consistent à élaborer une théorie du changement pour l'intervention indiquant le fonctionnement prévu de l'intervention et exposant les hypothèses qui sous-tendent la théorie. Souvent, elles portent sur les questions d'évaluation traditionnelles visant à déterminer si l'intervention a fonctionné et, le cas échéant, dans quelle mesure (« L'intervention a-t-elle eu un effet sur les résultats désirés? »). La théorie du changement est habituellement élaborée en fonction d'un éventail de points de vue d'intervenants et de sources d'information. Parmi les approches dont il est question, mentionnons l'évaluation axée sur la théorie (Weiss 1995, 2000), l'évaluation fondée sur la théorie (Chen 1990) et l'analyse de la contribution (Mayne 2001). Ces chercheurs élaborent tous une théorie du changement pour l'intervention, puis vérifient la mesure dans laquelle leur théorie correspond à ce qui est observé.

Selon une approche de la théorie du changement, soit l'analyse de la contribution, si un évaluateur peut confirmer une théorie du changement au moyen de preuves empiriques et expliquer les principaux facteurs déterminants externes, il est raisonnable de conclure que l'intervention en question a eu un effet. La théorie du changement appuie l'argument selon lequel l'intervention change le cours des choses; elle définit les points faibles de cet argument et, du coup, cerne les zones où des données pour renforcer l'affirmation s'avèrent le plus nécessaires. Une inférence causale est établie à partir des faits suivants :

• L'intervention est fondée sur une théorie du changement raisonnée : la chaîne des résultats et les hypothèses sous-jacentes quant au bon fonctionnement de l'intervention sont solides et plausibles, et les principaux intervenants y adhèrent.
• Les activités de l'intervention ont été mises en œuvre.
• La théorie du changement est confirmée au moyen de preuves : la chaîne des résultats prévus s'est réalisée, les hypothèses ont tenu et les résultats finaux ont été observés.
• Les facteurs externes (c.-à-d. le contexte) influant sur l'intervention ont été évalués et il a été démontré qu'ils ne contribuaient pas largement aux résultats ou que, dans les cas où leur contribution était importante, cette contribution était reconnue.

En fin de compte, une conclusion (affirmation de contribution) est formulée et indique si l'intervention a changé le cours des choses. En somme : affirmation de contribution = théorie du changement confirmée + autres facteurs déterminants clés pris en compte

Le lecteur trouvera des exemples d'évaluation de théories du changement dans les études de Carvalho et White (2004), de Weiss (1995) et de White (2009). Patton (2008) fournit un exemple d'évaluation qui utilise une analyse de la contribution.

Bibliographie

Blamey, A., et Mackenzie, M. (2007). Theories of change and realistic evaluation: Peas in a pod or apples and oranges. Evaluation, 13(4), 439-455.
Byng, R., Norman, I. et Redfern, S. (2005). Using realistic evaluation to evaluate a practice-level intervention to improve primary healthcare for patients with long-term mental illness. Evaluation, 11(1), 69-93.
Carvalho, S. et White, H. (2004). Theory-based evaluation: The case of social funds. American Journal of Evaluation, 25(2), 141-160.
Chen, H.-T. (1990). Theory-driven evaluations. Newbury Park, CA: Sage Publications Inc.
Leeuw, F. l., Gilse, G. H. et Kreft, C. (1999). Evaluating anti-corruption initiatives: Underlying logic and mid-term impact of a World Bank Program. Evaluation, 5(2), 194-219.
Leone, L. (2008). Realistic evaluation of an illicit drug deterrence programme. Evaluation, 14(1), 9–28.
Mayne, J. (2001). Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1-24.
Mayne, J. (2008). Contribution analysis: An approach to exploring cause and effect (PDF – 130 Ko, seulement en anglais) (ILAC Brief No. 16). Rome, Italy: The Institutional Learning and Change Initiative (ILAC).)
Mayne, J. (2011). Contribution analysis: Addressing cause and effect. In K. Forss, M. Marra et R. Schwartz, (Eds.), Evaluating the complex: Attribution, contribution and beyond (p. 53–96). New Brunswick, NJ: Transaction Publishers.
Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.), Thousands Oaks, CA: Sage Publications Inc.
Pawson, R. et Tilley, N. (1997). Realistic evaluation. Thousands Oaks, CA: Sage Publications Inc.
Pawson, R. et Tilley, N. (2006). Realist evaluation. Development Policy Review Network Thematic Meeting, Report on Evaluation, Amsterdam, Netherlands.
Pawson, R., Greenhalgh, T., Harvey, G. et Walshe, K. (2004). Realist synthesis: An introduction (PDF – 475 Ko, seulement en anglais) (Research Methods Paper 2). Manchester, UK: University of Manchester, Economic and Social Research Council Research Methods Programme.
Stame, N. (2004). Theory-based evaluation and varieties of complexity. Evaluation, 10(1), 58-76.
Weiss, C. H. (1995). Nothing as practical as good theory: Exploring theory-based evaluation for comprehensive community initiatives for children and families. In J. P. Connell, A. C. Kubisch, L. B. Schorr et C. H. Weiss (Eds.), New approaches to evaluating community initiatives: Vol. 1, Concepts, methods, and contexts. Washington, DC: The Aspen Institute.
Weiss, C. H. (2000). Which links in which theories shall we evaluate? New Directions for Evaluation, 87, 35–45
White, H. (2009). Theory-based impact evaluation: Principles and Practice (Working Paper 3). International Initiative for Impact Evaluation (3ie).

Élaboration d'une théorie du changement de base

Pour élaborer une théorie de changement de base, il faut définir les activités de l'intervention, les extrants et la séquence de résultats nécessaires à l'obtention des résultats prévus. Il s'agit souvent de mettre au point un modèle logique doté de chaînes de résultats raisonnables et de décrire explicitement ce que signifient au juste les flèches ou d'autres liens dans chaque chaîne de résultats.

Par exemple, la figure 2 présente une théorie du changement de base pour une intervention visant à instaurer un processus de gestion axée sur les résultats (GAR) efficace dans une organisation. La partie gauche de la figure 2 contient une chaîne de résultats pour l'intervention, à savoir fournir de la formation et des conseils sur la mesure et la surveillance des résultats, d'où des systèmes et une capacité de GAR améliorés ainsi que l'institutionnalisation de la GAR, d'où l'utilisation des données sur les résultats pour prendre des décisions avisées, d'où enfin un meilleur rendement des programmes de l'organisation. La partie droite de la figure 2 décrit les liens de causalité entre les extrants et les résultats (c.-à-d. ce qui s'est produit dans les flèches en gris qui relient les extrants et les résultats). Une définition ou un résumé de la théorie du changement de base pour l'intervention est fourni au bas de la figure 2.

Les flèches en bleu, qui apparaissent à l'envers partant des résultats finaux jusqu'aux extrants, indiquent que, même si la chaîne de résultats est illustrée sous forme de processus linéaire, il y aurait normalement de la rétroaction entre les différentes étapes de cette chaîne. Par exemple, la disponibilité de données sur les résultats de meilleure qualité et plus nombreuses pourrait entraîner un besoin accru de formation et de conseils. De même, si l'utilisation des données sur les résultats augmentait, il y aurait probablement une demande accrue d'une information de qualité dans le domaine.

Dans l'élaboration de théories du changement, il y a également lieu de déterminer le degré d'influence de l'intervention au plan de son lien de causalité et le degré de contrôle de l'intervention pour garantir que le lien de causalité se réalise. À la figure 2, le processus commence par l'étiquetage de chaque lien de causalité : « directement influencé » [DI], « influencé » [I] ou largement « à l'extérieur de la zone d'influence » [E] de l'intervention.

Figure 2 - Text version

La deuxième figure illustre une chaîne de résultats d’un modèle logique et la théorie du changement de base correspondante.

À la gauche de la figure, on trouve un ensemble de cinq cases disposées à la verticale, qui représentent la chaîne des résultats. Les cases correspondent aux éléments qu’on trouve habituellement dans une chaîne de résultats ou un modèle logique et sont étiquetées de la façon suivante (de bas en haut) : extrants, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Elles sont reliées par des flèches pointant vers le haut (des cases inférieures aux cases supérieures), qui représentent le mouvement dans la chaîne de résultats, à savoir : extrants, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Les cases sont également reliées par un deuxième ensemble de flèches pointant vers le bas (des cases supérieures aux cases inférieures), afin d’illustrer la nature itérative des différents niveaux de la chaîne de résultats. Chaque case renferme un énoncé de résultats correspondant au lien existant dans la chaîne de résultats.

À la droite de la figure, on trouve quatre cases de lien de causalité, qui représentent la théorie du changement de base. Ces cases sont disposées à la verticale et sont placées de sorte à s’aligner vis-à-vis les espaces libres séparant les cinq cases de la chaîne de résultats. Elles sont également reliées par des flèches pointant vers le haut de la chaîne de résultats, afin de montrer que les liens de causalité représentent les changements qui se produisent entre les différentes cases ou les différents niveaux de la chaîne de résultats. Chaque case de lien de causalité renferme une description du changement qui s’opère entre les différents niveaux de la chaîne de résultats. Une description des liens de causalité, étiquetée « Théorie du changement pour les organisations », est également fournie.

Chaque lien de causalité est étiqueté afin d’illustrer le degré d’influence que le programme peut avoir sur le lien. Le premier lien de causalité (entre les extrants et les résultats immédiats) est étiqueté « D », ce qui signifie que le programme a une influence directe sur le lien. Les deux liens de causalité suivants (entre les résultats immédiats et le premier résultat intermédiaire, et entre le premier et le deuxième résultat intermédiaire) sont étiquetés « I », ce qui signifie que le programme a un certain degré d’influence. Le dernier lien de causalité (entre le deuxième résultat intermédiaire et les résultats ultimes) est étiqueté « E », ce qui signifie qu’il n’est pas soumis à l’influence du programme.

Théorie du changement pour les organisations : En fournissant de l'information, de la formation et de l'aide pratique en GAR, les organisations renforceront leur capacité de GAR et créeront les systèmes connexes. Elles utiliseront les données sur les résultats pour éclairer le processus décisionnel, cette pratique entraînera une augmentation de l'efficacité et de l'efficience des programmes.
Légende:

[C] - sous contrôle
[DI] - directement influencé
[I] - influencé
[E] - à l'extérieur de la zone d'influence

Théorie du changement plus précise : Définir les hypothèses, les risques et les facteurs externes

La théorie du changement plus précise va au-delà de la théorie de base pour ce qui est de la définition des hypothèses sous-tendant les divers liens de causalité de la chaîne de résultats et des risques associés à ces hypothèses. Cela contribue à garantir que la théorie du changement explique les conditions qui doivent exister pour que chaque lien de causalité puisse se concrétiser (c.-à-d. pour que A mène à B). La figure 3 établit une théorie du changement plus précise pour l'exemple de la GAR, montrant les hypothèses et les risques qui sous-tendent les liens de causalité cernés dans la théorie du changement de base. Par ailleurs, plutôt que de représenter les hypothèses comme c'est le cas dans la figure 3, les hypothèses peuvent être présentées comme une liste de prémisses qui doivent être vérifiées. C'est l'approche que Leeuw, Gilse et Kreft (1999) ont utilisée.

Tout comme dans la théorie du changement de base, il y a lieu dans la théorie du changement plus précise de déterminer le degré d'influence d'une intervention à l'égard de ces hypothèses et risques. Cependant, comme illustré à la figure 3, il y a un nouveau niveau d'influence (contrôle [C]) pour signaler les zones où l'intervention devrait être en mesure de contrôler efficacement une condition en particulier (p. ex., la production d'extrants).

Il est aussi important de définir les autres facteurs externes significatifs, soit les facteurs contextuels, qui pourraient influer sur les résultats désirés. Ces facteurs externes sont généralement considérés comme des situations ou des événements qui ne relèvent pas du contrôle direct de l'intervention aux fins d'influence, de gestion ou de prévention. Ces facteurs peuvent être illustrés comme faisant partie de la théorie du changement. Par exemple, à la figure 3, les influences externes, qui figurent à la gauche de la chaîne des résultats, peuvent englober les besoins des organismes de financement, les expériences antérieures négatives d'initiatives de gestion ou certaines tendances des pairs en matière de gestion qui consistent à améliorer la surveillance et l'évaluation des interventions.

Le fait de formuler des hypothèses et de définir les risques et les influences externes aide à décrire l'intervention proprement dite et son contexte. La formulation des hypothèses et la définition des risques et des facteurs externes à l'étape de la conception de l'intervention peuvent aider à cerner les activités additionnelles que l'intervention pourrait englober dans le cadre de sa gestion du risque. L'exercice pourrait entraîner la transformation d'un facteur déterminant externe défini, sur lequel l'intervention n'influait auparavant pas, en un risque interne pouvant être atténué dans une certaine mesure. Cette chaîne de résultats et cette théorie du changement élargies peuvent être utiles comme cadre pour l'évaluation (quand la théorie du changement serait mise à l'essai au moyen de données empiriques issues de l'intervention afin de déterminer si la théorie est efficace) et pour l'amélioration du mécanisme d'établissement de rapports sur le rendement de l'intervention (se reporter à la section 10).

Le lecteur trouvera des exposés sur l'élaboration d'une théorie du changement et des exemples connexes en visitant le site Web de Theory of Change Community.

Figure 3 - Text version

La troisième figure illustre la chaîne de résultats d’un modèle logique et la théorie du changement améliorée correspondante.

Au centre de la figure, on trouve un ensemble de six cases disposées à la verticale, qui représentent la chaîne de résultats. Les cases correspondent aux éléments qu’on trouve habituellement dans une chaîne de résultats ou un modèle logique et sont étiquetées de la façon suivante (de bas en haut) : premiers extrants, deuxième extrants, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Les cases sont reliées par des flèches pointant vers le haut (des cases inférieures aux cases supérieures), qui représentent le mouvement dans la chaîne de résultats, à savoir : premiers résultats, deuxièmes résultats, résultats immédiats, premiers résultats intermédiaires, deuxièmes résultats intermédiaires et résultats ultimes. Les cases sont également reliées par un deuxième ensemble de flèches pointant vers le bas (des cases supérieures aux cases inférieures), afin d’illustrer la nature itérative des différents niveaux de la chaîne de résultats. Chaque case renferme un énoncé de résultats, c’est-à-dire un énoncé des extrants, des résultats immédiats, etc.).

À la droite de la figure, on trouve cinq cases de lien de causalité, qui représentent la théorie du changement améliorée pour le programme. Ces cases sont disposées à la verticale et sont placées de sorte à s’aligner vis-à-vis les espaces séparant les six cases de la chaîne de résultats. Elles sont également reliées par des flèches pointant vers le haut dans la chaîne de résultats, afin d’illustrer que les liens de causalité représentent les changements qui se produisent entre les différentes cases (ou niveaux) de la chaîne de résultats. Chaque case de lien de causalité renferme une description des risques qui existent et des hypothèses en vigueur entre les différents niveaux de la chaîne de résultats.

À la gauche de la figure, on trouve une case étiquetée « influences externes » représentant les facteurs externes ou contextuels pouvant avoir une incidence sur le rendement du programme. Cette case est centrée par rapport aux six cases représentant la chaîne de résultats. À la droite de la case, on trouve une flèche pointant vers la chaîne de résultats. Cette flèche représente l’incidence que les influences externes peuvent avoir sur les différents éléments de la chaîne de résultats.

Les risques et les hypothèses relatifs aux liens de causalité sont étiquetés pour illustrer le degré d’influence que le programme a sur ceux-ci. La mention « C » signifie sous contrôle, la mention « DI » signifie directement influencé, la mention « I » représente un certain degré d’influence et la mention « E » signifie que le risque ou l’hypothèse n’est pas soumis à l’influence du programme. Même s’il n’existe pas de ligne de démarcation claire, les risques et les hypothèses relatifs aux liens de causalité qui existent entre les niveaux inférieurs de la chaîne de résultats (p. ex., entre les cases « extrants » ou entre les cases « extrants » et les cases « résultats immédiats ») sont généralement étiquetés « C », « DI » ou « I », ce qui signifie qu’aux niveaux inférieurs de la chaîne de résultats, le niveau de contrôle ou d’influence des programmes tend à augmenter. Aux niveaux supérieurs de la chaîne de résultats, les liens de causalité sont généralement étiquetés « I » ou « E », ce qui signifie que le niveau de contrôle ou d’influence des programmes tend à diminuer au niveau supérieur de la chaîne de résultats.

Légende:
[C] - sous contrôle
[DI] - directement influencé
[I] - influencé
[E] - à l'extérieur de la zone d'influence

Bibliographie

Chen, H.-T. (2003). Theory-driven approach for facilitation of planning health promotion or other programs. Canadian Journal of Program Evaluation, 18(2), 91-113.
Connell, J. P. et Kubisch, A. C. (1998). Applying a theory of change approach to the evaluation of comprehensive community initiatives: Progress, prospects, and problems. In K. Fulbright-Anderson, A. C. Kubisch et J. P. Connell (Eds.), New approaches to evaluating community initiatives: Vol. 2, Theory, measurement, and analysis. Washington, DC: The Aspen Institute.
Funnell, S. (2000). Developing and using a program theory matrix for program evaluation and performance monitoring. New Directions for Evaluation, 87, 91-101.
Funnell, S. et Rogers, P. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey Bass.
Goertzen, J. R., Hampton, M. R. et Jeffery, B. L. (2003). Creating logic models using grounded theory: A case example demonstrating a unique approach to logic model development. Canadian Journal of Program Evaluation, 18(2), 115-138.
Hatry, H. (2006). Performance measurement: Getting results (2nd ed.). Washington, DC: The Urban Institute Press.
Leeuw, F. L. (2003). Reconstructing program theories: Methods available and problems to be solved. American Journal of Evaluation, 24(1), 5-20.
Leeuw, F. L., Gilse, G. H. et Kreft, C. (1999). Evaluating anti-corruption initiatives: Underlying logic and mid-term impact of a World Bank Program. Evaluation, 5(2), 194-219.
Mason, P. et Barnes, M. (2007). Constructing theories of change. Evaluation, 13(2), 151-170.
Organizational Research Services. (2004). Theory of change: A practical tool for action, results and learning (PDF – 369 Ko, seulement en anglais). Seattle, WA: Annie E. Casey Foundation.
Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks, CA: Sage Publications Inc.
Rogers, P. (2008). Using program theory to evaluate complicated and complex aspects of interventions. Evaluation, 14(1), 29-48.
Weiss, C. (1995). Nothing as practical as good theory: Exploring theory-based evaluation for comprehensive community initiatives for children and families. J. P. Connell, A. C. Kubisch, L. B. Schorr et C. H. Weiss (Eds.), New approaches to evaluating community initiatives: Vol. 1, Concepts, methods, and contexts (pp. 65–92). Washington, DC: The Aspen Institute.

Étape 1 : Définir les cas de cause à effet à examiner

Dans une analyse de la contribution, il faut tout d'abord définir la portée de l'évaluation ainsi que les questions d'évaluation à aborder :

• Formuler soigneusement le cas de cause à effet à examiner, en employant les formulations usuelles suivantes :
• L'intervention a-t-elle contribué à régler le problème?
• Quels sont des aspects de l'intervention ou du contexte qui ont donné lieu à une contribution?
• En tenant compte du contexte de l'évaluation et de la nature des décisions auxquelles contribuera l'évaluation, déterminer le niveau de confiance exigé au regard des constatations. Dans le cas des interventions comportant un faible risque, le niveau de confiance requis est généralement bas et, de ce fait, l'étendue des éléments probants et la profondeur de l'analyse suivent la même tendance.
• Explorer la nature et la portée de la contribution attendue de l'intervention. Déterminer les éléments qui montreraient que l'intervention a contribué de façon notable aux résultats attendus.
• Déterminer si, d'une manière générale, la contribution prévue est plausible compte tenu de la nature de l'intervention (c.-à-d. déterminer si le problème peut raisonnablement être réglé grâce à l'intervention). Si une contribution n'est pas plausible, la valeur d'une analyse ultérieure pourrait être limitée.

Étape 2 : Élaborer la théorie du changement

La deuxième étape consiste à élaborer la théorie du changement.

• Concevoir la théorie initiale et la théorie plus précise du changement sur laquelle se fonde l'intervention (se reporter à la section 6.0).
• Déterminer le niveau de détail requis. L'analyse de la contribution requiert des chaînes de résultats raisonnablement simples, sans détails excessifs, en particulier au début. Aux étapes subséquentes, on pourrait décider que des détails et des précisions supplémentaires s'imposent afin d'examiner certains aspects de la théorie du changement, mais cette information peut aussi être ajoutée ultérieurement.

Étape 3 : Évaluer la description de la contribution formulée

À cette étape, il est utile d'examiner d'un œil critique la description de la contribution issue de la théorie du changement.

• Évaluer la logique des liens et vérifier la plausibilité des hypothèses utilisées dans la théorie du changement. La théorie comporte-t-elle des écarts significatifs? Ces écarts peuvent-ils être comblés si l'on précise la théorie du changement? Dans la négative, quelles sont les mesures à prendre pour produire une évaluation crédible?
• Cerner les éléments probants requis pour renforcer la description de la contribution. Déterminer les liens de causalité qui requièrent peu ou pas d'éléments probants. Déterminer les facteurs externes qui ne sont pas bien compris.
• Déterminer dans quelle mesure la théorie du changement est contestée. Est-elle généralement admise? Certains aspects sont-ils contestés? Y a-t-il plus d'une théorie du changement en cause?

Une partie de cette réflexion et de cette analyse a déjà été amorcée à l'étape de l'élaboration de la théorie du changement (étape 2). C'est pourquoi il se produira souvent une itération entre ces deux étapes. À cette étape du processus, il peut être utile d'effectuer un examen critique indépendant de la théorie du changement (par ex., l'intervention d'un expert externe). À ce moment-là, la théorie du changement est la théorie hypothétique préalable sur l'action prévue par les concepteurs de l'intervention. On peut alors la confronter aux éléments probants.

Étape 4 : Rassembler les éléments probants existants sur la théorie du changement

Avant de recueillir de nouvelles données, il est utile et rentable de chercher les données et les renseignements pertinents disponibles liés à la théorie du changement.

• Recueillir les éléments probants existants (évaluations et recherches antérieures, surveillance continue et analyse de l'environnement, et rapports sur les programmes) afin de fournir des preuves empiriques à propos de la description de la contribution qu'est censée fournir l'intervention (p. ex., les éléments probants des activités mises en œuvre, les résultats observés, les hypothèses, les facteurs externes pertinents et la manifestation du risque).
• Recueillir de l'information sur les influences externes (c.-à-d. des données qui aident à déterminer la plausibilité de leur effet sur la théorie du changement). Dans certains cas, les évaluateurs voudront élaborer des « théories » sur l'incidence possible des influences externes sur le programme.

À cette étape de l'analyse, la théorie du changement relative à l'intervention est formulée et les éléments probants disponibles qui l'appuient ont été rassemblés. Dans une certaine mesure, la théorie du changement a été vérifiée. On a également dégagé les facteurs externes significatifs, ainsi que les éléments probants qui s'y rattachent.

Étape 5 : Réévaluer la description de la contribution et les défis qui s'y rattachent

Il est maintenant possible de procéder à l'évaluation critique de la description de la contribution issue de la théorie du changement en tenant compte de l'information probante existante.

• Évaluer d'un œil critique la description de la contribution.
• Parmi les liens de causalité établis dans la théorie du changement, lesquels sont solides (logique solide, éléments probants suffisants pour démontrer que les hypothèses se sont vérifiées, faible risque ou acceptation générale) et lesquels sont faibles?
• Évaluer la crédibilité globale de la description. Le schéma des résultats observés et les liens valident-ils la chaîne de résultats?
• Les intervenants sont-ils en accord avec la description de la contribution établie?
• Est-il probable que l'un ou l'autre des facteurs externes significatifs aient eu un effet notable sur les résultats observés?
• Quelles sont les principales faiblesses de la description? Par exemple, les liens de causalité établis dans la théorie du changement doivent être notés en fonction de la probabilité de leur réalisation. Voir la note en bas de page 3 Il peut être utile de mentionner les points faibles qui requièrent des données ou de l'information supplémentaire.
• Ajuster la théorie du changement, en désagrégeant les éléments, s'il y a lieu, et réévaluer la description de la contribution.

Jusqu'à cette étape du processus d'évaluation, aucune donnée nouvelle n'a été recueillie. Le processus d'évaluation s'est plutôt appuyé sur les documents sur l'intervention, les discussions avec la direction et, dans certains cas, avec des experts, et le dépouillement de la documentation. Toutefois, à l'étape 5, l'évaluateur détermine les aspects de l'évaluation qui requièrent des éléments probants supplémentaires pour appuyer la description de la contribution. Ces éléments probants peuvent servir de moteur principal pour préparer ou préparer à nouveau le cadre d'évaluation et mettre à jour les méthodes de collecte des données connexes.

Étape 6 : Chercher de l'information probante supplémentaire

C'est à cette étape que les évaluateurs devraient commencer à recueillir de nouvelles données primaires fondées sur les étapes précédentes en vue de l'évaluation.

• Recueillir les éléments probants nécessaires pour renforcer la description de la contribution, au moyen des méthodes de collecte de données appropriées présentées dans les Méthodes d'évaluation des programmes : Mesures et attribution des résultats des programmes (p. ex., sondages, entrevues et examen et analyse de données administratives). Il s'agit de chercher des données démontrant les résultats produits, la validité des hypothèses et des risques compris dans la théorie du changement et des facteurs externes significatifs susceptibles d'avoir influé sur les résultats obtenus.
• Certains modèles quasi expérimentaux ou expérimentaux qui font appel à des groupes de comparaison pourront être utilisés pour explorer les éléments de la théorie du changement. Weitzman, Silver et Dillman (2002) présentent un exemple du renforcement de la théorie du changement sur laquelle repose une intervention au moyen d'un groupe de comparaison quasi expérimental.
• D'un point de vue théorique, l'évaluateur peut utiliser plusieurs méthodes de collecte de données courantes pour renforcer la vérification de la théorie.
  • Les entrevues auprès des personnes clés peuvent servir à tester la théorie du changement qui a été développée, à obtenir des théories du changement différentes de celle de l'évaluateur et à discuter d'autres facteurs déterminants. Une fois les réponses des personnes interrogées recueillies, il est utile de déterminer clairement sur quels éléments probants se base leur opinion.
  • Les groupes de discussion et les ateliers sont des méthodes intéressantes pour explorer la théorie du changement, car ils donnent lieu à des discussions et à des débats sur les différences de perception des intervenants quant à l'action de l'intervention. Ce genre d'approche peut déboucher sur des théories du changement différentes et permettre de cerner d'autres facteurs déterminants. Les groupes de discussion et les ateliers sont des moyens d'élaborer ou de perfectionner la théorie du changement et de déterminer et établir des éléments probants pour démontrer dans quelle mesure la théorie du changement s'est vérifiée dans les faits.
  • Les études de cas peuvent être utilisées de la même manière que les groupes de discussion et les ateliers. Dans le contexte de la théorie du changement, les études de cas sont des outils de collecte de données plus efficaces pour confirmer ou réfuter une théorie du changement, ou les très brèves étapes de la conception d'une théorie du changement, de façon à démontrer que la théorie du changement est effectivement plausible et pas seulement fondée sur des croyances sans fondement.

Étape 7 : Réviser et renforcer la description de la contribution

Au moyen des nouveaux éléments probants recueillis ci-dessus, les évaluateurs peuvent maintenant concevoir une description de la contribution plus crédible, qui s'appuie sur de solides conclusions relatives aux liens de causalité établis dans la théorie du changement. Il vaut la peine de répéter que le processus itératif convient mieux à la réalisation de l'analyse de la contribution. À cette étape, l'évaluateur peut envisager un retour à l'étape 5 ou même à des étapes précédentes afin de réévaluer les forces et les faiblesses de la théorie du changement et de la description de la contribution, et de déterminer si une analyse supplémentaire sera utile ou possible.

Bibliographie

Weitzman, B. C., Silver, D. et Dillman, K.-N. (2002). Integrating a comparison group design into a theory of change evaluation: The case of the urban health initiative. American Journal of Evaluation, 23(4), 371-386.

Bibliographie

Bureau d'évaluation du Fonds pour l'environnement mondial. (2009). Review of outcomes to impact (ROtl): Practitioner's handbook: (PDF 1420 Ko, anglais seulement) Washington, DC: Global Environmental Facility.
Mackenzie, M. et Blamey, A. (2005). The practice and the theory: Lessons from the application of a theories of change approach. Evaluation, 11(2), 151-168.
Mayne, J. (2001). Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1-24.
Mayne, J. (2008). Contribution analysis: An approach to exploring cause and effect (PDF – 130 Ko, en anglais seulement) (Brief No. 16). The Institutional Learning and Change (ILAC) Initiative.
Weiss, C. H. (1997). How can theory-based evaluation make greater headway? Evaluation Review, 21(4), 501-524.
Weitzman, B. C., Silver, D. et Dillman, K.-N. (2002). Integrating a comparison group design into a theory of change evaluation: The case of the urban health initiative. American Journal of Evaluation, 23(4), 371-386.
White, H. and Phillips, D. (2011). Small n Impact Evaluations (PDF – 979 Ko, en anglais seulement). International Initiative for Impact Evaluation, London Seminar Series. November 17, 2011.

Évaluation des politiques

L'évaluation des politiques du gouvernement peut être complexe. Habituellement, les politiques gouvernementales comprennent un certain nombre d'interventions différentes au sein du programme (ou d'autres activités) ayant pour but de réaliser les objectifs de la politique. Les interventions relatives au programme peuvent prendre diverses formes, ce qui témoigne de l'utilisation des différents instruments de politiques comme les dépenses directes, la législation, la réglementation et la fiscalité, et des types particuliers d'activités exécutées à l'intérieur de ces grands groupes. En outre, les interactions possibles entre les différentes interventions de programme ou entre les politiques sont susceptibles d'accroître les difficultés associées à l'évaluation de ces politiques.

Dans ces cas, les approches axées sur la théorie peuvent être appliquées de diverses façons, y compris, sans s'y limiter, les façons suivantes :

• Pour chaque politique, on peut développer une théorie du changement, qui décrit l'action attendue de la politique, montre la série d'interventions de programme à l'appui et indique comment ces dernières sont censées concourir à la réalisation des résultats que la politique doit produire. Cette théorie peut fournir une base pour décider de la meilleure façon de procéder à l'évaluation de la politique.
• On peut développer des théories du changement pour chaque intervention de programme afin d'évaluer la contribution faite au chapitre de la politique générale (p. ex., une analyse de la contribution). Ensuite, on pourra regrouper et synthétiser les conclusions tirées des évaluations pour formuler des constatations et des conclusions sur la politique à proprement parler. À partir des différentes théories du changement ainsi élaborées, les autres interventions de programme, qui représentent les autres interventions de programme à l'appui de la politique, peuvent être traitées comme s'il s'agissait de facteurs externes. On peut donc évaluer les indices qui témoignent de la présence d'interactions entre les interventions.
• Au lieu de se concentrer sur les interventions de programme, il peut être utile de recenser les différents types de stratégies^{Voir la note en bas de page 3} utilisées pour mettre en œuvre la politique et employer ces mêmes stratégies comme point central de l'évaluation axée sur la théorie. En adoptant cette perspective, l'évaluateur tente de cerner les instruments de politique qui fonctionnent bien, et dans quelles circonstances et avec quelles personnes ils sont efficaces. L'utilité de cette façon de procéder devient manifeste lorsque les différentes interventions de programme utilisent des instruments de politique différents. En outre, si chaque intervention de programme a recours à un instrument de politique différent, chaque intervention de programme pourrait être évaluée individuellement, comme il est expliqué ci-dessus. Toutefois, en pareils cas, il faudra peut-être analyser la cohésion des politiques de façon à obtenir un portrait intégré des répercussions de l'instrument de politique.

Dans tous les cas, il convient de se rappeler que les théories du changement sont un concept abstrait visant à donner une vue d'ensemble de l'effet d'une intervention. Dans certains cas, et plus particulièrement dans des cadres plus complexes, il pourrait aussi être utile d'effectuer des études de cas détaillées pour vérifier des théories, des aspects des théories ou les multiples théories du changement élaborées.
Stame (2004) et Vaessen et Todd (2007, 2008) examinent une approche d'évaluation des interventions sous forme de politiques.

Initiatives horizontales

D'un point de vue méthodologique, les initiatives horizontales ressemblent passablement à l'évaluation des politiques présentée ci-dessus. Autrement dit, l'initiative horizontale peut être considérée comme la politique générale et les éléments de programme comme l'équivalent des interventions de programme mises en œuvre pour atteindre les objectifs de la politique. Les initiatives horizontales posent une difficulté supplémentaire, puisque les composantes de l'intervention sont gérées par différents ministères. Par conséquent, les initiatives horizontales requièrent une gouvernance et une coordination des activités d'envergure, ce qui comprend la gestion de programmes et la mesure du rendement. Cela s'applique aussi à la planification et à l'exécution des évaluations des initiatives horizontales.

Tout comme le cas d'évaluation des politiques, l'approche axée sur la théorie pour évaluer une initiative horizontale peut se concentrer sur la théorie générale du programme (c.-à-d. la théorie horizontale), sur les théories liées aux interventions de programme entreprises par les ministères partenaires (c.-à-d. les différentes stratégies ministérielles employées), ou, idéalement, sur les deux. La dernière option permet de réaliser une analyse de la contribution fondée sur les théories du changement combinées. Également semblables au cas d'évaluation des politiques axée sur la théorie décrite ci-dessus, les interactions théorisées entre les interventions (c.-à-d., les interventions des autres ministères) pourraient être considérées comme de possibles facteurs externes comportant une incidence sur les théories du changement en cause dans d'autres parties de l'initiative horizontale. Parallèlement, il n'est pas exclu que certaines interventions précises contribuent à d'autres théories du changement au sein du ministère concerné.

Dans certains types d'initiatives horizontales, les ministères concernés peuvent utiliser différents mécanismes d'intervention dans le cadre de l'effort collectif. Une telle approche est susceptible de fournir une expérience naturelle sur l'apprentissage de l'utilisation des approches d'évaluation axées sur la théorie et la comparaison des expériences en la matière.

Interventions à faibles risques

Les interventions à faibles risques sont des interventions où l'ensemble des risques (p. ex., une faible importance, des répercussions négligeables de l'échec d'un programme, des éléments probants issus d'une évaluation antérieure qui semblent indiquer que le programme a eu un excellent rendement, aucune question significative quant à la pertinence du programme et d'autres facteurs [c.-à-d. stabilité contextuelle]) indiquent qu'il n'est pas nécessaire, pour le moment, d'effectuer une évaluation approfondie ou que l'évaluation devrait accorder une plus grande place à certains éléments du programme et moins d'importance à d'autres. Dans de tels cas, une option possible consiste à personnaliser la méthode d'évaluation et à calibrer les méthodes de collecte de données en fonction du coefficient de confiance requis. En adoptant une approche axée sur la théorie « plus souple » l'équipe d'évaluation pourra établir, avec une plus grande rigueur que celle des approches qualitatives habituelles, des inférences causales sur l'efficacité du programme, tout en continuant à utiliser une quantité limitée de ressources. Cela pourrait nécessiter les actions suivantes :

• Utilisation d'une chaîne de résultats simplifiée, appuyée d'une théorie du changement de base.
• Détermination d'un petit nombre d'hypothèses et de risques critiques.
• Confirmation du caractère raisonnable de la conception de l'intervention (c.-à-d. que la théorie du changement est logique).
• Confirmation que les activités prévues dans le cadre de l'intervention ont été accomplies et ont produit les extrants prévus.
• Confirmation, le cas échéant, au moyen des données de suivi disponibles, que certains des résultats immédiats et des résultats intermédiaires ont été obtenus.
• Entrevues ciblées auprès des principaux intervenants afin de confirmer que la théorie du changement fonctionne comme prévu et que les autres facteurs mis en cause n'ont pas joué un grand rôle.
• Conclusions quant à la mesure dans laquelle les activités du programme font une différence.

Selon le cas, chacune de ces étapes pourrait être améliorée pour augmenter le niveau de confiance par rapport aux conclusions tirées. La conception de l'intervention sera personnalisée pour tenir compte du risque perçu et du coefficient de confiance requis.

Programmes de subventions et de contributions

L'évaluation des programmes de subventions et de contributions (S et C) présente des difficultés que l'approche axée sur la théorie peut surmonter. Voici en quoi consistent quelques-unes de ces difficultés :

• Capacité limitée des organisations bénéficiaires de recueillir des données et d'évaluer leurs services ou projets.
• Contextes opérationnels ou limites sur le plan des capacités des organisations bénéficiaires, ce qui rend impossible l'utilisation de modèles d'évaluation expérimentaux ou quasi expérimentaux.
• Collecte de données donnant parfois lieu à de la rétroaction positive uniquement (« oui, tout va bien ») de la part des bénéficiaires, qui espèrent que cela les aidera à obtenir l'approbation de leur prochaine demande de financement.

Pour plusieurs S et C, il peut être utile d'élaborer deux théories du changement : une pour le ministère et l'autre pour les organismes destinataires. La théorie du ministère comportera des hypothèses et des opinions qui expliqueront pourquoi l'organisme destinataire sera capable, avec des fonds supplémentaires et un potentiel renforcement des capacités, de fournir aux Canadiens les services améliorés prévus et d'offrir les avantages attendus. La théorie du changement de l'organisme destinataire sous-tend la prestation des services aux bénéficiaires visés (c.-à-d. pourquoi l'organisme destinataire croit que, en fournissant les services élargis, il aidera les bénéficiaires). Ces deux théories du changement apportent un cadre que l'évaluateur pourra utiliser pour trier, clarifier et isoler les intérêts directs du ministère et les obligations découlant des intérêts de l'organisme destinataire.

En outre, l'organisme destinataire peut se servir de la théorie du changement comme point de départ pour exposer de manière crédible sa description du rendement (p. ex., en encourageant le destinataire à recueillir des éléments probants pour étoffer sa description du rendement et à en améliorer la formulation). Cela pourrait inclure la collecte, auprès de sa clientèle, des expériences qui ont produit les changements les plus significatifs (Dart et Davies, 2003), qui pourraient être utilisées pour confirmer la théorie du changement et cerner les principaux facteurs contextuels et les mécanismes du changement qui aideront l'organisation destinataire à fournir de meilleurs services.

En utilisant l'évaluation axée sur la théorie, les ministères seront capables de formuler des affirmations plus crédibles concernant les améliorations apportées grâce aux fonds reçus au moyen de la vérification des théories du changement en cause. De plus, lorsque la théorie du changement tient lieu de cadre, les entrevues, les groupes de discussion et les études de cas (présentés à la section 7) pourraient fournir des informations plus précises sur la robustesse des théories.

Bibliographie

Dart, J. et Davies, R. (2003). A dialogical, story-based evaluation tool: The most significant change technique. American Journal of Evaluation, 24(2), 137-155.

Planification et conception des interventions

Il n'est pas rare pour les évaluateurs de constater qu'un modèle logique, que des chaînes de résultats ou une théorie du changement n'ont pas été développés ou n'ont été développées que partiellement au regard de l'intervention à évaluer. L'établissement d'une théorie du changement élémentaire ou étoffée, possiblement avec l'aide des évaluateurs, dans le cadre de la conception préalable d'une intervention apporte de multiples avantages, notamment :

• fournir un moyen d'amener les intervenants à s'entendre seulement sur la façon dont l'intervention est censée contribuer aux objectifs attendus. En outre, dans des situations plus compliquées, la théorie du changement aide à clarifier la contribution escomptée des différents sous-éléments d'une intervention plus vaste;
• préciser les aspects du modèle d'intervention dont il faut s'occuper, en particulier, veiller à ce que les principales hypothèses requises pour assurer la réussite de l'intervention puissent être influencées directement ou indirectement par l'intervention;
• cerner les aspects qu'il faudra peut-être approfondir pour mieux comprendre comment fonctionne l'intervention;
• communiquer aux autres personnes les résultats qu'est censée produire l'intervention et la façon dont elle y parviendra.

Conception des profils de l’information sur le rendement

En plus d'aider à déterminer les résultats qui doivent faire l'objet d'un suivi, la théorie du changement permet de cerner les autres facteurs à suivre pour s'assurer que l'intervention se déroule comme prévu et que les progrès sont surveillés. L'examen de la théorie du changement aidera à déterminer les résultats, les hypothèses, les risques et les facteurs externes les plus susceptibles d'aider le gestionnaire à faire le suivi à l'aide des profils de l’information sur le rendement. Mises en place correctement, les théories du changement sont intéressantes pour les gestionnaires. Elles améliorent grandement l'efficacité de la gestion des résultats (Mayne, 2009). Finalement, avec de bonnes données de suivi, il sera possible de réaliser des évaluations plus solides et plus efficaces.

Rapports sur le rendement

La théorie du changement sert de cadre pour la formulation de la description du rendement de l'intervention et, collectivement, du ministère. On peut présenter les données et l'information qui sont recueillies au regard de la théorie du changement de façon à montrer que l'intervention a apporté des améliorations concrètes. Le cadre fournit également des moyens rationnels et transparents pour produire des rapports sélectifs sur le rendement.

Bibliographie

Anderson, A. A. (2004). Theory of change as a tool for strategic planning: A report on early experiences, Washington, DC: The Aspen Roundtable on Community Change. (PDF – 231 Ko, en anglais seulement)
Chen, H.-T. (2003). Theory-driven approach for facilitation of planning health promotion or other programs. Canadian Journal of Program Evaluation, 18(2), 91-113.
Funnell, S. C. et Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models. San Francisco, CA: Jossey Bass.
Mayne, J. (2009). Results management: Can results evidence gain a foothold in the public sector? In O. Reiper, F. Leeuw and T. Ling (Eds.), The evidence book. Piscataway, NJ: Transaction Publishers.