ARCHIVÉE - Programmes de subventions et de contributions pour la promotion de la santé de la population : résumé des évaluations de programme, 2004-2009
10. Conception et réalisation
Voici la question d’évaluation sur la « conception et réalisation » figurant dans la stratégie d’évaluation des SCPSP :
De quelle manière les programmes ont-ils abordé la conception et la réalisation
des programmes? (Quels éléments ont donné de bons et de mauvais résultats?)
Voici les indicateurs connexes :
- le nombre et le type d’activités; les extrants connexes à la recherche et au développement des connaissances, aux stratégies de communication et de diffusion, à l’élaboration des politiques, à la collaboration intersectorielle et au renforcement des capacités;
- les pratiques exemplaires et les recommandations relatives à la modification et à l’amélioration du programme.
Toutes les évaluations, peut-être à l’exception de l’examen sur la mise en oeuvre de la SIMVSMC et d’une partie de l’évaluation de la SCD, ont tiré des conclusions positives sur la conception et la réalisation du programme. Selon les évaluations, la conception et la réalisation des programmes sont judicieuses, elles laissent transparaître la promotion de l’approche axée sur la santé de la population et elles ont favorisé l’atteinte des résultats visés, énoncés dans le modèle logique des SCPSP. Les mêmes évaluations ont également révélé que les programmes sont bien gérés et qu’ils permettent l’optimisation des ressources. Cette conclusion se fonde sur la réalisation d’activités et la réalisation d’extrants dans les domaines suivants : diffusion et développement des connaissances; contribution à l’élaboration des politiques, des programmes et des services; collaboration; renforcement des capacités; participation des populations cibles dans la gouvernance et la réalisation des projets et des programmes; ressources offertes par des partenaires et des collaborateurs (plus particulièrement, les contributions en nature et le temps consacré par les bénévoles).
L’analyse des résultats et de l’incidence, présentée ci-dessus, aborde en détail les principales activités et les extrants connexes. La majorité des évaluations ont présenté les types d’activités et d’extrants de façon générale, et certaines (comme celle du PACE) ont fourni des données quantitatives.
Règle générale, les évaluations ne donnaient pas une réponse directe à la question de savoir « quels éléments ont donné de bons et de mauvais résultats », et si oui, elles dressaient une longue liste d’activités positives et négatives.
Voici les possibilités de modification et d’amélioration des programmes relevées les plus fréquemment dans les évaluationsNote de bas de page 10 :
- amélioration de la coordination et de la définition des relations entre les régions, les régions et le bureau national ainsi qu’entre la planification stratégique coordonnée systématiquement et l’établissement des priorités;
- financement :
- prise en compte de la nécessité d’injecter aussi des ressources dans l’administration (y compris pour la coordination et l’évaluation);
- meilleure adéquation entre les résultats visés et le financement : certains projets, comme ceux axés sur la prévention, doivent être réalisés à long terme, mais le financement, souvent insuffisant, est généralement accordé à court terme; ]
- gestion des connaissances et conception d’outils : consolidation de l’apprentissage ou des données sur différentes démarches relatives à la conception et à la réalisation dans un seul organisme, qui serait également responsable de la synthèse des renseignements, puis de la conception et de la diffusion d’outils et de guides mieux adaptés au degré de maturité ou de connaissances des utilisateurs potentiels (y compris les bénéficiaires de financement), de sorte à diminuer la courbe d’apprentissage;Note de bas de page 11
- processus administratif : diminution du fardeau administratif, plus particulièrement de la reddition de comptes à l’ASPC, et rapidité accrue des décisions, particulièrement en ce qui concerne le financement;
- synergie : promotion de la collaboration, de la coordination et de l’intégration accrues entre les programmes traitant de stratégies, de facteurs de risque ou de questions connexes; de programmes utilisant des démarches semblables; ou de programmes intéressant les mêmes collectivités d’intervenants.
Les centres d’excellence pour le bien-être des enfants ont ajouté que malgré les progrès généralement positifs en ce qui concerne la mise en oeuvre du programme, « [...] les centres n’ont certainement pas atteint leur plein potentiel : les progrès réalisés ne sont pas uniformes dans l’ensemble des centres; les centres ne constituent encore pas un programme national; la majorité des centres ont commencé seulement au cours de la dernière année à solliciter la participation des décisionnaires et à influer sur les politiques. » [traduction] (p. 47)
L’évaluation de la SCD a signalé que les principaux informateurs estimaient que la mise en oeuvre de la composante de la stratégie axée sur la coordination nationale était « [...] mal conçue, mal planifiée et jusqu’à tout récemment, mal gérée » [traduction] (p. 19), mais que l’élaboration du Système national de surveillance du diabète connaît un succès retentissant. Les principales raisons expliquant l’évaluation négative de la composante axée sur la coordination nationale étaient l’incertitude et l’agitation causées par la restructuration de Santé Canada au moment de l’évaluation, le roulement de personnel au sein du programme ainsi que les différences entre les deux principales directions générales de Santé Canada participant (alors) à la stratégie.
11. Rapport coût-efficacité
Le rapport coût-efficacité réside dans la comparaison du coût relatif de différentes solutions permettant d’obtenir un résultat en particulier. Il n’en était pas question dans la stratégie d’évaluation du programme de SCPSP principal.
Parmi les quatorze évaluations, neuf ont traité du rapport coût-efficacité, même brièvement. Les quatre évaluations formatives et relatives à la mise en oeuvre, ainsi que l’évaluation du PAPACUN sont celles qui font exception. Cependant, la majorité des évaluations ont eu de la difficulté à aborder la question du rapport coût-efficacité. Les neuf évaluations sauf une ont précisé que les renseignements n’étaient pas accessibles ou se sont rabattues sur la solution de citer les intervenants, selon lesquels le programme présente un bon rapport coût-efficacité et permet l’optimisation des ressources. L’un des meilleurs exemples de cette conclusion se trouve dans l’évaluation de l’Initiative pour la prévention des chutes :
« Selon les données recueillies dans le cadre des entrevues des principaux informateurs et des coordonnateurs de projet, ainsi que des documents à ce sujet, ce type de programme de promotion de la santé constitue une approche rentable en raison de l’exploitation des ressources communautaires en place et des bénévoles, de la mise à profit des ressources en nature et de certaines ressources financières, des probabilités d’entraîner des conséquences durables (p. ex. utilisation continue des outils crées, prolongement des partenariats) et des économies attendues relativement aux frais de santé en raison de la diminution des blessures causées par des chutes. » [traduction] (p. 59)
L’évaluation du RCS explique également la difficulté d’évaluer le rapport coûtefficacité en raison du manque de données de référence et de renseignements sur le coût et les utilisateurs de sites Web semblables. Néanmoins, l’évaluation a réussi à fixer certains objectifs et à se prononcer de façon quantitative sur l’efficacité du RCS grâce à des données sur le coût par utilisateur des stratégies d’Industrie Canada et d’études sur la facturation de l’utilisateur effectuées en Nouvelle-Zélande et au Royaume-Uni.
12. Conclusions
Le présent examen des évaluations des programmes subordonnés de SCPSP menées de 2004 à 2009, pour répondre aux questions d’évaluation du CGRR SCPSP principal, conclut qu’en général, les programmes subordonnés ont contribué grandement à l’atteinte du résultat stratégique de l’ASPC, soit « des Canadiens en meilleure santé, une réduction des disparités en matière de santé et un renforcement des capacités en santé publique ».
12.1. Conclusion concernant la pertinence
Les mesures et les engagements pris par le gouvernement du Canada au sujet de la santé de la population, y compris la création récente de l’Agence de la santé publique, confirment que la participation du gouvernement fédéral dans la promotion de la santé de la population demeure pertinente.
12.2. Conclusion sur les résultats et l’incidence
Règle générale, les évaluations examinées dans le cadre du présent rapport apportaient des preuves importantes concernant la contribution des programmes de SCPSP dans l’atteinte des résultats énoncés dans le modèle logique des SCPSP et de la stratégie de mesure du rendement grâce à la mise en oeuvre d’activités fondamentales dans les domaines suivants :
- recherche, développement des connaissances et stratégies de communication et de diffusion intégrées;
- direction et élaboration de politiques;
- collaboration intersectorielle;
- renforcement des capacités.
Les programmes semblent comporter invariablement les principes caractérisant une approche axée sur la santé de la population, soit les suivants : l’utilisation de données probantes; la concentration sur la responsabilisation, la participation et le renforcement des capacités; la collaboration, la participation et les partenariats intersectoriels accrus; l’utilisation de stratégies multiples élaborées en fonction du sexe des individus et de leur culture. Les programmes, également axés sur les déterminants de la santé, mettent l’accent sur différents aspects, pendant de leurs objectifs : il peut par exemple s’agir de programmes axés sur la prévention (y compris la sensibilisation accrue du public à l’aide de démarches adaptées aux réalités culturelles; la concentration sur les populations à haut risque) et l’atténuation (p. ex. les pratiques de santé personnelles, la manière dont s’en sorte les personnes atteintes de la maladie et celles de leurs réseaux d’aide, l’accessibilité accrue aux services de santé, l’amélioration de l’acceptation sociale) d’une maladie en particulier ou encore de programmes complets de services ou de recherche axés sur les enfants, les femmes ou d’autres populations à risque, qui abordent un ensemble général de déterminants.
Les preuves de la réalisation des résultats énoncés dans le modèle logique de SCPSP et dans la stratégie de mesure du rendement, qui ont été relevés par les évaluations des programmes examinées, sont présentées dans le tableau 2 ci-dessous.
| Résultat visé | Réalisation |
|---|---|
| Capacités accrues d’influer sur les mesures concernant les déterminants de la santé (résultat immédiat) | La capacité d’influer sur les mesures concernant les déterminants de la santé a été renforcée grâce aux contributions monétaires et aux ressources concrètes offertes par l’ASPC, les partenaires et les collaborateurs. Les compétences et les capacités intellectuelles ont elles aussi été renforcées grâce au partage des connaissances, à la formation et aux réseaux de l’ensemble des participants du programme ainsi que du grand nombre de bénévoles (y compris des membres de la population cible) participant à la gouvernance de l’organisme communautaire et à la prestation du programme. |
| Coordination accrue de la collaboration intersectorielle entre les gouvernements, les secteurs et les intervenants (résultat immédiat) | Tous les programmes (peut-être à l’exception de la Stratégie intégrée en matière de modes de vie sains et de maladies chroniques) ont mis en place des mesures de collaborations efficaces avec d’autres parties, soit d’autres ministères, d’autres ordres de gouvernement, des entreprises, des organismes sans but lucratif, des organismes professionnels, des écoles, des institutions, des personnes, et pour certains programmes, qui sont ont établis à l’étranger. Ce secteur de résultat est souvent relevé parmi les forces particulières de nombreux programmes. |
| Mise en oeuvre de stratégies et de politiques favorisant la promotion de la santé (résultat immédiat) | La mise en oeuvre de tous les programmes de SCPSP présente les caractéristiques d’une approche axée sur la santé de la population. Le grand nombre de guides et de trousses sur la mise en oeuvre d’une approche axée sur la santé de la population à l’échelle provinciale et locale révèle un soutien généralisé non seulement pour la promotion de la santé, mais aussi pour l’approche axée sur la santé de la population. Récemment, l’ASPC a lancé les éléments initiaux du Système canadien des pratiques exemplaires, ce qui permettra d’améliorer les politiques et les pratiques en matière de promotion de la santé, sans oublier les capacités communautaires (grâce à la possibilité d’améliorer l’efficacité). |
| Sensibilisation accrue et utilisation de données fiables au sujet de la santé (résultat immédiat) | Les programmes de SCPSP ont rapporté des extrants considérables relatifs à la recherche, aux connaissances et à leur diffusion. Les produits de développement des connaissances comprennent des évaluations de projets et de programmes, des recherches dirigées et sollicitées, ainsi que l’apprentissage partagé au moyen de la prestation de programmes pratiques et d’activités de surveillance. Les programmes ont utilisé plusieurs méthodes de diffusion à la fois, dont les suivantes : sites Web; courrier postal; presse écrite et électronique (audio, vidéo, CD); présentations dans le cadre de conférences d’envergure locale, régionale ou nationale; ateliers; discussions directes avec les utilisateurs potentiels. |
| Données de référence visant à concevoir les pratiques et les politiques en matière de promotion de la santé (résultat intermédiaire) | L’élaboration et la mise en oeuvre de pratiques et de politiques en matière de promotion de la santé de la population s’appuient sur un nombre grandissant de données de référence grâce aux apprentissages, aux leçons et aux pratiques exemplaires résultant de la prestation continue de programmes, de la collaboration avec des organismes de recherche, comme les Instituts de recherche en santé du Canada, au financement offert directement par des organismes de recherche et des réseaux, comme les centres d’excellence pour le bien-être des enfants et les Centres de collaboration nationale en santé publique. Une démarche décisionnelle fondée sur des données probantes s’inscrit parmi les principes essentiels de la promotion de la santé de la population. Les modifications relatives aux pratiques et aux politiques mentionnées dans les évaluations révèlent l’utilisation de ces données. |
| Consolidation des politiques de promotion de la santé et des mesures prises au sein du système de santé (résultat intermédiaire) | Bien qu’aucune des évaluations n’ait analysé systématiquement leur rendement dans ce secteur de résultat, les relations de travail étroites, la collaboration et le réseautage entre les différents organismes gouvernementaux et non gouvernementaux ainsi que les groupes de différents niveaux – des groupes de travail sur des projets communautaires; des consultations auprès d’entreprises privées, d’organismes de bénévolat et du secteur public; des comités FPT; des conférences et des réunions au sein du ministère et à l’étranger – devraient contribuer à la consolidation et à l’harmonisation accrues des politiques en matière de promotion de la santé et des mesures prises au sein du système de santé et à l’extérieur de celui-ci. |
| Accessibilité accrue des services sociaux et de santé pour les populations cibles (résultat intermédiaire) | D’après les évaluations examinées, les programmes de SCPSP ont fourni des renseignements et des outils visant à améliorer l’accessibilité aux services dont ont besoin les populations cibles. Certains programmes, comme le PCNP, le PAPACUN et le PACE, fournissent directement des services. D’autres programmes travaillent en collaboration avec des organismes spécialisés dans les politiques et la prestation de services dans l’objectif de remédier aux lacunes décelées. Parmi les forces des programmes de SCPSP souvent relevées se trouvent la flexibilité et la capacité d’adaptation aux besoins et aux conditions locales, notamment la situation stratégique des centres de services et l’utilisation de démarches adaptées aux réalités culturelles. La formation et les autres services de soutien offerts par les programmes de SCPSP contribuent également à l’amélioration des connaissances de la population cible en matière de santé, de sorte qu’elle est en mesure de prendre des décisions éclairées sur les services qu’elle désire et dont elle a besoin. |
Résultats à long terme et résultats finaux :
|
Aucune des évaluations n’a traité de ces résultats à long terme parce qu’ils étaient jugés trop éloignés. Néanmoins, si les programmes de SCPSP atteignent leurs résultats immédiats et intermédiaires – et les données semblent confirmer qu’ils y parviennent généralement – ils devraient aussi atteindre leurs résultats à long terme. Cependant, si le résultat relatif à l’« amélioration des compétences et des pratiques personnelles favorisant la santé », était interprété à l’échelle du programme, il serait possible de conclure que certains programmes, comme l’Initiative pour la prévention des chutes et le PCNP, y auraient contribué. |
12.3. Conclusion sur la conception et la réalisation
Selon la majorité des évaluations, la conception et la réalisation des programmes sont judicieuses, elles laissent transparaître la mise en oeuvre de la promotion de l’approche axée sur la santé de la population et elles ont favorisé l’atteinte des résultats visés, énoncés dans le modèle logique des SCPSP et présentés ci-dessus. Les mêmes évaluations ont également révélé que les programmes sont généralement bien gérés et qu’ils sont rentables, c’est-à-dire qu’ils permettent l’« optimisation des ressources ».
12.4. Conclusion sur le rapport coût-efficacité
La majorité des évaluations ont eu de la difficulté à aborder la question du rapport coût-efficacité. Les évaluations ont précisé que les renseignements n’étaient pas accessibles ou elles se sont rabattues sur la solution de citer les intervenants, selon lesquels le programme présente un bon rapport coût-efficacité ou permet l’« optimisation des ressources ».
13. Recommandations
Toutes les évaluations comprenaient des exemples de difficultés, de leçons tirées et de recommandations formulées en conséquence. Les observations ci-dessous sont générales et concernent les secteurs dont il a été question dans deux évaluations ou plus. Les recommandations se fondent sur les conclusions et les leçons tirées.
RECOMMANDATION 1 : l’ASPC devrait concevoir un cadre de travail et une stratégie concernant ses activités d’évaluation, qui assureraient l’uniformisation de la terminologie, des questions fondamentales, de la conception de l’évaluation ainsi que de la présentation et du contenu du rapport d’évaluation.
RECOMMANDATION 2 : l’ASPC devrait continuer d’exiger un plan d’action de la gestion à la suite de chaque évaluation, et surveiller son application.
RECOMMANDATION 3 : l’ASPC devrait joindre des évaluations stratégiques aux évaluations de programme.
Bibliographie
- Canada. Santé Canada. Synthèse évaluative « Regard sur le passé et l'avenir » Sommaire de six évaluations de programmes de contributions pour la santé de la population de la Direction générale de la population et de la santé publique, Ottawa, Santé Canada, 2003.
- Canada. Santé Canada. Stratégies d’amélioration pour la santé de la population : investir dans la santé des Canadiens, document de travail préparé par le Comité consultatif fédéral-provincial-territorial sur la santé de la population, Ottawa, ministre des Approvisionnements et Services Canada, 1994.
- Canada. Agence de la santé publique du Canada. Approche axée sur la santé de la population : cadre organisateur, Ottawa, Agence de la santé publique du Canada, <http://cbpp-pcpe.phac-aspc.gc.ca/population_health/index-fra.html>
- Canada. Agence de la santé publique du Canada. Rapport sur les plans et les priorités de 2008-2009 de l’Agence de la santé publique du Canada, Ottawa, Agence de la santé publique du Canada, 2008.
- Canada. Agence de la santé publique du Canada. Plan stratégique de l’Agence de la santé publique du Canada : 2007-2012, Information, Savoir, Action, Ottawa, Agence de la santé publique du Canada, 2007.
- United States General Accounting Office. Program Evaluation and Methodology Division. The Evaluation Synthesis. Washington, Government Printing Office, révisé en mars 1992.
Détails de la page
- Date de modification :