Évaluation de synthèse des paiements de transfert octroyés aux organisations pancanadiennes de santé de 2014 2015 à 2017 2018

Document préparé par le Bureau de l'audit et de l'évaluation Santé Canada et l'Agence de la santé publique du Canada

Version traduite. En cas de divergence entre le présent texte et le texte anglais, la version anglaise a préséance.

Décembre 2018

Table des matières

• Résumé
• 1.0 But de l'évaluation
• 2.0 Description du programme
• 3.0 Description de l'évaluation
  • 3.1 Portée, approche et conception de l'évaluation
  • 3.2 Limites et stratégies d'atténuation
• 4.0 Constatations
  • 4.1 Pertinence des OPS
    • 4.1.1 Harmonisation avec les rôles et les responsabilités fédéraux
    • 4.1.2 Harmonisation avec les priorités du gouvernement du Canada et de Santé Canada
    • 4.1.3 Besoin soutenu pour l'ensemble des OPS
  • 4.2 Atteinte des résultats prévus
    • 4.2.1 Constatations générales concernant l'atteinte des résultats
  • 4.3 Démonstration de l'économie et de l'efficience
    • 4.3.1 Budget des OPS et part des paiements de transfert de Santé Canada
    • 4.3.2 Efficience des OPS
• 5.0 Conclusions et recommandations
• Annexe A – Documents inclus à l'évaluation de synthèse

Liste des tableaux

• Tableau 1 : Profil des OPS
• Tableau 2 : Questions abordées dans l'évaluation de synthèse
• Tableau 3 : Limites et stratégies d'atténuation
• Tableau 4 : Part des paiements de transfert du gouvernement du Canada dans le budget annuel des OPS

Liste des acronymes et des abréviations

ACMTS

Agence canadienne des médicaments et des technologies de la santé

CCDUS

Centre canadien sur les dépendances et l'usage de substances

ICIS

Institut canadien d'information sur la santé

FCASS

Fondation canadienne pour l'amélioration des services de santé

PCCC

Partenariat canadien contre le cancer

ICSP

Institut canadien pour la sécurité des patients

Inforoute

Inforoute Santé du Canada

CSMC

Commission de la santé mentale du Canada

OPS

Organisation pancanadienne de santé

Résumé

Introduction

L'évaluation de synthèse avait pour but de déterminer la pertinence et le rendement des paiements de transfert octroyés aux organisations pancanadiennes de santé créés et soutenus par Santé Canada pour la période du 1er avril 2014 au 31 mars 2018. Le présent rapport a été produit pour satisfaire aux exigences de la Loi fédérale Loi sur la gestion des finances publiques.

Une évaluation de synthèse similaire avait été complétée en 2014 et, depuis, la plupart des OPS ont mené leur propre évaluation menée par le bénéficiaire. Ces évaluations ont été utilisées comme principale source de données probantes pour ce rapport, ainsi que certains examens récemment entrepris, dont un examen externe commandé en 2018 par la ministre de la Santé (Ajustées à l'objectif : Observations et recommandations de l'examen externe des organisations pancanadiennes de santé) et les rapports annuels sur les activités et les résultats des OPS.

Renseignements généraux

Au cours des 30 dernières années, le gouvernement du Canada a créé et soutenu neuf organisations pancanadiennes afin qu'elles abordent un éventail d'enjeux touchant les soins de santé. L'établissement de ces organisations indépendantes pour tenir compte des intérêts nationaux en matière de soins de santé était le résultat soit d'ententes fédérales, provinciales et territoriales, soit d'initiatives fédérales mises en œuvre dans un secteur particulier des soins de santé.

Au sein du système de soins de santé décentralisé du Canada, ces organisations pancanadiennes ont été conçues pour fournir une coordination et collaboration nationale pour traiter des priorités à l'échelle du système. Leurs rôles et leur portée diffèrent, mais normalement elles fournissent toutes des services et un soutien à l'échelle du système (p. ex. donner des conseils fondés sur des données probantes pour appuyer la prise de décisions), ou elles agissent comme catalyseur en vue d'une amélioration dans les domaines prioritaires (p. ex. fournir un leadership et réaliser des progrès quant à un enjeu de santé).

Des neuf organisations originales, huit ont reçu un financement de Santé Canada de 2014‑2015 à 2017‑2018. Elles ont toutes été incluses à la présente évaluation de synthèse et sont les suivantes : 1) le Centre canadien sur les dépendances et l'usage de substances (CCDUS), 2) l'Agence canadienne des médicaments et des technologies de la santé (ACMTS), 3) l'Institut canadien d'information sur la santé (ICIS), 4) la Fondation canadienne pour l'amélioration des services de santé (FCASS), 5) Inforoute Santé du Canada (Inforoute), 6) l'Institut canadien pour la sécurité des patients (ICSP), 7) le Partenariat canadien contre le cancer (PCCC) et 8) la Commission de la santé mentale du Canada (CSMC)^{Note de bas de page i}.

Constatations

Pertinence

Les données probantes disponibles ont fourni une évaluation mitigée de l'harmonisation des mandats des OPS aux priorités du gouvernement du Canada. D'une part, la lettre de mandat adressée à la ministre de la Santé en 2017 et les budgets de 2016, 2017 et 2018 ont inclus un ensemble de priorités liées aux mandats de la plupart des OPS. Parmi ces priorités figuraient la promotion de la technologie numérique dans le domaine de la santé, la réponse à la crise des opioïdes et la prévention des conséquences possibles de la légalisation du cannabis; ces priorités s'alignaient aux mandats respectifs d'Inforoute, du CCDUS et de la CSMC.

En revanche, l'examen externe de 2018 commandé par la ministre de la Santé a noté un alignement insuffisant des enjeux abordés par les OPS en relation avec les priorités du gouvernement du Canada, en raison notamment d'un manque d'orientation stratégique définie par Santé Canada. Il importe de souligner que l'évaluation de synthèse de 2014 avait soulevé un problème semblable et que, même si des mesures ont été prises à Santé Canada pour améliorer l'orientation stratégique fournie aux organisations, d'autres progrès restent à faire dans ce domaine. De plus, l'examen externe a révélé que la gouvernance des OPS n'avait pas toujours un but clair et que les OPS avaient établi leurs priorités indépendamment les unes des autres.

En ce qui a trait aux besoins permanents traités par les OPS, tant les évaluations menées par les bénéficiaires que l'examen externe ont reconnu que, dans l'ensemble, les problèmes généraux (p. ex. la santé mentale) abordés par la plupart des organisations représentaient des domaines où des progrès supplémentaires étaient nécessaires pour améliorer le système de santé.

Atteinte des résultats prévus

Bien que les OPS poursuivent de différents objectifs et qu'elles ciblent des différents enjeux relativement au système de santé canadien, les résultats escomptés se rapportent en général à ce qui suit :

• améliorer les connaissances par la création et la diffusion de produits du savoir et l'utilisation de ces produits;
• accroître la sensibilisation et la compréhension des questions liées aux soins de santé et les renseignements fondées sur des données probantes;
• accroître la collaboration et la coordination entre un éventail de partenaires;
• améliorer la prise de décision, les politiques et les pratiques.

En général, les évaluations menées par les bénéficiaires et les rapports annuels ont démontré que les OPS avaient fait des progrès dans l'atteinte des résultats prévus. Toutefois, bon nombre d'évaluations ont noté des lacunes dans les données probantes disponibles qui permettraient de démontrer l'atteinte de résultats à plus long terme, en particulier en ce qui concerne l'effet des OPS sur l'amélioration de la prise de décisions, des politiques et des pratiques. Étant donné que l'évaluation de synthèse de 2014 avait soulevé la même préoccupation, il semble que des progrès limités aient été accomplis au cours des quatre dernières années en ce qui concerne l'amélioration de la disponibilité d'information sur le rendement pour les résultats à long terme. À cet égard, l'équipe d'évaluation par son analyse des rapports annuels, ainsi que l'examen externe, ont conclu que les renseignements sur le rendement disponibles ciblaient davantage les extrants et les activités que la mesure des changements générés par les OPS. De telles lacunes dans les données sur le rendement ont contribué aux défis mentionnés dans les évaluations menées par les bénéficiaires en ce qui a trait à la démonstration de résultats à long terme.

Démonstration d'économie et d'efficience

Les OPS n'ont pas de sources de financement diversifiées. Pour ce qui est de l'efficience, les données tirées de l'examen externe, du rapport de 2015 du Groupe consultatif sur l'innovation des soins de santé et de l'évaluation menée le bénéficiaire de l'ICIS ont indiqué que bon nombre des fonctions et des activités des OPS chevauchent celles d'autres OPS, de la fonction publique et du secteur de la santé. De plus, les évaluations menées par les bénéficiaires, ainsi que l'examen externe, ont signalé la nécessité de préciser les rôles, les responsabilités, l'orientation stratégique et le processus d'établissement des priorités afin d'améliorer l'efficience de ces organisations.

Conclusion et recommandations

Dans l'ensemble, les OPS ont répondu au besoin d'améliorer le système de santé canadien. Toutefois, le système a évolué depuis la création des OPS et, comme il est expliqué dans cette évaluation, l'ensemble des organisations doit également évoluer en fonction de nouveaux mandats, structures et ressources, afin de répondre aux besoins futurs du système. De plus, des améliorations sont nécessaires pour clarifier les rôles et les mandats des organisations actuelles, fournir une orientation stratégique plus claire, mieux coordonner les priorités des OPS, réduire le dédoublement et recueillir des données sur le rendement pour appuyer la mesure des contributions des OPS à l'atteinte des résultats à long terme.

L'examen externe publié en mars 2018 a présenté 10 recommandations sur les orientations possibles pour l'ensemble des OPS afin d'aborder les domaines à améliorer noté dans cette évaluation de synthèse, ainsi que d'autres enjeux cernés dans l'examen externe. Il a été décidé de ne pas inclure d'autres recommandations à cette évaluation de synthèse, puisque Santé Canada préparait une réponse à l'examen externe au moment de rédiger ce rapport.

1.0 But de l'évaluation

L'évaluation de synthèse avait pour but de déterminer la pertinence et le rendement de certains paiements de transfert, octroyés aux organisations pancanadiennes de santé (OPS) créés et soutenus par Santé Canada pour la période du 1er avril 2014 au 31 mars 2018. Elle a été réalisée en vue de satisfaire aux exigences de l'article 42.1 de la Loi sur la gestion des finances publiques (LGFP), selon lequel les ministères sont tenus de réaliser, tous les cinq ans, une évaluation de tous les programmes de subventions et de contributions en cours. Elle répond également aux exigences de la Politique sur les résultats (2016) du Conseil du Trésor du Canada. Une évaluation de synthèse semblable a déjà été menée par Santé Canada en 2014^{Note de fin de document 1}

2.0 Description du programme

Au cours des 30 dernières années, le gouvernement du Canada a créé et soutenu neuf organisations pancanadiennes qui visent un éventail d'enjeux touchant les soins de santé. Dans certains cas, l'établissement de ces organisations indépendantes pour tenir compte des intérêts nationaux en matière de soins de santé était le résultat d'ententes fédérales, provinciales et territoriales, et d'autres cas proviennent d'initiatives fédérales mises en œuvre dans un secteur particulier des soins de santé. Chacune des organisations pancanadiennes possède un modèle de gouvernance partagée distinct se caractérisant par une composition qui lui est propre en ce qui concerne les intervenants gouvernementaux, les spécialistes et les autres intervenants.

L'une des neuf organisations établies au cours des trois dernières décennies, le Conseil canadien de la Santé, avait un mandat lié aux accords sur la santé conclus entre le gouvernement du Canada et les gouvernements provinciaux et territoriaux. L'organisation a été démantelée en 2014 à cause de l'expiration de ces accords. Les huit autres organisations étaient toujours actives au moment de la rédaction du présent rapport et ont toutes été incluses à l'évaluation de synthèse. Les voici :

• le Centre canadien de lutte contre l'alcoolisme et les toxicomanies (CCLAT);
• l'Agence canadienne des médicaments et des technologies de la santé (ACMTS);
• l'Institut canadien d'information sur la santé (ICIS);
• la Fondation canadienne pour l'amélioration des services de santé (FCASS);
• Inforoute Santé du Canada (Inforoute);
• l'Institut canadien pour la sécurité des patients (ICSP);
• le Partenariat canadien contre le cancer (PCCC);
• la Commission de la santé mentale du Canada (CSMC).

Au sein du système de santé décentralisé du Canada, ces organisations pancanadiennes devaient fonctionner sans lien de dépendance avec le gouvernement du Canada, tout en assurant la coordination et la collaboration à l'échelle nationale, afin de répondre aux priorités touchant l'ensemble du système. Ils collaborent avec les gouvernements, les spécialistes et le public à l'échelle régionale, provinciale, territoriale et fédérale. Comme l'illustre le tableau 1, leurs rôles et leur portée diffèrent, mais normalement, elles fournissent des services et un soutien à l'échelle du système (p. ex. donner des conseils fondés sur des données probantes pour appuyer la prise de décisions) ou agissent comme catalyseur en vue d'une amélioration dans les domaines prioritaires.

Les OPS sont de taille variable, et leurs dépenses annuelles allaient de 8 millions à 119 millions de dollars en 2016‑2017. Conséquemment, les paiements versés annuellement par Santé Canada à ces organisations ont varié entre 8 millions et 79 millions de dollars cette même année^{Note de bas de page ii} Dans l'ensemble, durant la période visée par cette évaluation de synthèse (1er avril 2014 au 31 mars 2018), Santé Canada a transféré environ un milliard de dollars à l'ensemble des OPS.

Tableau 1 : Profil des OPS

Organisation	Année de création	Renseignements financiers pour 2016‑2017 (en dollars)		Orientation
		Dépenses de l'OPSNote de bas de tableau 1 - a	Transfert de paiements de Santé CanadaNote de bas de tableau 1 - b
Centre canadien sur les dépendances et l'usage de substances (CCDUS)	1988	8,3	7,8	Traite des enjeux entourant la toxicomanie en fournissant un leadership national et en coordonnant l'action par différents partenariats.
Agence canadienne des médicaments et des technologies de la santé (ACMTS)	1989	27,5	16,1	Fournit des données probantes objectives pour appuyer la prise de décisions concernant l'usage optimal des médicaments et d'autres technologies de la santé.
Institut canadien d'information sur la santé (ICIS)	1993-94	102,4	78,9	Recueille, analyse et présente des données sur la santé.
Fondation canadienne pour l'amélioration des services de santé (FCASS)	1996-97	13,4	17Note de bas de tableau 1 - c	Accélère les améliorations dans les soins de santé et diffuse des innovations en la matière par l'entremise de partenariats.
Inforoute Santé du Canada (Inforoute)	2001	118,7	58,9	Collabore avec des partenaires pour accélérer le développement, l'adoption et l'utilisation efficace de solutions numériques dans le domaine de la santé.
Institut canadien pour la sécurité des patients (ICSP)	2003	7,9	7,6	Collabore avec des partenaires pour apporter des améliorations à la sécurité des patients et à la qualité des soins.
Partenariat canadien contre le cancer (PCCC)	2006-07	64,9	47,5	Accélère les mesures relatives à la lutte contre le cancer en travaillant avec les organismes de cancer provinciaux et territoriaux et d'autres intervenants.
Commission de la santé mentale du Canada (CSMC)	2007	20,5	14,3	Gère la conception et la diffusion de programmes et d'outils qui favorisent la santé mentale et le bien‑être de la population canadienne.

3.0 Description de l'évaluation

3.1 Portée, approche et conception de l'évaluation

Cette évaluation de synthèse a été réalisée à partir des renseignements disponibles sur la pertinence et le rendement (c.-à-d. l'atteinte des résultats prévus, ainsi que l'économie et la rentabilité) de chaque organisation pancanadienne de santé (OPS) pour la période allant de 2014‑2015 à 2017‑2018. Voici les principales sources de données qui ont été consultées pour mener l'évaluation (voir l'annexe A pour une liste détaillée) :

• Évaluations de chaque OPS : Depuis l'évaluation de synthèse menée en 2014, toutes les OPS sauf deux ont commandé une évaluation de leur rendement et de leur pertinence. Aux fins du présent document, ces évaluations seront désignées sous le terme « évaluation menée par le bénéficiaire ». Quelques‑unes de ces évaluations menées par le bénéficiaire ont été approuvées par Santé Canada et publiées sur le site Web du gouvernement du Canada. Les deux exceptions sont la FCASS, qui a réalisé sa dernière évaluation en 2014, et la CSMC, qui a été évaluée dans le cadre de l'évaluation horizontale des activités liées à la santé et la maladie mentales dirigée par Santé Canada et l'Agence de la santé publique du Canada pour la période de 2010‑2011 à 2014‑2015. Toutes ces évaluations, sauf l'évaluation menée par le bénéficiaire de la FCASS en 2014, ont été utilisées comme source de données probantes pour cette évaluation de synthèse.
• Rapports annuels sur les activités et les résultats : Puisque la plupart des évaluations menées par les bénéficiaires ne couvraient pas toute la période visée par cette évaluation de synthèse (2014‑2015 à 2017‑2018), les rapports annuels produits par les OPS sur leurs activités, leurs extrants et leurs résultats ont été utilisés en complément. Cette évaluation de synthèse a intégré tous les rapports annuels produits depuis la plus récente évaluation menée par les bénéficiaires (2016‑2017, puisque la plupart des organisations n'avaient pas encore publié leur rapport annuel pour 2017‑2018 au moment de la rédaction de cette évaluation).
• Examen externe de 2018 : Cet examen a été lancé par la ministre de la Santé afin d'explorer le rôle futur des OPS à la lumière des priorités et des défis fondamentaux que connaît le système de santé^{Note de bas de page 2}. L'examen visait à se tourner vers l'avenir et à déterminer comment l'ensemble actuelle des OPS serait en mesure de relever les défis à venir du système de santé canadien. L'exercice a été réalisé à partir de consultations avec les OPS, des représentants d'organisations autochtones nationales, des dirigeants de l'industrie, des experts universitaires, d'autres intervenants et des hauts fonctionnaires de partout au pays. La documentation la plus récente et les résultats de recherches commandées ont également été étudiés. L'examen a également intégré les points de vue exprimés dans les soumissions écrites des organisations et des particuliers à travers le Canada.

Cette évaluation de synthèse a abordé les questions d'évaluation présentées dans le tableau suivant.

Tableau 2 : Questions abordées dans l'évaluation de synthèse

Enjeu fondamental	Question d'évaluation
Enjeu 1 : Besoin continu du programme	1.1 Dans quelle mesure chaque OPS répond‑elle à un besoin continu?
Enjeu 2 : Harmonisation avec les priorités du gouvernement	2.1 Dans quelle mesure chaque OPS cadre-t-elle avec les priorités du gouvernement du Canada et celles de Santé Canada?
Enjeu 3 : Harmonisation avec les rôles et les responsabilités du gouvernement fédéral	3.1 Les objectifs des OPS s'harmonisent-ils avec les rôles et les responsabilités fédérales et ministérielles?
Enjeu 4 : Atteinte des résultats attendus (efficacité)	4.1 Dans quelle mesure chaque OPS a‑t‑elle obtenu les résultats prévus?
Enjeu 5 : Démonstration de l'économie et de l'efficience	5.1 Chaque OPS a‑t‑elle réalisé ses activités de la façon la plus économique et rentable possible?

3.2 Limites et stratégies d'atténuation

La plupart des évaluations font l'objet de contraintes susceptibles d'avoir des répercussions sur la validité et la fiabilité de leurs constatations et conclusions. Le tableau qui suit présente les limites associées à la mise en œuvre des méthodes sélectionnées pour cette évaluation, ainsi que les stratégies d'atténuation mises en place afin d'assurer que les constatations tirées de l'évaluation puissent être utilisées en toute confiance pour guider la planification des programmes et la prise de décisions.

Tableau 3 : Limites et stratégies d'atténuation

Limite	Incidence	Stratégie d'atténuation
Il a fallu recourir à des données secondaires comme source principale d'information.	Il y avait certaines incohérences dans les données disponibles sur le plan des questions et des enjeux examinés, de la période couverte et des organisations étudiées.	Plusieurs sources d'information ont été résumées (p. ex. les évaluations menées par les OPS, les rapports annuels et les examens externes) pour obtenir l'évaluation la plus complète possible de la pertinence et du rendement de chaque OPS.
Les renseignements disponibles se rapportent principalement à chaque OPS prise individuellement. Très peu de données étaient disponibles sur l'ensemble des OPS.	Il s'est avéré difficile de produire des conclusions relatives à l'ensemble des OPS.	Les conclusions ont été formulées à partir de la pertinence et du rendement de chaque OPS. Dans la mesure du possible, les renseignements se rapportant à chaque OPS ont été analysés et résumés afin de produire des conclusions sur l'ensemble des OPS pris collectivement.
L'absence de données financières propres aux extrants et aux résultats a nui à la capacité d'évaluer l'utilisation des ressources.	Les renseignements se rapportant à la rentabilité variaient considérablement d'une OPS à l'autre sur le plan des enjeux étudiés et de la période de référence utilisée.	Cette évaluation de synthèse n'a pas fourni de conclusions générales sur la rentabilité de l'OPS, elle a plutôt fourni des exemples de pratiques efficientes mises en place par chacune des OPS.
La plus récente source de données probantes disponibles sur le rendement était le rapport annuel sur les activités et les résultats soumis par les OPS à Santé Canada représentant. Ces rapports mettaient essentiellement l'accent sur les activités et les extrants plutôt que sur les résultats.	Il y avait peu de renseignements récents sur les résultats obtenus par les OPS.	Pour mener cette évaluation de synthèse, les évaluations menées par les bénéficiaires ont servi de source principale de données probantes sur l'atteinte des résultats. Ces renseignements ont été complétés par des exemples pertinents d'activités documentés dans les rapports annuels récents.

4.0 Constatations

4.1 Pertinence des OPS

4.1.1 Harmonisation avec les rôles et les responsabilités fédéraux

Le mandat des OPS correspond aux rôles et aux responsabilités fédéraux.

En vertu de la Loi sur le ministère de la Santé (L.C. 1996, ch. 8), le ministre de la Santé a le mandat de promouvoir la santé de la population canadienne et de protéger les Canadiens contre les risques à la santé, y compris :

• la promotion et le maintien du bien‑être physique, mental et social de la population du Canada;
• la protection de la population du Canada contre les risques à la santé;
• l'établissement et le contrôle des normes de sécurité, ainsi que des exigences en matière d'information sur la sécurité, s'appliquant aux produits de consommation et aux produits destinés à l'usage en milieu de travail;
• la collecte, l'analyse, l'interprétation, la publication et la diffusion de l'information sur la santé publique;
• la coopération avec les autorités provinciales en vue de coordonner les efforts visant à maintenir et à améliorer la santé publique.

De façon générale, les évaluations menées par les bénéficiaires concluaient que les mandats et les activités des OPS cadraient avec les rôles et les responsabilités du gouvernement fédéral et, en particulier, avec le mandat de Santé Canada selon la Loi sur le ministère de la Santé.

4.1.2 Harmonisation avec les priorités du gouvernement du Canada et de Santé Canada

Les mandats des OPS étaient harmonisés aux plus récentes priorités établies par le gouvernement du Canada et Santé Canada. Toutefois, des précisions pourraient être apportées sur les buts et les priorités établies par et pour ces organisations.

Des documents récents visant l'établissement de priorités, tels que les lettres de mandat ministériel et les budgets fédéraux, ont démontré que les mandats des OPS sont, de manière générale, en harmonie avec les priorités de Santé Canada et du gouvernement du Canada. Par exemple, les priorités inscrites dans la lettre de mandat de la ministre de la Santé de 2017^{Note de fin de document 3} incluaient une collaboration pancanadienne dans le domaine de l'innovation en santé pour encourager l'adoption de technologies numériques de la santé et travailler auprès des experts en toxicomanie pour s'assurer que la réponse du Canada à la crise actuelle des opioïdes est solide, efficace et bien coordonnée. Ces priorités sont reliées au mandat et aux activités d'Inforoute et du CCDUS.

Le budget de 2018^{Note de fin de document 4} proposait d'accorder un financement supplémentaire à la CSMC pour permettre l'évaluation de l'incidence de la consommation de cannabis sur la santé mentale des Canadiens et au CCDUS pour soutenir la recherche sur la consommation de cannabis au Canada. Le budget de 2017^{Note de fin de document 5} proposait des investissements dans l'ACMTS, Inforoute et la FCASS, alors que le budget de 2016 suggérait d'investir dans le PCCC^{Note de fin de document 6}

Les données disponibles et les évaluations menées par les bénéficiaires démontraient que le mandat de chacune des OPS s'alignait avec les priorités du gouvernement du Canada et de Santé Canada, mais l'examen externe commandé en 2018 par la ministre de la Santé a plutôt relevé que l'ensemble des OPS n'avait pas toujours un but ou un fonctionnement claire. L'examen soulignait que chaque organisation tendait à établir des priorités de façon isolée par rapport aux autres. Aussi, l'examen suggérait que la mission de l'ICIS, d'Inforoute et de l'ACMTS soit précisée pour s'assurer que leurs efforts demeurent sur la bonne voie^{Note de bas de page 7}.

De plus, l'examen relevait un manque d'orientation de la part de Santé Canada envers l'ensemble des OPS sur le plan des politiques stratégiques. Ceci a été perçu comme un facteur contribuant au fait que les OPS n'accordaient pas une attention suffisante aux enjeux harmonisés avec les priorités du gouvernement du Canada^{Note de fin de document 8}. Fait à noter, la précédente évaluation de synthèse complétée en 2014 soulevait un besoin semblable de la part de Santé Canada de préciser les attentes ministérielles, relativement au rôle approprié et à l'approche adéquate pour favoriser l'harmonisation de l'orientation stratégique et des activités des OPS aux priorités fédérales. Si certaines mesures ont été prises après la précédente évaluation de synthèse pour corriger la situation, les conclusions de l'examen externe indiquent qu'il reste encore beaucoup de progrès à faire dans ce domaine.

4.1.3 Besoin soutenu pour l'ensemble des OPS

Les évaluations menées par les bénéficiaires, ainsi que l'examen externe reconnaissaient, en général, que les grandes questions abordées par la plupart des OPS représentent des secteurs dans lesquels des progrès sont toujours nécessaires afin d'améliorer le système de santé. Toutefois, le système a évolué depuis la création des OPS et, comme il a été mentionné dans l'examen externe, il faudrait que l'ensemble de ces organisations innove pour répondre aux besoins futurs du système.

Les évaluations menées par les bénéficiaires, lesquelles étudiaient rétrospectivement les mandats et les activités des OPS, ont conclu, de façon générale, que chaque OPS continue de répondre à un besoin au sein du système de soins de santé canadien. Voici des exemples de besoins permanents soulevés par ces évaluations :

• le CCDUS doit prendre des mesures pour traiter les problèmes d'usage de substances, comme l'alcool et les opioïdes, et les méfaits s'y rattachant;
• l'ICIS doit fournir des renseignements sur la santé qui sont comparables d'une juridiction provinciale ou territoriale à l'autre et qui se rapportent au spectre complet de soins;
• Inforoute doit appuyer une approche nationale et plurigouvernementale en matière de cybersanté au Canada;
• l'ICSP doit aborder la question de la sécurité des patients au Canada, car le taux de méfaits justifie un effort continu visant la sécurité des patients au sein du système de soins de santé canadien;
• le PCCC doit investir des efforts continus et coordonnés pour transformer et améliorer le système de lutte contre le cancer dans l'ensemble du Canada.

Cependant, en se fondant sur une vision prospective, l'examen externe a noté que l'ensemble actuel pourrait ne pas être en mesure de répondre aux besoins du système de santé à l'avenir. Plus particulièrement, l'examen a démontré que, tant à l'échelle individuelle que collective, les rôles et les responsabilités des OPS n'étaient pas clairement énoncés et pas nécessairement bien harmonisés aux vulnérabilités du système de santé^{Note de fin de document 9}. Ces vulnérabilités comprennent : les problèmes liés aux politiques pharmaceutiques fragmentées et inadéquates la nécessité d'avoir une gouvernance des données de santé et une infrastructure numérique solides, le désir de déployer à plus grande échelle les innovations en matière de santé, le besoin de moderniser l'ensemble des services publics afin de promouvoir l'équité, l'importance cruciale de solides systèmes de soins primaires à l'échelle du pays, la nécessité d'un engagement plus significatif des patients et du public dans le domaine des soins de santé, et l'impératif de travailler en partenariat avec les organisations et les collectivités autochtones afin d'améliorer les résultats en matière de santé en leur sein^{Note de fin de document 10}. En observant chaque organisation individuellement, l'examen externe a relevé que le degré de pertinence de chacune des OPS variait et a recommandé d'éliminer progressivement certaines organisations et de recentrer la portée de certaines autres organisations.

4.2 Atteinte des résultats prévus

4.2.1. Constatations générales concernant l'atteinte des résultats

Certaines données probantes disponibles montraient que les OPS ont généralement fait des progrès dans l'atteinte des résultats prévus. Toutefois, il existe des occasions d'amélioration tant en ce qui a trait aux données sur le rendement ainsi qu'aux renseignements d'évaluation sur l'atteinte de ces résultats.

Chaque OPS poursuit des objectifs différents et vise des résultats qui lui sont propres, mais ces objectifs et ces résultats regroupent généralement les résultats communs suivants :

• améliorer la connaissance par la création et la diffusion de produits du savoir et l'utilisation de ces produits;
• accroître la sensibilisation et la compréhension des questions liées aux soins de santé et produire des renseignements fondées sur des données probantes;
• accroître la collaboration et la coordination entre un éventail de partenaires;
• améliorer la prise de décision, les politiques et les pratiques.

En général, les données provenant des évaluations menées par les bénéficiaires et des rapports annuels montraient que les OPS avaient fait des progrès dans l'atteinte de leurs résultats. Voici quelques exemples de progrès, tels que démontrés dans les évaluations menées par les bénéficiaires et les rapports annuels :

• le CCDUS a amélioré la coordination des actions dans le domaine de l'usage des substances et, plus récemment, il a contribué à l'organisation d'une conférence et d'un sommet réunissant des experts, des représentants du gouvernement et d'autres intervenants pour faire face à l'utilisation d'opioïdes au Canada.
• L'ACMTS a amélioré sa collaboration avec d'autres intervenants et a fait preuve de leadership dans la détermination des sujets entourant les technologies avec ou sans médicaments qui revêtent de l'importance pour les clients, grâce aux vastes consultations qu'elle a menées auprès des intervenants. Le rapport annuel de 2016‑2017 mentionnait que l'utilisation d'appareils sans fil dans les établissements hospitaliers a contribué à appuyer les politiques décrivant la manière dont les appareils mobiles peuvent être utilisés en toute sécurité dans des établissements de soins primaires.
• L'ICIS a dirigé l'élaboration d'infrastructure de données et a ouvert la voie à l'adoption du financement par activité et à d'autres applications qui fournissent des preuves pour soutenir les améliorations aux systèmes tant dans le milieu hospitalier qu'à l'extérieur de celui‑ci. L'évaluation a souligné l'effet émergent des contributions de l'ICIS à l'ensemble global de connaissances qui facilite la prise de décisions dans le système de santé. Par exemple, en 2014‑2015, les données de l'ICIS ont appuyé le travail d'un comité permanent sur les troubles alimentaires qui affectent les femmes et les filles.
• Les rapports annuels produits pour 2014‑2015 et 2016‑2017 soulignaient les accomplissements et les projets de l'ICIS qui ont contribué à réduire le taux de réadmission de patients atteints de maladie pulmonaire obstructive chronique et à réduire l'utilisation d'antipsychotiques dans les soins de longue durée.
• Inforoute a fait des progrès sur le plan de l'offre et de l'utilisation des dossiers de santé électroniques. L'évaluation que l'organisation a menée a fourni des données probantes qui montrent que l'utilisation de dossiers médicaux électroniques a permis de réduire les risques de redondance et d'améliorer la productivité et la qualité des services.
• Le travail de l'ICSP a informé de façon croissante le programme d'études sur la sécurité des patients dans l'ensemble des disciplines de la santé et bon nombre des répondants aux sondages ont indiqué que les ressources de l'ICSP les avaient incités à apporter des changements à leurs pratiques organisationnelles. L'évaluation a conclu que plusieurs politiques, normes et exigences d'associations professionnelles et d'organismes d'agrément étaient informés par les données probantes en matière de sécurité des patients.
• L'évaluation menée par le bénéficiaire a fourni des données probantes concernant la contribution du PCCC à divers projets de collaboration. Par exemple, l'organisation a joué un rôle fondamental en facilitant l'élaboration d'un plan d'action sur la lutte au cancer pour les Premières Nations, les Inuits et les Métis visant à améliorer la continuité des soins pour ces collectivités. Cette conclusion a été reprise dans l'examen externe qui mentionnait que, grâce aux travaux du PCCC, la communauté d'intervenants qui luttent contre le cancer au Canada a développé un réseau de partenariats solides. Ce réseau d'organisations matures de lutte contre le cancer à travers le pays a la capacité de soutenir le but commun de fournir des services de prévention, de soins et de survie de renommée internationale^{Note de fin de document 11}.
• La Stratégie en matière de santé mentale pour le Canada de la CSMC a fait progresser les principales priorités liées à la santé mentale et aux maladies mentales. Plus récemment, la mise en œuvre de la Norme nationale sur la santé et la sécurité psychologiques en milieu de travail dans diverses organisations canadiennes a contribué à améliorer la promotion de la santé mentale et la prévention des dommages psychologiques dans les milieux de travail.

Les évaluations menées par les bénéficiaires citaient toutefois quelques secteurs nécessitant des améliorations. L'un d'eux a trait à la sensibilisation aux produits et aux travaux des OPS. Par exemple, il a été mentionné que le niveau de sensibilisation au CCDUS et à l'ACMTS n'était pas cohérent au sein des produits et des groupes d'intervenants. Le volet de la coordination a également été cité comme nécessitant des améliorations. Par exemple, l'évaluation de l'ICIS a indiqué que ses processus de mobilisation des intervenants pourraient être renforcés si l'on définissait plus clairement les secteurs d'intervention stratégiques et si l'on coordonnait de façon plus centralisée les activités de mobilisation prioritaires.

Le défi identifié le plus fréquemment dans les évaluations menées par les bénéficiaires était le manque de données disponibles pour démontrer l'atteinte des résultats, particulièrement au sujet de l'amélioration des pratiques et du soutien à la prise de décisions et aux politiques. L'évaluation de synthèse de 2014 avait soulevé une préoccupation semblable à propos des lacunes dans les données disponibles touchant l'atteinte de résultats à long terme. Étant donné que de nombreuses évaluations menées par les bénéficiaires ont depuis fait face à des défis semblables, il semble que seulement des progrès limités ont été réalisés au cours des quatre dernières années pour améliorer l'information disponible sur les résultats à plus long terme. Dans un même ordre d'idées, l'examen externe que l'équipe d'évaluation ainsi que l'étude des rapports annuels ont révèlés que les données probantes d'évaluation sur le rendement des OPS ciblaient généralement plus les indicateurs des processus que les résultats des activités^{Note de fin de document 12}. Les manque de collecte de données sur les changements découlant des activités des OPS ont certainement contribué à la difficulté d'évaluer l'atteinte des résultats à long terme.

4.3 Démonstration de l'économie et de l'efficience

4.3.1 Budget des OPS et part des paiements de transfert de Santé Canada

Les OPS n'ont pas de sources de financement diversifiées.

Le tableau 4 présente les données de l'examen externe qui portent sur la proportion des budgets des OPS financée par le gouvernement du Canada. Tel que l'illustre ce tableau, les OPS n'ont pas diversifié leurs sources de financement et seulement trois d'entre elles ont reçu moins de 93 % de leur budget du gouvernement du Canada. Une ventilation des sources fédérales de financement n'était pas disponible; toutefois, une comparaison de ces renseignements avec les données fournis dans le rapport sur les résultats ministériels de Santé Canada pour 2016‑2017 indiquent que ce ministère était responsable de la majeure partie de la contribution fédérale accordée aux OPS. Comme il est inscrit dans l'examen externe, les OPS pouvaient également compter sur d'autres sources de financement, dont des contributions provinciales et territoriales, les frais d'utilisation et les dons.

Fait à noter, les évaluations menées par le CCDUS et de l'ICSP ont relevé le besoin pour ces organisations de diversifier leurs sources de financement.

Tableau 4 : Part des paiements de transfert du gouvernement du Canada dans le budget annuel des OPS

Organisation pancanadienne	Proportion du budget financée par le gouvernement canadien (2017‑2018)
CCDUSNote de bas de tableau 1 - a	94 %
ACMTS	58 %
ICIS	75 %
FCASS	98 %
Inforoute	100 %
ICSP	93 %
PCCC	99 %
CSMC	73 %

4.3.2 Efficience des OPS

Les OPS ont mis en place des mesures pour améliorer leur efficience. Toutefois, il a été mentionné que des améliorations pourraient être apportées dans certains secteurs pour réduire le dédoublement du travail et préciser le rôle, les priorités et l'orientation stratégique de quelques OPS afin d'accroître leur efficience.

Tel qu'il a été mentionné dans les évaluations menées par les bénéficiaires, les OPS ont mis en place différentes mesures au cours des quatre dernières années pour augmenter leur efficience. Voici quelques exemples pertinents :

• exploiter les ressources et l'expertise en place (CCDUS et ICSP);
• consulter les intervenants afin d'établir les priorités (CCDUS);
• améliorer les structures de gouvernance et la structure de la production de rapports (ACMTS);
• recourir à la technologie pour rationaliser les processus ou augmenter l'efficience des activités (p. ex. l'ICIS a simplifié son processus de collecte de données en imposant leur présentation sous forme électronique uniquement et l'ICSP a augmenté la part de télétravail et réduit la taille de ses bureaux);
• établir des partenariats stratégiques qui ont aidé la FCASS à intensifier son effet;
• recourir à un modèle de partage des investissements avec des partenaires (Inforoute);
• échanger des renseignements et des documents, de manière à éliminer ou réduire le chevauchement des efforts d'une administration à une autre (PCCC).

Même si des progrès ont été réalisés pour améliorer l'efficience des OPS, l'examen externe et les évaluations menées par les bénéficiaires ont tout de même relevé divers secteurs à être améliorés. L'examen externe a démontré que de nombreuses fonctions et activités des OPS chevauchaient celles d'autres organisations de l'ensemble, de la fonction publique et du secteur de la santé^{Note de fin de document 13}. Ces constatations reprennent les propos du Groupe consultatif sur l'innovation des soins de santé en 2015.

De plus, les évaluations menées par les bénéficiaires ont décrit la nécessité, pour certaines organisations, de prendre les mesures suivantes :

1. préciser les rôles et les responsabilités (c.-à-d. que le CCDUS pourrait préciser son rôle dans le milieu de la toxicomanie);
2. améliorer l'établissement des priorités (c.‑à‑d. que les intervenants ont recommandé que l'ICSP se concentre sur quelques priorités bien définies pour avoir une plus grande incidence);
3. améliorer l'orientation stratégique (c.‑à‑d. que la capacité de l'ACMTS à fournir une valeur économique à ses clients pourrait être accrue grâce à l'amélioration de l'établissement des orientations stratégiques).

En ce qui concerne l'établissement de priorités et les orientations stratégiques, l'examen externe a souligné que, bien que la plupart des OPS mènent, à quelques années d'intervalle, des exercices de consultation avec leurs intervenants pour établir les priorités à venir, la qualité de ces exercices peut varier considérablement. L'examen soulignait également que la traduction des priorités en plans de travail concrets, avec des indicateurs de réussite significatifs, variait largement d'une organisation à l'autre^{Endnote 14}.

5.0 Conclusions et recommandations

Pertinence

Les données probantes disponibles ont fourni une évaluation mitigée de l'harmonisation des mandats des OPS aux priorités du gouvernement. D'une part, la lettre de mandat adressée à la ministre de la Santé en 2017 et les budgets de 2016 à 2018 ont inclus un éventail de priorités liées aux mandats de la plupart des OPS. En revanche, selon l'examen externe de 2018, les enjeux abordés par les OPS ne concordaient pas suffisamment avec les priorités gouvernementales, partiellement en raison du manque d'orientation stratégique définie par Santé Canada, qui avait déjà été soulevé dans l'évaluation de synthèse de 2014. De plus, l'examen externe a révélé que la gouvernance des OPS n'avait pas toujours un but clair et que les OPS ont établi leurs priorités indépendamment les unes des autres.

Les évaluations menées par les bénéficiaires, ainsi que l'examen externe, ont reconnu que, dans l'ensemble, les questions générales (p. ex. la santé mentale) abordées par la plupart des organisations représentaient des domaines où des progrès supplémentaires étaient nécessaires pour améliorer le système de santé. Cependant, comme l'explique l'examen externe, les structures, les ressources et les mandats des OPS doivent être revus pour que l'ensemble de ces organisations puissent répondre aux besoins futurs du système.

Atteinte des résultats

En général, les évaluations menées par les bénéficiaires et les rapports annuels démontraient que les OPS ont réalisé des progrès dans l'atteinte de leurs résultats attendus, mais bon nombre d'évaluations ont relevé des lacunes dans les données probantes disponibles qui permettraient de démontrer l'atteinte de résultats à plus long terme, particulièrement l'incidence des OPS sur l'amélioration des de la prise de décisions, des politiques et des pratiques. Étant donné que l'évaluation de synthèse de 2014 avait soulevé la même préoccupation, il semble que des progrès très limités aient été accomplis au cours des quatre dernières années en ce qui concerne la disponibilité d'information sur le rendement pour les résultats à long terme.

Économie et efficience

Les OPS n'ont pas de sources de financement diversifiées. Pour ce qui est de l'efficience, les données tirées de l'examen externe, du rapport de 2015 du Groupe consultatif sur l'innovation des soins de santé et de l'évaluation menée par les bénéficiaires de l'ICIS ont indiqué que bon nombre des fonctions et des activités des OPS chevauchent celles d'autres OPS, de la fonction publique et du secteur de la santé. De plus, les évaluations menées par les bénéficiaires et l'examen externe ont souligné la nécessité de préciser les rôles, les responsabilités, l'orientation stratégique de ces organisations et leur établissement de priorités, afin d'améliorer leur efficience.

Conclusion et recommandations

L'examen externe publié en mars 2018 présentait 10 recommandations sur des directives que pourraient suivre l'ensemble des OPS dans des secteurs qui, d'après la présente évaluation de synthèse, nécessiteraient des améliorations de même que sur d'autres enjeux. Il a été décidé de ne pas inclure d'autres recommandations à la présente évaluation de synthèse, puisque Santé Canada préparait une réponse à l'examen externe au moment de la rédaction de ce rapport.

Annexe A – Documents inclus à l'évaluation de synthèse

Organisations pancanadiennes de santé	Examen externe commandé par la ministre de la Santé		Évaluation menée par le bénéficiaire		Année des rapports annuelsNote de bas de page tableau 5 - a
	Titre et lien	Période visée	Titre et lien de l'évaluation menée par le bénéficiaire	Période visée
Inforoute Santé du Canada	FOREST, P. G. et D. MARTIN. Ajustées à l'objectif : observations et recommandations de l'examen externe des organisations pancanadiennes de santé – Rapport de synthèse, Gouvernement du Canada, 2018. Source consultée sur Internet en juillet 2018 : https://www.canada.ca/content/dam/hc-sc/documents/services/health-care-system/reports-publications/health-care-system/findings-recommendations-external-review-pan-canadian-health-organization/findings-recommendations-external-review-pan-canadian-health-organization.pdf	Période actuelle et prospective	Évaluation indépendante du rendement de mars 2018, Inforoute Santé du Canada Source consultée sur Internet en juillet 2018 : https://www.infoway-inforoute.ca/fr/component/edocman/3521-evaluation-independante-du-rendement-de-mars-2018-sommaire/view-document?Itemid=0	Du 1er décembre 2012 au 30 novembre 2017	S.O.
Institut canadien d'information sur la santé (ICIS)			Évaluation de l'Initiative d'information sur la santé 2012‑2013 à 2014‑2015. Gouvernement du Canada. Source consultée sur Internet en juillet 2018 : /content/canadasite/en/health-canada/corporate/about-health-canada/accountability-performance-financial-reporting/evaluation-reports/evaluation-health-information-initiative-2012-2013-2014-2015.html	2012‑2013 à juillet 2014	2014-15 2015-16 2016-17
Centre canadien sur les dépendances et l'usage de substances (CCDUS)			Évaluation des activités relatives à la subvention désignée du Centre canadien de lutte contre les toxicomanies de 2011‑2012 à 2014‑2015 Source consultée sur Internet en juillet 2018 : /content/canadasite/en/health-canada/corporate/transparency/corporate-management-reporting/evaluation/2011-2012-2014-2015-canadian-centre-substance-abuse-named-grant-activities.html	De 2011‑2012 à 2014‑2015	2015-16 2016-17
Commission de la santé mentale du Canada (CSMC)			Évaluation des activités relatives à la santé mentale et aux maladies mentales de Santé Canada et de l'Agence de la santé publique du Canada 2010-2011 à 2014-2015 Gouvernement du Canada. Source consultée sur Internet en juillet 2018 : /content/canadasite/en/health-canada/corporate/transparency/corporate-management-reporting/evaluation/2010-2011-2014-2015-mental-health-mental-illness-activities-health-canada-public-health-agency-canada.html?_ga=2.238415488.1804216069.1531747973-1931464712.1507731398	de 2010‑2011 à 2014‑2015	2015-16 2016-17
Agence canadienne des médicaments et des technologies de la santé (ACMTS)			Évaluation des activités de l'Agence canadienne des médicaments et des technologies de la santé de 2012‑2013 à 2015‑2016 Source consultée sur Internet en juillet 2018 : /content/canadasite/en/health-canada/corporate/transparency/corporate-management-reporting/evaluation/2012-2013-2015-2016-canadian-agency-drugs-technologies.html	de 2012‑2013 à 2015‑2016	2016-17
Partenariat canadien contre le cancer (PCCC)			Évaluation des activités du Partenariat canadien contre le cancer – De 2012-2013 à 2015-2016 Source consultée sur Internet en juillet 2018 : /content/canadasite/en/public-health/corporate/transparency/corporate-management-reporting/evaluation/2012-2013-2015-2016-canadian-partnership-against-cancer-activities.html	de 2012‑2013 à 2015‑2016	2016-17
Institut canadien pour la sécurité des patients (ICSP)			Évaluation des activités de l'Institut canadien pour la sécurité des patients, de 2013-2014 à 2016-2017 Source consultée sur Internet en juillet 2018 : /content/canadasite/en/health-canada/corporate/transparency/corporate-management-reporting/evaluation/canadian-patient-safety-institute-activities-2013-2014-2016-2017.html	de 2013‑2014 à 2016‑2017	S.O.
Fondation canadienne pour l'amélioration des services de santé (FCASS)			Évaluation quinquennale de la Fondation canadienne pour l'amélioration des services de santé Source consultée sur Internet (juillet 2018) : https://www.cfhi-fcass.ca/sf-docs/default-source/reports/cfhi--five-year-evaluation-e.pdf?sfvrsn=790df44_2	Source consultée sur Internet (juillet 2018) :Note de bas de page tableau 5 - b	2014-15 2015-16 2016-17