ARCHIVÉE - Évaluation du programme C-EnterNet
Rapport final
à l’intention de l’Agence de la santé publique du Canada
Numéro du projet : 570-2791
Services d’évaluation de programme et de mesure de rendement
Novembre 2009
Table des matières
- 1.1 Introduction et but de l’évaluation
- 1.2 Profil du programme C-EnterNet
- 1.3 Modèle logique du programme
- 2.1 Enjeux et questions d’évaluation
- 2.2 Méthodes de collecte des données
- 2.3 Limites et considérations
3. Conclusions de l’évaluation
- 3.1 Pertinence
- 3.2 Conception et exécution
- 3.3 Succès du programme
- 3.3.1 Extrants du programme
- 3.3.2 Pertinence, caractère approprié et opportunité de l’information générée
- 3.3.3 Réseaux de collaboration
- 3.3.4 Perfectionnement des méthodologies en matière d’attribution de source
- 3.3.5 Connaissances accrues sur les maladies entériques et l’exposition
- 3.3.6 Renforcement de la capacité en santé publique
- 3.3.7 Utilisation de l’information
- 3.3.8 Estimations relatives à l’attribution de source
- 3.3.9 Contribution à la réduction du fardeau des maladies entériques humaines
- 3.4 Rapport coût‑efficacité et options
4. Conclusions et recommandations
Annexe A: Matrice d’évaluation
Annexe B: Matrice des questions d’entrevue
Annexe C: Liste des documents examinés
Annexe D: Guide du modérateur pour les groupes de discussion
Liste des tableaux
Tableau 1. Aperçu des composantes de la surveillance de C-EnterNet
Tableau 3. Calendrier du programme C-EnterNet
Tableau 4. Résumé des enjeux et des questions d’évaluation
Tableau 5. Liste des entrevues par groupe interrogé
Tableau 6. Utilité perçue des différents volets du programme
Tableau 7. Articles et rapports produits par le programme C-EnterNet
Tableau 8. Bénéficiaire de l’information de C-EnterNet – Selon le groupe d’intervenants
Tableau 11. Coûts annuels directs du programme C-EnterNet
Tableau 12. Coûts annuels indirects du programme C-EnterNet
Tableau 13. Coûts annuels par composante du programme
Liste des figures
Figure 1. Tendances liées aux maladies entériques sélectionnées, au Canada, 1994-2004
Figure 2. Domaine professionnel des bénéficiaires de l’information de C-EnterNet
Figure 3. Opinion des bénéficiaires de l’information de C-EnterNet quant à l’information
Résumé
Le présent rapport réunit les conclusions de l’évaluation du programme national intégré de surveillance des maladies entériques (C-EnterNet). L’évaluation a été réalisée par Services conseils du gouvernement (SCG) pour l’Agence de la santé publique du Canada (ASPC), de mai à octobre 2009. Elle visait à orienter les décisions de la haute direction concernant la répartition des ressources et les décisions futures relatives à la conception et à l’exécution du programme. L’évaluation a été réalisée suivant la portée et la méthodologie décrites dans un plan établi avant le début de celle‑ci et elle a été conforme à la Politique sur l’évaluation du Conseil du Trésor.
Le programme C-EnterNet, dirigé par l’ASPC, a été conçu pour soutenir les activités de réduction du fardeau des maladies entériques au Canada au moyen de la surveillance par sites sentinelles. Les objectifs de base du programme sont les suivants :
- détecter les variations dans les tendances des maladies entériques humaines et dans les niveaux d’exposition aux agents pathogènes par les sources alimentaires, animales et hydriques dans une population définie;
- produire des valeurs d’attribution des maladies humaines (soit la proportion de cas humains attribués à une exposition par l’eau, les aliments et les animaux);
- améliorer l’analyse, l’interprétation et la déclaration des données épidémiologiques et de laboratoire pour les besoins des secteurs de la santé publique, de l’eau et de l’agroalimentaire.
C-EnterNet est mis en œuvre par l’entremise de partenariats avec le service de santé publique de la région de Waterloo (SSPRW) et d’autres organismes. Les partenaires du site sentinelle fournissent de l’information sur les cas de maladies entériques infectieuses et assurent la coordination avec l’équipe de scientifiques de C-EnterNet. En tout temps, des données sont aussi recueillies sur les taux d’infection, les voies de transmission et les agents pathogènes.
Financé principalement de 2003‑2004 à 2007‑2008 par l’entremise du Cadre stratégique pour l’agriculture du ministère de l’Agriculture et de l’Agroalimentaire du Canada (MAAC), le programme est depuis 2008‑2009 financé par le gouvernement fédéral dans le cadre du Plan d’action pour assurer la sécurité des produits alimentaires ainsi que par l’ASPC.
Alors que la conception inclut cinq sites sentinelles à travers le pays pour atteindre les objectifs pancanadiens, C-EnterNet a établi un site sentinelle pilote, en juin 2005, dans la région de Waterloo, pour déterminer la faisabilité et l’utilité du programme tel que conçu.
Méthodologie
Pour assurer la fiabilité des résultats, nous avons recueilli des données provenant de sources multiples et utilisé les méthodes de recherche suivantes :
- entretiens avec 25 intervenants clés, dont des membres de l’équipe de C‑EnterNet, du personnel de la haute direction de l’ASPC, des partenaires et des conseillers du programme, et des experts ne faisant pas partie du programme;
- examen de la documentation;
- sondage auprès de 102 destinataires des produits d’information de C-EnterNet;
- examen des données administratives et financières;
- sondage auprès de partenaires pour déterminer la valeur du soutien non financier apporté par le programme;
- tenue d’un groupe de discussion avec le personnel du SSPRW participant au programme.
Le fait qu’il s’agisse d’un projet pilote et que bon nombre des éléments du programme ont été mis en œuvre récemment a été pris en compte lors de l’évaluation des retombées du programme. De plus, l’évaluation était de type descriptif et ne comprenait pas d’analyse comparative approfondie. Enfin, il a été impossible de déterminer l’importance du biais dans les réponses au sondage des destinataires de l’information provenant de C‑EnterNet.
L’évaluation a porté sur quatre éléments : la pertinence, la conception et l’exécution, la réussite, ainsi que la rentabilité et les solutions alternatives.
Pertinence
En raison de la prévalence des maladies entériques et des coûts associés pour la société canadienne, le programme C-EnterNet demeure un besoin. Des études permettent de supposer que les changements démographiques et l’accroissement de la mondialisation pourraient faire augmenter le nombre de cas de maladies entériques au Canada. Les maladies d’origine alimentaire et hydrique, qui représentent une proportion considérable des maladies entériques, préoccupent grandement le public canadien. Le programme cadre avec les priorités nationales relatives à la salubrité des aliments et de l’eau et avec les activités internationales de surveillance. Les intervenants appuient fortement la poursuite de tous les éléments du programme et l’expansion de celui‑ci par l’ajout de sites sentinelles.
C-EnterNet cadre avec les objectifs et les priorités du gouvernement du Canada (GC), soit de veiller à la santé des Canadiens et d’assurer la salubrité des aliments. À l’ASPC, le programme s’harmonise avec les activités de programme liées à la prévention et au contrôle des maladies infectieuses et les activités de renforcement des capacités en matière de santé publique. Le programme répond aussi aux objectifs du SSPRW et a contribué à la priorité du service de santé publique d’instaurer une culture de l’excellence par la collaboration et l’innovation.
Le rôle actuel du gouvernement fédéral en tant que dirigeant du programme est approprié, en raison de la portée nationale visée et de la pertinence du programme sur le plan de la santé publique et de la salubrité des aliments. Compte tenu de la nature multidisciplinaire du programme et de ses avantages potentiels pour d’autres organisations, il serait approprié d’obtenir du financement d’autres organismes et programmes fédéraux et provinciaux.
Même si le programme C-EnterNet, dans son ensemble, ne reproduit pas les activités d’autres programmes ou organisations, une complémentarité pourrait être améliorée grâce à une collaboration plus étroite avec le Programme intégré canadien de surveillance de la résistance aux antimicrobiens (PICRA), qui relève aussi de l’ASPC et, éventuellement, avec d’autres organisations. Même si, dans le cadre du programme, divers partenariats ont été formés pour aider à l’échantillonnage, aux tests et à l’analyse, une évaluation exhaustive des futurs partenaires potentiels contribuerait à soutenir la planification, notamment parce qu’un deuxième site sentinelle pourrait être établi en 2009‑2010.
Recommandation no 1 : Il faudrait évaluer le potentiel d’une collaboration accrue avec d’autres organismes et programmes fédéraux et provinciaux au moyen d’un examen systématique formel. Il faudrait examiner s’il est possible de réaliser des activités selon les processus déjà utilisés par d’autres organisations, et s’il faudrait chercher à accroître la complémentarité avec le PICRA et d’autres programmes. L’examen devrait aussi permettre de recenser de futurs partenaires financiers potentiels.
Conception et exécution
D’après les intervenants, les compétences, les connaissances et la composition de l’équipe de C‑EnterNet sont les points forts du programme. De l’avis de plusieurs, le fait que le programme ne soit qu’un projet pilote, qui ne compte qu’un site sentinelle en activité, constitue la plus grosse entrave à l’atteinte des résultats escomptés. Sans un réseau de sites sentinelles comme le prévoit le projet, les données n’ont pas la puissance statistique, ne peuvent pas servir aux comparaisons entre les régions et ne permettent pas de produire des estimations nationales.
Dans l’ensemble, la conception et la structure d’exécution de C-EnterNet sont suffisamment souples pour s’adapter à différents sites sentinelles au pays. La distance et le temps nécessaire à l’établissement et au maintien de sites sentinelles additionnels constitueront des défis, notamment en raison de la taille réduite de l’équipe de C‑EnterNet et de sa forte participation aux opérations dans le site pilote. L’ajout de sites sentinelles ne sera pas possible sans ressources supplémentaires ou sans une redéfinition des rôles et responsabilités de l’équipe de C‑EnterNet.
Recommandation no 2 : Il faudrait entreprendre un examen de la structure, des rôles et des responsabilités de l’équipe de C‑EnterNet, en particulier dans la perspective d’une expansion du programme. En l’absence de financement additionnel, il faudrait examiner les façons de réduire la portée des activités entreprises par l’équipe de C-EnterNet en faisant davantage participer les partenaires à la mise en œuvre.
Actuellement, la haute direction responsable de C‑EnterNet est répartie à l’intérieur de deux centres de l’ASPC. L’administration quotidienne est assumée par le chef du programme, et les processus de gestion sont très largement ponctuels et informels. Même si la structure de gestion conjointe et l’absence de processus de gestion formel n’ont pas entravé la réussite du programme, ces éléments présentent un risque pour sa réussite future, en particulier dans le contexte d’une expansion du programme. Des processus de gestion efficaces et une structure de gestion plus claire seront essentiels pour progresser.
Recommandation no 3 : La responsabilité de gestion supérieure de C‑EnterNet devrait relever d’un seul centre à l’ASPC.
Un comité consultatif formé de scientifiques et d’intervenants de diverses organisations et doté d’une expertise variée a été créé dans le cadre du programme. Bien qu’il ait été efficace en matière de consultation, ce comité n’a pas joué un grand rôle en matière de planification stratégique.
Recommandation no 4 : Il faudrait entreprendre un exercice annuel de planification formelle du programme C-EnterNet, avec la contribution des membres du comité consultatif, pour déterminer les orientations et les possibilités en matière de commercialisation et de collaboration.
Un comité directeur a aussi été créé au SSPRW et il a été un intermédiaire efficace pour la communication avec la haute direction du SSPRW.
Réussite
Dans le cadre du programme C-EnterNet, des documents d’information ont été rédigés et distribués, notamment des rapports annuels et des bulletins. L’équipe du programme a aussi rédigé et corédigé plusieurs articles examinés par des pairs sur l’attribution de source et d’autres aspects de la recherche réalisée dans le cadre du programme. Les membres du programme ont aussi organisé de nombreuses présentations et d’autres activités relatives à la diffusion des connaissances et participé à de telles activités.
Les destinataires de l’information relative à C-EnterNet se disent très satisfaits des données et de l’information provenant du programme. Toutefois, l’actualité de l’information semble être un point faible.
Recommandation no 5 : L’équipe de C-EnterNet devrait élaborer une stratégie pour améliorer l’actualité de ses produits d’information.
La plupart des destinataires de l’information provenant de C‑EnterNet utilisent cette information. Les intervenants et les destinataires croient que le plus important point faible des données est leur provenance d’un seul site sentinelle et qu’elles ne sont donc pas représentatives à l’échelle nationale et ne peuvent pas servir aux comparaisons régionales.
Recommandation no 6 : Il faudrait poursuivre l’établissement de sites sentinelles additionnels, comme le prévoit le plan initial du programme. Toutefois, l’établissement de sites additionnels devrait être conditionnel à la création de nouveaux partenariats financiers ou à la détermination de nouvelles dispositions financières, puisqu’il ne faut pas que l’expansion nuise au site pilote.
C‑EnterNet a établi et développé avec succès des réseaux de collaboration en matière de maladies entériques avec des experts canadiens et étrangers. Ces réseaux incluent de nombreuses disciplines et mettent à contribution tous les ordres de gouvernement.
En ce qui concerne l’élément « attribution de source », le programme C‑EnterNet a permis, d’une part, de créer un groupe de travail formé de scientifiques et chargé de promouvoir l’attribution de source, et d’autre part, de participer à un examen des méthodes d’attribution de source élaborées à l’étranger. Ces méthodes étrangères sont en cours d’adaptation aux données du Canada. L’absence de données représentatives à l’échelle nationale provenant de C‑EnterNet signifie que d’autres sources de données ont servi aux estimations d’attribution préliminaires entreprises jusqu’à maintenant. Par contre, ces estimations, par rapport à l’élément « surveillance intégrée », semblent montrer que les progrès sont limités dans ce domaine.
Il semble que l’information et les données provenant de C‑EnterNet servent le plus souvent au travail des chercheurs et des personnes prenant part à la prestation de services et du programme, et moins à la haute direction et aux analystes de politiques. Au fur et à mesure que d’autres données seront recueillies, au fil des ans, et que leur analyse permettra de déterminer une tendance, il est attendu que l’incidence des données sur l’élaboration des politiques et des pratiques deviendra plus évidente. À ce jour, les produits d’information de C‑EnterNet n’ont pas tenu compte de l’incidence potentielle des données présentées sur les politiques et les pratiques, ce qui est amplifié par la lourde charge de travail de l’équipe principale lors de la mise en œuvre du projet pilote. Cela résulte aussi de l’absence flagrante d’une stratégie de commercialisation claire.
De plus, d’après les résultats du sondage, certains destinataires de l’information diffusée par C‑EnterNet connaissent peu le programme, n’examinent pas les produits d’information qu’ils reçoivent et n’utilisent pas les données. Une commercialisation plus poussée du programme permettrait de mieux faire connaître ses applications aux intervenants dans leur travail.
Recommandation no 7 : Il faudrait élaborer une stratégie de commercialisation et de diffusion des connaissances. Cette stratégie travaillera à déterminer : 1) les messages importants provenant des résultats de programme qui pourraient contribuer à l’élaboration de programmes et de politiques; 2) les groupes et les intervenants concernés auxquels transmettre ces messages pour obtenir les meilleurs résultats; 3) les occasions et les produits les plus efficaces pour atteindre ces groupes et intervenants. Ici encore, il faudrait solliciter l’apport du comité consultatif et examiner la possibilité d’une collaboration avec le PICRA dans ce domaine. Il faudrait aussi élaborer un document clair sur le cadre conceptuel de C-EnterNet, ce qui aiderait la commercialisation et la diffusion des connaissances.
C‑EnterNet a eu une incidence positive sur le niveau de connaissance des destinataires de l’information et du personnel du SSPRW concernant les maladies entériques et l’exposition à ces maladies. Jusqu’à maintenant, l’information diffusée dans le cadre du programme a surtout servi à soutenir d’autres projets de recherche, mais aussi à élaborer des programmes et des pratiques.
Grâce à son partenariat avec le SSPRW, le programme C‑EnterNet a permis d’accroître les capacités en matière de santé publique. Cela comprend l’élaboration d’un nouveau questionnaire de suivi de cas et de fiches d’information sur les maladies entériques, ainsi que la prestation de formation et d’ateliers aux inspecteurs sanitaires et au personnel de la santé. Pour l’instant, peu de preuves laissent croire que les capacités en matière de santé publique ont été considérablement renforcées au-delà du site sentinelle.
D’après l’évaluation, le programme peut contribuer à réduire le fardeau des maladies entériques humaines à l’avenir. Toutefois, pour atteindre cet objectif à long terme, il est essentiel de disposer de plus de temps et d’un réseau de sites sentinelles.
Rentabilité et autres solutions
Il semble que la conception et la mise en œuvre du programme ont été développées pour assurer une rentabilité selon la méthodologie choisie. Comme il a été mentionné, il faudrait continuer à examiner la faisabilité d’autres ententes de partage des coûts ou d’économies, par l’entremise de partenariats. Jusqu’à maintenant, le programme a profité d’un soutien non financier substantiel, en particulier en ce qui concerne l’élément « eau », et semble être rentable. La valeur globale du programme ne peut, toutefois, être entièrement déterminée avant que C‑EnterNet prenne une envergure pancanadienne.
Détails de la page
- Date de modification :