ARCHIVÉE - Évaluation du programme C-EnterNet

Méthodologie

La méthodologie utilisée pour évaluer le programme C-EnterNet a été conçue pendant la phase de la planification de l’évaluation précédant l’évaluation. La planification a été exécutée en collaboration avec l’équipe de C-EnterNet et a profité des commentaires du comité consultatif de C-EnterNet. La section qui suit énonce les enjeux et les questions d’évaluation, les méthodes de collecte des données et les aspects méthodologiques essentiels à l’évaluation.

2.1 Enjeux et questions d’évaluation

L’évaluation du programme C-EnterNet examinait les enjeux liés à la pertinence, à la conception, à l’exécution et à la réussite du programme ainsi que sa rentabilité et les solutions de rechange. Le tableau 4 fait un résumé des enjeux et des questions d’évaluation traités dans l’évaluation. Consultez l’annexe A pour obtenir la matrice d’évaluation complète comprenant aussi les indicateurs précis et les méthodes utilisées pour chaque question d’évaluation.

2.2 Méthodes de collecte des données

L’évaluation de C-EnterNet comprenait l’utilisation de multiples sources de données et de méthodes de recherche complémentaires pour aider à garantir la fiabilité de l’information et des données recueillies. Les méthodes suivantes ont été utilisées pour recueillir des données d’évaluation :

• entrevues avec les principaux intervenants;
• examen de la documentation;
• sondage auprès des bénéficiaires de l’information provenant de C-EnterNet;
• examen des données administratives et financières;
• sondage auprès des partenaires pour examiner les coûts associés au programme;
• groupe de consultation avec le personnel du SSPRW.

Chacune de ces méthodes est décrite plus en détail dans les sections qui suivent.

2.2.1 Entrevues avec les principaux intervenants

Au total, 25 entrevues ont été exécutées dans le cadre de l’évaluation. Elles ont été réalisées auprès de membres de l’équipe de C-EnterNet, de la haute direction de l’ASPC, du Comité directeur du SSPRW, du Comité consultatif de C-EnterNet et de spécialistes pertinents. Le nombre d’entrevues réalisées pour chaque groupe interrogé est indiqué dans le tableau 5.

Différents guides d’entrevue ont été utilisés pour chaque groupe interrogé (voir annexe B pour consulter la matrice utilisée pour les questions d’entrevue). Des entrevues en personne ont été réalisées (pendant une visite sur le terrain à Guelph et à Waterloo ainsi que dans la région de la capitale nationale) et par téléphone. Certaines ont été inscrites dans une base de données pour faire l’objet de futures analyses.

2.2.2 Examen de la documentation

Les types de documents suivants ont été examinés pendant l’évaluation :

• Documents ministériels, comptables et politiques : y compris le Cadre de mesure du rendement de l’ASPC et l’architecture des activités de programmes, les Rapports ministériels sur le rendement ainsi que les Rapports sur les plans et les priorités. Parmi les autres documents se trouvent les discours du Trône et la stratégie du gouvernement du Canada en matière de sciences et de technologie.
• Documents opérationnels : y compris l’analyse de rentabilisation de C-EnterNet, le plan d’activités et les examens antérieurs du programme.
• Extrants du programme : y compris les rapports annuels et les rapports d’exécution, les bulletins et les renseignements sur les activités liées à l’attribution de source réalisées par le programme.
• Documents universitaires et littérature « grise » : y compris des renseignements sur les coûts engagés par la société canadienne découlant des maladies entériques, les tendances en matière d’agents pathogènes et d’autres documents d’information ciblés pendant la phase de planification de l’évaluation.

L’annexe C comprend une liste complète des documents examinés.

Pendant l’examen, des conclusions tirées de documents ont été inscrites dans une matrice structurée en fonction des questions d’évaluation. L’examen des documents a surtout servi à éclairer une évaluation de la pertinence ainsi que de la conception et de l’exécution du programme. Il a aussi fourni de l’information sur la réussite du programme, sa rentabilité et les solutions de rechange possibles.

2.2.3 Enquête sur les bénéficiaires de l’information

Le programme C-EnterNet conserve une liste de distribution des personnes à qui sont envoyés des documents ou des extrants de C-EnterNet, y compris des rapports annuels et des bulletins. En utilisant cette liste de distribution, l’équipe d’évaluation a mené un sondage en ligne sur les bénéficiaires de l’information provenant de C-EnterNet. 

Un questionnaire d’enquête a été conçu pour aborder les questions d’évaluation indiquées dans la matrice d’évaluation. Les SCG ont entrepris un examen préalable du questionnaire d’enquête, en anglais et en français, avec sept répondants provenant d’un groupe de personnes prédéterminé ciblé par l’équipe de C-EnterNet. Des modifications mineures ont été apportées à la formulation du questionnaire d’enquête d’après les résultats de l’examen préalable.

Les répondants potentiels ont reçu une invitation à participer au sondage en ligne par courriel. Au total, 284 répondants potentiels ont reçu le courriel. Le formulaire du sondage en ligne est demeuré actif du 29 juin au 14 août 2009. Pendant ce temps, les SCG ont aussi envoyé un rappel par courriel à deux reprises aux personnes qui n’avaient pas répondu au sondage.

En tout, 102 répondants ont répondu au sondage, ce qui représente un taux de réponse de 35,9 %. Selon ces chiffres, la marge d’erreur globale pour le sondage est ±7,8 %, 19 fois sur 20. Il est important de noter que le nombre de réponses au sondage ne permettait pas de procéder à une analyse approfondie des résultats selon le groupe de répondants en particulier (p. ex. résultats des répondants du gouvernement fédéral par rapport aux répondants du gouvernement provincial).

2.2.4 Examen des données administratives et financières

Données administratives

Deux principaux types de données administratives ont été analysées pendant l’évaluation : les données du programme liées aux activités et aux extrants et les données financières du programme.

L’analyse des données sur les activités et les extrants du programme comprenait les éléments suivants : un examen du nombre et du type de présentations, de formations et d’ateliers réalisés par les membres de l’équipe du projet; le nombre et la nature des partenariats; les types de demandes de renseignements reçues par C-EnterNet. 

Données financières

Les renseignements financiers du programme C-EnterNet ont été analysés pour évaluer les coûts totaux du programme ainsi que les coûts particuliers de différents domaines du programme, notamment les coûts administratifs par rapport aux coûts de fonctionnement ainsi que les coûts liés à chaque volet du programme. Pour l’établissement des coûts, la méthode générale utilisée était celle indiquée dans le Guide d’établissement des coûts du Conseil du Trésor.

Des données financières ont été obtenues des gestionnaires de C-EnterNet. Comme les données disponibles pour l’exercice 2006-2007 étaient les plus détaillées et que peu de changements ont été apportés au budget du programme dans les dernières années, 2006-2007 est devenu le centre d’intérêt de l’analyse de l’établissement des coûts.

2.2.5 Enquête sur les coûts

Un court sondage auprès des partenaires et d’autres organismes avec lesquels C-EnterNet collabore a été mené pour recueillir des données afin d’estimer la valeur des contributions financières et en nature offertes par d’autres organismes au programme C-EnterNet. Ces données ont aidé à établir le rapport qualité/prix de C-EnterNet en établissant une estimation des économies réalisées par C-EnterNet grâce aux activités conjointes.

L’équipe d’évaluation a travaillé avec C-EnterNet à la finalisation d’une liste de 19 partenaires et autres organismes qui ont offert un soutien en nature au programme pour lequel ils ne recevaient aucune rémunération. Le soutien en nature était souvent offert par des partenaires en échange d’un accès aux données du programme C-EnterNet.

Tous les organismes ont été contactés par courriel pour demander s’ils seraient intéressés à participer à un court sondage en ligne. Afin d’obtenir un maximum de réponses au sondage, l’équipe d’évaluation a procédé à un suivi par téléphone auprès des personnes qui n’avaient pas répondu au sondage. Au total, les SCG ont reçu neuf réponses. Toutefois, ces réponses représentent les partenaires ciblés par l’équipe de C-EnterNet qui ont offert le plus important soutien en nature au programme.

2.2.6 Groupe de consultation du personnel du service de santé publique

Les SCG ont animé un groupe de consultation comprenant sept membres du personnel du SSPRW participant à des activités pour soutenir le programme C-EnterNet. Parmi les participants se trouvaient un épidémiologiste, un planificateur et cinq inspecteurs en santé publique. Le groupe de consultation devait examiner si oui ou non et de quelle façon C-EnterNet avait permis d’accroître la capacité en santé publique, y compris en ce qui a trait aux types de conséquences que le programme avait eues sur le personnel du SSPRW et la région. Un guide à l’intention de l’animateur a été conçu avant la création du groupe de consultation pour s’assurer que la séance permettrait d’aborder toutes les questions d’évaluation pertinentes. Le guide de l’animateur est présenté à l’annexe D.

2.3 Limites et considérations

Comme pour toutes les évaluations, certaines limites méthodologiques et considérations doivent être prises en compte.

L’incidence sur le programme C-EnterNet doit être examinée en gardant à l’esprit qu’il s’agit d’un projet pilote et que sa mise en œuvre est récente.

La conception du programme C-EnterNet prévoit une série de sites de surveillance situés partout au Canada. De multiples sites sentinelles ont pour but de permettre l’extrapolation des résultats dans toutes les régions du Canada. Au moment de l’évaluation, le programme ne comprenait qu’un seul site sentinelle. Par conséquent, il était impossible pour le programme d’atteindre complètement les résultats prévus à l’échelle pancanadienne. Toutefois, la nécessité d’établir des sites sentinelles supplémentaires a été examinée dans le cadre de l’évaluation.

Dans le même ordre d’idées, un but important de la collecte de données par le programme C‑EnterNet est d’examiner les tendances au fil du temps pour les cas de maladies entériques chez l’humain et les agents pathogènes provenant d’aliments au détail, d’animaux et de sources d'eau de surface. Le programme n’a publié les premiers résultats de ses activités de surveillance qu’en 2006 et a seulement produit des rapports annuels pour trois années. De plus, certaines activités de surveillance ont commencé plus récemment, comme l’échantillonnage de produits. Les tendances avec le temps commencent tout juste à être déterminées.

L’évaluation est de nature descriptive plutôt que comparative.

L’évaluation n’avait pas pour objectif d’évaluer de façon empirique la conception, l’exécution, le succès et la rentabilité du programme en le comparant à des programmes semblables au Canada ou à l’échelle internationale. Par conséquent, la méthode d’évaluation est de nature descriptive plutôt que comparative.

La portée du biais dans les réponses au sondage concernant les bénéficiaires de l’information n’est pas connue.

Il n’était pas possible d’entreprendre une analyse du biais de non réponse pour le sondage concernant les bénéficiaires de l’information. Par conséquent, le niveau de représentativité des réponses pour l’ensemble des bénéficiaires demeure inconnu.

Malgré ces considérations, les SCG ont conçu l’évaluation de manière à utiliser différentes sources de données (p. ex. entrevues, sondages, données administratives, documents et groupe de consultation), renforçant ainsi la fiabilité et la validité des résultats de l’évaluation.