ARCHIVÉE - Méthodologie

Deux sources principales ont été utilisées à titre d’éléments de preuve dans le présent rapport d’évaluation formative : une étude des documents pertinents et des entrevues semi-structurées menées auprès d’intervenants internes et externes qui sont des informateurs clés. Afin de rendre compte des programmes de subventions et contributions, on a utilisé des données supplémentaires sur les intrants et les activités de projet en vue d’évaluer les progrès réalisés au niveau des extrants et des premiers résultats.

Sources de données qualitatives et quantitatives

L’évaluation formative comprend des sources de données ayant trait au processus et aux résultats immédiats de la mise en oeuvre du volet fonctionnel de la surveillance. On a eu recours aux approches qualitatives suivantes pour effectuer l’évaluation :

• Une étude des documents pertinents
• Tenue d’entrevues auprès d’informateurs clés

On a utilisé les approches quantitatives suivantes :

• À partir des entrevues et de l’étude des documents pertinents, on a calculé les fréquences et dressé des tableaux croisés en ce qui a trait aux réponses relatives à l’harmonisation du volet fonctionnel de la surveillance avec les objectifs stratégiques, et aux progrès réalisés vers l’atteinte des résultats immédiats et intermédiaires.
• À partir de l’étude des documents pertinents, on a également examiné les fréquences
  relatives à la couverture des projets de subventions et contributions selon les groupes cibles.

On trouvera à l’annexe B le plan d’évaluation, qui décrit le lien entre les sources de données en fonction de la méthodologie utilisée et des questions d’évaluation abordées dans le cadre de la présente évaluation formative du volet fonctionnel de la surveillance de la SIMVSMC.

Élaboration du guide d’entrevue

On a élaboré un guide d’entrevue afin de recueillir une rétroaction sur la mise en oeuvre du volet fonctionnel de la surveillance (voir l’annexe C). Le guide d’entrevue a été modifié au besoin à l’intention de divers groupes, y compris les intervenants externes. Compte tenu des différences entre les activités de programmes associées aux subventions et contributions et d’autres activités du volet fonctionnel de la surveillance, on a élaboré une version modifiée du guide à l’intention du directeur de la surveillance et du coordonnateur rattachés à l’ASPC et des bénéficiaires de subventions et contributions.

Afin de veiller à ce que l’analyse qualitative complète les questions d’évaluation du volet fonctionnel de la surveillance, chacune des questions figurant dans le guide d’entrevue a été reliée à la question d’évaluation pertinente énoncée dans le plan de surveillance et d’évaluation du volet fonctionnel de la surveillance (Agence de la santé publique du Canada, 2007a, p. 8). À partir des questions d’évaluation, des indicateurs et des sources de données, on a élaboré les questions d’entrevue et les questions d’approfondissement au moyen de la matrice fonctionnelle de la SIMVSMC et du modèle logique du volet fonctionnel de la surveillance afin d’orienter la discussion.

Aux fins de la présente recherche, le concept de mobilisation a été opérationnalisé en fonction des travaux antérieurs d’évaluation de la collaboration. On a demandé aux répondants d’évaluer l’efficacité du volet fonctionnel de la surveillance en matière de mobilisation des organisations, des secteurs et des administrations en vue d’améliorer chacune des caractéristiques relationnelles de la collaboration décrites par Frey et coll. (2006). Il est clair que des travaux de validation supplémentaires portant sur le concept de mobilisation s’imposent pour appuyer l’opérationnalisation quantitative plus poussée de cette approche.

Avant d’entreprendre la collecte de données, on a mis à l’essai les guides d’entrevue en collaboration avec trois personnes bien informées de la mise en oeuvre de la SIMVSMC et des travaux exécutés à ce jour par les divers comités associés à la surveillance des maladies chroniques.

2.1 Étude des documents pertinents

Dans le cadre de l’évaluation, on a étudié des documents pertinents. On a dégagé ces documents en procédant à la validation de documents internes/externes clés auprès des intervenants, auxquels on a demandé de cerner les lacunes ayant trait aux documents d’orientation clés relatifs au volet fonctionnel de la surveillance. Les documents examinés comprennent des documents de planification stratégique, des comptes rendus de réunions, des présentations, et des rapports d’étape qui fournissent de l’information sur le contexte et les processus de la mise en oeuvre du volet. Les documents clés font notamment état des résultats des premier et deuxième examens de la mise en oeuvre. Le premier examen de la mise en oeuvre, qui avait pour objet d’examiner la SIMVSMC entre octobre 2005 et novembre 2006, portait sur la mesure dans laquelle la Stratégie avait permis d’engager les intervenants compétents. Le deuxième examen de la mise en oeuvre, qui visait la période de décembre 2006 à décembre 2007, avait pour objet d’évaluer les structures de gouvernance et les mécanismes de coordination de la SIMVSMC (Performance Management Network Inc., 2007; Agence de la santé publique du Canada, 2007d; Agence de la santé publique du Canada, 2008d; Agence de la santé publique du Canada, 2008c).

Les analystes de l’Unité d’évaluation ont examiné les documents afin de relever les renseignements pertinents au sujet des questions d’intégration et de mobilisation, y compris les défis et les facteurs favorables liés à l’élaboration et à la mise en oeuvre du volet fonctionnel de la surveillance. On s’est fondé sur ces documents, ainsi que sur les entrevues menées auprès des informateurs clés, afin d’évaluer les progrès et la pertinence, y compris les premiers résultats.

2.2 Entrevues auprès d’informateurs clés

Compte tenu de la nécessité d’utiliser des données descriptives approfondies aux fins de la présente évaluation formative, on a mené des entrevues qualitatives auprès d’informateurs clés.

Identification des informateurs clés

Une stratégie d’échantillonnage au jugé (Miles et Huberman, 1994, p. 27) a été utilisée pour identifier les informateurs clés, qui a consisté à sélectionner les personnes les plus aptes à susciter des discussions productives et approfondies sur la surveillance des maladies chroniques. Les critères de sélection et la stratégie de recrutement ont été élaborés en collaboration avec le directeur associé de la Division de la surveillance, le directeur, et l’équipe de gestion de la Division de la surveillance. Les critères de sélection utilisés visaient notamment à identifier les informateurs clés qui étaient :

• considérés comme connaissant la Stratégie;
• en mesure de représenter les points de vue de leurs collègues de domaines de maladies chroniques particuliers.

On s’est efforcé d’assurer une vaste représentation des domaines de surveillance des maladies chroniques, de manière à refléter les catégories de rapports ministériels de surveillance utilisées dans les domaines de mobilisation exposés dans le Rapport sur les plans et les priorités (RPP) de l’ASPC.

Au total, on a identifié 40 répondants à titre d’informateurs clés. Cela comprend des décideurs et des gestionnaires sélectionnés parmi les fonctionnaires de l’ASPC, ainsi que des fonctionnaires provinciaux et territoriaux, des universitaires, et des membres de diverses ONG. À plusieurs occasions, les informateurs clés ont décidé de participer à l’entrevue en compagnie d’un superviseur ou d’un collègue afin d’assurer une entrevue plus complète, ce qui a donné lieu à 37 entrevues distinctes au total.

Les répondants ont été classés par catégories selon qu’ils étaient des intervenants internes ou externes, et selon qu’ils présentaient leur point de vue à titre de décideur ou de gestionnaire de programmes. Des renseignements généraux sur le domaine de surveillance des informateurs, ainsi que sur leur participation à des comités, leurs rôles et leurs titres actuels, les données d’entrevue et les intervieweurs ont été consignés dans un graphique, afin d’assurer une couverture appropriée en fonction des critères de sélection énumérés antérieurement, ainsi que dans les domaines de maladies chroniques. Le processus a également permis de répartir les entrevues entre les différents intervieweurs, et de surveiller continuellement les progrès.

Processus de collecte de données

Les entrevues devaient durer approximativement une heure et elles ont varié entre un peu moins d’une heure et deux heures complètes. En moyenne, les entrevues ont duré 68 minutes, et l’ensemble des entrevues a représenté approximativement 38 heures de transcription au total. Les entrevues ont eu lieu entre le 10 novembre 2008 et le 12 janvier 2009.

Les informateurs clés ont reçu à l’avance un exemplaire du guide d’entrevue, du modèle logique du volet fonctionnel de la surveillance, et de la matrice fonctionnelle de la SIMVSMC en prévision de l’entrevue. Les informateurs clés internes ont été interrogés en personne ou au téléphone par des analystes de l’Unité d’évaluation. Des analystes de l’Unité d’évaluation, et/ou des entrepreneurs embauchés pour mener les entrevues, ont interrogé les informateurs clés externes au téléphone. Toutes les entrevues ont été enregistrées numériquement et transcrites textuellement.

Au total, 35 des 37 (95 %) entrevues prévues ont été menées dans le cadre de ces travaux. Deux répondants clés externes ont refusé de participer ou n’ont pas donné suite à au moins quatre demandes d’entrevue. La répartition entre les répondants travaillant à l’ASPC (57 %, n = 20) et les répondants travaillant à l’extérieur de l’ASPC (43 %, n = 15) était relativement équilibrée, en particulier si l’on tient compte du fait que la majorité des décideurs faisant partie des répondants provenaient de l’extérieur de l’ASPC. Voir les tableaux 1 et 2 ci-dessous. Les répondants de l’ASPC comprenaient des représentants régionaux. En ce qui concerne la répartition des 15 répondants externes, 40 % (n = 6) d’entre eux représentaient le milieu universitaire et des hôpitaux, 33 % (n = 5) provenaient du domaine des soins contre le cancer et des registres du cancer, 13 % (n = 2) représentaient des ONG, et 13 % (n = 2) faisaient partie du personnel des gouvernements provinciaux et territoriaux.

Parmi les 35 entrevues menées, deux des personnes interrogées ne possédaient pas assez d’information sur la Stratégie ni sur le volet fonctionnel de la surveillance pour formuler des observations approfondies, et par conséquent, ces deux entrevues n’ont pas permis de recueillir des données suffisamment riches pour justifier leur transcription. On a donc codé et analysé 33 entrevues.

Codage et analyse

Le personnel de l’Unité d’évaluation de l’ASPC a analysé les données. On a utilisé NVivo 8 (QSR International, sans date), un progiciel d’analyse qualitative, pour coder les données et faciliter l’analyse. Les transcriptions d’entrevues ont été importées dans NVivo 8 en tant que sources distinctes, et on les a initialement segmentées en fonction des questions qui ont été posées au cours de l’entrevue. La « segmentation » est considérée comme une action analytique qui peut être mise en correspondance directe avec certaines parties de texte, ce qui permet aux chercheurs de définir « les limites d’une description ou d’un segment » (MacQueen et Guest, 2008, p. 14). Ce processus a permis de segmenter initialement toutes les réponses en fonction de la question d’entrevue concernée, et de faire en sorte que les réponses correspondent aux domaines d’enquête particuliers de la présente évaluation.

À la suite des activités de segmentation initiale, le personnel de l’Unité d’évaluation a analysé chacune des questions qui ont été posées au cours de l’entrevue (toutes les réponses fournies par les informateurs) relativement aux principaux thèmes liés à la question d’entrevue particulière (par ex., les leçons retenues). Chacune des questions d’entrevue était liée aux questions d’évaluation (par ex., approches en matière de conception et de prestation). Certaines transcriptions clés et/ou certains grands points nodaux ont été examinés plus à fond par rapport aux thèmes pertinents, et on a cerné le premier ensemble de catégories en vue de la réduction des données.

En dernier lieu, chacun des analystes a examiné séparément les données textuelles dans le cadre des thèmes codés, et on a sélectionné les catégories émergentes, ainsi que des exemples de confirmation au moyen d’une approche de validation par consensus. Les analystes ont examiné des thèmes rivaux et/ou concurrentiels (Miles et Huberman, 1994, p. 269) selon le cas, en étudiant chacun de ceux-ci dans le contexte des principaux thèmes qui sont ressortis des données. Les analystes ont cerné des citations illustratives – selon le cas – à cette étape de l’analyse. On a généré des codes supplémentaires à mesure que des thèmes ou des idées sont ressortis des réponses collectives relatives à chacun des énoncés, et par contraste entre les catégories de groupes (par ex., externes/internes et décideur/gestionnaire de programmes).

2.3 Limites de la méthodologie

Qualité des données

Un des défis soulevés par la recherche qualitative est lié à la question de la qualité et de la rigueur des données, y compris la validité et la fiabilité des données. Les critiques comprennent des préoccupations relatives à l’autodéclaration par les informateurs clés et aux questions de partialité possibles. Aux fins de la présente évaluation, on a pris diverses mesures pour assurer l’exactitude et la fiabilité des données utilisées, dont les suivantes :

• Veiller à la tenue d’un nombre suffisant d’entrevues et à ce qu’elles soient représentatives des intervenants et des domaines de maladies (Miles et Huberman, 1994, p. 264);
• Élaborer des lignes directrices claires concernant la transcription des entrevues et confier la transcription des entrevues à une seule personne (Maxwell, 2005, p. 208 et 211);
• Décrire clairement le processus utilisé pour le codage, l’analyse, et l’établissement de conclusions à partir des données (Morse, 1995), y compris préciser la piste de vérification des mesures et des décisions prises (Miles et Huberman, 1994, p. 286);
• Trianguler les données, et à cette fin, utiliser plusieurs sources de données et faire appel à plusieurs analystes pour le codage et l’analyse des données (Creswell, 2007, p. 208; Miles et Huberman, 1994, p. 267);
• Mettre les données à la disposition d’autres personnes (à l’interne au sein du gouvernement) aux fins d’analyses supplémentaires et de la confirmation éventuelle des résultats (Miles et Huberman, 1994, p. 278).

Autres limites

Pour ce qui est des limites de l’évaluation, la présente évaluation est principalement axée sur les intervenants internes et leurs perceptions au sujet de la mise en oeuvre du volet de la surveillance. On a également interrogé quinze (15) intervenants externes; toutefois, il n’y avait pas assez de participants externes connaissant suffisamment la Stratégie. La tenue d’une évaluation exhaustive auprès des intervenants externes dépasse la portée de la présente évaluation puisque celle-ci a pour objet de recueillir des données en vue d’influer sur la poursuite de la mise en oeuvre et le perfectionnement du volet fonctionnel de la surveillance. En outre, on a mené des entrevues auprès d’informateurs clés qui connaissaient la Stratégie et le volet fonctionnel de la surveillance dans une certaine mesure. Par conséquent, l’évaluation ne rend pas avec exactitude toute l’étendue des réponses, plus particulièrement celles des informateurs qui connaissent moins ce travail. De plus, en mettant l’accent sur la matrice fonctionnelle et le modèle logique de surveillance de la SIMVSMC, la présente évaluation se concentre surtout sur l’évaluation des progrès réalisés vers l’intégration, la mobilisation et l’atteinte des premiers résultats.

Une limite essentielle de la présente évaluation tient à l’absence d’un système de mesure du rendement visant le volet fonctionnel de la surveillance, et les données restreintes issues des examens antérieurs de la mise en oeuvre. Par conséquent, cette évaluation adopte par nécessité les caractéristiques d’un examen ponctuel de la mise en oeuvre, tout en établissant la possibilité de travaux de suivi pour appuyer la production du rapport de synthèse du volet fonctionnel. On a demandé aux répondants de fournir des évaluations rétrospectives du rendement de la Stratégie, ce qui comportait un équilibre entre les perspectives internes et externes.

Une autre limite tient au fait que les entrevues auprès des informateurs clés ont été menées par quatre intervieweurs différents. Toutefois, afin de pallier la possibilité que cette situation ait un effet sur l’administration du protocole d’entrevue, on a assuré l’uniformité en fournissant aux personnes interrogées une formation sur les points suivants : la participation à une entrevue, l’examen d’un guide d’entrevue annoté; et la lecture de transcriptions d’entrevues antérieures.

Les évaluateurs internes de l’ASPC ont effectué la présente évaluation; cependant, ces évaluateurs n’ont pas participé à l’élaboration ni à la mise en oeuvre du volet fonctionnel de la surveillance. Certaines personnes pourraient affirmer que les évaluateurs externes sont plus « objectifs » que les évaluateurs internes, mais la documentation n’appuie pas cette affirmation (Conley-Tyler, 2005). Le recours à des évaluateurs internes ne constitue donc pas une limite de la présente évaluation.

Une dernière limite tient au fait qu’il n’existait aucun outil d’évaluation valide que l’on aurait pu adopter ou adapter aux fins de la présente évaluation. On a donc élaboré un guide d’entrevue expressément pour la tenue de cette évaluation. Toutefois, afin de surmonter cette limite, on a mis le guide d’entrevue à l’essai en collaboration avec trois répondants internes expérimentés.

Par conséquent, bien que cette évaluation comporte un certain nombre de limites, on a établi des mécanismes afin de pallier ces limites dans la mesure du possible.