Page 8 : Évaluation du Programme d’aide préscolaire aux Autochtones dans les collectivités urbaines et nordiques de l’Agence de santé publique du Canada

Annexe A. Annexe technique

Méthodologie

Approche et conception

L'évaluation ex poste (rétrospective) a été effectuée par les Services d'évaluation, groupe de l'Agence de la santé publique qui n'a aucun lien avec le secteur responsable de l'administration des activités liées au PAPACUN.

L'approche globale comptait deux modèles d'évaluation conceptuelle : une évaluation des objectifs et une évaluation des processus.

Le modèle fondé sur les objectifs a permis aux évaluateurs de déterminer si le Programme réalisait les buts et les objectifs énoncés dans son mandat initial. Puisque le PAPACUN n'a pas été évalué à l'échelle nationale depuis 2006 (avant la mise en application de la Politique sur l'évaluation du Secrétariat du Conseil du Trésor), l'objectif initial de l'évaluation était de vérifier : a) la pertinence du Programme et la possibilité de modifier ou non ses objectifs; b) la façon d'établir les objectifs du Programme à l'avenir.

L'autre objectif de l'évaluation était de comprendre pleinement le fonctionnement actuel du PAPACUN; c'est pourquoi un modèle d'évaluation des processus était également approprié. Le Programme a évolué depuis son lancement en 1995, et l'évaluation a permis d'explorer sa mise en œuvre.

Les Services d'évaluation ont utilisé une approche non expérimentale transversale pour examiner en rétrospective ce programme établi il y a longtemps. Puisqu'il y a peu de renseignements de référence, cette approche a permis aux évaluateurs d'analyser l'information de multiples sources. L'évaluation touche le rendement du Programme et la valeur qu'il a ajoutée ainsi que la conformité des activités connexes avec les rôles et les priorités de l'Agence de la santé publique.

La mise en œuvre de l'évaluation a été motivée par la Politique sur l'évaluation du Secrétariat du Conseil du Trésor, qui exige que l'ensemble des programmes de subventions et de contributions soit évalué tous les cinq ans, conformément à l'article 42.1 de la Loi sur la gestion des finances publiques^{Footnote 3535}.

Il y avait un certain nombre de facteurs de risque liés à l'évaluation. Plus particulièrement, la longévité du Programme (plus de 15 ans) et le peu d'analyses nationales de la pertinence du Programme effectuées tout au long de son cycle de vie sont des facteurs qui ont contribué à la sélection de la méthode d'évaluation.

En plus du point de vue d'un large éventail de membres de la direction et du personnel responsables du Programme, celui des principaux intervenants a également été pris en considération. Mentionnons particulièrement que les évaluateurs ont aussi recueilli le point de vue de bénéficiaires des services fournis dans le cadre du PAPACUN, dont des membres du Conseil national du Programme d'aide préscolaire aux Autochtones et des coordonnateurs de centre. D'autres ministères et organismes gouvernementaux ont également été consultés.

Méthodes

L'évaluation a permis de valider les données de multiples sources.

Analyse documentaire

L'analyse documentaire visait à examiner le développement de la petite enfance au Canada et dans le monde. Il a permis d'aborder les problèmes d'évaluation liés à la pertinence. L'objectif de l'examen était d'obtenir de l'information sur le besoin d'un tel programme, notamment s'il constitue un rôle légitime et nécessaire pour le gouvernement du Canada, et de cerner les pratiques exemplaires qui pourraient aider à améliorer la conception et la mise en œuvre du PAPACUN.

Au total, 93 documents ont été épluchés. Il s'agit entre autres de documents suggérés par le personnel responsable du Programme (p. ex. littérature grise) et de documents trouvés dans le cadre de recherches en ligne, dans des études de Statistique Canada et de recherches bibliographiques par mot clé. Les évaluateurs ont effectué des recherches bibliographiques à l'aide de mots clés en vue de trouver des documents universitaires (des cinq dernières années) en français et en anglais concernant les besoins sociaux et de santé des Autochtones à l'extérieur des réserves au Canada, le concept de la maturité scolaire et les conséquences de l'éducation de la petite enfance.

L'analyse documentaire a également permis d'élaborer un sommaire des programmes de développement de la petite enfance dans trois autres pays : les États‑Unis, la Nouvelle‑Zélande et l'Australie.

Examen de documents internes

L'équipe d'évaluation a examiné tous les documents relatifs au PAPACUN, dont un grand nombre ont été fournis par la direction et le personnel chargés du Programme. Cela a permis d'aborder les problèmes d'évaluation liés à la pertinence et au rendement. Au total, l'équipe d'évaluation a consulté 94 documents.

Voici les types de documents examinés :

• évaluations régionales du PAPACUN effectuées au cours des cinq dernières années
• vérifications et examens antérieurs du PAPACUN
• comptes rendus de décisions de divers comités internes
• correspondance et produits de communication relatifs au PAPACUN
• données sur la mesure de rendement du Programme, dont le Questionnaire national annuel du PAPACUN, la cartographie des centres du Programme et le rapport de l'Inventaire du développement de l'enfant de Brigance.

Entrevues

L'équipe d'évaluation a mené des entrevues auprès de certains members clés de la haute direction et de membres du personnel de l'Agence de la santé publique, de membres du Conseil national du Programme d'aide préscolaire aux Autochtones et d'autres intervenants au PAPACUN d'autres ministères et organismes du gouvernement fédéral.

L'objectif des entrevues était d'en savoir davantage sur la mise en œuvre de divers éléments du Programme et de recueillir des commentaires sur la pertinence et le rendement du Programme.

Les entrevues ont été menées à l'aide de guides structurés personnalisés adaptés à chaque groupe de personnes à interroger.

Les membres de la direction et du personnel chargés du PAPACUN ont identifié les personnes clés à interroger aux fins de l'évaluation. La méthode d'échantillonnage était fondée sur l'objet visé. Les Services d'évaluation ont informé les personnes clés de l'évaluation et ont demandé leur participation à l'entrevue. Du 15 septembre 2011 au 7 février 2012, 18 entrevues d'une heure ont été menées auprès de 49 personnes. Il arrivait que plusieurs personnes soient interrogées en même temps.

Études de cas

Pour obtenir de plus amples renseignements sur la façon dont les études de cas ont été menées, veuillez consulter l’annexe B. Un rapport technique complet sur les études de cas est disponible sur demande auprès des Services d’évaluation de l’Agence de la santé publique (evaluation@phac-aspc.gc.ca).