Évaluation du Programme de sensibilisation à la citoyenneté

2. Méthodologie

2.1. Portée de l'évaluation et approche

La méthodologie et l'approche choisies pour l'évaluation ont été établies dans un plan d'évaluation élaboré pour les composantes Sensibilisation à la citoyenneté et Acquisition, confirmation et révocation de la citoyenneté du Programme de citoyenneté. Le plan a été élaboré entre février et juin 2012 et mis au point avec toutes les directions générales de CIC qui devaient participer à sa réalisation. Même si la planification portait sur les deux composantes, chacune d'entre elles sera évaluée séparément afin d'assurer une couverture complète des différents aspects du programme. Les modalités de l'évaluation du Programme de sensibilisation à la citoyenneté ont été approuvées par le Comité d'évaluation du Ministère en juillet 2012.

L'évaluation porte sur l'activité de programme Sensibilisation à la citoyenneté [AP3.2.1 de l'Architecture d'ement de programmes de CIC (AAP)], y inclue sur la subvention accordée à l'Institut pour la citoyenneté canadienne (ICC). La subvention à l'ICC a été incluse dans l'évaluation, car ses objectifs sont conformes à ceux du Programme de sensibilisation à la citoyenneté. On a aussi jugé que la combinaison des deux éléments dans une seule évaluation était une façon efficace de regrouper les évaluations afin de répondre aux exigences en fonction des ressources existantes.

La présente évaluation est axée sur les activités, les extrants et les résultats du Programme de sensibilisation à la citoyenneté pendant la période de cinq ans qui s'étend des années financières 2007-2008 à 2011–2012. L'évaluation formative de la Semaine de la citoyenneté menée en 2004^{Note de bas de page 9} ne portait que sur les activités liées à la Semaine de la citoyenneté, et donnait donc peu d'information permettant d'étayer la présente évaluation. Une vérification du Programme de citoyenneté^{Note de bas de page 10} a été menée par la Direction générale de la vérification interne de CIC en 2011, et des examens internes et externes ont également été menés en 2010-2011. Cependant, ces examens portaient principalement sur les enjeux liés au traitement des demandes de citoyenneté par le Ministère, plutôt que sur la promotion de citoyenneté canadienne.

Un modèle logique et une matrice d'évaluation détaillée ont été utilisés pour concevoir l'étude. Le modèle logique dépeint les activités, les extrants attendus et les résultats attendus pour les deux composantes du Programme de citoyenneté (voir la figure 2-1). Les résultats attendus spécifiques traités dans l'évaluation de la composante Sensibilisation à la citoyenneté sont les suivants :

• les immigrants et les Canadiens établis participent aux activités promotionnelles de CIC et/ou reçoivent les documents promotionnels de CIC;
• les clients des activités promotionnelles de CIC connaissent les responsabilités et les privilèges associés à la citoyenneté canadienne;
• les demandeurs admissibles deviennent citoyens canadiens et les personnes qui ne sont pas admissibles n'obtiennent pas la citoyenneté;
• la citoyenneté canadienne est considérée comme un statut précieux;
• les recommandations formulées et/ou les décisions prises sont basées sur les faits;
• les décideurs et le personnel ont les compétences, les connaissances et les outils requis.

Figure 2–1: Modèle logique du programme de citoyenneté de CIC

2.2. Questions d'évaluation

L'évaluation a été conçue autour de deux principaux thèmes : la pertinence et le rendement. Conformément aux exigences de la Directive sur la fonction d'évaluation (Secrétariat du Conseil du Trésor du Canada, 2009), la pertinence du programme a été évaluée quant 1) aux besoins continus; 2) à l'harmonisation avec les rôles et responsabilités du gouvernement et 3) à la conformité aux priorités du gouvernement et du Ministère. Le rendement du programme a été évalué par l'examen des résultats quant à 4) l'efficacité et 5) l'efficience et l'économie (utilisation des ressources). Les questions d'évaluation, structurées en fonction des enjeux, sont présentées dans le tableau 2-1. La matrice complète d'évaluation, qui comprend les indicateurs et les méthodologies propres à chaque question, se trouve dans les annexes techniques.

2.3. Méthodes de collecte des données

L'évaluation fait appel à plusieurs sources pour assurer la force des données et des renseignements recueillis. Les représentants du programme ont été consultés pour obtenir les données administratives et les documents de programme aux fins d'examen ainsi que pour aider à repérer les personnes à interviewer et les emplacements à visiter.

Après la collecte de données, chaque source d'information a été analysée et plusieurs séances de remue méninges ont été tenues avec les membres de l'équipe de projet pour élaborer les résultats, les conclusions et les recommandations de l'évaluation. Chacune des sources est décrite en détail ci-dessous.

2.3.1. Entrevues

Au total, 67 entrevues ont été menées pour l'évaluation (tableau 2-2) auprès de représentants de cinq grands groupes de partenaires. Les personnes ont été choisies en consultation avec les représentants du programme en fonction de leur connaissance des activités de sensibilisation à la citoyenneté. Les entrevues ont été menées de manière à répondre à toutes les questions de la matrice d'évaluation et à couvrir les secteurs de la pertinence et du rendement du programme.

Les entrevues ont été menées en personne ou par téléphone, et les personnes interrogées ont reçu une copie du guide pertinent à l'avance (voir les guides d'entrevue dans les annexes techniques).

Lorsqu'on fait état de données qualitatives dans le rapport, on utilise l'échelle donnée au tableau 2-3. Il faut souligner que dans certains cas (c'est-à-dire lorsque le nombre de personnes interrogées était trop petit ou lorsque la question donnait lieu à une réponse plus descriptive), les réponses n'étaient pas codées et on a utilisé la méthode du résumé pour analyser l'information.

Tableau 2–3 : Échelle d'analyse des données recueillies lors des entrevues

Tous

Les résultats reflètent le point de vue et les opinions de 100 % des personnes interviewées.

La majorité/la plupart

Les résultats reflètent le point de vue et les opinions d'au moins 75 %, mais moins de 100 %, des personnes interviewées.

Beaucoup

Les résultats reflètent le point de vue et les opinions d'au moins 50 %, mais de moins de 75 %, des personnes interviewées.

Certains

Les résultats reflètent le point de vue et les opinions d'au moins 25 %, mais de moins de 50 %, des personnes interviewées.

Quelques-uns

Les résultats reflètent le point de vue et les opinions d'au moins deux répondants, mais de moins de 25 %, des personnes interviewées.

2.3.2. Visites sur les lieux

Des visites ont été réalisées en janvier et février 2013 dans cinq communautés : Vancouver, Calgary, Mississauga, Montréal et Halifax. Les visites avaient pour objectif d'observer le contexte opérationnel quotidien du programme à l'échelle régionale et locale et de mieux comprendre les interactions entre le traitement des demandes de citoyenneté et les activités promotionnelles. L'expérience a également permis à l'équipe d'évaluation de mieux comprendre les différents points de vue des employés des bureaux régionaux et locaux par rapport à ceux des employés de l'Administration centrale en ce qui a trait à la pertinence globale et à l'incidence des activités promotionnelles. Les activités suivantes ont été réalisées pendant les visites :

• Visite des bureaux régionaux et locaux, y compris des locaux d'examen et des installations servant aux cérémonies de citoyenneté;
• Entrevues avec les gestionnaires et le personnel des bureaux régionaux et locaux de CIC, les juges de la citoyenneté et les représentants des organismes partenaires (p. ex., les centres de formation linguistique, les fournisseurs de services d'établissement et les institutions publiques), pour discuter de leur rôle dans la promotion de la citoyenneté;^{Note de bas de page 12}
• Observation des cérémonies de citoyenneté, et notamment l'évaluation en fonction d'un ensemble de critères normalisés relatifs à l'animation et à la réalisation. Au total, neuf cérémonies de citoyenneté ont été observées : deux à Vancouver, deux à Calgary, deux à Mississauga, deux à Montréal et une à Halifax.

2.3.3. Sondages distribués à la sortie des cérémonies

Avec la collaboration du personnel des bureaux locaux et régionaux de CIC, on a distribué un court sondage aux nouveaux citoyens (âgés de 18 ans et plus) lors des cérémonies auxquelles ont assisté les membres de l'équipe de l'évaluation en visite. Le sondage (ainsi qu'une enveloppe de retour préaffranchie) était inclus dans le document de bienvenue^{Note de bas de page 13} et l'animateur en faisait mention en donnant les instructions lors de la cérémonie.^{Note de bas de page 14}

Le questionnaire du sondage comprenait des questions sur les principaux motifs ayant amené les participants à devenir citoyens, les parties de la cérémonie les plus importantes à leurs yeux, les améliorations possibles, leurs sentiments pendant la cérémonie et les incidences associées à leur propre participation. Voir les annexes techniques pour obtenir des renseignements supplémentaires sur la méthodologie ainsi que sur les questionnaires distribués à la sortie des cérémonies.

Au total, 217 nouveaux citoyens ont rempli le sondage distribué à la sortie de la cérémonie (59 % l'ont rempli en anglais, et 41 % en français). On a également distribué une version légèrement modifiée de ce sondage lors de quelques cérémonies de l'ICC.^{Note de bas de page 15} Aucun membre de l'équipe d'évaluation n'a assisté à ces cérémonies. Au total, 19 nouveaux citoyens présents à une cérémonie de l'ICC ont rempli le sondage (en anglais dans tous les cas). Le taux de réponse, en fonction de l'emplacement de la cérémonie, est donné au tableau 2-4.

2.3.4. Sondage mené auprès des nouveaux citoyens

Un sondage a été mené auprès des nouveaux citoyens afin de répondre aux questions de l'évaluation portant sur la conception, la réalisation et le rendement du programme. Le sondage comprenait des questions relatives à l'expérience de la citoyenneté des nouveaux citoyens (comme les motifs de leur décision de devenir citoyens et l'importance que cela revêt à leurs yeux), de même que des questions sur l'efficacité des activités et des produits de sensibilisation à la citoyenneté de CIC (notamment la cérémonie de citoyenneté et le guide d'étude).

Une firme de sondage a été engagée pour mener le sondage par téléphone auprès des personnes de 18 ans et plus qui avaient reçu leur citoyenneté entre 2007–2008 et 2011–2012, à partir d'un échantillon aléatoire de 10 000 nouveaux citoyens, tiré d'une population de 688 651 clients admissibles selon les bases de données administratives de CIC.^{Note de bas de page 16} Au total, 657 nouveaux citoyens ont répondu au sondage, la plupart par téléphone; 4 % d'entre eux l'ont fait en ligne. Utilisant un niveau de confiance de 95 %, les pourcentages obtenus dans le sondage présentent une marge d'erreur de ±3,8 %. Voir les annexes techniques pour obtenir une description détaillée de la méthodologie et du questionnaire.

2.3.5. Examen des données administratives

On a mené un examen des données administratives suivantes pour obtenir des renseignements sur le fonctionnement du programme :

• des données opérationnelles tirées de rapports internes et du Système mondial de gestion des cas (SMGC) ont été utilisées pour obtenir des renseignements sur le nombre de personnes ayant obtenu la citoyenneté et les cérémonies menées pendant la période sur laquelle porte l'étude;
• des données administratives provenant de la fonction des communications de CIC ont permis de connaître le nombre, le type et le coût des activités promotionnelles de la citoyenneté menées par la Direction générale des communications;
• des données financières tirées du SAP ont été analysées pour établir les coûts du programme;
• des données analytiques du Web ont été utilisées pour évaluer la portée du programme.

2.3.6. Examen des écrits

On a mené un examen des écrits pour examiner les questions d'évaluation relatives au besoin et au rôle du gouvernement fédéral. On a notamment revu les publications universitaires et techniques, les données publiques disponibles sur les sites Web des gouvernements étrangers, et les articles produits par des groupes de réflexion nationaux ou des organisations non gouvernementales [p. ex., l'Organisation pour la coopération et le développement économiques (OCDE)], de même que des recherches sur l'opinion publique. L'examen a également permis de mieux comprendre les approches en matière de politique sur la citoyenneté et leur influence sur les décisions liées aux activités promotionnelles de la citoyenneté. L'examen a également porté sur les approches de promotion de la citoyenneté dans d'autres pays (Australie, Nouvelle-Zélande, Royaume-Uni, États-Unis). Voir les annexes techniques pour obtenir une liste partielle des articles et des rapports examinés.

2.3.7. Examen de la documentation

On a examiné plus de 50 documents relatifs au programme pour fournir des informations générales et établir le contexte afin d'évaluer la pertinence, la conception et la réalisation du programme. Des documents gouvernementaux officiels, comme des discours du Trône et des discours sur le budget, de même que des documents politiques et stratégiques, ont été examinés pour établir le contexte et pour obtenir des informations sur les priorités de CIC et du gouvernement du Canada. On a aussi passé en revue les lois (p. ex., la Loi sur la citoyenneté) et règlements pour déterminer la répartition des responsabilités quant à la promotion de la citoyenneté. Les documents de référence du Ministère, notamment les rapports ministériels sur le rendement (RMR) et les rapports sur les plans et les priorités (RPP), de même que les discours du ministre, les communiqués de presse et les documents internes sur le programme ont permis de répondre à certaines questions d'évaluation. Voir les annexes techniques pour obtenir une liste partielle des documents consultés.

2.3.8. Étude de cas sur l'Institut pour la citoyenneté canadienne (ICC)

Une étude de cas particulière a été menée pour examiner les efforts et les premiers résultats associés à l'ICC dans le cadre de l'évaluation de l'ensemble du Programme de sensibilisation à la citoyenneté, de même que pour répondre aux exigences de la Loi sur la gestion des finances publiques quant à la subvention accordée à l'ICC. L'étude de cas a permis d'évaluer la subvention accordée à l'ICC en regard des objectifs établis dans l'accord de subvention. Les résultats de l'étude de cas ont été intégrés au rapport d'évaluation, lorsque c'était approprié, en vue d'étayer les résultats du programme dans son ensemble. L'étude de cas a fait appel à quatre méthodologies principales pour l'examen des activités et des résultats de l'ICC :

• Examen de la documentation;
• Entrevues avec les principaux intervenants;
• Examen des données administratives fournies par l'ICC;
• Résultats du sondage distribué à la sortie des cérémonies de l'ICC.

Le rapport de l'étude de cas est disponible à l'annexe A.

2.4. Forces, limites et considérations diverses

L'évaluation a fait appel à toute une gamme de sources qualitatives et quantitatives, ce qui a permis de faire des recoupements quant aux conclusions de la recherche. Les forces, les limites et les répercussions possibles sur l'analyse, de même que les mesures d'atténuation, sont discutées ici.

L'évaluation a fait appel à des sources nombreuses et diverses de même qu'aux commentaires de toute une gamme d'intervenants. Cela a permis d'intégrer le point de vue de divers intervenants et de s'assurer que les résultats étaient fiables. Les résultats documentés par plus d'une source révèlent une certaine cohérence et améliorent donc la force des conclusions.

De plus, les visites menées dans cinq communautés ont permis l'observation directe des activités du programme dans les régions, la réalisation des cérémonies de citoyenneté et la participation des nouveaux citoyens à ces cérémonies. Ces visites ont également permis à l'équipe d'évaluation de rencontrer le personnel, les juges et les autres intervenants de CIC à l'échelle locale qui jouent un rôle dans la sensibilisation et la promotion de la citoyenneté, ce qui a favorisé l'établissement de liens officiels et officieux et la compréhension globale de l'équipe quant à la mise en œuvre du programme.

Il faut souligner certaines limites, même si elles sont atténuées par l'utilisation de nombreuses sources :

• L'évaluation portait principalement sur les points de vue des nouveaux citoyens (et non sur ceux des résidents permanents ou des résidents nés au Canada) en dépit du fait que le public cible du Programme de sensibilisation à la citoyenneté regroupe tous les Canadiens. Si on comprenait le point de vue des résidents permanents qui ne choisissent pas de devenir Canadiens et des personnes nées au Canada, on ajouterait de la profondeur aux résultats; cependant, ce n'était pas faisable en raison des contraintes liées à la réalisation de la recherche sur l'opinion publique.
• En raison d'un changement aux codes financiers du Ministère en 2011–2012, de même que des lacunes quant aux données sur les dépenses du Programme de sensibilisation à la citoyenneté dans le budget du programme, on a utilisé des estimations plutôt que des données réelles dans l'analyse de l'utilisation des ressources.
• En raison de l'utilisation de divers formats de rapports, de même que de changements opérationnels qui font qu'on enregistre maintenant le nombre de cérémonies normales/enrichies au lieu de consigner le nombre de cérémonies sur place/à distance, empêchent de déterminer avec précision le nombre de personnes ayant obtenu leur citoyenneté pour un type particulier de cérémonie pendant la période à l'étude.
• Le taux de réponse au sondage mené à la sortie des cérémonies de l'ICC est relativement bas. La distribution de ce sondage s'est limitée aux cérémonies de l'ICC tenues dans la région du Grand Toronto (RGT) et à Calgary. Par conséquent, les résultats du sondage pour les personnes qui ont participé aux cérémonies de l'ICC ne sont pas jugés représentatifs, et ils doivent être interprétés avec prudence.

Ces limites ont été prises en compte lors de l'élaboration des constatations, des conclusions et des recommandations énoncés dans la présente évaluation.

• Précédent
• 1
• 2
• 3
• 4
• 5
• 6 (présent)
• 7
• 8
• 9
• Suivant