Évaluation du Programme des candidats des provinces

2. Description de l'évaluation et méthodologie

2.1. Objectifs de l’évaluation

Conformément à la Politique sur l’évaluation de 2009 du Conseil du Trésor, l’objectif de cette évaluation était d’examiner la pertinence et le rendement du Programme des candidats des provinces (PCP) de Citoyenneté et Immigration Canada (CIC). Nous avons évalué la pertinence du Programme en tenant compte des aspects suivants :

1. besoin continu;
2. conformité aux objectifs et priorités du gouvernement;
3. cohérence et uniformité en ce qui a trait aux rôles et aux responsabilités du gouvernement fédéral.

Nous avons évalué le rendement du Programme en tenant compte des résultats sur les plans suivants :

1. efficacité et
2. efficience et économie.

CIC a établi treize questions afin de répondre aux deux thèmes globaux de l’évaluation tableau 2-1).

Cette évaluation a également permis de recueillir des renseignements en vue de créer un profil du Programme qui tienne lieu de description de son fonctionnement pour chaque province et territoire participant. Ce profil décrit brièvement les volets individuels, les mécanismes de surveillance et de responsabilisation ainsi que l’approche utilisée par les PT pour déterminer leurs besoins en matière de candidats. En donnant ainsi un aperçu du programme de candidats de chaque province et territoire, on est mieux à même de saisir le fonctionnement du PCP national.

Tableau 2 - 1 : Thèmes d’évaluation et questions

2.2. Méthodologie

La période visée par l’évaluation allait de 2005 à 2009. Une partie de l’analyse a toutefois utilisé la Banque de données longitudinales sur les immigrants (BDIM), qui englobe les candidats des PT qui se sont établis de 2000 à 2008.

La collecte de données s’est déroulée de novembre 2010 à mai 2011; les instruments sont présentés dans une annexe technique, disponible sous pli distinct.

À moins d’indications contraires, les données d’évaluation fournies concernant la population de candidats des PT portent toujours sur les demandeurs principaux. De façon analogue et à des fins de comparaison, les données sur les autres programmes économiques sont toujours présentées pour les demandeurs principaux. À noter qu’aucune donnée sur les époux et les personnes à charge n’a été prise en compte dans la présente évaluation.

2.2.1. Examen de la documentation

L’examen de la documentation a fourni des éléments probants pour la plupart des questions d’évaluation. Les types de documents clés suivants ont été examinés :

• Information sur le Programme et renseignements généraux, y compris aperçus et profils des PT et liens vers les sites Web pertinents;
• Procès-verbaux des réunions du Groupe de travail sur l’immigration économique tenues de 2005 à 2010;
• Information sur d’autres programmes fédéraux d’immigration économique, y compris le Programme des travailleurs qualifiés (fédéral) [PTQF], le Programme des travailleurs étrangers temporaires (PTET) et le Programme des travailleurs qualifiés du Québec^{Note de bas de page 9};
• Autres évaluations (menées à l’échelle provinciale ou territoriale), analyses ou examens du PCP, y compris les vérifications du Bureau du vérificateur général (BVG) et des PT, ainsi que d’autres documents de recherche.

Une liste des documents est présentée dans l’appendice technique B, joint sous pli distinct.

2.2.2. Entrevues auprès des informateurs principaux

Des entrevues auprès d’informateurs principaux ont été menées afin de répondre à toutes les questions d’évaluation. Une proportion importante de ces entrevues ont été menées en personne, et bon nombre à l’occasion d’une visite sur place dans chaque province et territoire administrant un programme de candidats^{Note de bas de page 10}.

Au total, 132 entrevues ont été menées auprès de 197 personnes, ventilées de la façon suivante selon le type de répondant (voir le tableau 2-2) :

• Personnel de l’administration centrale de CIC (n=5 entrevues auprès de 6 personnes), y compris des employés et des cadres supérieurs responsables du Programme à CIC;
• Personnel et gestionnaires des bureaux régionaux et locaux de CIC (n=13 entrevues auprès de 17 personnes), représentant les quatre régions visées par le PCP, de même que le Québec;
• Représentants des gouvernements provinciaux et territoriaux (n=41 entrevues auprès de 83 personnes), y compris des représentants de chaque province et territoire (où une combinaison de personnes aptes à parler du point de vue de l’immigration de même que du point de vue de la stratégie du marché du travail a été cherchée), et un représentant de la province de Québec^{Note de bas de page 11} à qui nous avons demandé de décrire comment les immigrants économiques destinés à s’établir au Québec étaient sélectionnés;
• Représentants de groupes d’intervenants externes à l’échelle nationale ou provinciale/territoriale (n=53 entrevues menées auprès de 71 personnes), y compris des associations industrielles, fédérations du travail, conseils sectoriels, syndicats, organismes de réglementation nationaux et provinciaux/territoriaux, et associations d’employeurs pertinents, de même que quelques agents d’immigration, intermédiaires, avocats et consultants en immigration;
• Représentants des bureaux des visas de CIC (n=20), soit en totalité des gestionnaires du programme d’immigration (GPI), interviewés après le sondage auprès des bureaux des visas (voir ci-dessous).

Tableau 2 - 2 : Entrevues menées auprès des informateurs principaux selon le type de répondant

2.2.3. Examen des données administratives/analyse statistique

La principale source de données administratives était le Système de soutien des opérations des bureaux locaux (SSOBL) et la Banque de données longitudinales sur les immigrants (BDIM).

Le SSOBL est un système de CIC qui renferme de l’information sur l’admission des immigrants au Canada. L’analyse des données du SSOBL a fourni de l’information détaillée sur le profil de 33 723 demandeurs principaux (DP) du PCP pour les années d’admission 2005 à 2009. Cette analyse pouvait être menée selon la province ou le territoire de désignation, mais non selon le volet des programmes puisque l’information sur le volet n’est pas saisie dans la base de données du SSOBL^{Note de bas de page 12}.

La BDIM est une base de données gérée par Statistique Canada au nom d’un consortium fédéral-provincial dirigé par CIC. Elle relie les dossiers du SSOBL aux dossiers fiscaux de l’Agence du revenu du Canada (principalement les données que l’on trouve sur la Déclaration T1 générale). Il s’agit d’une base de données des déclarants qui renferme de l’information sur tous les immigrants admis au Canada depuis 1980 qui ont produit au moins une déclaration de revenus. L’analyse menée aux fins de cette évaluation se fondait sur l’ensemble des DP du PCP pour les années d’admission 2000 à 2008^{Note de bas de page 13}, lequel totalise 21 715 personnes.

Tableau 2 - 3 : Nombre et pourcentage de candidats (DP) dans la BDIM pour les années d’admission 2000 à 2008, selon la province ou le territoire

Nous avons utilisé la BDIM pour évaluer un certain nombre de questions se rapportant aux résultats économiques, au rétention, et à la mobilité des CP. Dans l’analyse, nous avons tenu compte des revenus d’emploi, du travail indépendant, de l’assurance-emploi et des prestations d’aide sociale. L’analyse des résultats obtenus par les DP s’est fondée sur des tables à deux variables de grande envergure de même que sur des modèles de régression. Aux fins de l’analyse, tous les revenus ont été rajustés au moyen de l’Indice des prix à la consommation (IPC) afin de tenir compte de l’inflation^{Note de bas de page 15}. Nous avons ainsi pu comparer les revenus pour différentes années.

2.2.4. Groupes de discussion avec des candidats

Des groupes de discussion ont été tenus avec des candidats afin de parvenir à une compréhension approfondie des résultats qu’obtiennent les clients. En tout, 14 groupes de discussion ont été organisés auprès de 122 candidats, comme il est décrit dans le tableau 2-4.

Tableau 2 - 4 : Groupes de discussion tenus selon la province ou le territoire

Tous les groupes de discussion, sauf un, ont été organisés par les représentants des PT. Chaque groupe s’est réuni environ pendant deux heures et les participants se sont vu remettre des honoraires de 50 $ pour leur participation et pour couvrir les coûts qu’ils ont éventuellement dû supporter pour participer au groupe de discussion.

2.2.5. Entrevues auprès des employeurs

En tout, 67 entrevues – soit 14 en personne à l’occasion de visites sur place, et 53 au téléphone – ont été menées auprès d’employeurs qui ont été désignés avec le concours des PT. Parmi les 67 entrevues, dix ont été menées auprès d’employeurs « d’envergure », définis comme étant ceux qui comptent plus de 10 000 employés au Canada. Dans le tableau 2-5, on trouve la ventilation des employeurs interviewés par province et territoire.

Tableau 2 - 5 : Entrevues menées auprès d’employeurs selon la province ou territoire

* À noter que l’une de ces entrevues était en fait un groupe de discussion réunissant cinq employeurs.

Des employeurs d’un large éventail de secteurs de l’économie ont été interviewés, le plus grand nombre appartenant aux secteurs suivants :

• Soins de santé et aide sociale (n=11);
• Production, usinage et fabrication (n=8);
• Agriculture, foresterie, pêche et chasse (n=8);
• Services professionnels, scientifiques et techniques (n=6);
• Services d’hébergement et d’alimentation (n=6);
• Transformation et emballage des viandes (n=6).

Les employeurs interviewés avaient embauché des candidats des PT aux niveaux de compétence les plus divers, y compris au niveau A de la Classification nationale des professions^{Note de bas de page 18} (CNP) du Canada, où les professions exigent habituellement des études universitaires (n=27), au niveau B de la CNP, où les professions exigent habituellement des études collégiales ou une formation d’apprenti (n=25), au niveau C de la CNP, où les professions exigent habituellement des études secondaires ou une formation propre à l’emploi (n=21), et au niveau D de la CNP, où les professions exigent habituellement une courte démonstration ou une formation en cours d’emploi (n=14). Seuls cinq employeurs interviewés avaient embauché des CP correspondant au niveau 0 de la CNP, soit pour des postes de gestion.

2.2.6. Sondage auprès des candidats des PT

Un sondage auprès des candidats des PT a été mené d’avril à juin 2011. Avant le sondage, CIC avait envoyé, à tous les demandeurs principaux (environ 33 000) à avoir été admis de 2005 à 2009, une lettre visant à obtenir leur consentement à participer au sondage. Des 4 894 formulaires retournés, 4 316 comportaient une signature de consentement et parmi ceux-ci, 4 065 contenaient des coordonnées utilisables.

Le sondage a été réalisé au moyen d’une méthode hybride comportant entrevues en ligne et entrevues téléphoniques; les 2 357 demandeurs principaux à avoir fourni une adresse courriel ont reçu un courriel les invitant à participer au sondage en ligne, alors que les autres répondants ont été joints par téléphone. Au total, 2 655 formulaires de sondage ont été remplis (1 932 en ligne et 723 au téléphone). Pour les questions où la plupart des répondants ont fourni une réponse, l’erreur d’échantillonnage était d’environ +/  1,9 %, selon un intervalle de confiance de 95 %.

Nous avons calculé le taux de réponse en divisant le nombre de personnes ayant répondu au sondage dans le délai imparti par le total des participants (c.-à-d. les personnes qui ont donné leur consentement et fourni des coordonnées valides). Selon cette approche, le taux de réponse au sondage auprès des CP est de 65 %.

Tableau 2 - 6 : Nombre et pourcentage de personnes ayant répondu au sondage selon la province ou le territoire

L’entrevue pouvait être menée en français ou en anglais ou dans l’une de cinq langues choisies parce qu’il s’agissait des cinq principales langues parlées par les CP (selon le SSOBL). La répartition des répondants selon ces langues est indiquée dans le tableau 2-7.

Tableau 2 - 7 : Langue dans laquelle les participants ont répondu au sondage

Nous avons pondéré les données du sondage à partir du profil de données du SSOBL pour la population des candidats des PT afin de tenir compte des caractéristiques connues de la population. Nous avons pondéré les données selon la province de désignation, l’année d’admission, le type de compétence de la profession envisagée, l’âge, le niveau d’instruction et la langue. Dans les appendices techniques, on trouve une comparaison du profil pondéré des répondants au sondage selon ces variables avec le profil de la population des candidats des PT dans la base de données du SSOBL. De plus, nous avons comparé le niveau de compétence attribué dans la CNP à la profession envisagée par les CP, indiquée dans le SSOBL, au niveau de compétence de l’emploi réel obtenu d’après le sondage.

2.2.7. Sondage auprès des bureaux des visas

Un sondage auprès des gestionnaires et des agents de visa dans les bureaux canadiens des visas à l’étranger (BCVE) a été mené d’avril à juin 2011. Les coordonnées de personnes-ressources ont été fournies pour les 48 bureaux des visas traitant les demandes des CP. Nous avons envoyé une invitation par courriel aux gestionnaires du programme d’immigration (GPI), à qui nous avons demandé d’acheminer l’invitation aux agents des visas de leur bureau chargés de traiter les demandes du PCP. Au total, il y a eu 62 répondants au sondage répartis entre 36 bureaux, ce qui représente un taux de couverture de 75 % (36 bureaux sur 48). Nous n’avons pas pu calculer le taux de réponse pour la population d’agents des visas de CIC ayant participé au traitement des demandes des CP, puisque nous ne connaissions pas le nombre total de personnes à qui une invitation a été envoyée, les gestionnaires ayant distribué les questionnaires à un nombre inconnu d’agents des visas. De plus, le nombre total d’agents des visas qui traitent les demandes des CP dans l’ensemble du réseau est aussi inconnu.

2.3. Étendue et limites

Comme il s’agit d’une évaluation fédérale, le but n’était pas d’évaluer le programme des candidats d’une province ou d’un territoire donné.

Il incombe aux PT d’exercer une surveillance quant à leur programme, et ils sont les mieux placés pour évaluer les conditions particulières dans lesquelles ils exploitent leur programme. Compte tenu du rôle qu’assume CIC à l’égard du PCP, cette évaluation fédérale portait sur le PCP d’un point de vue national. Il aurait été difficile dans le cadre d’une évaluation fédérale d’analyser les programmes à l’échelle provinciale ou territoriale tout en brossant un portrait du PCP à l’échelle nationale.

À noter que les programmes de candidats des PT varient eu égard à la maturité et aux stratégies fondées sur les besoins particuliers du marché du travail, les facteurs externes et les influences éventuelles étant fort différents. Ainsi, les résultats obtenus selon la province ou le territoire ne sont pas toujours comparables et ils doivent être situés dans leur contexte propre. Nous incluons dans la présente évaluation des profils provinciaux pour décrire – dans la mesure du possible – les particularités du fonctionnement du Programme dans chaque province ou territoire.

L’évaluation se concentre sur les demandeurs principaux et ne vise pas les époux ni les personnes à charge.

Les PT désignent les CP selon leur aptitude à répondre à des besoins précis, et c’est pourquoi l’évaluation s’est concentrée sur la mesure dans laquelle les candidats sélectionnés pour ces motifs avaient réussi au Canada. Sans minimiser l’apport des époux et des personnes à charge pour le Canada et leur province ou territoire d’adoption, nous devions axer notre analyse sur les demandeurs principaux puisqu’aucune information n’était disponible dans la BDIM sur les revenus du ménage, ce qui rendait impossible toute évaluation des résultats économiques des CP du point de vue de la famille.

Dans l’examen des résultats de l’évaluation, il faut tenir compte de diverses difficultés et limites auxquelles nous nous sommes heurtés. Ces limites, leurs incidences possibles sur l’analyse et les mesures d’atténuation font l’objet d’une discussion ci-dessous.

Étant donné la nature de la population et du programme à l’étude, il est difficile de trouver une population et un programme pertinents par rapport auxquels on peut établir des comparaisons valides.

Il est difficile de déterminer un groupe témoin auquel confronter les résultats qu’obtient la population de candidats des PT. Les natifs du Canada représentent une population qui aurait pu être utilisée afin d’établir des comparaisons, mais le fait qu’ils en soient à différentes étapes de leur carrière par rapport aux CP, qui font tout juste leur entrée sur le marché du travail, rend la comparaison boiteuse. La répartition de ces deux groupes en fonction des niveaux d’instruction et des professions peut également différer, ce qui rend toute comparaison difficile. Ajoutons à cela le fait que les CP ne bénéficient pas des mêmes types de réseaux sociaux et ne possèdent pas le même degré de connaissance du marché du travail local. Une comparaison des résultats des CP entre les différentes provinces a été établie, bien que les écarts ne puissent pas nécessairement être attribués aux différences entre les programmes de CP : les conditions économiques varient selon la province, de même que la diffusion des professions des CP admis dans chaque province. Lorsque cela s’avérait pertinent, nous avons comparé les résultats des CP à ceux des autres immigrants économiques sélectionnés par le gouvernement fédéral, mais la comparaison avec d’autres catégories d’immigration économique, en ce qui a trait aux coûts de fonctionnement des programmes, était limitée du fait qu’une partie du traitement des dossiers de CP est effectuée par la province ou le territoire, par opposition aux autres programmes d’immigration où le traitement est effectué en entier par CIC.

L’information selon le volet des programmes de candidats n’est recueillie que par les PT, et ce, d’une manière non uniforme d’une province et d’un territoire à l’autre, ce qui limite la capacité de l’évaluation de brosser un portrait global des candidats des PT selon le volet.

Aucun mécanisme n’a été établi à l’échelle nationale pour recueillir des données sur les volets et en rendre compte pour la période visée par l’évaluation. Seuls les PT disposaient d’information sur les CP ventilée selon les volets de leurs programmes. Par conséquent, en l’absence d’information uniforme et cohérente pour toutes les provinces et tous les territoires, l’évaluation ne peut brosser un portrait global des CP selon le volet. Cette limite avait été anticipée dès l’étape de conception de l’évaluation et nous avons alors repéré un certain nombre d’autres sources aptes à fournir une partie de l’information manquante. La Région internationale tient notamment de l’information détaillée sur les demandes. Le sondage auprès des CP offre en outre certaines données quantitatives pour chaque volet, puisqu’on demandait aux répondants d’indiquer le volet du programme de CP au titre duquel ils avaient présenté leur demande. La mesure selon laquelle la ventilation des répondants au sondage selon le volet reflète fidèlement l’ensemble de la population de CP n’est toutefois pas connue et nous n’avons pas pu pondérer les données selon le volet. De plus, il n’existe aucun moyen de valider l’information se rapportant au volet déclaré par les CP dans le sondage.

Les sources de données et les périodes visées par l’information se rapportant aux résultats des candidats des PT sont multiples, ce qui signifie que les résultats, tels que le taux d’emploi et de revenus, sont mesurés en fonction d’un éventail d’étalons.

Afin de surmonter cette limite, nous nous en sommes remis à la BDIM comme principale source d’information pour les résultats économiques des CP, puisqu’il s’agit des données disponibles les plus rigoureuses à cet égard. L’information sur les résultats provenant de la BDIM n’est disponible que jusqu’en 2008, qui est l’année d’imposition la plus récente dans le système. Le décalage temporel de cette source a, au besoin, été comblé par le sondage auprès des CP et d’autres données. Comme la BDIM n’offre pas de ventilation selon les volets des programmes de candidats, cette information a également été tirée du sondage auprès des CP, où l’on demandait aux répondants d’indiquer le volet au titre duquel ils avaient présenté leur demande. Dans l’ensemble, les sources d’information sont clairement citées tout au long du rapport, de sorte que l’on peut tenir compte des limites, et les éléments de corroboration provenant de sources multiples sont également présentés afin d’étayer les résultats.

Il peut y avoir des biais dans le sondage auprès des candidats.

Le sondage auprès des CP est quelque peu limité comme outil pour évaluer les résultats qu’obtiennent les CP, puisque ses répondants sont les CP avec lesquels nous avons pu communiquer à leur plus récente adresse au dossier de CIC, ce qui pourrait avoir pour effet de biaiser l’échantillonnage en faveur de ceux qui sont demeurés dans la province et le territoire de désignation, et créer une surestimation des taux de rétention^{Note de bas de page 19}. Autre limite du sondage, il n’était pas accessible aux CP ne parlant aucune des sept langues dans lesquelles il a été réalisé. Cette limite est toutefois probablement atténuée du fait que les sept langues dans lesquelles le sondage était offert représentent 64 % de l’ensemble des CP.

Les répondants parmi les employeurs et les groupes de discussion n’ont pas été déterminés de manière aléatoire.

Cela peut introduire un biais en faveur de ceux qui ont eu une expérience positive du PCP, les inclinant à exprimer des opinions favorables à l’endroit du Programme. Cette limite avait été entrevue dès l’étape de la conception et deux stratégies d’atténuation ont été appliquées : les représentants des PT se sont vu communiquer des critères et lignes directrices concernant les informateurs principaux et les participants aux groupes de discussion, accompagnés de guides d’entrevue et de protocoles normalisés, le tout dans le but d’assurer l’uniformité; et les évaluateurs ont pu communiquer avec d’autres organismes d’intervenants clés qui, à leur avis, pouvaient présenter d’autres points de vue.

• Précédent
• 1
• 2
• 3
• 4
• 5
• 6 (présent)
• 7
• 8
• 9
• 10
• 11
• Suivant