Évaluation des services de formation linguistique

Direction générale de la recherche et de l’évaluation
Immigration, Réfugiés et Citoyenneté Canada
Numéro de référence du projet : E4-2018

Décembre 2020

Sommaire

Le présent rapport expose les résultats de l’évaluation des services de formation linguistique d’Immigration, Réfugiés et Citoyenneté Canada (IRCC). Cette évaluation a été réalisée pour produire un examen approfondi de ce programme important et a porté sur les questions d’efficacité du programme pour la période de 2015 à 2018.

L’évaluation du Programme d’établissement (2018) a démontré la nécessité d’examiner de manière plus approfondie les différents facteurs de réussite et les approches de l’apprentissage linguistique. Bien que la formation linguistique aide les nouveaux arrivants à accroître leurs capacités linguistiques, il a été démontré que les progrès varient selon la compétence (c.-à-d. compréhension de l’écrit, expression écrite, compréhension de l’oral et expression orale) et selon les caractéristiques du client, ce qui démontre la nécessité de mieux comprendre la progression pour les différentes compétences. Par conséquent, l’évaluation a recommandé un examen approfondi et une analyse détaillée pour fournir des résultats exhaustifs et des recommandations d’améliorations précises au Ministère dans le but d’accroître l’efficacité de la formation linguistique.

L’évaluation des services d’apprentissage linguistique était axée sur deux domaines clés. L’objectif principal était de mieux comprendre l’amélioration des compétences linguistiques - (ce qui fonctionne le mieux pour qui et dans quelles conditions), en vue de déterminer les caractéristiques spécifiques qui influencent l’amélioration des compétences linguistiques. Le deuxième domaine d’intérêt était d’examiner si le cadre d’apprentissage des langues est adapté aux besoins des nouveaux arrivants.

Résumé des constatations et des recommandations

Selon les données probantes qui ont été analysées, il a été constaté que les services d’apprentissage linguistique sont conçus de manières flexibles et efficaces afin de répondre aux besoins diversifiés des nouveaux arrivants et appuyer leur progression. Les résultats démontrent également que la progression linguistique des nouveaux arrivants est majoritairement positive, mais qu’il existe des différences relativement à la probabilité de progression pour les clients et les non clients. Dans une évaluation à court terme et en utilisant une mesure objective, les clients progressaient au même rythme que les non clients, mais les clients semblaient progresser davantage que leurs homologues non clients lorsqu’ils étaient évalués sur une plus longue période à l’aide d’une mesure subjective. Il a aussi été constaté que certaines composantes de la formation linguistique sont associées à une plus grande probabilité que les nouveaux arrivants améliorent leurs compétences linguistiques tel que; la formation linguistique à temps plein et des classes à niveaux multiples, tandis que d’autres composantes réduisaient la probabilité de progression comme par exemple, les classes à admission continue. De plus, lors de l’évaluation d’autres résultats en matière d’établissement, les données probantes ont démontré que :

• les clients de la formation linguistique formelle à visée générale utilisent les langues officielles moins souvent que les non clients, tandis que les clients de la formation linguistique formelle liée à l’emploi les utilisent significativement plus souvent que les non clients;
• les clients de la formation linguistique formelle et les clients qui ont suivi la formation linguistique formelle et informelle sont plus susceptibles de rapporter une augmentation de la fréquence de leur utilisation des langues officielles.

Bien que ce ne soit pas un objectif direct de la formation linguistique, l’employabilité demeure l’une des principales préoccupations des clients. L’évaluation a analysé rigoureusement ce thème et a déterminé l’incidence de la formation linguistique sur différents résultats sur le marché du travail. Les clients de la formation linguistique générale utilisaient l’anglais ou le français au travail moins fréquemment et étaient moins à l’aise d’utiliser les langues officielles que les non clients; toutefois, suivre la formation linguistique liée à l’emploi contribuait à réduire cet écart. De plus, les clients avaient souvent de moins bons résultats sur le marché du travail que les non clients à court et à moyen terme. L’analyse a démontré qu’une grande partie de la différence dans les résultats en matière d’emploi pour les clients et les non clients était attribuable aux profils sociodémographiques des personnes (p. ex. niveau de scolarité, âge, sexe, année d’admission). Ceci semble indiquer que le fait de suivre la formation linguistique n’entraîne pas nécessairement de moins bons résultats sur le marché du travail, mais que les clients et les non clients peuvent avoir des caractéristiques différentes qui expliquent leurs résultats sur le marché du travail. De plus, l’évaluation a démontré que les résultats des clients au chapitre de l’emploi ne variaient pas beaucoup en fonction de la manière dont la formation était offerte; la formation linguistique liée à l’emploi avait généralement une incidence positive sur les résultats en matière d’emploi, et la formation linguistique durant les heures normales de travail était associée à des résultats moins favorables.

Bien que les résultats de la progression des clients et les résultats de ces derniers sur le marché du travail soient variables, il convient de noter que les services d’apprentissage linguistique sont adaptés aux différents besoins des clients, et les services d’apprentissage linguistique financés par IRCC sont conçus de manière à favoriser l’amélioration des compétences linguistiques des nouveaux arrivants.

En réponse aux résultats de l’évaluation, le présent rapport a regroupé les recommandations en deux thèmes principaux. Pour le premier thème, l’évaluation propose trois recommandations relativement au sujet de la mesure des résultats. Pour le second thème, l’évaluation recommande des améliorations au programme afin de favoriser la réussite. À cette fin, l’évaluation propose sept recommandations additionnelles pour appuyer davantage les clients, les formateurs et les intervenants du programme.

Recommandations

Thème 1 : Mesure des résultats

Ces recommandations visent à assurer que les objectifs et les indicateurs de réussite pour les clients des services d’apprentissage linguistique sont clairement définis. De plus, ces recommandations visent à faire en sorte que le Ministère soit en mesure de surveiller les données recueillies et d’en rendre compte, et qu’il dispose des outils nécessaires pour mesurer les résultats escomptés.

Objectifs de la formation linguistique

Pour le nouvel arrivant, l’établissement est un parcours multidimensionnel qui englobe divers résultats. Le profil d’information sur le rendement (PIR) du Programme d’établissement présente les résultats sociaux et économiques qui sont associés à celui-ci, mais il ne détermine pas précisément quels résultats sont liés à la formation linguistique, ni les indicateurs de réussite connexes. Pour la formation linguistique, un des principaux résultats qui pourrait être dérivé de ce type de service d’établissement pourrait être la progression des compétences linguistiques. Toutefois, compte tenu de la variété des services offerts par le programme et les différents 8 objectifs des apprenants, de multiples résultats peuvent être associés à la formation linguistique. Dans ce contexte, il s’est avéré difficile d’aborder la progression linguistique comme le résultat sur lequel fonder le succès du programme et de déterminer ce qui pourrait être considéré comme un niveau de progression suffisant pour la réussite du programme. Par conséquent, il serait avantageux pour le Ministère de clarifier les principaux résultats associés à la formation linguistique et d’établir des cibles claires pour l’atteinte de ces résultats.

Recommandation 1 : IRCC devrait clarifier et confirmer les résultats du programme de formation linguistique afin que tous les résultats escomptés soient définis, suivis et intégrés dans la théorie du programme et la documentation correspondante.

« Milestones Test »

Bien que l’évaluation ait utilisé avec succès le « Milestones Test » comme mesure objective de la progression linguistique à court terme des quatre compétences linguistiques, cet outil était coûteux à mettre en œuvre, difficile à mettre en place, et des efforts considérables ont été nécessaires pour recruter des clients et des non clients pour le test. En outre, le « Milestones Test » se concentre sur l’évaluation des compétences linguistiques des individus aux NCLC 4 à 8, et ne peut être utilisé pour évaluer les niveaux linguistiques de ceux qui ont un niveau de compétence inférieur ou supérieur. Ces limites sont importantes et restreignent la capacité du Ministère d’évaluer la grande majorité de sa clientèle, surtout compte tenu que le Ministère a décidé de se concentrer sur la formation linguistique aux NCLC 1 à 4. Par conséquent, avant d’envisager l’utilisation future du « Milestones Test », IRCC devrait examiner le bien-fondé et les limites de l’utilisation de ce test en ce qui concerne les populations étudiées, l’approche pour l’administrer et le rapport coûts-bénéfices.

Recommandation 2 : IRCC devrait évaluer s’il est approprié d’utiliser le « Milestones Test » à l’avenir et, notamment, examiner le rapport coûts-bénéfices du test et son applicabilité pour les différents groupes de clients.

Données liées à l’emploi

L’évaluation a révélé un manque de clarté des données administratives (iEDEC) relatives à la définition de la formation linguistique liée à l’emploi. Ce manque de distinction entre la formation linguistique liée à l’emploi et la formation linguistique générale se concentrant sur l’emploi a limité la capacité de l’évaluation de distinguer clairement les résultats pour ces deux groupes. Recueillir de l’information précise sur le type de formation linguistique offerte permettrait au Ministère de mieux surveiller le programme et de produire des rapports sur celui-ci. Malgré les difficultés à définir les services linguistiques liés à l’emploi, l’évaluation a conclu que les clients de la formation linguistique liée à l’emploi étaient plus susceptibles de bien progresser et d’utiliser les langues officielles. De plus, cette composante de la formation était également associée aux meilleurs résultats en matière d’emploi. Les experts font également l’éloge de la formation linguistique générale se concentrant sur l’emploi, car ils la trouvent très efficace pour aider les nouveaux arrivants à intégrer le marché du travail. Par conséquent, IRCC devrait reconfirmer les avantages de ce type de formation en utilisant une définition normalisée de la formation linguistique générale liée à l’emploi.

Recommandation 3 : IRCC devrait élaborer et mettre en œuvre une approche pour mieux définir la formation linguistique liée à l’emploi dans l’iEDEC et en suivre l’utilisation et les résultats.

Thème 2 : Amélioration du programme pour favoriser la réussite

L’évaluation a révélé que, dans l’ensemble, le programme a de nombreuses caractéristiques qui favorisent la progression linguistique des clients, et a également identifié de nombreux éléments pour lesquels il y a place à l’amélioration. En particulier, l’évaluation propose sept recommandations pour appuyer davantage les clients, les formateurs et les intervenants du programme.

Soutien des formateurs

Il a été constaté que les formateurs sont qualifiés et bien formés et qu’ils bénéficient de nombreux services de soutien. L’évaluation a cependant révélé qu’ils pourraient bénéficier des améliorations suivantes :

• offrir plus de matériel de l’ELBP facile à personnaliser;
• veiller à ce que les évaluations des formateurs réalisées dans le cadre de l’ELBP concordent avec les NCLC;
• faciliter la navigation dans Tutela et mieux vérifier le contenu existant et nouveau de cette plateforme;
• limiter la quantité de travail non rémunéré que les formateurs doivent réaliser;
• offrir plus de perfectionnement professionnel aux formateurs du programme CLIC.

L’évaluation a révélé que l’ELBP est largement mise en œuvre et utilisée. Les formateurs tirent profit de l’ELBP et les clients se sentent plus autonomes grâce à cette approche car, elle leur montre leur progression. Étant donné que l’ELBP s’appuie sur les évaluations des artéfacts par les formateurs en fonction des NCLC, les experts estimaient que cette méthode introduit une certaine subjectivité. Par conséquent, les experts ont conclu que l’ELBP était plus utile comme outil d’apprentissage que comme un outil objectif pour évaluer les niveaux de compétence. De plus, les formateurs jugeaient que la préparation prenait trop de temps, particulièrement pour créer et adapter le matériel. Bien que les formateurs aient accès à du soutien pour l’ELBP et à d’autres ressources en ligne, il est possible de faire mieux. Les opinions sur l’utilité de Tutela étaient mitigées, particulièrement en ce qui concerne la nécessité d’une meilleure vérification du contenu en ligne et de faciliter la navigation sur le site Web pour les utilisateurs. Il a été mentionné par les membres du GCFL et dans le cadre des entrevues que plus d’activités de PP devraient être offertes aux formateurs qui donnent des cours d’alphabétisation et aux formateurs du programme CLIC.

Recommandation 4 : IRCC devrait élaborer et mettre en œuvre un plan pour s’assurer que les formateurs des programmes CLIC et LINC disposent des ressources nécessaires.

Alphabétisation

Les besoins en alphabétisation existent à différents niveaux (c.-à-d. les désignations de l’alphabétisation sont fournies jusqu’au NCLC 4). Bien que les formateurs sont bien qualifiés et formés, l’évaluation a révélé qu’il est nécessaire d’avoir accès à du matériel spécifique et à un développement professionnel pour enseigner aux clients ayant des besoins en matière d’alphabétisation. En outre, bien que l’ELBP soit largement mise en œuvre et utilisée, l’évaluation a révélé que l’ELBP pourrait ne pas être utile pour les clients ayant un faible niveau de langue, particulièrement ceux avec des besoins en alphabétisation.

Recommandation 5 : IRCC devrait mettre en œuvre un plan afin d’améliorer la prestation de la formation linguistique aux clients avec des besoins en alphabétisation, notamment pour se pencher sur les difficultés en lien avec l’utilisation de l’ELBP pour les clients des cours d’alphabétisation.

Admission continue

L’évaluation a révélé que l’admission continue aide les fournisseurs de services (FS) à atteindre les taux d’occupation et assure que les nouveaux arrivants peuvent joindre une classe dès que possible. Toutefois, cette flexibilité peut être perturbante pour les enseignants et les étudiants et peut également ajouter une difficulté pour les nouveaux clients qui doivent rattraper le reste de la classe. Il a également été démontré que l’admission continue nuit à la progression des clients. D’un autre côté, les classes à niveaux multiples étaient également vues comme une manière de répondre à la demande pour de la formation linguistique avec de petits groupes de clients, et on estimait qu’elles avaient une incidence positive sur la progression linguistique. Par conséquent, on pourrait envisager d’utiliser des classes à niveaux multiples et d’échelonner les dates de début des petits groupes pour chaque NCLC afin de répondre à la demande des clients. Les experts ont également suggéré, comme mesure d’atténuation, la mise sur pied de groupes temporaires (c.-à-d. des classes temporaires qui incluent de multiples NCLC jusqu’à ce que des classes soient disponibles).

Recommandation 6 : IRCC devrait mettre en œuvre un plan pour se pencher sur les difficultés liées à l’admission continue pour les clients et les formateurs.

Lignes directrices

L’évaluation a révélé que les formateurs des programmes CLIC et LINC sont appuyés par des lignes directrices du programme utiles et à jour. Toutefois, il y avait un manque d’orientation formelle pour les formateurs de la formation linguistique générale liée à l’emploi. Il y a un besoin d’élaborer une meilleure orientation (p. ex. manuels, orientation stratégique) pour répondre aux besoins des formateurs qui pourraient ne pas se sentir appuyés en raison du manque d’orientation, en reconnaissant que les lignes directrices pour la formation linguistique liée à l’emploi doivent être flexibles pour s’adapter aux différentes composantes du programme et aux différents besoins des clients, et pour atteindre les objectifs fixés.

De plus, il a été déterminé que les services de formation linguistique informelle étaient mieux adaptés pour les nouveaux arrivants qui se sentent isolés socialement ou qui ne sont pas à l’aise avec des environnements d’apprentissage structurés. L’évaluation a révélé que la formation linguistique informelle est largement soutenue par des bénévoles. Établir des lignes directrices qui sont clairement liées aux résultats escomptés du programme aiderait les bénévoles qui pourraient ne pas avoir les mêmes antécédents que les formateurs de la formation formelle.

Recommandation 7 : IRCC devrait élaborer des lignes directrices pour la formation linguistique formelle liée à l’emploi et la formation linguistique informelle.

Combinaison de la formation linguistique formelle et informelle

Bien que les services d’apprentissage informel seuls ne soient pas associés à une plus grande probabilité d’amélioration, l’évaluation a révélé que les clients qui ont participé à des formations linguistiques formelles et informelles étaient plus susceptibles de voir leurs compétences linguistiques progresser, et ils affichaient souvent de meilleurs résultats en matière d’emploi que les clients qui avaient seulement suivi la formation linguistique formelle.

Recommandation 8 : IRCC devrait élaborer un plan pour mettre à profit et optimiser les avantages de la formation linguistique informelle pour les clients de la formation linguistique formelle.

Service de garde

L’évaluation a révélé une série d’obstacles à la fréquentation des services d’apprentissage linguistique. En particulier, le temps d’attente pour l’accès à des services de garde d’enfants est long, ce qui touche particulièrement les femmes nouvellement arrivées, les familles avec plusieurs enfants et les familles monoparentales.

Recommandation 9 : IRCC devrait examiner les moyens disponibles et élaborer un plan pour répondre aux besoins des clients en leur fournissant un service de garde afin de faciliter leur accès à la formation linguistique.

Coordination et la communication

Bien que les rôles et les responsabilités liés au programme soient généralement clairs, il a été constaté que le GCFL estimait que les changements au programme pourraient être mieux communiqués, et qu’une boucle de rétroaction incluant le Réseau de l’établissement serait bénéfique. Les intervenants estimaient qu’être informés des changements de programmation et les priorités pourraient les aider à disposer de plus de temps de préparation pour les appels à propositions.

Recommandation 10 : IRCC devrait mettre en œuvre une stratégie pour assurer une diffusion efficace et opportune des informations sur les changements de politique et de priorités aux intervenants externes et aux responsables des politiques et des opérations.