Évaluation du programme «Language Instruction for Newcomers to Canada» (LINC)

Appendice B: Autres aspects méthodologiques

Les enquêtes auprès des enseignants et les formulaires d’information sur les classes, ainsi que les enquêtes auprès des apprenants, les feuilles d’instruction et une enveloppe réponse de port payé ont été envoyés par messagerie à 56 des 70 classes sélectionnées au hasard. Les 14 autres classes ont participé aux études de cas. Ces enseignants ont reçu par courriel une version électronique du questionnaire à retourner avant la visite d’étude de cas (l’information demandée dans les formulaires était nécessaire pour préparer la visite).

Choix des classes et des apprenants de l’étude de cas

Un échantillonnage multiéchelle aléatoire a été utilisé pour sélectionner les classes et les apprenants en vue de l’évaluation. Selon cette procédure, les classes sont choisies au hasard, et les sélections à l’intérieur des classes choisies se font aléatoirement. Les principes de l’échantillonnage multiéchelle sont directs, mais le contournement des biais involontaires peut compliquer son exécution. Ce n’est pas aussi simple que sélectionner d’abord la classe et ensuite choisir les apprenants au sein de la classe. Chaque personne dans toutes les classes doit avoir une probabilité égale de sélection. Pour la sélection des classes de LINC, on a dû tenir compte du nombre d’apprenants dans la classe. Par conséquent, la première étape consistait à obtenir une liste de tous les étudiants de la LINC au Canada. Cette liste n’était accessible que pour l’Ontario (au moyen du HARTs). Pour les six autres provinces participant au programme, les FS (au nombre d’environ 40) ont été tenus de fournir une liste de leurs classes de LINC et le nombre d’apprenants dans chacune. Le HARTs et les données de l’enquête ont permis de constater qu’il y avait 27 470 apprenants de la LINC au Canada au cours de la dernière semaine d’avril (ce qui n’exclut que quelques FS à l’extérieur de l’Ontario qui n’ont pas retourné le questionnaire d’enquête)^{Note de bas de page 61}. Un ensemble de données de SPSS a été créé avec les 27 470 étudiants. Le dossier a été répertorié par classe (pondérant ainsi chaque classe selon le nombre d’étudiants). Il a été mélangé aléatoirement afin d’éviter tout effet involontaire d’ordonnancement. Le nombre total, à savoir 27 470, a été divisé par le nombre de classes à choisir (70) afin d’obtenir l’intervalle d’échantillonnage de 392. Un nombre aléatoire entre 1 et 392 a été choisi pour déterminer la première classe : 173. La classe de l’apprenant 173 a été choisie. Ensuite, 392 a été ajouté au nombre aléatoire pour arriver à 565; la classe de cette personne a été choisie. On a continué de cette façon jusqu’à ce que 70 classes soient choisies. L’étape définitive visait à sélectionner 10 questionnaires au hasard dans chaque classe.

Choix des variables dépendantes

Le choix des variables dépendantes en vue des analyses constituait un important aspect méthodologique. L’évaluation a utilisé des résultats différentiels (également connus sous le nom de « mesure du changement »), calculés en soustrayant la note de l’avant test de celle de l’après test de la CLBA pour chaque domaine de compétences. Certains chercheurs (p. ex., Cronbach et Furby, 1970; Werts et Linn, 1970)^{Note de bas de page 62} ont formulé des mises en garde contre l’utilisation des résultats différentiels, car ils ont souvent peu de variabilité et ils sont fréquemment corrélés avec le niveau initial de la caractéristique mesurée : bref, ils ont tendance à être douteux. Toutefois, d’autres (p. ex., Rogosa et Willett, 1983; Allison, 1990; Williams et Zimmerman, 1996; Collins, 1996)^{Note de bas de page 63} affirment plutôt que les résultats différentiels offrent de l’information unique sur les variations individuelles et que, par conséquent, ils ne devraient pas être exclus. Le consensus veut maintenant que, pour les plans expérimentaux, ANCOVA soit préférable aux résultats différentiels, car elle est plus puissante, mais pour les plans quasi expérimentaux, les résultats différentiels constituent la meilleure option^{Note de bas de page 64}.

Lorsque les données satisfont certaines conditions, l’utilisation de résultats différentiels ne pose pas de problème. Leur analyse constitue peut être une solution de rechange raisonnable lorsqu’il existe une corrélation élevée entre les mesures de référence et celles de suivi^{Note de bas de page 65}. Voici les corrélations pour cette évaluation : compréhension de l’oral = 0,80; expression orale = 0,83; compréhension de l’écrit = 0,76; expression écrite = 0,76.

Une autre condition est la forte intervention : pour obtenir des notes fiables, il est nécessaire que l’intervention entre les deux tests soit relativement puissante et l’instrumentation, suffisamment sensible pour détecter les changements attribuables à l’intervention^{Note de bas de page 66}. Des preuves solides indiquent que c’est le cas du programmeLINC. Enfin, des diminutions très importantes dans l’écart au test postérieur représenteraient un signe que les résultats différentiels ne devraient pas être utilisés. Comme ce n’est pas le cas, il est raisonnable d’utiliser des résultats différentiels pour cette évaluation :

Enquête auprès des anciens apprenants de la LINC

L’exclusion des anciens apprenants de la LINC constitue un inconvénient de l’option multiéchelle, car elle produit moins d’information précieuse sur les répercussions à long terme du programme LINC. CIC a exprimé de l’intérêt à entendre les anciens clients de la LINC afin de découvrir la raison pour laquelle ils ont interrompu le programme, ce qu’ils pensent de la LINC et ce qu’ils font actuellement. Cette situation a représenté une importante difficulté, car les anciens étudiants sont très difficiles à retrouver : en effet, les nouveaux arrivants déménagent beaucoup. En fait, les évaluateurs ont cru que la difficulté était de taille; ils l’ont donc exclu des plans originaux en vue de l’évaluation. Cependant, CIC voulait essayer.

Le premier problème consistait à définir une base d’échantillonnage. La base de données de l’iSMRP aurait été idéale, mais CIC a déterminé que des questions de confidentialité rendaient cette option improbable. La seule autre solution de rechange était la base de données du HARTs en Ontario. Bien qu’il s’agisse d’une excellente base de données, elle ne couvre que les clients de la LINC de l’Ontario. Par conséquent, le premier défaut de l’échantillon est qu’il ne représente que l’Ontario. Le deuxième problème était d’atteindre l’échantillon avec l’enquête. Bien sûr, la confidentialité est également une préoccupation dans le cas des données du HARTs. Le Centre for Education and Training souhaitait communiquer les adresses de courriel (avec l’approbation de CIC), sans le nom ni l’adresse des clients. Il était donc uniquement possible de mener l’enquête par courriel. Malheureusement, seul un petit pourcentage de nouveaux arrivants possède une adresse électronique. D’ailleurs, il était également prévu que de nombreux nouveaux arrivants ne comprendraient pas l’enquête, mais il n’y avait pas de fonds destinés à la traduction vers plusieurs langues, car cela ne faisait pas partie de l’évaluation proposée. Parmi d’autres problèmes, citons la tendance naturelle à se méfier des courriels non sollicités contenant des pièces jointes et à les supprimer, et le fait que l’enquête a été menée pendant l’été. Tous ces problèmes n’ont produit qu’un taux de réponse de 17 %, malgré deux suivis. Cette situation laisse un risque de biais de non réponse. Un rapport distinct sur les résultats de l’enquête a été envoyé à CIC.

• Précédent
• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14(présent)
• Suivant