Annexe : Des cadres sains pour les jeunes du Canada – Méthodologie

Annexe : Méthodologie

L’échantillon

Le fichier de données international HBSC exigeait des échantillons de jeunes de 11, 13 et 15 ans. Afin de satisfaire à cette exigence, l’équipe de recherche canadienne a prélevé des échantillons d’élèves de la 6e à la 10e année. On a utilisé un procédé d’échantillonnage systématique en grappes pour choisir des classes complètes d’élèves de partout au Canada pour participer à l’enquête. Suivant le protocole international, l’échantillon devait être autopondéré. On s’est servi des répertoires et des listes des écoles pour trouver les classes nécessaires. Le nombre de classes de chaque école intégré dans l’échantillon est déterminé en fonction des années d’études dans l’école, du nombre d’enseignants, du nombre total d’élèves inscrits et du nombre d’élèves inscrits par année d’école, selon la province. Les classes ont à peu près toutes la même chance d’être choisies; dans les listes d’échantillons, elles sont classées selon l’administration scolaire, la province, la langue d’enseignement, la désignation publique/catholique romaine ainsi que la taille de la localité et son emplacement dans une province. Les classes sont ainsi réparties proportionnellement en fonction de ces caractéristiques. L’échantillon ne comprend pas d’écoles privées et spéciales. On communique ensuite avec les conseils scolaires des écoles choisies pour participer à l’enquête pour obtenir leur autorisation. La participation à l’enquête est libre. Le consentement des parents des élèves choisis pour participer à l’enquête doit être obtenu d’une manière approuvée par le comité d’éthique en matière de recherche générale de l’Université Queen’s. En 2005-2006, 74 % du nombre estimatif d’élèves de l’échantillon ont participé à l’enquête. Moins de 10 % des élèves ont refusé d’y participer ou ont détérioré intentionnellement leur questionnaire. Les principales raisons pour lesquelles le reste des élèves n’ont pas participé à l’enquête sont les suivantes : l’élève n’a pas rapporté le formulaire de consentement; l’élève n’a pas été autorisé par ses parents à participer; l’élève était absent le jour de l’enquête.

Collecte des données

Ce sont les enseignants qui font remplir aux élèves des classes les questionnaires, qui sont conçus pour que les élèves puissent répondre à toutes les questions durant une classe de 40 minutes. Il y a une ou deux questions ouvertes, mais les élèves peuvent répondre à presque toutes les questions en cochant une réponse. Les élèves mettent leur questionnaire dans une enveloppe qu’ils scellent, ce qui garantit l’anonymat des répondants, et les enseignants sont invités à appliquer rigoureusement un ensemble précis de règles concernant le consentement actif des intéressés et la façon de faire remplir le questionnaire.

Gestion des données

Les questionnaires remplis sont renvoyés à l’Université Queen’s. Les données sont entrées manuellement par des préposés à la saisie de données dans des fichiers textes simples en vue d’être intégrées dans le progiciel de statistiques SPSS. On vérifie des échantillons de lots de questionnaires de chaque préposé, on règle les problèmes décelés et, s’il y a lieu, on corrige les erreurs. On procède au nettoyage des données, notamment en analysant les valeurs aberrantes et contradictoires entre des questions apparentées. On examine les questionnaires qui présentent des schémas de réponses suspects ou qui n’ont manifestement pas été remplis d’une manière sérieuse, afin de déterminer s’il convient de les exclure de l’ensemble de données.

Limites d’échantillonnage et sources de distorsion

Malgré l’exhaustivité de l’Enquête HBSC et l’utilisation d’un échantillon représentatif, il y a d’importantes limites par rapport aux méthodes d’échantillonnage et au degré de confiance à l’égard des questionnaires à remplir soi même.

Comme la classe est l’unité/la grappe utilisée pour la procédure d’échantillonnage, il est possible que les élèves d’une grappe donnée aient beaucoup de choses en commun en ce qui concerne les comportements et/ou les attitudes. Ils peuvent, par exemple, avoir accès aux mêmes aliments à la cafétéria ou penser à peu près la même chose d’un enseignant ou de leur école. Par ailleurs, il est moins probable que les élèves aient beaucoup de chose en commun avec leurs camarades de classe en ce qui concerne les relations avec leurs parents ou la fréquence à laquelle ils ont des maux de tête. C’est ce qu’on appelle l’effet de plan d’échantillonnage. La conséquence sur l’interprétation des résultats est que ce facteur, pour certains éléments de l’enquête, fait en sorte qu’on obtient un intervalle de confiance plus important qu’il ne l’aurait été si on avait établi un échantillon aléatoire d’élèves. Pour la plupart des éléments de l’enquête, le facteur plan fait augmenter l’intervalle de confiance de moins de 1 % dans l’un ou l’autre sens.

La cause la plus probable de distorsion dans l’Enquête HBSC est qu’il faut obtenir le consentement tant des parents des élèves que des élèves eux mêmes qui y participent. Aussi, on peut raisonnablement supposer que les élèves qui n’ont pas rapporté leur formulaire de consentement des parents et ceux qui ont refusé de remplir le questionnaire ne présentent pas les mêmes caractéristiques qui sont fréquentes chez les élèves qui participent à l’enquête. À titre d’exemple, il est possible que les élèves qui ne rapportent pas les formulaires de consentement des parents soient moins susceptibles de communiquer de façon positive avec leurs parents.

Limites et sources de distorsion concernant l’administration de l’enquête

Les réponses de certaines élèves aux questions de l’enquête peuvent être influencées par les facteurs ci dessous.

• Les propos échangés entre élèves pendant qu’ils répondent au questionnaire ou le manque de confidentialité en raison d’une trop grande proximité entre les élèves.
• La façon dont les élèves interprètent les questions (ce qu’ils comprennent en lisant la question – certaines questions sont longues et peuvent être faussement interprétées si on les lit trop rapidement).
• Les caractéristiques des élèves (leur culture, leurs croyances religieuses, etc.) qui peuvent influencer leurs réponses à certaines questions délicates.
• Les limites quant à la mémoire des élèves concernant leurs comportements et les événements survenus au cours de la dernière année.
• Le désir de se présenter sous un jour favorable, surtout si l’élève n’est pas convaincu que ses réponses seront traitées de façon confidentielle.
• Le désir de projeter une certaine image de soi acceptable pour ses camarades, étant donné que les élèves peuvent discuter de certaines de leurs réponses.
• Le degré d’intérêt de l’enseignant et des élèves à l’égard de l’enquête.
• L’heure de la journée à laquelle les élèves remplissent le questionnaire à leur école (par exemple, ils peuvent être fatigués et incapables de se concentrer à la fin de la journée).

Fiabilité et validité

On dit qu’une enquête à une fiabilité élevée quand les élèves donnent les mêmes réponses aux questions d’une enquête en deux occasions distinctes au cours d’une brève période. Il n’est pas possible d’évaluer la fiabilité de l’Enquête HBSC en faisant remplir le questionnaire par les élèves en deux occasions distinctes parce qu’il serait trop compliqué, sur le plan logistique, de faire remplir une deuxième fois le questionnaire dans les écoles de partout au Canada. On contrôle donc plutôt la fiabilité des questions en vérifiant les relations à l’intérieur d’un sous ensemble de questions après que le questionnaire a été rempli, afin de comparer les réponses à des questions similaires et de déterminer si ces réponses mesurent vraiment la même chose (voir les échelles composites ci dessous). La fiabilité est nécessaire pour établir la validité, mais elle n’est pas suffisante.

On dit qu’une enquête a une validité élevée quand elle mesure avec précision ce qu’elle est censée mesurer. On estime parfois la validité en comparant les résultats de l’enquête à une autre mesure (en comparant la réponse de l’intéressé à la question à savoir s’il fume à la concentration de nicotine dans la salive ou la réponse de l’intéressé à la question concernant son rendement scolaire aux notes réellement obtenues, par exemple). On peut aussi estimer la validité en déterminant si certains éléments évalués par l’enquête correspondent à d’autres éléments d’une manière prévisible (en vérifiant si une question concernant l’intelligence correspond aux années d’études à l’école parce qu’on s’attend qu’il y ait un lien entre l’intelligence et la progression scolaire, par exemple). En l’occurrence, il est possible d’estimer la validité de certaines questions de l’Enquête HBSC en en comparant les résultats à ceux d’autres enquêtes effectuées au Canada. Ainsi, l’Enquête HBSC de 2001-2002 a révélé que la proportion de filles de la 10e année qui fument avait beaucoup diminué. Le fait que d’autres études menées au Canada ait abouti à la même constatation confère une plus grande crédibilité à nos résultats.

Échelles composées

L’échelle Confiance des parents et communication avec les parents est composée des six éléments suivants de l’enquête : Dans quelle mesure est ce facile pour toi de parler à ton père des choses qui te tracassent vraiment?; Dans quelle mesure est ce facile pour toi de parler à ta mère des choses qui te tracassent vraiment?; Mes parents me comprennent; J’ai une vie familiale heureuse; Mes parents me font confiance; Ce que mes parents pensent de moi est très important. Pour les deux premières questions, les choix de réponse dans l’enquête 2007 et les notes correspondantes étaient les suivants : Très facile = 5; Facile = 4; Difficile = 3; Très difficile = 2; Je n’ai personne de ce genre ou je ne la vois pas = 1. Pour les quatre dernières questions, les choix étaient les suivants : Je suis tout à fait d’accord = 5; Je suis d’accord = 4; Je n’ai pas d’avis particuliers = 3; Je ne suis pas d’accord = 2; Je ne suis pas du tout d’accord = 1. Seuls les élèves pour lesquels nous disposions de données complètes pour les six éléments ont été retenus pour faire partie de l’échelle. On a fait la somme des notes pour les six éléments et on a recodé les résultats en trois catégories (faible, moyen et élevé) correspondant chacune à un tiers aux fins de présentation. Le degré de fiabilité de l’échelle mesuré par le coefficient Alpha de Cronbach est 0,80.

L’échelle Attitude à l’égard de l’école est composée des neuf éléments suivants de l’enquête  : Les règles de l’école sont justes; Notre école est un bon endroit où étudier; J’ai un sentiment d’appartenance envers mon école; Mon ou mes professeurs m’encouragent à exprimer mon point de vue en classe; Nos professeurs nous traitent équitablement; Lorsque j’ai besoin d’aide supplémentaire, je peux l’obtenir; Mes professeurs s’intéressent à moi en tant que personne; La plupart de mes professeurs sont gentils; Que penses tu de l’école en ce moment? Pour les huit premières questions, les choix de réponses et les notes correspondantes étaient les suivants  : Je suis tout à fait d’accord = 1; Je suis d’accord = 2; Je n’ai pas d’avis particuliers = 3; Je ne suis pas d’accord = 4; Je ne suis pas du tout d’accord = 5. Pour la neuvième question, les choix de réponses et les notes attribuées étaient les suivants : J’aime beaucoup l’école = 1; J’aime un peu l’école = 2; Je n’aime pas beaucoup l’école = 4; Je n’aime pas du tout l’école = 5 (nota : les notes attribuées se situaient initialement entre 1 et 4, mais on a par la suite établi une fourchette de 1 à 5 en éliminant la catégorie médiane afin de donner à la variable à peu près le même poids qu’aux autres). La gradation des notes attribuées aux divers choix de réponse a été inversée pour les questions formulées de façon positive. Seuls les élèves pour lesquels nous disposions de données complètes pour les neuf éléments ont été retenus pour faire partie de l’échelle. On a fait la somme des notes pour les neuf éléments et on a recodé les résultats en trois tiers (faible, moyen et élevé) pour les besoins de la présentation. Le degré de fiabilité de l’échelle mesuré par le coefficient Alpha de Cronback est 0,87.

L’échelle Communication avec les camarades est composée des trois éléments suivants de l’enquête : Dans quelle mesure est ce facile pour toi de parler à tes amis du même sexe à propos des choses qui te tracassent vraiment?; Dans quelle mesure est ce facile pour toi de parler à tes amis du sexe opposé à propos de choses qui te tracassent vraiment?; Dans quelle mesure est ce facile pour toi de parler à ton meilleur ami ou à ta meilleure amie à propos des choses qui te tracassent vraiment? Pour les trois questions, les choix de réponses et les notes correspondantes étaient les suivants : Très facile = 5; Facile = 4; Difficile = 3; Très difficile = 2; Je n’ai personne de ce genre ou je ne la vois pas = 1. Seuls les élèves pour lesquels nous disposions de données complètes pour les trois éléments ont été retenus pour faire partie de l’échelle. On a fait la somme des notes pour les trois éléments et on a recodé les résultats en trois tiers (faible, moyen et élevé) pour les besoins de la présentation. Le degré de fiabilité de l’échelle mesuré par le coefficient Alpha de Cronback est 0,74.

L’échelle Attitudes prosociales des camarades n’a été établie que pour les élèves de la 9e et de la 10e année. Elle est composée des trois éléments suivants de l’enquête : Mes ami(e)s aiment l’école; Mes ami(e)s considèrent qu’il est important d’obtenir de bonnes notes; Mes ami(e)s s’entendent bien avec leurs parents. Pour les trois questions, les choix de réponses et les notes correspondantes étaient les suivants : Aucun(e) = 1; Quelques-un(e)s = 2; Certain(e)s = 3; La plupart = 4; Tous = 5. Seuls les élèves pour lesquels nous disposions de données complètes pour les trois éléments ont été retenus pour faire partie de l’échelle. On a fait la somme des notes pour les trois éléments et on a recodé les résultats en trois tiers (faible, moyen et élevé) pour les besoins de la présentation. Le degré de fiabilité de l’échelle mesuré par le coefficient Alpha de Cronback est 0,68.

L’échelle Aisance financière de la famille est composée des quatre éléments suivants de l’enquête : Ta famille possède-t-elle une voiture, une camionnette ou une wagonnette?; As tu ta propre chambre à coucher?; Au cours des douze derniers mois, as tu fait un voyage d’agrément avec ta famille (vacances)?; Combien d’ordinateurs ta famille possède-t-elle? Les éléments ont été recodés comme suit : Avoir sa propre chambre : non = 0 et oui = 1; Famille possède une voiture : aucune = 0, une = 1 et deux ou plus = 2; Fait un voyage (vacances) au cours des douze derniers mois : pas une fois = 0, une fois = 1 et deux fois ou plus = 2; famille possède un ordinateur : aucun = 0, un = 1 et deux ou plus = 2. Seuls les élèves pour lesquels nous disposions de données complètes pour les quatre éléments ont été retenus pour faire partie de l’échelle. On a fait la somme des notes pour les quatre éléments et on a recodé les résultats en trois catégories (faible, moyen et élevée). Les trois catégories ont été établies suivant le protocole international HBSC et ne correspondent pas à des tiers.

L’échelle Symptômes psychosomatiques est composée des huit éléments suivants de l’enquête : Au cours des six derniers mois, as tu souffert des malaises suivants : Maux de tête; Maux d’estomac; Maux de dos; Avoir les bleus (être déprimé); Irritabilité ou de mauvaise humeur; Nervosité; Difficulté à t’endormir; Étourdissements. Les choix de réponses et les notes correspondantes étaient les suivants : Presque chaque jour = 1; Plus d’une fois par semaine = 2; Presque chaque semaine = 3; Presque chaque mois = 4; Rarement ou jamais = 5. Seuls les élèves pour lesquels nous disposions de données complètes pour les huit éléments ont été retenus pour faire partie de l’échelle. L’échelle Symptômes psychosomatiques correspond au nombre d’éléments parmi les huit qui composent l’échelle pour lesquels un élève a répondu Presque chaque jour, Plus d’une fois par semaine ou Presque chaque semaine.

L’échelle Bien-être émotionnel est composée des neuf éléments suivants de l’enquête : J’ai de la difficulté à prendre des décisions; Je regrette souvent ce que j’ai fait; J’ai confiance en moi; Je souhaite souvent être quelqu’un d’autre; Je me sens souvent sans recours; J’aimerais changer mon apparence si je le pouvais; J’ai souvent l’impression d’être délaissé(e); Je me sens souvent seul(e); J’ai souvent de la difficulté à dire non. Pour chaque élément, le choix de réponses et les notes attribuées étaient les suivants : Je suis tout à fait d’accord = 1; Je suis d’accord = 2; Je n’ai pas d’avis particuliers = 3; Je ne suis pas d’accord = 4; Je ne suis pas du tout d’accord = 5. La gradation des notes attribuées aux choix de réponses a été inversée pour les questions formulées de façon positive. On a fait la somme des notes pour les neuf éléments et on a recodé les résultats en trois tiers (faible, moyen et élevé) pour les besoins de la présentation. Le degré de fiabilité de l’échelle mesuré par le coefficient Alpha de Cronback est 0,82.

Pour de plus amples renseignements

Adresse du site Web de l’Enquête internationale HBSC : www.hbsc.org/ (disponible en anglais seulement).

On trouvera de l’information sur l’équipe qui s’occupe de l’Enquête au Canada dans le site Web suivant : educ.queensu.ca/~speg/ (disponible en anglais seulement).

Les publications relatives à l’Enquête HBSC sont diffusées par le bailleur de fonds, l’Agence de la santé publique du Canada (www.phac-aspc.gc.ca/).