Outil d’évaluation de l’incidence algorithmique
Sur cette page
1. Introduction
L’outil d’évaluation de l’incidence algorithmique (EIA) est un outil d’évaluation des risques obligatoire destiné à soutenir la Directive sur la prise de décisions automatisée (« la Directive ») du Conseil du Trésor. L’outil est un questionnaire qui détermine le niveau d’incidence d’un système de décision automatisé. Il est composé de 51 questions sur les risques et de 34 questions sur l’atténuation. Les notes d’évaluation sont fondées sur de nombreux facteurs, y compris la conception du système, l’algorithme, le type de décision, l’incidence et les données.
L’EIA est un questionnaire qui a été élaboré sur la base des meilleures pratiques en consultation avec les parties prenantes internes et externes. L’EIA a été développée de façon ouverte et est disponible pour le partage et la réutilisation sous une licence ouverte.
2. Utilisation et notation de l’évaluation
Cette évaluation est organisée en fonction des considérations liées aux politiques, à l’éthique et au droit administratif du gouvernement du Canada appliquées au contexte de la prise de décisions automatisée. Elle s’appuie sur les consultations du Secrétariat du Conseil du Trésor du Canada avec des institutions publiques, le milieu universitaire, et la société civile. L’EIA est conçue pour aider les ministères et les organismes à mieux comprendre et gérer les risques associés aux systèmes de décision automatisés. L’EIA est composée de questions sous différents formats pour évaluer les secteurs de risque définis dans le Tableau 1.
Secteur de risque | Description |
---|---|
1. Projet | |
Phase du projet | Propriétaire du projet, description et étape (conception ou mise en œuvre) |
Raisons de l’automatisation | Raisons pour introduire l’automatisation dans le processus décisionnel |
Profil de risque | Indicateurs de risque de haut niveau pour le projet (p. ex., vulnérabilité des clients) |
Autorité de projet | Besoin de trouver une nouvelle autorité responsable des politiques pour le projet |
2. Système | |
À propos du système | Capacités du système (p. ex., reconnaissance d’image, évaluation des risques) |
3. Algorithme | |
À propos de l’algorithme | Restrictions liées à la divulgation de l’algorithme; capacité à expliquer comment il arrive à ses résultats |
4. Décision | |
À propos de la décision | Classification et description de la décision automatisée (p. ex., services de santé, aide sociale, délivrance de permis) |
5. Incidence | |
Évaluation de l’incidence | Type d’automatisation (complète ou partielle); durée et réversibilité de la décision; et zone touchée (p. ex., droits, confidentialité et autonomie, santé, intérêts économiques, l’environnement) |
6. Données | |
Source | Provenance, méthode de collecte et classification de sécurité des données utilisées par le système |
Type | Nature des données utilisées comme structurées ou non structurées (audio, texte, image ou vidéo) |
L’EIA évalue également les mesures d’atténuation en place pour gérer les risques cernés. Ces questions sur l’atténuation sont classées dans les catégories définies dans le Tableau 2.
Secteur d’atténuation | Description |
---|---|
7. Consultation | |
Intervenants internes et externes | Intervenants internes et externes consultés, notamment des conseillers en confidentialité et en droit; des équipes de politique numérique; des experts en la matière d’autres secteurs |
8. Élimination des risques et mesures d’atténuation | |
Qualité des données | Processus pour s’assurer que les données sont représentatives et impartiales, ainsi que les mesures de transparence liées à ces processus |
Équité procédurale | Procédures de vérification du système et de ses décisions, ainsi que du processus de recours |
Confidentialité | Mesures de protection des renseignements personnels utilisés ou générés par le système |
2.1 Notation
Chaque section contient une ou plusieurs questions, et les réponses aux questions contribuent à obtenir une cote maximale pour la section. La valeur de chaque question est pondérée en fonction du risque introduit ou atténué dans le cadre du projet d’automatisation. La cote d’incidence brute mesure les risques de l’automatisation, tandis que la cote d’atténuation mesure la façon dont les risques de l’automatisation sont gérés. Les questions des sections 1 à 6 (risque) augmentent la cote d’incidence brute et les questions des sections 7 et 8 (atténuation) augmentent la cote d’atténuation.
Secteur de risque | Nombre de questions | Cote maximale |
---|---|---|
1 - Projet | 16 | 27 |
2 - Système | 1 | 0 |
3 - Algorithme | 2 | 6 |
4 - Décision | 2 | 7 |
5 - Incidence | 20 | 42 |
6 - Données | 10 | 44 |
Cote d’incidence brute | 51 | 126 |
Secteur d’atténuation | Nombre de questions | Cote maximale |
---|---|---|
7 - Consultation | 2 | 2 |
8 - Élimination des risques et mesures d’atténuation | 32 | 44 |
Cote d’atténuation | 34 | 46 |
La cote actuelle est déterminée comme suit :
- Si la cote d’atténuation est inférieure à 80 % de la cote d’atténuation maximum réalisable, la cote actuelle est égale à la cote d’incidence brute;
- Si la cote d’atténuation est égale ou supérieure à 80 % de la cote d’atténuation maximum réalisable, la cote actuelle est obtenue en retranchant 15 % de la cote d’incidence brute.
2.2 Niveaux d’incidence
Les incidences de l’automatisation d’une décision administrative sont classées en quatre niveaux, allant du niveau I (faible incidence) au niveau IV (incidence très élevée). L’EIA vise à cerner les risques et à évaluer les effets dans un large éventail de domaines, notamment :
- les droits des personnes ou des collectivités;
- la santé ou le bien-être des individus ou des collectivités;
- les intérêts économiques des individus, des entités ou des collectivités;
- la durabilité continue d’un écosystème.
Les niveaux d’incidence se distinguent en fonction des critères de réversibilité et de la durée prévue. Ainsi, les décisions automatisées ayant peu ou pas d’incidence sont réversibles et brèves, tandis que celles ayant une incidence très élevée sont jugées irréversibles et perpétuelles.
Chaque niveau d’incidence correspond à une plage de pourcentage de la cote. Le niveau d’incidence attribué à chaque projet d’automatisation repose sur la fourchette dans laquelle se situe la plage de pourcentage du projet (tableau 5). Les niveaux d’incidence déterminent les mesures d’atténuation requises aux termes de la Directive sur la prise de décisions automatisée. L’annexe C de la Directive énumère les mesures d’atténuation requises pour chacun des quatre niveaux d’incidence. Les exigences sont conçues pour être proportionnelles au niveau d’incidence. Bien que les mesures visent à réduire les risques cernés, leur mise en œuvre ne modifie pas le niveau d’incidence attribué à un projet. Le niveau d’incidence d’un projet ne peut être changé qu’à la fin d’une nouvelle EIA renfermant des renseignements à jour sur le projet. Conformément à la Directive (paragraphe 6.1.3), les ministères sont tenus d’examiner et de mettre à jour leur EIA à intervalles réguliers, notamment à la suite de changements apportés à la fonctionnalité ou à la portée de l’utilisation du système.
Niveau d’incidence | Définition | Plage de pourcentage de la cote |
---|---|---|
Niveau I | Peu ou pas d’incidence | 0 % à 25 % |
Niveau II | Incidence modérée | 26 % à 50 % |
Niveau III | Incidence élevée | 51 % à 75 % |
Niveau IV | Incidence très élevée | 76 % à 100 % |
3. Consignes
L’EIA est accessible sous forme de questionnaire en ligne sur le Portail du gouvernement ouvert. Une fois le questionnaire rempli, les résultats fournissent un niveau d’incidence et un lien avec les exigences de la Directive. La page des résultats détaillés expliquera également pourquoi le système a été coté à un certain niveau. Les résultats et l’explication peuvent être imprimés ou enregistrés en format PDF.
L’EIA évalue les décisions automatisées sur un large éventail de sujets, y compris les bénéficiaires de services, les processus opérationnels, les données et les décisions entourant la conception de systèmes. Il est préférable de compléter l’EIA avec une équipe multidisciplinaire qui apporte son expertise dans tous ces domaines.
Il faut répondre à chaque question de l’EIA. Si la réponse à une question est inconnue, veuillez choisir l’option de note la plus basse pour la question. S’il y a lieu, soyez prêt à fournir la preuve documentaire sur demande.
La section 6 de la Directive fournit une liste complète des exigences que les ministères sont responsables de rencontrer. Certaines exigences deviennent plus strictes à mesure que le niveau d’incidence augmente, y compris le type d’examen par les pairs et le degré d’implication humaine dans les décisions. Pour une liste exhaustive des exigences évolutives, reportez-vous à l’annexe Exigences par niveau d’incidence dans la Directive. Les autres exigences sont des exigences de base qui ne varient pas en fonction du niveau d’incidence, telles que la consultation des services juridiques de l’institution avant le développement du système, la formation des employés et l’offre de toute possibilité en matière de recours applicable afin de contester la prise de décision.
3.1 Quand remplir l’EIA
L’EIA devrait être effectuée au début de la phase de conception d’un projet. Les résultats de l’EIA guideront les exigences d’atténuation et de consultation à respecter pendant la mise en œuvre du système de décision automatisé conformément à la Directive.
L’EIA devrait être remplie une deuxième fois, avant la production du système, afin de confirmer que les résultats reflètent fidèlement le système qui a été construit. L’EIA révisée devrait être publiée sur le Portail du gouvernement ouvert à titre de résultats finaux.
Examen et mise à jour de l’EIA
Il convient de revoir et de mettre à jour l’EIA à intervalles réguliers et en cas de changement à la fonctionnalité ou la portée du système (paragraphe 6.1.3). Le calendrier de l’examen peut être établi en tenant compte des résultats de la surveillance (paragraphe 6.3.2) et des exigences en matière d’établissement de rapports (paragraphe 6.5.1).
À l’étape de la conception d’un système, il est difficile de prévoir complètement les risques associés à la prise de décisions automatisée. Des examens effectués régulièrement tout au long du cycle de vie du système permettront d’en surveiller le fonctionnement et de garder l’EIA à jour.
La fréquence des examens dépendra de divers facteurs, comme la nature du système, le contexte de son déploiement et le genre de décisions qu’il sert à prendre.
Ainsi, on pourrait revoir et mettre à jour l’EIA plus souvent lorsque :
- le volume de service est élevé
- le système touche un grand nombre de clients
- l’environnement dans lequel le système fonctionne évolue ou change rapidement
- le système a un niveau d’incidence de 3 ou 4
3.2 Éléments à prendre en considération au moment de procéder à une EIA
Collecte d’informations au sujet de votre projet
Dans le cadre d’un projet d’automatisation, il est essentiel de collecter une vaste gamme de renseignements pour répondre pleinement aux questions dans les secteurs de risque et d’atténuation de l’EIA. Avant de commencer l’EIA, il convient de s’informer davantage sur :
- la décision administrative exacte que le système décisionnel automatisé informera, aidera à prendre ou prendra, le contexte dans lequel ce système sera employé et la façon dont il contribuera au jugement de décisionnaires humains ou au remplacement de ceux-ci;
- la clientèle assujettie à la décision, y compris la preuve de toute vulnérabilité (p. ex. socioéconomique, démographique, géographique);
- les effets potentiels de la décision sur la clientèle, notamment leur durée et leur réversibilité;
- l’algorithme, y compris les paramètres et les techniques de traitement des données ainsi que l’extrant;
- les données d’entrée utilisées par le système, à savoir les détails sur le type, la source, la méthode de collecte et la classification de sécurité;
- les mesures d’assurance de la qualité prévues ou existantes;
- les mesures de transparence prévues pour la diffusion de l’information sur l’initiative à la clientèle et au public;
- les parties prenantes internes et externes qui devraient être consultées;
- le registre des recommandations ou des décisions prises par le système, et toute explication ou tout journal générés par le système relativement à un tel registre;
- les pratiques institutionnelles en matière de gestion des services de la technologie de l’information.
Les renseignements ci-dessus seront également pertinents dans les consultations avec les parties prenantes décrites ci-dessous. Ils peuvent également soutenir les engagements auprès des fournisseurs et des examinateurs.
Consultation de votre bureau de l’AIPRP
Le bureau de l’accès à l’information et de la protection des renseignements personnels (AIPRP) de votre institution ou tout autre responsable désigné en matière de protection des renseignements personnels doit être consulté afin que les facteurs relatifs à la vie privée posés par les systèmes de décision automatisée qui utilisent ou traitent des renseignements personnels, ou qui ont autrement une incidence sur les droits des personnes en matière de vie privée, soient repérés, évalués et atténués. Ces engagements peuvent permettre aux chefs de projet de faire ce qui suit :
- déterminer si le système décisionnel automatisé utilisera les renseignements personnels définis à l’article 3 de la Loi sur la protection des renseignements personnels;
- vérifier si l’utilisation des renseignements personnels par le système proposé est prise en compte dans les évaluations des facteurs relatifs à la vie privée et les fichiers de renseignements personnels pertinents, et déterminer les mesures et les approbations requises en vertu de la législation et des politiques sur la protection de la vie privée;
- déterminer les exigences applicables de la Politique sur la protection de la vie privée et des instruments de politique connexes, dans le but de veiller à ce que les mesures de protection appropriées soient en place pour la création, la collecte et le traitement des renseignements personnels tout au long du cycle de vie du système, y compris des plans d’intervention en cas d’atteinte à la vie privée;
- orienter les approches pour informer le Commissariat à la protection de la vie privée du Canada du système proposé et de toute incidence prévisible sur la vie privée des Canadiens, comme l’exige la Politique sur la protection de la vie privée;
- veiller à ce que les renseignements personnels recueillis ou créés par ou pour le projet d’automatisation soient manifestement nécessaires pour le programme ou l’activité, comme l’exige la Directive sur les pratiques relatives à la protection de la vie privée;
- veiller à ce que des clauses de protection des renseignements personnels appropriées soient prévues dans les contrats, accords ou ententes conclus avec des fournisseurs ou des partenaires offrant des services, des solutions ou des produits d’automatisation;
- veiller à ce que l’EIA soit examinée par les fonctionnaires chargés de la protection des renseignements personnels avant sa publication dans le Portail du gouvernement ouvert, conformément à la Directive sur le gouvernement ouvert.
Collaboration avec les services juridiques
Les services juridiques doivent être consultés au moment d’effectuer une EIA afin de permettre de cerner et de gérer les risques juridiques découlant de l’élaboration, de l’acquisition ou de l’utilisation d’un système de décision automatisé. Les consultations devraient s’amorcer à l’étape conceptuelle d’un projet d’automatisation, avant la mise au point ou l’acquisition d’un système. La nature des risques juridiques dépend largement de la conception du système (p. ex. les données d’apprentissage, le modèle), du contexte de déploiement et du type de décision administrative automatisée. La demande de conseils juridiques en ce qui a trait à un système décisionnel automatisé peut permettre aux chefs de projet de faire ce qui suit :
- se conformer à l’exigence de la Directive de consulter les services juridiques à partir de l’étape de conception d’un projet (voir le paragraphe 6.3.10);
- déterminer les incidences possibles sur les droits et libertés individuels et élaborer des plans de gestion des risques;
- évaluer les risques en matière d’équité procédurale en fonction de divers facteurs, notamment la justification des extrants du système, la pertinence des règles du système et des données d’entrée quant à une décision administrative, et la disponibilité des options de recours (voir les paragraphes 6.2.3, 6.3.1, 6.3.2 et 6.4.1 de la Directive);
- confirmer si le programme dispose des pouvoirs requis pour aller de l’avant avec le projet d’automatisation proposé, notamment toute collecte ou création connexe de renseignements personnels (en coordination avec le bureau de l’AIPRP approprié ou tout autre responsable désigné en matière de protection de la vie privée);
- tenir compte des questions de licence, y compris en ce qui concerne les secrets commerciaux, et des contraintes qu’elles peuvent imposer à la capacité d’un ministère d’accéder à des systèmes exclusifs et de les mettre à l’essai (voir le paragraphe 6.2.5 de la Directive).
Collaboration avec des spécialistes de l’analyse comparative entre les sexes Plus
Au moment de procéder à l’EIA, il convient de consulter les spécialistes de la diversité et de l’inclusion au sein de l’institution au sujet des incidences et des mesures d’atténuation concernant la diversité, l’inclusion, les biais et l’intersectionnalité. Ces personnes peuvent également aider à effectuer l’analyse comparative entre les sexes Plus, conformément au paragraphe 6.3.6.
Communications avec le BDPI du SCT
Le Bureau de la dirigeante principale de l’information (BDPI) du Secrétariat du Conseil du Trésor du Canada (SCT) est responsable de la tenue à jour de l’outil d’EIA et de la surveillance de la conformité des ministères à la Directive sur la prise de décisions automatisée. L’équipe du BDPI peut aider les ministères à interpréter les questions relatives à l’EIA et à y répondre, en plus de les guider tout au long du processus de publication.
Les ministères sont invités à communiquer avec le BDPI du SCT à l’adresse ai-ia@tbs-sct.gc.ca pour toute question concernant la Directive ou l’EIA.
3.3 Diffusion des résultats
Les ministères sont responsables de la publication des résultats finaux de l’EIA dans un format accessible et dans les deux langues officielles sur le Portail du gouvernement ouvert (paragraphe 6.1.4). La page des résultats de l’EIA offre la possibilité de fournir des traductions pour le texte entré. Elle offre également la possibilité de télécharger les résultats en format PDF accessible pour répondre à cette exigence.
Détails de la page
- Date de modification :