Feuille de route pour l’intégration de l’intelligence artificielle dans la prévision numérique du temps et de l’environnement

Résumé

Cette initiative représente le premier élément de la stratégie d’ECCC pour s’adapter à l’évolution récente et rapide de l’intelligence artificielle (IA) et de l’apprentissage automatique dans le domaine des prévisions météorologiques et environnementales. Elle présente une vue d’ensemble de la manière dont l’IA peut être intégrée dans la chaîne de production recherche-développement-opérations (R-D-O) d’ECCC pour les prévisions météorologiques et environnementales. Cette initiative vise à permettre l’adoption rapide et souple de l’IA à ECCC, tout en tenant compte de ses limites, des ressources scientifiques actuelles et du rythme rapide de l’innovation technologique dans le domaine de l’IA. Il est attendu que l’intégration de la technologie de l’IA dans la chaîne de production ira au-delà des modèles de prévision numérique et inclura les observations, les méthodes d’assimilation de données ainsi que le post-traitement et les produits spécialisés.

En prévision de la place croissante que prendra l’IA, il sera essentiel qu’ECCC dispose d’une capacité suffisante d’accélérateurs spécialisés pour l’IA. Nous reconnaissons donc la nécessité de planifier la transition vers une solution de calcul à haute performance (CHP) qui intègre des accélérateurs d’IA dans l’infrastructure informatique conventionnelle. Cette approche proactive sera essentielle pour s’adapter à l’évolution croissante vers l’IA et pour s’assurer que l’infrastructure informatique est en mesure de soutenir les technologies en évolution et une adoption plus large de l’IA.

Reconnaissant le rôle essentiel des ressources humaines dans cette transition, nous voyons la nécessité d’entreprendre sans tarder la formation du personnel pour faciliter une intégration harmonieuse de l’IA. De plus, le recrutement d’experts en IA sera essentiel pour bâtir une organisation basée sur une expertise, une technologie et des pratiques exemplaires de pointe dans le domaine de l’IA. Des collaborations et des partenariats efficaces constituent également des éléments essentiels d’une réponse rapide. En effet, il sera impératif de renforcer les liens avec les organisations sœurs, les universités et le secteur privé pour atteindre nos objectifs en matière d’IA, favoriser l’innovation et échanger les pratiques exemplaires.

Dans cette vue d’ensemble, nous avons cerné les domaines d’application potentielle de l’IA au sein de la chaîne de production de R-D-O d’ECCC, ainsi que les éléments clés à prendre en compte pour cheminer vers le succès. Nos prochaines étapes consistent à élaborer un plan de mise en œuvre détaillé pour traduire nos intentions en actions concrètes. Ce premier exercice ne se contente pas de tracer la voie du progrès technologique, il annonce également notre engagement à rester à la fine pointe de l’innovation scientifique dans notre domaine.

Télécharger le format alternatif
(Format PDF, 1,03 Mo, 21 pages)

Contexte

L’intelligence artificielle (IA) s’est imposée comme une force transformatrice dans de nombreux secteurs de notre société, y compris dans le domaine des prévisions météorologiques et environnementales. À la lumière de cette évolution rapide, le Centre de Prévision Météorologique et Environnementale du Canada (CPMEC) et la Direction des Sciences et de la Technologie Atmosphériques (DSTA), qui font partie d’Environnement et Changement climatique Canada (ECCC), travaillent de concert pour intégrer ces technologies émergentes afin de maintenir et d’étendre notre leadership dans le domaine des prévisions météorologiques et environnementales, qui comprennent les prévisions allant de la minute aux saisons.

En réponse à l’évolution rapide de l’IA et de l’apprentissage automatiqueNote de bas de page 1, un examen de notre situation actuelle et des voies potentielles à suivre est présenté. Cette réflexion a été alimentée par deux ateliers d’une journée et un forum interne organisés à l’automne 2023.

Un dialogue ciblé avec les principaux services météorologiques nationaux a été organisé pour discuter de l’intégration et des implications de l’IA dans leurs activités de recherche-développement-opérations (R-D-O). Cet atelier a permis de mettre en lumière les points suivants : a) la reconnaissance de la rapidité des progrès technologiques; b) le réexamen des stratégies d’IA existantes dans les principaux centres de prévision numérique du temps (PNT) et c) les possibilités d’amélioration des produits et des services. L’atelier a également mis en évidence la nécessité pour notre organisation de rester agile au fur et à mesure que nous intégrons les technologies d’IA.

Le deuxième atelier sur le sujet, qui réunissait des entreprises technologiques privées et des universitaires, a mis en lumière les progrès impressionnants réalisés dans les technologies de l’IA, telles que les modèles météorologiques basés sur l’IA reposant sur des réseaux neuronaux en graphes ou des transformateurs. Ces technologies ont démontré des capacités qui défient, et à certains égards surpassent, certains des meilleurs modèles de PNT. Bien que le secteur privé dispose d’une grande expertise en matière d’IA et d’un accès supérieur au matériel informatique requis, il a été reconnu qu’il devait accéder aux données des centres météorologiques et collaborer avec les experts du domaine.

Enfin, un atelier interne a été organisé pour présenter une vue d’ensemble des activités en cours liées à l’IA ainsi que pour réfléchir et discuter des observations externes recueillies jusqu’à présent. Ces discussions ont mis en évidence :

Sur la base de ces discussions, une équipe d’experts interdisciplinaire a été constituée, réunissant les talents des divisions concernées en R-D-O et englobant tous les domaines scientifiques, y compris les disciplines atmosphériques, océaniques et de la surface terrestre, ainsi que les technologies de l’information (TI). Cette équipe a été chargée d’élaborer la présente feuille de route sur l’IA, afin de favoriser l’intégration de cette technologie dans l’ensemble de la chaîne de production des prévisions allant de la minute aux saisons.

Objectifs de la feuille de route

Perspective d’intégration globale de l’IA

Le premier exercice pour établir une feuille de route en matière d’IA consiste à dégager une vue d’ensemble élaborée de la manière dont l’IA peut être intégrée dans le flux de travail et la chaîne de production de R-D-O pour les prévisions météorologiques et environnementales. Il s’agit notamment d’adapter les approches d’IA aux systèmes existants, de développer de nouveaux outils basés sur l’IA pour améliorer la précision des prévisions et de fusionner en toute fluidité les technologies d’IA avec les approches conventionnelles pour les prévisions météorologiques et environnementales. Ces travaux visent en outre à cerner les activités, les défis et les domaines où l’IA pourrait s’avérer transformatrice, en veillant à ce que chaque étape, de la R&D jusqu’au déploiement opérationnel, soit rigoureusement exécutée afin de tirer pleinement profit des innovations en IA.

Dresser la liste des activités potentielles et les classer par ordre de priorité

L’examen vise à présenter les domaines clés dans lesquels l’IA peut être exploitée, notamment l’assimilation de données, les prévisions numériques basées sur la modélisation, le post-traitement, ainsi que les systèmes de prévisions d’ensembles. Il vise également à proposer des priorités pour guider les projets à venir en fonction de leur faisabilité, de leurs retombées sur les services et des économies en ressources informatiques.

Calendrier avec jalons

Un calendrier ponctué d’étapes critiques est proposé pour l’intégration de l’IA. Ce calendrier est destiné à guider ECCC dans la réalisation de ses objectifs à court et à long terme. Le rythme rapide de l’évolution de la technologie de l’IA est reconnu.

Ressources nécessaires

Une analyse générale des ressources nécessaires pour atteindre les objectifs d’intégration de l’IA est également incluse, et une attention particulière est accordée au besoin de matériel informatique spécialisé pour l’IA tel que les unités de traitement graphique (GPU), les logiciels et l’infrastructure de données. Cette analyse porte en outre sur l’expertise humaine nécessaire pour réaliser les initiatives en matière d’IA et sur le personnel supplémentaire requis pour soutenir les nouvelles activités de R&D liées à l’IA.

Collaborations et partenariats

Les premières réflexions sur la mise en œuvre soulignent l’importance d’établir des partenariats stratégiques avec des établissements universitaires, des entreprises du domaine de l’IA et d’autres centres météorologiques. L’objectif de ces partenariats est de partager les connaissances, les ressources et les pratiques exemplaires, favorisant ainsi un environnement d’innovation et de progrès partagés.

Communication

Un plan est présenté pour maintenir la mobilisation interne et externe, grâce notamment à une stratégie de communication pour gérer efficacement le changement. Le plan de communication a également pour objectif de tenir le personnel de l’organisation informé du processus d’intégration de l’IA, notamment en partageant les réussites et les défis.

Intégrer l’IA dans notre vision organisationnelle

ECCC s’engage à explorer et à intégrer progressivement l’IA, en veillant à ce que son application ajoute de la valeur à ses procédés de prévision. Cette vision se concrétisera en adoptant un état d’esprit axé sur la résolution de problèmes et en ciblant systématiquement les domaines susceptibles d’améliorer considérablement les services grâce à l’application des capacités de l’IA.

Notre organisation s’est engagée à promouvoir le libre accès aux données, aux logiciels et aux algorithmes, un aspect essentiel pour encourager la collaboration, garantir la transparence et faciliter la reproductibilité des études scientifiques, qui sont les pierres angulaires de la confiance du public et du progrès scientifique.

Dans le cadre de l’intégration des technologies de l’IA, ECCC accorde une importance capitale aux considérations éthiques et à la transparence. L’objectif premier de notre feuille de route est d’améliorer les services rendus à notre société tout en atténuant les risques associés à l’IA. L’intégration de l’IA devrait apporter des avantages sous la forme d’économie de ressources informatiques et d’énergie. À chaque étape, l’organisation doit suivre les recommandations du gouvernement, en veillant à ce que l’adoption de ces technologies soit conforme aux valeurs du gouvernement en matière de services publics et de responsabilité.

Considérations stratégiques et priorités clés

En intégrant l’IA, ECCC cherche à renforcer sa capacité à s’occuper des principales priorités et à améliorer les méthodologies et les outils utilisés dans la chaîne de production des prévisions météorologiques et environnementales. Parmi les priorités d’intégration de l’IA, notons 1) l’amélioration de l’assimilation de données et de la modélisation, notamment grâce à des approches hybrides combinant des méthodes numériques et l’apprentissage automatique, 2) l’accélération de la transition vers une approche de prévisions entièrement fondées sur des ensembles à toutes les échelles et 3) l’amélioration des prévisions à très court terme grâce à la prévision immédiate et aux systèmes de prévision numérique à cycle rapide. Tout en gardant ces objectifs à l’esprit, les éléments suivants seront pris en considération :

Stratégie d’établissement de l’ordre des priorités de l’IA

Pour intégrer l’IA dans le flux de travail de R-D-O, la stratégie d’établissement de l’ordre des priorités met en balance trois facteurs centraux :

  1. Degré de faisabilité
  2. Valeur ajoutée dans les services
  3. Valeur ajoutée relativement aux coûts et à l’énergie

Faisabilité et expertise

Nous évaluerons le degré d’évolution des algorithmes et des environnements informatiques nécessaires en nous assurant qu’ils correspondent à nos capacités actuelles et à notre potentiel. L’étape consistant à favoriser l’expertise commencera par l’expérimentation des technologies d’IA actuellement disponibles, ce qui permettra d’approfondir notre savoir-faire en l’adaptant à nos besoins. La disponibilité et la qualité des ensembles de données pour l’entraînement et la validation de nos modèles d’IA seront prises en considération pour garantir la robustesse et la fiabilité des systèmes d’inférence. Les compétences en matière d’IA seront évaluées au sein de l’organisation afin de donner la priorité à la formation, au mentorat et au recrutement, dans la mesure du possible, pour combler les lacunes en matière d’expertise.

Potentiel de valeur ajoutée dans les services

Le principal moteur de nos efforts d’intégration de l’IA est l’amélioration des prévisions ainsi que de nos produits et services météorologiques et environnementaux, dans le but d’offrir une plus grande précision et une plus grande fiabilité à nos utilisateurs et aux autres intervenants.

Avantages potentiels relativement aux coûts et à l’énergie

La prise en compte des répercussions économiques et environnementales est une composante essentielle de la stratégie. ECCC s’efforcera de limiter les coûts de calcul et la consommation d’énergie de ses systèmes de prévision afin de rendre ses opérations plus durables et rentables, tout en continuant à fournir des informations de haute qualité pour les activités essentielles à la mission de l’ensemble du gouvernement.

En outre, pour accélérer l’expérimentation et la familiarisation avec l’IA, ECCC donnera la priorité aux technologies qui sont déjà disponibles pour notre domaine d’application afin d’assurer une intégration rapide de l’IA dans notre flux de travail. Certains de ces outils ont déjà été conçus par des organisations externes, et notre objectif est d’exploiter ces systèmes existants et d’en tirer des enseignements. Par exemple, à l’automne 2023, nos météorologues et scientifiques ont commencé à installer, à valider et à évaluer des modèles météorologiques fondés sur des données en libre accès, tels que GraphCast (de Google-Deepmind) et FourCastNet (de Nvidia). Cette expérimentation cadre avec les pratiques d’autres grands centres de PNT.

Compte tenu de la nature dynamique de l’IA et de l’évolution du contexte des prévisions météorologiques et environnementales, nous admettons que plusieurs paramètres de la stratégie d’établissement de l’ordre des priorités proposée restent inconnus. Il est donc nécessaire d’adopter une approche souple, dans laquelle l’ordre de priorité des activités sera revu et ajusté périodiquement, à mesure que l’organisation s’engagera plus avant dans diverses activités d’IA. L’approche proposée se veut donc fluide, adaptable et réactive aux nouvelles connaissances et aux avancées technologiques, ce qui garantit que nos opérations demeurent à la pointe des services météorologiques et environnementaux.

Intégration de l’IA dans notre chaîne de production

La présente section passe en revue la chaîne de production des prévisions numériques météorologiques et environnementales (PNME) et donne un aperçu des domaines dans lesquels ECCC estime que des améliorations peuvent être apportées par l’intégration de l’IA. En outre, des recommandations sont formulées sur la manière dont les transferts technologiques dans la chaîne R-D-O devraient être effectués dans le contexte de l’intégration de l’IA.

Observations et assimilation de données (AD)

Les observations de la Terre sont essentielles à la précision des PNME et à leur amélioration. Elles permettent de déterminer les conditions initiales des modèles de prévision et fournissent par la suite des variables de référence pour estimer l’erreur des prévisions. L’intégration de l’IA dans la chaîne de production des PNME ne diminuera pas notre dépendance sur la quantité et la qualité des observations de la Terre. L’IA pourrait toutefois jouer un rôle important dans l’amélioration du contrôle de la qualité des observations et de l’estimation de leurs erreurs, ainsi que dans l’estimation de certains paramètres clés qui ne sont pas directement observés par les instruments.

L’assimilation de données, qui consiste à estimer l’état de l’atmosphère ou de l’environnement à un moment donné en combinant les observations et les prévisions numériques récentes, présente de nombreuses similitudes avec les approches avancées de l’IA d’aujourd’hui.

Par conséquent, la voie optimale semble être d’intégrer des approches d’IA dans les algorithmes actuels et futurs d’assimilation de données. En ce qui concerne les observations, outre les avantages précédemment énumérés, l’IA pourrait contribuer à accélérer, à améliorer ou à permettre la création de nouveaux opérateurs d’observation (la composante qui relie les paramètres observés aux paramètres du modèle et qui est essentielle pour l’assimilation de chaque observation). En ce qui concerne l’estimation de l’incertitude des prévisions obtenue à partir des prévisions d’ensemble (un autre élément clé de l’assimilation de données), de nouvelles approches de modélisation moins coûteuses en calculs nous permettraient de créer de plus grands ensembles et donc de réduire le bruit dans les estimations des erreurs de prévision. S’il devient possible d’augmenter la taille de l’ensemble de plusieurs ordres de grandeur, cela faciliterait l’adoption de méthodes non conventionnelles d’assimilation de données, telles que le filtre de particules, qui sont mieux adaptées aux modèles non linéaires et non gaussiens.

D’autre part, les algorithmes actuels et futurs d’assimilation de données rencontreront des difficultés à traiter efficacement des ensembles de taille beaucoup plus importante. Il est donc essentiel d’investir dans l’optimisation du code de ces algorithmes. L’essor de l’IA est facilité par de nouvelles architectures informatiques qui accélèrent les opérations sur les matrices, telles que les unités de traitement graphique (GPU). L’assimilation de données repose aussi fortement sur des opérations matricielles et devrait bénéficier de l’exécution d’une partie de ses calculs sur des GPU plutôt que sur des unités centrales (CPU). Grâce à des algorithmes d’assimilation de données adaptés à la plateforme hybride unité CPU-GPU, ECCC sera mieux outillé pour gérer les demandes de calcul croissantes des modèles numériques avancés et le volume de plus en plus important de données d’observation.

Enfin, l’assimilation de données a été principalement utilisée jusqu’à présent pour créer uniquement les conditions initiales des modèles numériques, mais cette technologie pourrait être élargie pour mettre à jour les équations des modèles numériques à partir du contenu des informations d’observation (ce que l’on appelle l’estimation des paramètres). Par conséquent, l’assimilation de données permettrait des ajustements du modèle ou des paramétrisations à partir des observations en temps réel, optimisant ainsi l’approche de modélisation hybride recommandée basée sur l’IA et la physique. Cette approche permettrait également de réduire la nécessité d’effectuer un entraînement hors ligne massif et d’alléger la dépendance envers les données de réanalyse.

Prévisions numériques

Les systèmes de prévision numérique sont au cœur de notre chaîne de production. En permettant de faire évoluer les conditions du système Terre dans le futur, ils fournissent les données nécessaires pour la prestation de services et la transmission d’avis publics, ainsi que d’autres activités essentielles à l’échelle du gouvernement. C’est dans ce domaine que l’on constate les progrès récents et très médiatisés des modèles de prévision basés sur l’IA, qui montrent que les modèles d’IA actuellement disponibles, avec quelques réserves, atteignent ou dépassent la qualité des modèles basés sur la physique à des résolutions similaires, et ce, en une fraction du temps de calcul et de la consommation énergétique nécessaire. Le mandat d’ECCC, qui consiste à fournir le meilleur service possible aux Canadiens, exige que nous explorions ces systèmes de prévision fondés sur l’IA et que nous les intégrions dans la chaîne de production à mesure que leur utilité est démontrée.

Actuellement, et jusqu’à ce qu’un système d’IA puisse offrir les avantages, la précision et la fiabilité des modèles actuels basés sur la physique, ces derniers resteront au cœur de nos systèmes de prévision. Pendant cette période de transition, des recherches seront nécessaires pour pallier aux différentes limites des modèles d’IA sans compromettre le coût ou la qualité des prévisions. Il est donc conseillé de faire preuve de prudence au fil de l’intégration de l’IA dans les prévisions opérationnelles, au moins jusqu’à ce qu’elle atteigne un niveau de précision et de fiabilité comparable à celui des modèles basés sur la physique. Les systèmes fondés sur l’IA reposent sur des bases différentes de celles des systèmes de prévision numérique conventionnels, de sorte que nous devrons adapter nos approches d’analyse et d’évaluation des performances. En ce sens, nous devrons également adapter notre système de vérification des prévisions numériques. Dans un premier temps, nous mettrons l’emphase sur les systèmes d’IA qui adopte une approche de code source ouvert au fur et à mesure qu’ils sont rendus public, ce qui permettra d’atteindre les buts suivants :

Ensuite, ECCC a l’intention d’adapter les systèmes d’IA publiés pour répondre à ses besoins opérationnels. Cela se fera dans le cadre d’un affinement par lequel un modèle publié et entraîné est réentraîné avec nos propres données sans devoir répéter le processus d’entraînement « à partir de zéro ». Cet affinement nous permettra de corriger les différences systématiques entre nos systèmes de prévision et ceux utilisés pour entraîner les modèles publiés dans l’intention d’utiliser les modèles affinés pour améliorer nos systèmes de prévision d’ensemble et d’assimilation de données. Parallèlement, des recherches sur les approches hybrides qui intègrent de manière élégante les méthodes numériques et scientifiques d’apprentissage automatique seront entreprises. L’objectif consistera à exploiter toutes les informations disponibles provenant des données et des connaissances scientifiques afin de garantir une précision et des performances optimales sur des architectures informatiques de pointe.

Par ailleurs, des possibilités de recherche sur les paramétrages physiques pourraient être examinées dans le futur. Par exemple, l’apprentissage machine pourrait optimiser des schémas existants, émuler de paramétrages individuels ou améliorer la précision et l’efficacité des prévisions tout en réduisant les coûts de calcul.

Dans un premier temps, les ressources humaines et informatiques nécessaires seront peu importantes. Toutefois, on s’attend à ce que la demande de ces ressources augmente au fil du temps, en particulier à mesure que l’IA s’intègre davantage dans la recherche et le développement.

Pour conclure cette section, il convient de mentionner que l’application de l’IA aux prévisions météorologiques et environnementales a fait l’objet de nombreuses publications scientifiques et d’attention médiatique au cours des derniers mois. C’est pourquoi cet aspect du système terrestre fait actuellement l’objet d’efforts considérables en matière de recherche et de développement. L’intégration de l’IA dans les autres composantes des prévisions environnementales est néanmoins importante et ces travaux continueront à progresser au fur et à mesure que la recherche dans ces domaines avancera.

Possibilités de post-traitement et de produits spécialisés

Le post-traitement consiste généralement à effectuer des actions posées après la production de résultats de prévisions numériques pour corriger les biais systématiques ou pour générer des variables diagnostiques supplémentaires non incluses dans l’étape de prévision. Traditionnellement, les techniques de post-traitement étaient fondées sur de simples régressions linéaires multiples et des arbres de décision de complexité limitée. Avec l’avènement de l’IA, de nouvelles techniques prometteuses s’offrent désormais pour augmenter considérablement la résolution des prévisions (mise à l’échelle), pour corriger les erreurs de prévision (étalonnage statistique) en fonction du régime météorologique, pour générer ou augmenter le nombre de membres de l’ensemble afin d’améliorer l’estimation de l’incertitude des prévisions, ou pour générer des diagnostics complexes pour les événements à fort impact.

Des corrections d’erreur systématique pour des lieux spécifiques utilisant des techniques d’IA sont actuellement envisagées pour réduire les biais et la variance des prévisions numériques météorologiques et environnementales brutes. Des applications similaires sur grille pourraient encore améliorer les produits et les services si des investissements supplémentaires étaient consentis dans les ressources humaines et la formation.

Des approches de mise à l’échelle à l’aide de l’IA ont été développées avec succès dans différentes organisations. Elles peuvent être utilisées, par exemple, pour augmenter la résolution des membres des ensembles, améliorant ainsi la précision des prévisions probabilistes. La mise à l’échelle pourrait également être utilisée pour augmenter la résolution de tous les systèmes en interne jusqu’à la résolution du Système à Haute Résolution de Prévision Déterministe (SHRPD; ayant des points de grille espacés de 2,5 km) ou à une plus grande précision encore. Les travaux ont commencé à l’interne et, si les ressources sont suffisantes, la mise à l’échelle pourrait offrir des gains importants, notamment en réduisant la quantité de ressources de calcul nécessaires pour obtenir une résolution élevée pour nos services météorologiques.

La prévision immédiate peut être considérée comme un type particulier d’activité de post-traitement qui intègre également les observations comme des données d’entrée. Les techniques classiques de prévision immédiate basées sur l’extrapolation des données radar donnent généralement de meilleurs résultats que les prévisions météorologiques numériques pour les quelques premières heures des prévisions. Le rythme de développement des prévisions immédiates basées sur l’IA est stupéfiant et a permis de passer de prévisions de fortes précipitations floues et irréalistes à des prévisions d’ensemble à haute résolution, très réalistes et précises jusqu’à un horizon de trois heures. Ces progrès permettent maintenant de prévoir la température, l’humidité, le vent et les précipitations près de la surface à 24 heures d’échéance avec une précision supérieure (tant pour les prévisions déterministes et les prévisions d’ensembles) que les prévisions numériques dans les 12 à 18 premières heures. De plus, ces technologies permettent de produire des prévisions actualisées à toutes les minutes à haute résolution spatiale. Les prévisions immédiates basées sur l’IA bouleversent donc les prévisions à mise à jour rapide, et il y a des avantages évidents à intégrer et à évaluer ces innovations dans notre chaîne de production.

Les principales variables produites par les systèmes de PNME n’incluent souvent pas toutes les variables intéressantes du point de vue de la prestation de services. D’autres éléments météorologiques tels que la foudre, la grêle, les tornades, la poudrerie, le brouillard et la visibilité doivent être dérivés à l’aide de diagnostics basés sur la physique ou des approches semi-empiriques. En fait, les arbres de décision d’ensemble, une technique d’apprentissage automatique plus rudimentaire, sont déjà mis en œuvre dans les systèmes opérationnels de post-traitement d’ECCC et permettent de produire divers diagnostics des événements météorologiques à fort impact. L’un des défis qui se posent pour cette utilisation précise de l’apprentissage automatique est que ces phénomènes sont souvent rares et peu observés, ce qui limite la quantité de données disponibles. Ce manque de données disponibles pourrait être partiellement compensé par l’application de techniques d’IA pour améliorer la détection des conditions météorologiques et autres conditions environnementales à fort impact à partir de la télédétection.

La dernière étape consiste à traduire les prévisions météorologiques en répercussions sur la société, un sujet sur lequel l’IA pourrait apporter une aide dans l’élaboration de cartes de vigilance et de produits spécialisés sur les impacts météorologiques et environnementaux.

Ensembles de données

Les données adaptées à l’IA (cubes de données) devraient être rendues disponibles à des fins de formation, de développement de modèles, d’essai et de validation. Actuellement, les données nécessaires à ces applications sont fournies par d’autres centres, comme l’ensemble de données de réanalyse ERA du Centre Européen pour les Prévisions Météorologiques à Moyen Terme (CEPMMT). ECCC devra évaluer sa capacité et la valeur associée à investir dans la production de données pour ses activités précises de recherche et de développement liées à l’IA.

Parallèlement, les cubes de données des systèmes opérationnels des PNME d’ECCC pourraient être nécessaires pour diverses activités d’IA. Ces ensembles de données canadiens doivent donc être facilement accessibles et faire l’objet d’un contrôle de qualité pour ces applications.

Il convient de noter que la gestion de ces ensembles de données liées à l’IA nécessitera une infrastructure de données appropriée, qui est examinée plus loin dans le présent document.

Facteurs à prendre en compte pour le transfert de technologie

Dans le paysage en évolution rapide de la science de la prévision, où l’IA sera de plus en plus intégrée aux opérations, le processus de transfert technologique doit faire l’objet d’une attention particulière. Il est essentiel de veiller à ce que la qualité des prévisions reste la priorité absolue, ce qui nécessite un processus d’approbation opérationnel à la fois robuste et flexible. Le processus conventionnel d’opérationnalisation des éléments de la chaîne de production peut nécessiter des ajustements pour s’adapter aux défis et aux capacités particulières des technologies de l’IA.

Bien qu’il soit prématuré à ce stade de décider du cadre d’IA à utiliser, il est recommandé aux chercheurs et aux développeurs de projets d’IA à l’interne d’être transparents et ouverts relativement à leurs projets afin que les méthodes et les logiciels puissent être réutilisés et améliorés d’un projet à l’autre. Cela permettra de définir des normes de mise en œuvre applicables pour tous les systèmes d’IA afin qu’ils puissent être transférés de manière fluide aux opérations. L’environnement informatique dans lequel ces systèmes d’IA fonctionnent doit être adapté et normalisé pour répondre à leurs exigences particulières. Étant donné que ces méthodes s’appuient fortement sur des approches statistiques, elles nécessitent un traitement intensif de données et des périodes importantes pour l’entraînement et le développement des modèles. Ainsi, la mise en œuvre d’une approche moderne de la gestion de leur cycle de vie, appelée « opérations d’apprentissage machine » (OAM (en anglais, « MLOps »)), devient ainsi cruciale. Cette approche devrait permettre de rationaliser le déploiement et la maintenance des systèmes d’IA, en garantissant leur fiabilité et leur efficacité.

En outre, les équipes des opérations devraient être formées pour répondre rapidement et efficacement aux problèmes liés aux composantes d’IA. Pour ce faire, il faudra adopter une approche bien structurée du transfert technologique et mettre en place un plan d’urgence pour permettre à ces systèmes de fonctionner sans heurts dans un environnement opérationnel. En outre, il est essentiel que les équipes de R&D puissent apporter leur soutien de manière transparente et rapide. Cette étroite collaboration entre les groupes de R&D et les groupes opérationnels est essentielle à l’intégration réussie et à la maintenance continue des systèmes de prévision assistés par l’IA.

Pour conclure cette section sur l’intégration de l’IA dans notre flux de travail et notre chaîne de production de R-D-O, nous présentons en annexe le résultat d’un exercice de catégorisation et de priorisation des activités thématiques d’IA proposées dans l’ensemble de la chaîne de production et des domaines d’application.

Infrastructure

Infrastructure de calcul

L’infrastructure de CHP actuelle répond aux exigences de la modélisation basée sur la physique, des calculs massivement parallèles des unités centrales et de l’interconnexion à haute performance. Il y aura toujours un besoin pour des composantes basées sur la physique (code non produit par IA, production de données d’entraînement, analyses et réanalyses, vérification, etc.), mais leur présence opérationnelle pourrait éventuellement être plus faible que celle qui est nécessaire pour nos activités actuelles.

Les approches de l’IA nécessitent une infrastructure différente, à savoir une infrastructure basée sur des accélérateurs d’IA. Dans ce nouveau paradigme, le traitement lourd pourrait être déplacé de la prévision (opérations) vers l’entraînement (développement), ce qui réduirait considérablement les besoins opérationnels. L’entraînement pourrait être effectué sur une infrastructure différente, non hautement disponible, ce qui réduirait considérablement le coût de soutien de la plateforme. En outre, les processus d’entraînement étant par nature peu fréquents et dispersés dans le temps, les solutions d’infonuagiques pourraient constituer une alternative, même si les éventuels problèmes liés au stockage, à l’hébergement et à la disponibilité des données devront être résolus ou pris en compte.

En 2022, ECCC a acquis plusieurs nœuds de GPU pour nos super-ordinateurs, ce qui devrait être suffisant pour assurer le travail initial qui consiste à :

Toutefois, il est peu probable que les ressources actuelles soient suffisantes pour le développement intensif de l’apprentissage automatique. Par exemple, Google-Deepmind a utilisé 32 mois-accélérateur lors de son dernier cycle d’entraînement de GraphCast et a sans aucun doute dépensé des ressources informatiques supplémentaires considérables pour explorer les choix d’architecture du modèle. Ce niveau d’engagement serait impossible avec les ressources actuelles en GPU, ce qui limiterait notre capacité à mener des recherches novatrices à grande échelle à court terme.

En outre, plus le nombre de projets exploitant l’apprentissage automatique et les calculs par GPU s’accroîtra, plus l’utilisation de nos ressources de GPU devrait naturellement augmenter. Actuellement, les GPU sont généralement accessibles pour les travaux de R&D mais, au fur et à mesure que l’organisation progressera dans le renouvellement de sa capacité de CHP (d’ici 2028), la concurrence pour l’accès à ces ressources est susceptible d’augmenter.

L’une des possibilités pour alléger cette pression pourrait consister à migrer les tâches de développement à un stade précoce vers une infrastructure infonuagique. À ce stade, les chercheurs et les développeurs ont besoin d’un accès rapide aux ressources en GPU pour écrire, évaluer et déboguer les codes, mais ils n’effectuent pas encore de grands cycles d’entraînement. L’infonuagique pourrait désengorger nos ressources internes en GPU, ce qui nous permettrait d’utiliser plus efficacement les super-ordinateurs à des fins opérationnelles et pour des cycles d’entraînement planifiés.

Il est très difficile à l’heure actuelle d’évaluer les besoins pour les trois à cinq prochaines années. Une analyse complète sera nécessaire dans les mises à jour ultérieures du présent document, au fur et à mesure que les projets prendront de l’ampleur. Les exigences pour le prochain remplacement de la capacité de CHP sont déjà en cours d’élaboration, au moment même de la rédaction du présent document, ce qui nécessitera qu’ECCC se montre flexible pour tenir compte de ces besoins qui évoluent rapidement.

Des efforts sont actuellement déployés pour migrer les codes des approches basées sur la physique vers une architecture de GPU afin de bénéficier de performances et d’une efficacité énergétique accrues. Malgré cette évolution vers les GPU, il est probable que les futurs systèmes soient composés de nœuds hétérogènes.

Infrastructure logicielle

Outre l’infrastructure de CHP « matérielle », l’écosystème logiciel est très différent entre les flux de travail d’IA et ceux des systèmes classiques de CHP. Les projets universitaires et commerciaux d’apprentissage automatique sont généralement développés dans l’hypothèse d’une flexibilité logicielle quasi illimitée, où un projet ou ses développeurs peuvent installer ou mettre à jour des pilotes, des librairies et des logiciels en fonction des besoins. Différents projets d’apprentissage automatique peuvent nécessiter des logiciels ou des versions incompatibles.

En revanche, les solutions classiques de CHP supposent un environnement stable et bien testé, avec des mises à jour logicielles rares, appliquées à l’ensemble du système et mises en œuvre uniquement par des administrateurs de système professionnels plutôt que par des utilisateurs ou des développeurs individuels.

Les projets d’IA répondent à ce besoin de flexibilité grâce à des environnements en conteneur, qui permettent aux utilisateurs de disposer de leur propre « système virtuel » tout en ayant un accès quasi direct aux ressources des unités centrales, des GPU et du réseau. Pour rester à la pointe de l’IA, il faudra se doter d’un support de premier ordre pour les environnements en conteneur sur nos systèmes de super-ordinateurs.

Les travaux ont déjà progressé vers la création de ces environnements normalisés grâce aux efforts de développement du CPMEC, en fournissant des outils de création et de versionnage d’environnements Python, en explorant le déploiement conteneurisé de technologies d’outils d’IA et en mettant à l’essai une infrastructure interne semblable à l’infonuagique, mise en œuvre par Services partagés Canada (SPC). Des documents sont également produits pour fournir une documentation claire et une formation à nos employés sur ces nouvelles approches.

Infrastructure de données

L’entraînement de l’IA nécessite de grands volumes de données, ce dont dispose ECCC, mais l’infrastructure d’archivage actuelle n’offre pas l’accès simple et efficace nécessaire pour alimenter efficacement les algorithmes d’IA. Ces archives sont également pour un usage interne et ne sont donc pas accessibles pour le moment à des partenaires pour favoriser les collaborations. De plus, les différents formats de données utilisés dans notre chaîne de production sont soit exclusifs, soit inadaptés à une intégration aisée dans un flux de travail d’IA.

Il importe d’adopter une approche frontale plus agile, adaptée à l’IA (cubes de données) et un accès ouvert pour les collaborations externes dans des formats et par des protocoles interopérables normalisés. Il sera par ailleurs important de définir les exigences relatives à la transition du système d’archivage actuel vers une plateforme de données accessible de l’extérieur. Il peut s’agir du modèle actuellement utilisé par le système Meteorological Archival and Retrieval System (MARS) du CEPMMT. La possibilité de tirer parti de la plateforme GeoMet du Service météorologique du Canada (SMC) ou des projets de bassins d’informations pour fournir des interfaces normalisées de programmation d’applications (API) frontales d’accès aux données devrait également être étudiée.

Nos ressources humaines

L’engagement d’ECCC envers l’intégration de l’IA va au-delà de la technologie et de l’innovation pour englober le bien-être et le perfectionnement de nos employés. Nous souhaitons notamment investir dans notre personnel et recruter de nouveaux spécialistes dans les domaines nécessaires au développement et à l’intégration des technologies de l’IA. L’organisation s’engage à fournir aux employés la formation, le mentorat et les ressources nécessaires pour s’épanouir dans cet environnement en évolution rapide. Notre volonté d’agir en toute transparence et éthique dans la prise de décision reste une valeur fondamentale, et ECCC s’engage à respecter les normes les plus élevées à cet égard. En plaçant les employés au centre de nos efforts d’intégration de l’IA et en favorisant une culture d’apprentissage et de collaboration continus, l’organisation a confiance en sa capacité d’exploiter la puissance de l’IA pour améliorer ses services, faire progresser les connaissances scientifiques, mieux servir notre société et créer un lieu de travail prospère.

Ressources humaines

La pierre angulaire de nos efforts d’intégration de l’IA réside dans le renforcement de notre expertise en matière d’IA. Il convient de noter qu’il existe un marché concurrentiel, en particulier dans le secteur privé, pour le personnel qualifié dans le domaine de l’IA. Par conséquent, l’on entrevoit des difficultés de recrutement et de maintien en fonction du personnel. Cependant, il est impératif de surmonter ces défis pour que l’organisation progresse. Des solutions originales seront explorées pour attirer et embaucher des spécialistes en IA qui peuvent contribuer de manière significative à notre mission. La participation d’ECCC aux événements universitaires sur les carrières se poursuivra, en tirant parti de l’attrait et de l’importance de la cause environnementale auprès des étudiants. En outre, le plan prévoit d’accroître notre visibilité en organisant des hackathons, comme le METEOHACK d’ECCC de 2019.

Réaffectation des ressources

ECCC reconnaît l’importance de prioriser et réaffecter efficacement des ressources pour soutenir l’intégration de l’IA dans notre chaîne de production. En optimisant l’utilisation des ressources disponibles, l’organisation peut réaliser des progrès substantiels dans l’intégration de l’IA. Les décisions importantes à ce sujet seront prises conjointement par les parties concernées au cours de la mise en œuvre de la présente feuille de route, afin de garantir que l’établissement des priorités et la réaffectation des ressources permettent un rythme d’innovation opportun et la poursuite de l’exécution de notre mandat, tout en équilibrant la gestion du changement.

Formation

L’intégration de l’IA dans notre chaîne de production nécessitera que l’expertise en matière d’IA fasse partie intégrante de la formation des scientifiques et du personnel informatique déjà en place. L’intégration de l’IA dépendra donc de l’élaboration d’un programme de formation complet; à moyen terme, nous souhaitons qu’une proportion significative des travailleurs acquière un niveau de compétence de base dans le développement et l’analyse des systèmes d’IA. Des possibilités de formation avancée pourraient être offertes aux employés participant de près aux activités d’IA, afin de s’assurer qu’ils possèdent les compétences spécialisées requises pour leur rôle. L’organisation reconnaît également l’importance d’une rétroaction en continu de la part des employés afin d’adapter le programme de formation à l’évolution de leurs besoins.

Les partenariats avec les universités et le secteur privé devront être renforcés, car ils devraient être considérés comme une occasion de formation harmonisée aux objectifs de collaboration et de recherche et développement.

Mentorat

En plus de son programme de formation, ECCC comprend la valeur du mentorat pour favoriser la croissance et le développement des membres de son équipe dans le monde de l’IA. L’organisation pourrait suggérer la création d’une équipe de mentorat composée de praticiens expérimentés en matière d’IA, qui fourniraient des conseils et un soutien aux employés lorsqu’ils évolueront dans les complexités de l’intégration de l’IA. Ce mentorat faciliterait le transfert de connaissances, le partage des pratiques exemplaires et créerait un environnement favorable à l’apprentissage et au perfectionnement professionnel. En associant des mentors expérimentés à des personnes cherchant à développer leur expertise en matière d’IA, ECCC vise à accélérer l’acquisition de compétences et à s’assurer que nos efforts d’intégration de l’IA bénéficient de la sagesse et de l’expérience collectives de notre équipe. Notons par ailleurs que l’échange de connaissances se fait dans les deux sens entre les spécialistes de l’IA et nos experts des domaines de la météorologie et de l’environnement.

Collaborations et partenariats

La mise en place de collaborations et de partenariats solides dans différents secteurs est essentielle à notre réussite. Ces collaborations avec des organismes intra-gouvernementaux, des centres internationaux, en passant par les universités et les entreprises privées, contribuent à la mise en commun des ressources et au partage de l’expertise et des données. Elles sont l’occasion non seulement d’améliorer la précision des prévisions, mais aussi d’innover et de repousser les limites de ce qui est actuellement possible. Toutefois, l’établissement de ces partenariats n’est pas difficulté, car il faut tenir compte de considérations logistiques, stratégiques et éthiques.

Collaboration intra-gouvernementale

Les collaborations intra-gouvernementales requièrent un travail concerté de divers partenaires gouvernementaux, Services partagés Canada étant l’un d’entre eux. Ces partenariats sont essentiels pour rationaliser notre travail et améliorer l’utilisation des ressources, ce qui profite directement à nos efforts d’amélioration de nos produits et services. Cependant, ils sont souvent associés à des difficultés de coordination et d’harmonisation des stratégies entre les différents ministères, chacun ayant son propre mandat et ses propres objectifs.

Services météorologiques et hydrologiques nationaux (SMHN)

La collaboration avec d’autres SMHN apparaît essentielle, entre autres, pour le partage des connaissances et des expériences en matière d’intégration de l’IA. Le partage des tâches de formation à l’IA et des données d’expérimentation serait également précieux. Si ces partenariats offrent des avantages substantiels de partage des connaissances et des ressources, ils posent également des défis, tels que l’établissement d’accords efficaces de partage des données et l’intégration de diverses méthodologies.

Collaboration universitaire

Les partenariats avec les établissements universitaires offrent un accès à la recherche de pointe et des possibilités de projets conjoints, favorisant l’innovation dans l’application de l’IA et comblant le fossé entre l’expertise de l’IA et les prévisions météorologiques et environnementales. Les principaux défis consistent à aligner les objectifs de la recherche universitaire sur les applications pratiques des prévisions et à coordonner les efforts conjoints. Une approche globale de collaboration universitaire permettrait de maximiser l’efficacité avec ce partenaire important.

Collaboration avec des entreprises privées

La collaboration avec le secteur privé offre la possibilité d’introduire des technologies innovantes et de nouvelles approches de l’IA dans les prévisions. Toutefois, ce type de collaboration se heurte souvent à des problèmes liés à la confidentialité des données, à l’harmonisation des objectifs organisationnels et aux droits de propriété intellectuelle.

Des efforts sont actuellement déployés pour établir de nouveaux partenariats, notamment avec des spécialistes en IA. Des initiatives telles que des réunions et des collaborations entre des entités du secteur universitaire et du secteur privé constituent des étapes cruciales dans ce sens.

Communication

À mesure que l’IA est intégrée dans notre chaîne de production, l’objectif d’ECCC est de favoriser un climat de communication ouverte et de collaboration, tant à l’interne qu’à l’externe. L’organisation vise à instaurer la confiance, à encourager le partage des connaissances et à promouvoir une participation active aux mises à jour et à la mise en œuvre de notre feuille de route en matière d’IA. Notre stratégie comprend :

Le plan prévoit divers canaux de communication internes pour faire connaître ces occasions à un large public. Ces canaux seront utilisés pour annoncer des événements, partager des mises à jour et diffuser des informations importantes. L’efficacité de ces initiatives sera évaluée au moyen de sondages de satisfaction, d’un suivi de la fréquentation et d’une analyse de la mobilisation. Les idées et les enseignements seront partagés à l’échelle de l’organisation, et la feuille de route sera mise à jour sur la base des commentaires et des nouvelles idées générées par ces interactions.

Étapes et calendrier

Malgré les nombreux impondérables et l’évolution rapide du milieu, le calendrier de jalons suivant est proposé pour guider l’organisation dans la transition à venir. Après la publication de cette feuille de route et l’évaluation interne de divers modèles fondés sur des données accessibles au public (étape no1; É1), la prochaine étape consistera à transformer la vision proposée ici en activités de R&D concrètes, avec les ressources et la gouvernance appropriées. Cet exercice devrait être réalisé en même temps que l’examen de nos activités traditionnelles et de l’évaluation de l’infrastructure de CHP nécessaire pour la prochaine mise à niveau des ordinateurs (É2). Une formation personnalisée à l’IA de niveau débutant devrait être proposée aux membres du personnel intéressés d’ici la mi-2024, et un groupe de praticiens de l’IA devrait être constitué en parallèle (É3) pour soutenir les activités de R&D. Comme nous l’avons indiqué précédemment, la feuille de route nécessitera des mises à jour fréquentes. La première révision est proposée après un an, à l’automne 2024 (É4). Compte tenu des progrès rapides des technologies de l’IA, les étapes au-delà de 2025 sont estimées sur la base des connaissances actuelles puis adaptées en fonction des progrès réalisés dans le domaine.

Afin de partager et de réfléchir aux progrès réalisés au sein et en dehors de l’organisation, un nouveau forum scientifique sera organisé pour la deuxième révision de la feuille de route en 2025 (É5). Ce sera également l’occasion de recenser les applications approchant la maturité qui pourraient faire partie du prochain grand exercice de transfert technologique (cycle d’innovations 5 ou CI5) prévu pour 2026. Avec l’augmentation progressive attendue des capacités et de l’expertise en matière d’IA au sein de l’organisation, nous nous attendons à ce que le nombre d’applications comportant une composante d’IA augmente rapidement au cours des prochains cycles d’innovation (É6 et É7). D’ici 2030, l’IA devrait simplement être un outil commun utilisé tout au long de notre chaîne de production (É8).

Annex : Cartographie des activités d’IA dans la chaîne de production et les domaines scientifiques

Ce tableau présente les principales activités thématiques d’intelligence artificielle (IA) à chaque étape de la chaîne de production de R-D-O d’ECCC en date de janvier 2024, chaque groupe scientifique se livrant à un exercice de catégorisation. Chaque activité a été évaluée et classée en fonction de son caractère critique, de son statut actuel (déjà entamée ou sur le point de l’être) et de la nécessité éventuelle d’ajouter des ressources humaines. Cette analyse vise à fournir une vue d’ensemble de l’engagement d’ECCC dans le domaine de l’IA, en soulignant les occasions clés à saisir, en déterminant les besoins en ressources humaines et en décrivant les prochaines étapes stratégiques pour maximiser l’efficacité. Il est important de noter que cette évaluation n’est pas définitive et que l’organisation reconnaît que, malgré ses atouts actuels, certaines activités peuvent nécessiter des ressources supplémentaires pour une mise en œuvre optimale. Enfin, chaque application de domaine fournira des informations plus détaillées sur ses activités d’IA respectives dans le plan de mise en œuvre à venir, ce qui permettra de mieux cerner les objectifs, les méthodologies et les résultats escomptés de chaque initiative.

Légende du tableau

A : Atmosphère O : Océan H : Hydrologie S : Surface terrestre Q : Qualité de l’air SS : Subsaisonnier à saisonnier

  1. Critique, déjà entamée ou sur le point de l’être, indépendamment de l’ajout de ressources humaines
  2. Critique, déjà entamée ou sur le point de l’être, mais nécessitant des ressources humaines supplémentaires
  3. Critique, mais nécessite des ressources humaines supplémentaires pour être entamée
  4. Intéressant, mais moins critique
  5. Sans objet
Cartographie des activités d’IA dans la chaîne de production et les domaines scientifiques
Chaîne Activités thématiques A O H S Q SS
Observations Contrôle de la qualité et estimation des erreurs 3 3 4 3 4 4
Observations dérivées 2 4 4 2 1 4
Sources de données non conventionnelles 2 3 5 3 4 4
Assimilation de données Rendre les algorithmes d’assimilation de données compatibles avec les plateformes hybrides unités centrales (CPU)-processeurs graphiques (GPU) 3 3 5 2 4 4
Améliorer les opérateurs d’observation 4 3 5 2 4 4
Améliorer l’estimation des statistiques d’erreurs de prévisions en augmentant la taille des ensembles 3 3 4 4 1 4
Nouvelles approches d’assimilation de données 4 4 4 2 3 3
Estimation des paramètres des modèles ou des paramétrisations basée sur l’IA à partir des observations 3 3 2 4 1 3
Prévisions numériques Optimisation et améliorations des paramétrisations 4 3 4 3 1 4
Paramétrisation ou émulation complète d’un modèle 3 3 4 3 3 3
Installation et validation des nouveaux modèles basés sur l’IA à code source librement accessible 1 3 1 3 3 1
Adaptation des modèles existants basés sur l’IA à nos systèmes de prédiction 1 3 1 3 3 3
Développement d’un modèle basé l’IA 2 3 4 4 3 1
Combinaison d’approches d’apprentissage automatique basées sur l’IA et de modèles basés sur la physique (approche hybride) 3 3 3 3 1 3
Explorer l’utilisation de l’IA pour générer des membres d’ensembles à toutes les échelles 3 3 4 3 1 3
Conception de modèles d’IA explicables (XAI) 4 4 4 3 1 1
Post-traitement Surveillance, diagnostic et prévision des événements météorologiques et environnementaux à fort impact 2 4 4 3 4 4
Correction des erreurs systématiques basés sur des points et des grilles (calibration) 2 4 1 4 4 1
Mise à l’échelle des prévisions de la basse résolution vers la haute résolution 2 3 4 3 4 1
Amélioration des prévisions immédiates basées sur l’extrapolation des observations 3 5 4 5 4 5
Optimisation de la transition entre les prévisions basées sur l’extrapolation des observations et celles basées sur des modèles numériques 1 5 5 5 5 5
Produits spécialisés Cartes des impacts et de vigilance 4 4 4 4 1 4
Produits personnalisés 3 4 4 3 4 4

Détails de la page

Date de modification :