Évaluation de l’utilisation des données comme un actif stratégique au sein du ministère de la Défense nationale et des Forces armées canadiennes
Novembre 2023
1258-3-059 SMA(Svcs Ex)
Revu par le SMA(Svcs Ex) conformément à la Loi sur l’accès à l’information. Renseignements NON CLASSIFIÉS.
Retour à la table des matières
Sommaire
Le présent rapport révèle les résultats de l’évaluation de l’utilisation des données comme un actif stratégique au sein du ministère de la Défense nationale (MDN) et dans les Forces armées canadiennes (FAC). Cette évaluation a été menée au cours de l’année financière (AF) 2022-2023 par le Sous-ministre adjoint (Services d’examen) (SMA[Svcs Ex]) conformément à la Politique sur les résultats du Conseil du Trésor du Canada (CT). L’évaluation portait sur la mesure dans laquelle le MDN et les FAC ont réalisé des progrès en ce qui a trait à l’utilisation de leurs données pour améliorer leur capacité opérationnelle, la prestation de services, l’analyse et la prise de décisions.
Description
Les activités abordées dans le cadre de la présente évaluation ne sont pas définies comme un programme du MDN et des FAC. Elles font partie d’une série d’activités menées dans l’ensemble de l’organisation dont le but est d’appliquer des méthodes de numérisation et d’automatisation afin d’utiliser les données pour appuyer un large éventail de prise de décisions. Cette prise de décisions est à tous les niveaux : stratégique, tactique, et opérationnel.
Portée
L’évaluation portait sur l’utilisation des données par le MDN et les FAC pour appuyer la prise de décisions. Par conséquent, les fonctions de gestion de l’information (GI) et de technologies de l’information (TI) ont été discutées en tant qu’éléments connexes durant la recherche. Toutefois, les deux fonctions distinctes de la GI et des TI du MDN et des FAC n’ont pas été incluses officiellement dans la portée de la présente étude.
Résultats
L’évaluation a déterminé que de nouveaux éléments fondamentaux ont été établis dans l’ensemble du MDN et des FAC. Depuis 2017, des éléments clés ont été mis en place, y compris l’établissement de nouvelles organisations, politiques, pratiques, capacités et nouveaux systèmes. Lorsqu’il est devenu possible pour le MDN et les FAC d’utiliser de nouveaux outils analytiques, les organisations ont commencé à bâtir des systèmes pour organiser et visualiser les données afin d’appuyer les décisions, d’automatiser les processus et de les utiliser à d’autres fins. Toutefois, le résultat de ces efforts a été le développement d’une mosaïque de systèmes d’aide à la décision dans un large éventail de domaines. Ces systèmes ont été développés sans savoir précisément quelles étaient les priorités du MDN et des FAC. De plus, les FAC n’avaient pas déterminé ce dont elles avaient le plus besoin pour que la création du nouveau système puisse répondre à ces besoins.
L’évaluation a révélé que la gouvernance nécessaire au niveau de l’organisation n’a pas été pleinement définie. Une récente réorganisation entraînera un remaniement des responsabilités et des obligations redditionnelles. On ne sait pas encore très bien quelles organisations seront chargées de communiquer les priorités, de surveiller les progrès réalisés par rapport à ces priorités et de faire rapport sur les progrès réalisés.
La plupart des nouveaux systèmes s’appuyaient sur des données dans des systèmes de tenue de dossiers. Cependant, les données dans d’autres systèmes et les données récemment numérisées n’étaient pas gérées de façon officielle. Dans l’ensemble, les données ne sont pas encore codifiées, gérées, accessibles et mises à jour aussi souvent qu’il le faudrait au MDN et dans les FAC.
Enfin, l’ensemble des politiques du MDN et des FAC n’est pas intégré ni formulé de façon globale pour appuyer l’organisation. L’ensemble des politiques ne reflète pas les principes généraux de la Politique sur les services et le numérique du CT, laquelle met l’accent sur une approche intégrée de gouvernance, de planification et de gestion.
Conclusions générales
Le MDN et les FAC n’optimisent pas les investissements dans les systèmes d’aide à la décision mis en place actuellement dans l’ensemble de l’organisation. L’établissement de priorités à l’échelle de l’organisation pour guider ces activités et la mise en œuvre d’une structure pour surveiller et communiquer les progrès réalisés aideront l’organisation à progresser en exploitant les données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique.
Recommandations
- Établir des priorités à l’échelle du MDN et des FAC pour le développement de systèmes d’aide à la décision, en assurant un équilibre défini entre les priorités stratégiques, opérationnelles et tactiques.
- Établir des priorités propres aux FAC pour le développement de systèmes d’aide à la décision afin de définir les priorités organisationnelles des N1 ainsi que celles du MDN et des FAC.
- Établir un régime de gouvernance qui communiquera les priorités du MDN et des FAC, surveillera les progrès par rapport à ces priorités et communiquera les progrès réalisés.
Retour à la table des matières
Enjeux et portée de l’évaluation
L’évaluation de l’utilisation des données comme un actif stratégique au sein du MDN et des FAC a été menée conformément à la Politique sur les résultats du CT et au plan d’évaluation ministériel quinquennal du MDN et des FAC (AF 2021-2022).
L’objet de l’évaluation était d’examiner la mesure dans laquelle le MDN et les FAC ont réalisé des progrès dans l’utilisation de leurs données pour améliorer leur capacité opérationnelle, la prestation de services, l’analyse et la prise de décisions. Le projet a été défini à l’origine comme une évaluation formative de l’analyse des données; cependant, la portée a été élargie pour inclure les efforts globaux du MDN et des FAC visant à tirer parti des données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique, y compris ceux qui ne sont pas associés spécifiquement à l’Initiative d’analyse des données.
Le projet comprenait six questions d’évaluation liées au rendement.
Questions d’évaluation
- Qu’est-ce que le MDN et les FAC ont réalisé jusqu’à présent en ce qui a trait à l’utilisation des données pour appuyer :
- la prise de décisions stratégiques, tactiques et opérationnelles pour répondre aux priorités au niveau de l’organisation?
- les priorités de chaque N1?
- La gouvernance nécessaire au niveau de l’organisation est-elle en place, y compris les structures de responsabilités et d’obligations redditionnelles?
- Y a-t-il une gestion intégrée de l’information et des données pour appuyer la prise de décisions au niveau de l’organisation?
- La gestion du cycle de vie de l’information et des données est-elle en place?
- Dans quelle mesure le MDN et les FAC sont-ils conformes aux politiques établies par le CT?
- Quelles sont les possibilités d’amélioration ayant trait à la capacité du MDN et des FAC de gérer l’information et les données comme un actif stratégique?
Portée
Chacun des secteurs d’activité décrits dans la présente évaluation, comme les stratégies, les projets, ou les investissements, aurait pu être le sujet de sa propre évaluation approfondie. Toutefois, ce n’était pas l’objectif de la présente étude. De ce fait, les constatations ainsi que les conclusions sont basées sur une analyse de l’aperçu global de toutes ces activités réunies.
L’évaluation incluait les activités entreprises par le MDN et les FAC entre juillet 2017 et la fin de 2022. Cette période commence par la publication de la Directive conjointe du chef d’état-major de la défense (CEMD) et du sous-ministre (SM) sur le développement et l’opérationnalisation d’une capacité d’analyse des programmes de défense.
L’évaluation a recouru à différentes sources de données recueillies par des méthodes de recherche qualitative (voir l’annexe C pour la méthodologie et les limitations).
Retour à la table des matières
Description des activités évaluées
Les activités abordées dans la présente évaluation ne sont pas définies comme un programme dans le Répertoire des programmes du MDN et des FAC. Elles font partie d’une série d’activités menées dans l’ensemble de l’organisation dont le but est d’appliquer des méthodes de numérisation et d’automatisation afin d’utiliser les données pour appuyer un large éventail de prise de décisions. Cette prise de décisions est à tous les niveaux : stratégique, tactique, et opérationnel. L’annexe D présente un aperçu des systèmes qui ont été décrits dans le cadre de la présente évaluation.
Le MDN et les FAC mettent en œuvre des technologies d’aide à la décision depuis des décennies. Toutefois, en juillet 2017, grâce à la Directive conjointe sur le développement et l’opérationnalisation d’une capacité d’analyse des programmes de défense, le MDN et les FAC ont mis en place une initiative visant à contribuer à la transformation numérique et à accélérer la capacité d’appuyer la prise de décisions en exploitant les données et l’information. Cette initiative a mené à une série de mesures à l’échelle des N1, dont bon nombre complétaient ou amélioraient le travail d’aide à la décision déjà en cours. Bon nombre de ces mesures – et bien d’autres encore – sont décrites dans ce rapport dans le cadre des activités de l’organisation qui encouragent l’utilisation des données pour appuyer la prise de décisions. Ces mesures consistaient à développer des systèmes, des outils et des applications (tous appelés « systèmes » dans le présent rapport).
Financement : Il n’y a pas d’enveloppe budgétaire associée à ces activités. Le financement et les ressources attribués aux activités proviennent de sources ministérielles et de chaque N1.
Intervenants : La prise de décisions stratégiques, tactiques et opérationnelles touche tous les intervenants du MDN et des FAC. Par conséquent, le groupe d’intervenants responsable de ce secteur d’activités est l’ensemble de l’organisation.
Un environnement changeant qui amène de la complexité et de l’incertitude : Pratiquement toutes les activités dans ce secteur sont touchées par des changements fondamentaux qui se produisent dans les environnements de la GI et des TI du MDN et des FAC. Cela comprend, notamment, la modernisation des principaux systèmes (p. ex., Système d’information de la gestion des ressources de la défense), l’adoption de nouveaux systèmes (p. ex., SAP HANA®), l’adoption d’outils d’analyse (p. ex., Microsoft Power BI®), le développement d’innovations numériques à l’échelle de l’organisation (p. ex., analyse de la valeur), la création de nouvelles unités organisationnelles (p. ex., SMA [Données, innovation et analytique] [SMA(DIA)], centres de soutien de l’analytique, etc.), de grandes initiatives en matière de changement (p. ex., le programme de modernisation des ressources d’entreprise de la défense), des initiatives de données avancées (p. ex., intelligence artificielle), de nouvelles technologies appuyant les opérations et bien d’autres.
Changement organisationnel majeur : Le 6 décembre 2022, alors que l’évaluation était en cours, le SM a annoncé la création du Bureau de la transformation numérique (BTN), ce qui remaniait les responsabilités et les obligations redditionnelles liées à la numérisation au MDN et dans les FAC. Cela touchera probablement toutes les activités comprises dans la portée de l’évaluation.
Retour à la table des matières
Constatations et recommandations
Réalisations à ce jour
Constatation no 1 : Les progrès ont été lents pour ce qui est de la mise en œuvre de systèmes permettant au ministère de la Défense nationale et aux Forces armées canadiennes d’utiliser les données pour appuyer la prise de décisions.
De nouveaux éléments fondamentaux ont été établis dans l’ensemble du MDN et des FAC.
Depuis 2017, des éléments importants ont été mis en place, y compris (liste non exhaustive) :
- créer et mettre sur pied le SMA(DIA);
- faire avancer cinq analyses de la valeur de l’analytiqueNote de bas de page * avec des priorités à l’échelle de l’organisation;
- établir et diriger des comités de coordination aux niveaux : N1, N2 et N3;
- créer et mettre sur pied des centres de soutien de l’analytique dans l’ensemble des N1;
- élaborer et diffuser une série de politiques et de documents d’orientation du MDN et des FAC liés aux données et à l’analyse, y compris de nombreuses versions de N1;
- fournir et permettre la formation dans des domaines connexes;
- effectuer des analyses des écarts de capacités;
- élaborer un processus pour définir les domaines de données;
- établir une équipe spéciale sur l’accès aux données;
- mettre des outils « analytiques » à la disposition des N1 (comme SAP Business Objects® et Microsoft Power BI®).
Il est important de reconnaître ces réalisations :
- Il s’agissait d’un champ d’activité complètement nouveau pour le MDN et les FAC.
- Il a fallu mettre en place une nouvelle direction, un nouvel état-major, une nouvelle infrastructure organisationnelle, de nouvelles relations, etc. pour bon nombre de ces éléments.
Toutefois, une mosaïque de systèmes de N1 a été développée ou est en cours de développement.
Lorsqu’on a questionné les N1 au sujet des nouveaux systèmes qui appuient la prise de décisions, ils ont décrit un large éventail de divers domaines de développement :
![Figure 1](/content/dam/dnd-mdn/images/reports-publications/reports-pubs-audit-eval/2023/1258-3-059_1-fr.png)
Résumé de la figure 1
État de développement – Systèmes visés par l’étude |
No |
---|---|
Fonctionne, avec des éléments essentiels en place |
9 |
En développement |
5 |
Sommaire du tableau 1
Ce tableau fournit de l’information sur « l’état de développement » des systèmes visés par l’étude. Il comporte deux colonnes et trois rangées, y compris les titres. La deuxième rangée révèle que neuf systèmes « fonctionnent, avec des éléments essentiels en place ». La troisième rangée fait état de cinq systèmes « en développement ».
Conclusion : Des étapes fondamentales importantes ont été franchies et des innovations ont été réalisées. Toutefois, les progrès ont été lents pour ce qui est de la mise en place de systèmes pratiques qui permettent au MDN et aux FAC en tant qu’organisation d’utiliser les données pour appuyer la prise de décisions.
Retour à la référence de la note de bas de page * Les analyses de la valeur ont été définies dès le début de l’Initiative d’analyse des données à titre de propositions de valeurs supérieures dans des domaines prioritaires tels que le Cadre ministériel des résultats, la planification d’activités et la gestion de la chaîne d’approvisionnement.
Retour à la table des matières
Établissement de priorités au niveau de l’organisation
Constatation no 2 : L’établissement de priorités à l’échelle du ministère de la Défense nationale et des Forces armées canadiennes est nécessaire pour guider les choix en matière de développement.
Les N1 ont développé des systèmes qui répondent à leurs propres besoins sans lien avec les priorités du MDN et des FAC.
- Chaque N1 connaissait ses besoins opérationnels, connaissait les données et avait accès aux compétences nécessaires.
- Cela lui permettait de répondre à un besoin propre au N1 et, souvent, de le faire rapidement.
- Les systèmes à développer étaient le plus souvent choisis au N3.
- Il y avait peu de directives sur les priorités de la part des N1 et des N0.
- Il n’y a eu pratiquement aucune interaction entre les N1.
- Les progrès réalisés dans une organisation de N1 particulière n’étaient pas reproduits dans les autres.
- Cinq analyses de la valeur au niveau de l’organisation ont été définies et elles ont progressé lentement, ou ont été mises de côté.
- Peu de progrès ont été réalisés dans les domaines identifiés comme des projets à l’échelle du MDN et des FAC.
- 75 propositions de cas d’utilisationNote de bas de page * ont été soumises par les N1, couvrant une grande diversité de sujets et de capacités.
- Les cas d’utilisation ont contribué à l’innovation, mais n’étaient pas harmonisés à un ensemble défini de priorités.
Conclusion : Il n’y avait pas de priorités à l’échelle du MDN et des FAC pour guider les N1 dans leurs efforts de développement, ce qui a entraîné une mosaïque de nouveaux systèmes.
Pourquoi est-ce important :
- Sans priorités définies, il n’y a pas d’accent mis sur les investissements dans les besoins du mandat du MDN et des FAC.
- L’occasion de faire travailler des N1 sur des besoins communs qui conduisent à des innovations à l’échelle du MDN et des FAC est perdue.
- Le MDN et les FAC n’optimisent pas l’utilisation de leurs faibles ressources disponibles en matière de personnel, de financement ou d’expertise.
Orientation de chaque système |
Nombre de systèmes développés |
---|---|
Opérations/tactiques |
6 |
Soutien aux opérations (ministère) |
8 |
Sommaire du tableau 2
Ce tableau fournit de l’information sur l’orientation de chaque système et sur le nombre correspondant de systèmes développés. Il comporte deux colonnes et trois rangées, y compris les titres. La deuxième rangée révèle que six systèmes sont orientés vers les « opérations/tactiques ». La troisième rangée fait état de huit systèmes orientés vers le « soutien aux opérations (ministère) ».
Recommandation du SMA(Svcs Ex) 1
Établir des priorités à l’échelle du MDN et des FAC pour le développement de systèmes d’aide à la décision, en assurant un équilibre défini entre les priorités stratégiques, opérationnelles et tactiques.
Mise en garde : Il est également essentiel de permettre aux N1 de développer des solutions « à leur portée » qui répondent à leurs propres besoins. Cela permet l’innovation menant à une efficacité et à une efficience accrues.
Retour à la référence de la note de bas de page * Cas d’utilisation : une demande de méthodologies sur la façon dont un utilisateur pourrait utiliser un système pour atteindre un objectif a été transmise aux N1 en 2019. Le SMA(DIA) a permis de dégager des solutions pour divers cas d’utilisation.
Retour à la table des matières
Établissement de priorités par les Forces armées canadiennes
Constatation no 3 : Des priorités propres aux Forces armées canadiennes sont nécessaires pour guider les priorités organisationnelles.
Les N1 au niveau opérationnel ont développé des systèmes pour répondre à divers besoins, sans mettre l’accent sur ce qui aiderait le plus les FAC.
Les N1 au niveau opérationnel ont développé de nouveaux systèmes dans plusieurs domaines :
![Figure 2](/content/dam/dnd-mdn/images/reports-publications/reports-pubs-audit-eval/2023/1258-3-059_2-fr.png)
Résumé de la figure 2
Parce qu’aucune priorité à l’échelle des FAC n’avait été établie :
- Aucune coordination ou exploitation dans l’ensemble des FAC
- Les N1 n’ont pas collaboré lorsque leurs intérêts communs pouvaient être profitables à l’ensemble des FAC.
- Les N1 n’ont pas partagé ce qu’ils avaient développé, pour voir si d’autres pouvaient aussi l’utiliser ou y contribuer.
- Les N1 non opérationnels ont établi des priorités sans une orientation claire
- D’autres N1 qui appuient les FAC n’ont pas été en mesure d’établir l’ordre de priorité de leurs activités de manière à répondre au mieux aux besoins des FAC.
- Il semblait y avoir « peu de lien » entre les systèmes opérationnels et non opérationnels de N1.
- Manque d’orientation pour les priorités organisationnelles
- Sans priorité clairement définie pour les FAC, il n’est pas possible d’établir les bonnes priorités au niveau plus large du ministère ou de l’organisation.
Conclusion : Sans priorité clairement définie pour les FAC, le Ministère, dans son ensemble, ne pouvait pas optimiser les investissements faits dans de nouveaux systèmes afin qu’ils répondent aux besoins des FAC.
Recommandation du SMA(Svcs Ex) 2
Établir des priorités propres aux FAC pour le développement de systèmes d’aide à la décision afin de définir les priorités organisationnelles du N1 ainsi que du MDN et des FAC.
Retour à la table des matières
Facteurs de succès pour l’innovation
Constatation no 4 : Des systèmes ont été développés où le besoin était défini et où les données et l’information étaient comprises.
Les N1 ont réussi à développer des systèmes d’aide à la décision lorsqu’il y avait un besoin opérationnel clair, lorsque les données et l’information étaient comprises et lorsque l’expertise technique était disponible. Lorsque de nouveaux outils analytiques ont été mis à la disposition du MDN et des FAC, les N1 ont commencé à bâtir des systèmes pour organiser et visualiser les données afin d’appuyer les décisions, d’automatiser les processus, et de les utiliser à d’autres fins. Ils comprenaient les données et l’information nécessaires et y avaient accès.
Il y avait des facteurs de succès précis entraînant des mesures rapides.
- BESOIN : Les systèmes choisis répondaient à un besoin défini en appui à des décisions ou à des mesures.
- DONNÉES : Les N1 comprenaient déjà bien les données et avaient accès aux données de base.
- COMPÉTENCES : Les N1 avaient accès aux compétences techniques requises pour bâtir les systèmes.
- OUTILS : Il est devenu possible aux N1 d’utiliser les outils analytiques tels que Power BI® et Business Objects®.
L’annexe D présente un exemple d’un système développé par la Marine royale canadienne (MRC) pour répondre à un besoin défini.
Des « problèmes » en matière de données ont été soulevés et résolus.
- Chacun des 14 systèmes décrits dans l’évaluation a relevé des problèmes de données durant la période de développement.
- Dans chacun des cas, l’exercice a permis de mettre en lumière les problèmes et de les résoudre.
Pourquoi est-ce important :
- Les problèmes réels en matière de données n’ont pas empêché l’élaboration d’une solution d’analyse utile. Le développement du système a permis de résoudre les problèmes de données.
- Il n’y avait pas de lacune sur le plan de la « littératie des données ». Parce qu’on reconnaissait que le système était nécessaire, l’importance des données était aussi reconnue.
Conclusion : Cette constatation suggère que toute faiblesse perçue relativement aux données ou à un faible taux de littératie des données au MDN et dans les FAC n’empêche pas le développement de systèmes d’aide à la décision utiles.
Le MDN et les FAC devraient faire preuve de prudence lors des investissements dans des activités abstraites en matière de littératie des données ou des exercices généraux pour améliorer les données.
Retour à la table des matières
Gouvernance de la transformation numérique du ministère de la Défense nationale et des Forces armées canadiennes
Constatation no 5 : La gouvernance doit être harmonisée et précisée.
La gouvernance nécessaire au niveau de l’organisation n’est pas pleinement définie. La récente création du BTN entraînera un remaniement des responsabilités et des obligations redditionnelles. On ne sait pas encore très bien quelles organisations seront chargées de communiquer les priorités, de surveiller les progrès réalisés par rapport à ces priorités et de communiquer les progrès réalisés.
La « gouvernance » est maintenant incohérente et répartie dans plusieurs organisations.
- Les responsabilités du BTN comprennent la transformation numérique et la gestion des changements, la modernisation des projets ministériels, la GI et l’activation de données et d’analyses dans certains secteurs.
- Le Plan de campagne numérique des FAC du CEMD comprend des objectifs pour l’harmonisation des structures de gouvernance dans l’ensemble des FAC.
- Comme il a été mentionné précédemment, les N1 décident de développer des systèmes d’aide à la décision en fonction de leurs propres besoins opérationnels et possibilités.
- Les comités de « gouvernance » de N1, N2 et N3 pertinents deviennent moins actifs et investis.
Pourquoi est-ce important :
- Sans une définition claire de la gouvernance de cet espace, le MDN et les FAC ne seront pas en mesure de surveiller les progrès réalisés par rapport aux priorités définies ou aux activités de correction lorsqu’il le faut.
- Sans gouvernance harmonisée et claire, il existe un risque que les efforts des N1 continuent d’être « cloisonnés », n’optimisant donc pas les investissements du MDN et des FAC dans la transformation numérique.
« Le déclencheur pour développer ce système n’était pas officiel : » | six systèmes |
« Mon superviseur m’a demandé de développer ce système : » | cinq systèmes |
« La demande est venue du commandement : » | trois systèmes |
Sommaire du tableau 3
Ce tableau infographique présente « qui a décidé des systèmes à développer au N1 ». Il comporte trois rangées. La première rangée précise que l’élément déclencheur du développement de six systèmes n’était pas officiel. La deuxième rangée souligne que cinq systèmes ont été développés à la demande du superviseur. La troisième rangée révèle que trois systèmes ont été demandés au niveau du commandement.
Le cadre stratégique du MDN et des FAC ne reflète pas l’ensemble des politiques du CT :
- La Politique sur les services et le numérique du CT présente de grands principes, mettant l’accent sur une approche intégrée de gouvernance, de planification et de gestion.
- L’ensemble des politiques du MDN et des FAC n’est pas intégré ni formulé de façon globale pour appuyer l’organisation : p. ex., « la gestion intégrée des services, de l’information, des données, de la TI et de la cybersécurité au sein de leur ministère » (Politique, art. 4.1.3.1) n’est pas en place au MDN et dans les FAC.
Recommandation du SMA(Svcs Ex) 3
Établir un régime de gouvernance qui communiquera les priorités du MDN et des FAC, surveillera les progrès par rapport à ces priorités et communiquera les progrès réalisés.
Retour à la table des matières
Gestion des données et de l’information
Constatation no 6 : Les données et l’information ne sont pas encore gérées comme un actif organisationnel stratégique.
La plupart des nouveaux systèmes s’appuyaient sur des données dans des systèmes de tenue de dossiers. Cependant, les données qui se trouvent dans d’autres systèmes et les données récemment numérisées n’étaient pas gérées de façon officielle.
Nous avions déjà accès aux données dans le système de tenue de dossiers : | neuf systèmes |
Nous avons besoin de données supplémentaires du système de tenue de dossiers : | quatre systèmes |
Nous créons des ensembles de données : | deux systèmes |
Sommaire du tableau 4
Ce tableau infographique illustre « quelles données sont utilisées ». Il comporte trois rangées. Dans la première rangée, il est mentionné que neuf systèmes « avaient déjà accès aux données dans le système de tenue de dossiers ». Dans la deuxième rangée, il est mentionné que quatre systèmes nécessitaient « des données supplémentaires du système de tenue de dossiers ». Dans la troisième rangée, il est mentionné que deux systèmes « créent des ensembles de données ».
L’accès aux données et la mise à jour des données sont des obstacles importants :
« Nous ne devrions pas devoir faire appel à notre chaîne de commandement pour obtenir l’accès aux données. »
« Nous avons eu de la difficulté à obtenir des données par le portail du CLMC. »
« Nous avons besoin régulièrement de données à jour. »
Personnes interrogées du N1
CLMC désigne le « Centre du logiciel militaire du Commandement ».
La plupart des nouveaux systèmes ne sont pas documentés officiellement.
- Lorsqu’on leur a demandé s’ils élaboraient de la documentation pour décrire officiellement les éléments du nouveau système, un seul N1 a indiqué que cela avait été fait.
- Tous les N1 ont reconnu que les systèmes devraient être documentés et officialisés.
« Les gens utilisent encore le courriel pour transmettre de l’information. Nous devons trouver des façons de saisir cette information et de la rendre accessible. Nous devons mettre fin à la tendance à recourir au courriel pour l’échange d’information, les discussions et la prise de décisions. »
Personne interrogée du N1
Conclusion : Les données et l’information ne sont pas encore codifiées, gérées, accessibles et mises à jour aussi souvent qu’il le faudrait au MDN et dans les FAC.
Retour à la table des matières
Synthèse des conclusions
L’évaluation visait à déterminer les progrès réalisés par le MDN et les FAC dans l’utilisation des données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique. Les résultats révèlent que, à un niveau organisationnel, le MDN et les FAC n’ont pas fait de progrès importants en ce qui concerne le développement de systèmes pratiques qui utilisent les données pour appuyer la prise de décisions. D’importants progrès ont été accomplis en ce qui a trait à la mise en œuvre d’éléments fondamentaux pour l’organisation. De plus, des capacités ainsi que des outils sont à la disposition des N1. Toutefois, une mosaïque de systèmes propres à chaque N1 a été développée, ce qui ne permet pas d’atteindre l’objectif de mettre en œuvre une culture et une capacité à l’échelle de l’organisation.
L’évaluation a démontré que le MDN et les FAC n’ont pas défini de priorités permettant d’orienter les investissements dans le développement de systèmes dans l’ensemble de l’organisation. De plus, les priorités des FAC n’ont pas été établies – priorités qui orienteraient et aideraient à façonner celles des investissements du MDN et des FAC.
Les responsabilités et les obligations redditionnelles en ce qui a trait à la communication de ces priorités, à la surveillance des progrès par rapport aux priorités et à la production de rapports sur les progrès doivent être clarifiées. La récente création du BTN donne l’occasion de définir et de mettre en œuvre ces structures.
Les constatations de l’évaluation indiquent que des faiblesses dans la qualité des données n’ont pas empêché le développement de systèmes utiles d’aide à la décision. En outre, les constatations suggèrent que les faiblesses perçues sur le plan de la littératie des données n’ont pas empêché le développement de systèmes. Les données et l’information ne sont pas encore gérées comme un actif organisationnel, même s’il y avait une reconnaissance générale de l’importance d’atteindre cet objectif. De plus, le cadre stratégique du ministère ne reflète pas les principes d’intégration énoncés dans la Politique sur les services et le numérique du CT.
Dans l’ensemble, le MDN et les FAC n’optimisent pas les investissements dans les systèmes d’aide à la décision mis en place actuellement dans l’ensemble de l’organisation. L’établissement de priorités à l’échelle de l’organisation pour guider ces activités et la mise en œuvre d’une structure pour surveiller et communiquer les progrès réalisés aideront l’organisation à avancer dans l’utilisation des données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique.
Retour à la table des matières
Annexe A : Principales constatations et recommandations
PRINCIPALES CONSTATATIONS | RECOMMANDATIONS |
---|---|
CONSTATATION no 1 : Les progrès ont été lents pour ce qui est de la mise en œuvre des systèmes qui permettent au ministère de la Défense nationale et aux Forces armées canadiennes d’utiliser les données pour appuyer la prise de décisions. |
|
CONSTATATION no 2 : L’établissement de priorités à l’échelle du ministère de la Défense nationale et des Forces armées canadiennes est nécessaire pour guider les choix en matière de développement. |
|
CONSTATATION no 3 : Les priorités propres aux Forces armées canadiennes sont nécessaires pour guider les priorités organisationnelles. |
|
CONSTATATION no 4 : Des systèmes ont été développés où le besoin était défini et où les données et l’information étaient comprises. |
|
CONSTATATION no 5 : La gouvernance doit être harmonisée et précisée. |
|
CONSTATATION no 6 : Les données et l’information ne sont pas encore gérées comme un actif organisationnel stratégique. |
Sommaire du tableau 5
Ce tableau présente les principales constatations et recommandations du rapport. Il comporte deux colonnes et sept rangées, y compris les titres. La colonne de gauche dresse la liste des principales constatations. La colonne de droite dresse la liste des recommandations. Il faut lire chaque rangée de la gauche vers la droite pour connaître la recommandation associée à chaque constatation.
Retour à la table des matières
Annexe B : Plan d’action de la direction
Recommandations du SMA(Svcs Ex)
- Établir des priorités à l’échelle du MDN et des FAC pour le développement de systèmes d’aide à la décision, en assurant un équilibre défini entre les priorités stratégiques, opérationnelles et tactiques.
- Établir un régime de gouvernance qui communiquera les priorités du MDN et des FAC, surveillera les progrès par rapport à ces priorités et communiquera les progrès réalisés.
Mesure de la direction
Durant l’AF 2022-2023, des activités clés ont eu lieu au sein du MDN et des FAC pour appuyer les données et la transformation numérique :
- émission de la Directive conjointe sur la gestion des données du CEMD et du SM, 2019;
- élaboration et diffusion d’un plan de mise en œuvre multipartite pour la Stratégie de données du MDN et des FAC, approuvé par le SMA(DIA);
- publication des Directives et ordonnances administratives de la Défense sur la gestion des données et l’analytique (Directives et ordonnances administratives de la défense 6005-0 et 6005-1);
- publication du Cadre de gouvernance des données du MDN et des FAC;
- réalisation de progrès importants dans l’établissement d’un modèle d’intendance des données au sein du MDN et des FAC;
- création et réunion régulière d’un comité consacré à la gouvernance des données.
Le SMA(BTN), en collaboration avec les intervenants clés du MDN et des FAC (SMA[DPI], VCEMD/CISC, N1 du MDN et des FAC), précise la responsabilisation, les responsabilités et les autorités, ce qui entraînera des changements à la gouvernance existante qui appuiera la transformation numérique du MDN et des FAC en fournissant un leadership et une surveillance stratégiques de toutes les questions liées à l’écosystème numérique (le fusionnement de personnes, de processus, de technologies et de données). Cette gouvernance s’harmonisera avec le rôle du CISC dans la négociation des besoins des FAC pour l’adaptation dans l’ensemble du MDN et des FAC au nom du rôle du VCEMD à titre de champion numérique des FAC.
Livrables :
- Mettre au point et publier la responsabilisation, les responsabilités et les autorités du SMA(BTN).
- Mettre au point et publier le mandat du Comité des services numériques de la Défense.
- Établir une gouvernance conjointe entre le BTN et le DPI qui appuiera la transformation numérique et s’harmonisera avec le rôle du VCEMD dans la négociation des besoins des FAC pour l’adaptation dans l’ensemble du MDN et des FAC.
- Élaborer des critères de priorisation pour les nouveaux systèmes numériques d’aide à la décision.
- Achever la modernisation du programme de gestion du portefeuille d’applications.
Dates cibles :
1. Octobre 2023; 2. Janvier 2024; 3. Avril 2025; 4. Janvier 2024; 5. Avril 2025
Ce plan d’action de la direction sera considéré comme fermé dès que les cinq mesures de suivi provisoires auront été menées à bien.
BPR : BTN
BC : DPI, VCEMD, Secrétariat général
Recommandation du SMA(Svcs Ex)
- Établir des priorités propres aux FAC pour le développement de systèmes d’aide à la décision afin de définir les priorités organisationnelles des N1 ainsi que celles du MDN et des FAC.
Mesure de la direction
Durant l’évaluation du SMA(Svcs Ex) au cours de l’AF 2022-2023, de nombreuses activités clés ont eu lieu au sein des FAC pour appuyer les données et la transformation numérique.
Le poste de CISC a été créé en juin 2022 et le PCN des FAC a ensuite été publié pour communiquer le plan du CEMD pour la transformation numérique des FAC d’ici 2030. Le VCEMD/CISC élabore actuellement, en collaboration avec les principaux intervenants du MDN et des FAC (SMA[BTN], SMA[DPI], N1 des FAC), un Plan de campagne numérique-Plan axé sur les résultats (PCN-PAR) et la Directive de mise en œuvre du VCEMD qui fourniront aux N1 des FAC les tâches principales qui permettront une priorisation propre aux FAC des systèmes d’aide à la décision. Après leur publication, la Directive et le PCN-PAR nommeront le CISC comme responsable des domaines de données opérationnelles et mettront en place un mécanisme de gouvernance numérique; les deux donneront suite à cette recommandation.
Livrable : Officialiser, diffuser et publier le PCN-PAR et la Directive de mise en œuvre du VCEMD, après quoi le centre numérique des FAC, la gouvernance numérique des FAC et le bureau du dirigeant principal des données opérationnelles seront établis.
Date cible : Décembre 2023
BPR : CISC
BC : DPI, BTN et N1 du MDN
Retour à la table des matières
Annexe C : Méthodologie et limitations de l’évaluation
Méthodologie
Les constatations et recommandations de l’évaluation étaient appuyées par de multiples sources de données et par les méthodes de recherche qualitatives et quantitatives réunies durant la phase d’exécution, pour accroître la rigueur et assurer la fiabilité des renseignements et données à l’appui des constatations. Ces sources de données ont été triangulées et les constatations préliminaires, communiquées au Comité consultatif de l’évaluation. Les méthodes de recherche utilisées pour définir la portée de l’évaluation et la réaliser sont les suivantes :
Analyse documentaire
L’équipe d’évaluation a réalisé une analyse préliminaire des documents de base pendant la phase de planification, ce qui a favorisé l’acquisition d’une compréhension approfondie des activités évaluées et a servi de base à la définition de la portée et du plan d’évaluation. La documentation comprenait les directives, les politiques, les stratégies, les procédures, les lignes directrices et les plans du CT et du ministère qui étaient liés à la gestion et à l’utilisation des données à l’appui au mandat du MDN et des FAC. De plus, les comptes rendus des discussions de quatre comités de gouvernance de 2018 à aujourd’hui ont été examinés. Des documents choisis ont été examinés pour les systèmes décrits dans l’étude.
Études de cas
Afin d’évaluer les progrès réalisés par le MDN et les FAC dans le développement d’outils, d’applications et de systèmes pour appuyer la prise de décisions, l’évaluation a communiqué avec neuf N1 : l’Armée canadienne (AC), la MRC, l’Aviation royale canadienne, le Commandement des opérations interarmées du Canada (COIC), le Commandement – Forces d’opérations spéciales du Canada, le VCEMD, le SMA (Matériels) (SMA[Mat]), le SMA (Infrastructures et environnement) et le SMA (Finances). On a demandé à ces N1 d’identifier les systèmes qu’ils avaient développés récemment pour aider à appuyer la prise de décisions stratégiques, opérationnelles ou tactiques. Certains N1 ont identifié deux systèmes, et certains en ont identifié un seul. On a communiqué avec les personnes qui connaissaient le mieux le développement des systèmes respectifs, et elles ont répondu à des questions structurées concernant l’objectif du système, le processus de prise de décisions sous-jacent à son développement, l’état de la gestion des données, le processus de développement, les obstacles à la réussite, l’état d’avancement du projet et d’autres sujets connexes.
Au total, 14 systèmes ont été décrits dans le cadre de l’évaluation. Un résumé a été produit pour chaque système, et celui-ci a été fourni aux personnes interrogées à des fins de validation. Un exemple est fourni à l’annexe E.
Entrevues avec des informateurs clés
L’équipe d’évaluation a repéré les informateurs clés dans les N1 pour l’ensemble du MDN et des FAC afin d’identifier les systèmes nouvellement mis au point pour appuyer la prise de décisions stratégiques, opérationnelles ou tactiques. On a communiqué avec les personnes interrogées afin d’identifier les propriétaires de ces systèmes. Des entrevues détaillées ont ensuite été menées auprès des propriétaires des systèmes au moyen d’un guide d’entrevue structurée. De plus, des entrevues ont été menées auprès de répondants clés concernés par l’Initiative d’analyse des données du MDN et des FAC. Des entrevues ont été menées auprès de représentants du Secrétariat du CT et de trois autres organisations fédérales pour discuter de leurs difficultés et de leurs expériences liées au développement et à l’amélioration de systèmes pour appuyer la prise de décisions.
Au total, 49 personnes ont été interrogées dans le cadre de l’évaluation. Certaines entrevues étaient en personne, et certaines étaient en petits groupes de deux, trois ou quatre. Certaines personnes ont été interrogées plus d’une fois afin d’obtenir des renseignements supplémentaires sur les sujets de discussion.
Validité de la méthodologie
La méthodologie est suffisante pour assurer la validité et la rigueur des constatations et des conclusions.
Limitations de l’évaluation
Les limitations de l’évaluation et les stratégies d’atténuation employées dans le cadre du processus d’évaluation sont présentées dans le tableau ci- après.
Limitations | Stratégies d’atténuation |
---|---|
Autosélection des exemples : Les N1 ont identifié les systèmes à décrire dans l’évaluation, ce qui pourrait entraîner des préjugés, réels ou apparents dans les résultats de l’étude. |
Autosélection des exemples : Une entrevue préliminaire a été menée auprès de chaque N1 pour aider à identifier les systèmes qui avaient été développés récemment. Cette entrevue a permis aux évaluateurs de s’assurer que la sélection était adéquate d’un point de vue méthodologique. En outre, l’objectif de l’évaluation était atteint de manière plus efficace en permettant aux N1 d’identifier les systèmes qui étaient, selon eux, les plus utiles pour l’appui à la prise de décisions. |
Constatations ne nécessitant pas beaucoup de données : On dépendait de l’interprétation de l’information. Cela pourrait avoir entraîné des risques concernant la perception de l’objectivité de l’évaluation. |
Constatations ne nécessitant pas beaucoup de données : Cette limitation a été corrigée au moyen d’entrevues en profondeur pour examiner la raison d’être de ces décisions et mesures. Ces entrevues ont permis à l’intervieweur de vérifier la validité des déclarations. De plus, l’évaluation comprenait un nombre suffisant d’exemples de sorte que l’information sélectionnée dans un exemple pouvait être validée par l’information fournie dans d’autres exemples. Enfin, des résumés ont été élaborés pour documenter chaque système décrit, et ces résumés ont été fournis aux personnes interrogées à des fins de validation. Toutes ces mesures ont contribué à assurer la validité des résultats. |
Systèmes ou applications en cours de développement : Le développement des systèmes est un processus continu, et la plupart d’eux n’étaient pas mis au point. Par conséquent, il y avait un risque que le résultat escompté des systèmes ne soit finalement pas atteint, et il y avait une perception que cela nuirait à l’utilité des systèmes à titre d’exemple dans l’évaluation. |
Systèmes ou applications en cours de développement : Le guide d’entrevue a été élaboré pour se concentrer sur la prise de décisions liée au développement de ces systèmes, l’expérience du développement des systèmes, ainsi que les obstacles et les facteurs de succès. Par conséquent, les résultats de chaque système ne seraient pas touchés de manière négative si le développement du système faisait face à des difficultés ou n’était pas encore terminé. |
Sommaire du tableau 6
Ce tableau présente un résumé des limitations et des stratégies d’atténuation. Il comporte deux colonnes et quatre rangées, y compris les titres. La colonne de gauche énumère les limitations de l’évaluation (autosélection d’exemples, constatations ne nécessitant pas beaucoup de données, systèmes/applications en cours de développement). La colonne de droite présente les stratégies d’atténuation. Il faut lire chaque rangée de la gauche vers la droite pour connaître la stratégie d’atténuation associée à chaque limitation.
Retour à la table des matières
Annexe D : Systèmes décrits dans le cadre de l’évaluation
N1 | Système |
---|---|
AC |
Une image commune de la situation opérationnelle de plusieurs tableaux de bord, y compris le personnel, l’équipement, la formation, les finances, etc. |
AC |
Tableau de bord sur les renseignements sur l’équipement pour appuyer la prise de décisions |
COIC |
Une image commune de la situation opérationnelle pour permettre l’acquisition rapide d’une connaissance de la situation |
COIC |
Source unique d’information utilisée par le COIC pour affecter le personnel |
MRC |
Vue d’ensemble des lieux d’affectation des marins, de leur disponibilité et des raisons pour lesquelles ils ne sont pas disponibles |
MRC |
Portail permettant aux marins d’avoir accès à l’information depuis leurs téléphones |
Aviation royale canadienne |
Outil de gestion de mission pour autoriser la section de répartition |
VCEMD |
Vue de l’information sur les tendances en recrutement dans les cinq régions |
VCEMD |
Outil d’analyse des risques pour aider à la planification des investissements du MDN et des FAC |
Commandement – Forces d’opérations spéciales du Canada |
Suite d’outils sur le Web pour le soutien opérationnel afin de gérer les opérations |
SMA(Mat) |
Rapport sur l’état et les tendances des projets de biens d’équipement de plus de 10 millions de dollars |
SMA(Mat) |
Automatisation de la production des rapports organisationnels du MDN et des FAC |
SMA (Infrastructures et environnement) |
Tableau de bord de projet qui comprend plusieurs éléments d’information sur les projets de N1 |
SMA (Finances) |
Outil d’analyse pour aider à prédire les dépenses à la fin de l’exercice |
Sommaire du tableau 7
Ce tableau présente la description des systèmes qui ont fait l’objet de l’évaluation, telle qu’elle a été faite par les différents N1. Il comporte deux colonnes et quinze rangées, y compris les titres. La colonne de gauche dresse une liste des N1. La colonne de droite présente une description des systèmes. Il faut lire chaque rangée de la gauche vers la droite pour connaître le système associé à chaque N1.
Retour à la table des matières
Annexe E : Exemple
L’application de la MRC
Objectif du système
L’application de la MRC est un portail permettant aux marins de la MRC d’avoir accès à l’information depuis leurs téléphones. L’application permettra aux marins d’avoir accès à l’information qui ne serait normalement disponible que sur un ordinateur doté d’une connexion au Réseau étendu de la Défense, et les aidera à gérer leurs activités quotidiennes. Elle permet aux marins de rester informés et connectés, et d’accomplir leur travail quotidien.
Facteur à l’origine du système
- Le concept de l’application de la MRC a été demandé par le commandant de la MRC comme un moyen de numériser certains outils et services uniquement disponibles sur le Réseau étendu de la Défense.
Évolution du développement
- La MRC n’avait jamais développé une application auparavant. En 2018, l’équipe de développement a commencé par les tout débuts de la conception. Elle devait apprendre comment créer l’application : le processus à suivre, les exigences en matière de sécurité, etc.
- En 2019 et 2020, des ateliers/camps de base ont eu lieu avec des membres de la Force régulière et de la Force de réserve partout au pays. Les marins ont fourni leurs commentaires pour indiquer ce à quoi l’application devrait ressembler et quelles fonctionnalités de base devraient en faire partie. Les quatre premiers éléments ont été identifiés et choisis par le biais de cet exercice. Il a fallu environ un an et demi pour terminer les camps de base et définir la façon dont l’application devrait fonctionner.
- À cette fin, il a fallu une gestion considérable des relations. L’équipe de développement devait apprendre comment faire en sorte que « les entrepreneurs fassent ce qui devait être fait », et elle ignorait souvent la façon de procéder ou la façon de demander ce dont elle avait besoin. L’équipe a dû apprendre comment travailler avec le SMA(GI) et le SMA(Mat), et elle n’avait jamais eu affaire avec eux auparavant. Ces organisations « répondaient rapidement et étaient prêtes à apporter leur soutien ». L’équipe de développement a appris au fur et à mesure que le projet avançait.
Nouvelles données et nouveaux processus
- Certains nouveaux processus de saisie des données ont été élaborés : p. ex., les formalités d’arrivée et de départ. Ce processus consistait à envoyer un document PDF à l’adresse courriel civile des marins. Les développeurs ont travaillé à mettre au point des formalités d’arrivée et de départ à inclure dans l’application.
Facteurs de succès
- Le fait que le commandant de la MRC ait demandé la création de ce système constituait un facteur de réussite. De plus, l’équipe avait accès à des personnes qualifiées qui « savaient comment faire avancer les choses », et elle jouissait de la latitude et de la liberté nécessaires pour se concentrer et faire avancer le projet. Des séances d’information ont été données au commandement en cours de route plusieurs fois par année. Les directives du commandement étaient de « ne pas se dépêcher et faire en sorte que l’essentiel fonctionne bien ».
Détails de la page
- Date de modification :