Évaluation de l’utilisation des données comme un actif stratégique au sein du ministère de la Défense nationale et des Forces armées canadiennes

Novembre 2023

1258-3-059 SMA(Svcs Ex)

Revu par le SMA(Svcs Ex) conformément à la Loi sur l’accès à l’information. Renseignements NON CLASSIFIÉS.

Sigles


Retour à la table des matières

Sommaire

Le présent rapport révèle les résultats de l’évaluation de l’utilisation des données comme un actif stratégique au sein du ministère de la Défense nationale (MDN) et dans les Forces armées canadiennes (FAC). Cette évaluation a été menée au cours de l’année financière (AF) 2022-2023 par le Sous-ministre adjoint (Services d’examen) (SMA[Svcs Ex]) conformément à la Politique sur les résultats du Conseil du Trésor du Canada (CT). L’évaluation portait sur la mesure dans laquelle le MDN et les FAC ont réalisé des progrès en ce qui a trait à l’utilisation de leurs données pour améliorer leur capacité opérationnelle, la prestation de services, l’analyse et la prise de décisions.

Description

Les activités abordées dans le cadre de la présente évaluation ne sont pas définies comme un programme du MDN et des FAC. Elles font partie d’une série d’activités menées dans l’ensemble de l’organisation dont le but est d’appliquer des méthodes de numérisation et d’automatisation afin d’utiliser les données pour appuyer un large éventail de prise de décisions. Cette prise de décisions est à tous les niveaux : stratégique, tactique, et opérationnel.

Portée

L’évaluation portait sur l’utilisation des données par le MDN et les FAC pour appuyer la prise de décisions. Par conséquent, les fonctions de gestion de l’information (GI) et de technologies de l’information (TI) ont été discutées en tant qu’éléments connexes durant la recherche. Toutefois, les deux fonctions distinctes de la GI et des TI du MDN et des FAC n’ont pas été incluses officiellement dans la portée de la présente étude.

Résultats

L’évaluation a déterminé que de nouveaux éléments fondamentaux ont été établis dans l’ensemble du MDN et des FAC. Depuis 2017, des éléments clés ont été mis en place, y compris l’établissement de nouvelles organisations, politiques, pratiques, capacités et nouveaux systèmes. Lorsqu’il est devenu possible pour le MDN et les FAC d’utiliser de nouveaux outils analytiques, les organisations ont commencé à bâtir des systèmes pour organiser et visualiser les données afin d’appuyer les décisions, d’automatiser les processus et de les utiliser à d’autres fins. Toutefois, le résultat de ces efforts a été le développement d’une mosaïque de systèmes d’aide à la décision dans un large éventail de domaines. Ces systèmes ont été développés sans savoir précisément quelles étaient les priorités du MDN et des FAC. De plus, les FAC n’avaient pas déterminé ce dont elles avaient le plus besoin pour que la création du nouveau système puisse répondre à ces besoins.

L’évaluation a révélé que la gouvernance nécessaire au niveau de l’organisation n’a pas été pleinement définie. Une récente réorganisation entraînera un remaniement des responsabilités et des obligations redditionnelles. On ne sait pas encore très bien quelles organisations seront chargées de communiquer les priorités, de surveiller les progrès réalisés par rapport à ces priorités et de faire rapport sur les progrès réalisés.

La plupart des nouveaux systèmes s’appuyaient sur des données dans des systèmes de tenue de dossiers. Cependant, les données dans d’autres systèmes et les données récemment numérisées n’étaient pas gérées de façon officielle. Dans l’ensemble, les données ne sont pas encore codifiées, gérées, accessibles et mises à jour aussi souvent qu’il le faudrait au MDN et dans les FAC.

Enfin, l’ensemble des politiques du MDN et des FAC n’est pas intégré ni formulé de façon globale pour appuyer l’organisation. L’ensemble des politiques ne reflète pas les principes généraux de la Politique sur les services et le numérique du CT, laquelle met l’accent sur une approche intégrée de gouvernance, de planification et de gestion.

Conclusions générales

Le MDN et les FAC n’optimisent pas les investissements dans les systèmes d’aide à la décision mis en place actuellement dans l’ensemble de l’organisation. L’établissement de priorités à l’échelle de l’organisation pour guider ces activités et la mise en œuvre d’une structure pour surveiller et communiquer les progrès réalisés aideront l’organisation à progresser en exploitant les données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique.

Recommandations

  1. Établir des priorités à l’échelle du MDN et des FAC pour le développement de systèmes d’aide à la décision, en assurant un équilibre défini entre les priorités stratégiques, opérationnelles et tactiques.
  2. Établir des priorités propres aux FAC pour le développement de systèmes d’aide à la décision afin de définir les priorités organisationnelles des N1 ainsi que celles du MDN et des FAC.
  3. Établir un régime de gouvernance qui communiquera les priorités du MDN et des FAC, surveillera les progrès par rapport à ces priorités et communiquera les progrès réalisés.


Retour à la table des matières

Enjeux et portée de l’évaluation

L’évaluation de l’utilisation des données comme un actif stratégique au sein du MDN et des FAC a été menée conformément à la Politique sur les résultats du CT et au plan d’évaluation ministériel quinquennal du MDN et des FAC (AF 2021-2022).

L’objet de l’évaluation était d’examiner la mesure dans laquelle le MDN et les FAC ont réalisé des progrès dans l’utilisation de leurs données pour améliorer leur capacité opérationnelle, la prestation de services, l’analyse et la prise de décisions. Le projet a été défini à l’origine comme une évaluation formative de l’analyse des données; cependant, la portée a été élargie pour inclure les efforts globaux du MDN et des FAC visant à tirer parti des données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique, y compris ceux qui ne sont pas associés spécifiquement à l’Initiative d’analyse des données.

Le projet comprenait six questions d’évaluation liées au rendement.

Questions d’évaluation

  1. Qu’est-ce que le MDN et les FAC ont réalisé jusqu’à présent en ce qui a trait à l’utilisation des données pour appuyer :
    1. la prise de décisions stratégiques, tactiques et opérationnelles pour répondre aux priorités au niveau de l’organisation?
    2. les priorités de chaque N1?
  2. La gouvernance nécessaire au niveau de l’organisation est-elle en place, y compris les structures de responsabilités et d’obligations redditionnelles?
  3. Y a-t-il une gestion intégrée de l’information et des données pour appuyer la prise de décisions au niveau de l’organisation?
  4. La gestion du cycle de vie de l’information et des données est-elle en place?
  5. Dans quelle mesure le MDN et les FAC sont-ils conformes aux politiques établies par le CT?
  6. Quelles sont les possibilités d’amélioration ayant trait à la capacité du MDN et des FAC de gérer l’information et les données comme un actif stratégique?

Portée

Chacun des secteurs d’activité décrits dans la présente évaluation, comme les stratégies, les projets, ou les investissements, aurait pu être le sujet de sa propre évaluation approfondie. Toutefois, ce n’était pas l’objectif de la présente étude. De ce fait, les constatations ainsi que les conclusions sont basées sur une analyse de l’aperçu global de toutes ces activités réunies.

L’évaluation incluait les activités entreprises par le MDN et les FAC entre juillet 2017 et la fin de 2022. Cette période commence par la publication de la Directive conjointe du chef d’état-major de la défense (CEMD) et du sous-ministre (SM) sur le développement et l’opérationnalisation d’une capacité d’analyse des programmes de défense.

L’évaluation a recouru à différentes sources de données recueillies par des méthodes de recherche qualitative (voir l’annexe C pour la méthodologie et les limitations).


Retour à la table des matières

Description des activités évaluées

Les activités abordées dans la présente évaluation ne sont pas définies comme un programme dans le Répertoire des programmes du MDN et des FAC. Elles font partie d’une série d’activités menées dans l’ensemble de l’organisation dont le but est d’appliquer des méthodes de numérisation et d’automatisation afin d’utiliser les données pour appuyer un large éventail de prise de décisions. Cette prise de décisions est à tous les niveaux : stratégique, tactique, et opérationnel. L’annexe D présente un aperçu des systèmes qui ont été décrits dans le cadre de la présente évaluation.

Le MDN et les FAC mettent en œuvre des technologies d’aide à la décision depuis des décennies. Toutefois, en juillet 2017, grâce à la Directive conjointe sur le développement et l’opérationnalisation d’une capacité d’analyse des programmes de défense, le MDN et les FAC ont mis en place une initiative visant à contribuer à la transformation numérique et à accélérer la capacité d’appuyer la prise de décisions en exploitant les données et l’information. Cette initiative a mené à une série de mesures à l’échelle des N1, dont bon nombre complétaient ou amélioraient le travail d’aide à la décision déjà en cours. Bon nombre de ces mesures – et bien d’autres encore – sont décrites dans ce rapport dans le cadre des activités de l’organisation qui encouragent l’utilisation des données pour appuyer la prise de décisions. Ces mesures consistaient à développer des systèmes, des outils et des applications (tous appelés « systèmes » dans le présent rapport).

Financement : Il n’y a pas d’enveloppe budgétaire associée à ces activités. Le financement et les ressources attribués aux activités proviennent de sources ministérielles et de chaque N1.

Intervenants : La prise de décisions stratégiques, tactiques et opérationnelles touche tous les intervenants du MDN et des FAC. Par conséquent, le groupe d’intervenants responsable de ce secteur d’activités est l’ensemble de l’organisation.

Un environnement changeant qui amène de la complexité et de l’incertitude : Pratiquement toutes les activités dans ce secteur sont touchées par des changements fondamentaux qui se produisent dans les environnements de la GI et des TI du MDN et des FAC. Cela comprend, notamment, la modernisation des principaux systèmes (p. ex., Système d’information de la gestion des ressources de la défense), l’adoption de nouveaux systèmes (p. ex., SAP HANA®), l’adoption d’outils d’analyse (p. ex., Microsoft Power BI®), le développement d’innovations numériques à l’échelle de l’organisation (p. ex., analyse de la valeur), la création de nouvelles unités organisationnelles (p. ex., SMA [Données, innovation et analytique] [SMA(DIA)], centres de soutien de l’analytique, etc.), de grandes initiatives en matière de changement (p. ex., le programme de modernisation des ressources d’entreprise de la défense), des initiatives de données avancées (p. ex., intelligence artificielle), de nouvelles technologies appuyant les opérations et bien d’autres.

Changement organisationnel majeur : Le 6 décembre 2022, alors que l’évaluation était en cours, le SM a annoncé la création du Bureau de la transformation numérique (BTN), ce qui remaniait les responsabilités et les obligations redditionnelles liées à la numérisation au MDN et dans les FAC. Cela touchera probablement toutes les activités comprises dans la portée de l’évaluation.


Retour à la table des matières

Constatations et recommandations

Réalisations à ce jour

Constatation no 1 : Les progrès ont été lents pour ce qui est de la mise en œuvre de systèmes permettant au ministère de la Défense nationale et aux Forces armées canadiennes d’utiliser les données pour appuyer la prise de décisions.

De nouveaux éléments fondamentaux ont été établis dans l’ensemble du MDN et des FAC.

Depuis 2017, des éléments importants ont été mis en place, y compris (liste non exhaustive) :

  • créer et mettre sur pied le SMA(DIA);
  • faire avancer cinq analyses de la valeur de l’analytiqueNote de bas de page * avec des priorités à l’échelle de l’organisation;
  • établir et diriger des comités de coordination aux niveaux : N1, N2 et N3;
  • créer et mettre sur pied des centres de soutien de l’analytique dans l’ensemble des N1;
  • élaborer et diffuser une série de politiques et de documents d’orientation du MDN et des FAC liés aux données et à l’analyse, y compris de nombreuses versions de N1;
  • fournir et permettre la formation dans des domaines connexes;
  • effectuer des analyses des écarts de capacités;
  • élaborer un processus pour définir les domaines de données;
  • établir une équipe spéciale sur l’accès aux données;
  • mettre des outils « analytiques » à la disposition des N1 (comme SAP Business Objects® et Microsoft Power BI®).

Il est important de reconnaître ces réalisations :

Toutefois, une mosaïque de systèmes de N1 a été développée ou est en cours de développement.

Lorsqu’on a questionné les N1 au sujet des nouveaux systèmes qui appuient la prise de décisions, ils ont décrit un large éventail de divers domaines de développement :

Figure 1
Figure 1. Mosaïque de systèmes de N1.
Résumé de la figure 1

Tableau 1. État de développement.

État de développement – Systèmes visés par l’étude

No

Fonctionne, avec des éléments essentiels en place

9

En développement

5

Sommaire du tableau 1

Ce tableau fournit de l’information sur « l’état de développement » des systèmes visés par l’étude. Il comporte deux colonnes et trois rangées, y compris les titres. La deuxième rangée révèle que neuf systèmes « fonctionnent, avec des éléments essentiels en place ». La troisième rangée fait état de cinq systèmes « en développement ».

Conclusion : Des étapes fondamentales importantes ont été franchies et des innovations ont été réalisées. Toutefois, les progrès ont été lents pour ce qui est de la mise en place de systèmes pratiques qui permettent au MDN et aux FAC en tant qu’organisation d’utiliser les données pour appuyer la prise de décisions.

Retour à la référence de la note de bas de page * Les analyses de la valeur ont été définies dès le début de l’Initiative d’analyse des données à titre de propositions de valeurs supérieures dans des domaines prioritaires tels que le Cadre ministériel des résultats, la planification d’activités et la gestion de la chaîne d’approvisionnement.


Retour à la table des matières

Établissement de priorités au niveau de l’organisation

Constatation no 2 : L’établissement de priorités à l’échelle du ministère de la Défense nationale et des Forces armées canadiennes est nécessaire pour guider les choix en matière de développement.

Les N1 ont développé des systèmes qui répondent à leurs propres besoins sans lien avec les priorités du MDN et des FAC.

Conclusion : Il n’y avait pas de priorités à l’échelle du MDN et des FAC pour guider les N1 dans leurs efforts de développement, ce qui a entraîné une mosaïque de nouveaux systèmes.

Pourquoi est-ce important :

  • Sans priorités définies, il n’y a pas d’accent mis sur les investissements dans les besoins du mandat du MDN et des FAC.
  • L’occasion de faire travailler des N1 sur des besoins communs qui conduisent à des innovations à l’échelle du MDN et des FAC est perdue.
  • Le MDN et les FAC n’optimisent pas l’utilisation de leurs faibles ressources disponibles en matière de personnel, de financement ou d’expertise.

Tableau 2. Orientation de chaque système.

Orientation de chaque système

Nombre de systèmes développés

Opérations/tactiques

6

Soutien aux opérations (ministère)

8

Sommaire du tableau 2

Ce tableau fournit de l’information sur l’orientation de chaque système et sur le nombre correspondant de systèmes développés. Il comporte deux colonnes et trois rangées, y compris les titres. La deuxième rangée révèle que six systèmes sont orientés vers les « opérations/tactiques ». La troisième rangée fait état de huit systèmes orientés vers le « soutien aux opérations (ministère) ».

Recommandation du SMA(Svcs Ex) 1

Établir des priorités à l’échelle du MDN et des FAC pour le développement de systèmes d’aide à la décision, en assurant un équilibre défini entre les priorités stratégiques, opérationnelles et tactiques.

Mise en garde : Il est également essentiel de permettre aux N1 de développer des solutions « à leur portée » qui répondent à leurs propres besoins. Cela permet l’innovation menant à une efficacité et à une efficience accrues.

Retour à la référence de la note de bas de page * Cas d’utilisation : une demande de méthodologies sur la façon dont un utilisateur pourrait utiliser un système pour atteindre un objectif a été transmise aux N1 en 2019. Le SMA(DIA) a permis de dégager des solutions pour divers cas d’utilisation.


Retour à la table des matières

Établissement de priorités par les Forces armées canadiennes

Constatation no 3 : Des priorités propres aux Forces armées canadiennes sont nécessaires pour guider les priorités organisationnelles.

Les N1 au niveau opérationnel ont développé des systèmes pour répondre à divers besoins, sans mettre l’accent sur ce qui aiderait le plus les FAC.

Les N1 au niveau opérationnel ont développé de nouveaux systèmes dans plusieurs domaines :

Figure 2
Figure 2. Nouveaux systèmes des N1.
Résumé de la figure 2

Parce qu’aucune priorité à l’échelle des FAC n’avait été établie :

Conclusion : Sans priorité clairement définie pour les FAC, le Ministère, dans son ensemble, ne pouvait pas optimiser les investissements faits dans de nouveaux systèmes afin qu’ils répondent aux besoins des FAC.

Recommandation du SMA(Svcs Ex) 2

Établir des priorités propres aux FAC pour le développement de systèmes d’aide à la décision afin de définir les priorités organisationnelles du N1 ainsi que du MDN et des FAC.


Retour à la table des matières

Facteurs de succès pour l’innovation

Constatation no 4 : Des systèmes ont été développés où le besoin était défini et où les données et l’information étaient comprises.

Les N1 ont réussi à développer des systèmes d’aide à la décision lorsqu’il y avait un besoin opérationnel clair, lorsque les données et l’information étaient comprises et lorsque l’expertise technique était disponible. Lorsque de nouveaux outils analytiques ont été mis à la disposition du MDN et des FAC, les N1 ont commencé à bâtir des systèmes pour organiser et visualiser les données afin d’appuyer les décisions, d’automatiser les processus, et de les utiliser à d’autres fins. Ils comprenaient les données et l’information nécessaires et y avaient accès.

Il y avait des facteurs de succès précis entraînant des mesures rapides.

  • BESOIN : Les systèmes choisis répondaient à un besoin défini en appui à des décisions ou à des mesures.
  • DONNÉES : Les N1 comprenaient déjà bien les données et avaient accès aux données de base.
  • COMPÉTENCES : Les N1 avaient accès aux compétences techniques requises pour bâtir les systèmes.
  • OUTILS : Il est devenu possible aux N1 d’utiliser les outils analytiques tels que Power BI® et Business Objects®.

L’annexe D présente un exemple d’un système développé par la Marine royale canadienne (MRC) pour répondre à un besoin défini.

Des « problèmes » en matière de données ont été soulevés et résolus.

Pourquoi est-ce important :

Conclusion : Cette constatation suggère que toute faiblesse perçue relativement aux données ou à un faible taux de littératie des données au MDN et dans les FAC n’empêche pas le développement de systèmes d’aide à la décision utiles.

Le MDN et les FAC devraient faire preuve de prudence lors des investissements dans des activités abstraites en matière de littératie des données ou des exercices généraux pour améliorer les données.


Retour à la table des matières

Gouvernance de la transformation numérique du ministère de la Défense nationale et des Forces armées canadiennes

Constatation no 5 : La gouvernance doit être harmonisée et précisée.

La gouvernance nécessaire au niveau de l’organisation n’est pas pleinement définie. La récente création du BTN entraînera un remaniement des responsabilités et des obligations redditionnelles. On ne sait pas encore très bien quelles organisations seront chargées de communiquer les priorités, de surveiller les progrès réalisés par rapport à ces priorités et de communiquer les progrès réalisés.

La « gouvernance » est maintenant incohérente et répartie dans plusieurs organisations.

Pourquoi est-ce important :

  • Sans une définition claire de la gouvernance de cet espace, le MDN et les FAC ne seront pas en mesure de surveiller les progrès réalisés par rapport aux priorités définies ou aux activités de correction lorsqu’il le faut.
  • Sans gouvernance harmonisée et claire, il existe un risque que les efforts des N1 continuent d’être « cloisonnés », n’optimisant donc pas les investissements du MDN et des FAC dans la transformation numérique.

Tableau 3. Qui a décidé des systèmes à développer au sein des N1?

« Le déclencheur pour développer ce système n’était pas officiel : » six systèmes
« Mon superviseur m’a demandé de développer ce système : » cinq systèmes
« La demande est venue du commandement : » trois systèmes
Sommaire du tableau 3

Ce tableau infographique présente « qui a décidé des systèmes à développer au N1 ». Il comporte trois rangées. La première rangée précise que l’élément déclencheur du développement de six systèmes n’était pas officiel. La deuxième rangée souligne que cinq systèmes ont été développés à la demande du superviseur. La troisième rangée révèle que trois systèmes ont été demandés au niveau du commandement.

Le cadre stratégique du MDN et des FAC ne reflète pas l’ensemble des politiques du CT :

Recommandation du SMA(Svcs Ex) 3

Établir un régime de gouvernance qui communiquera les priorités du MDN et des FAC, surveillera les progrès par rapport à ces priorités et communiquera les progrès réalisés.


Retour à la table des matières

Gestion des données et de l’information

Constatation no 6 : Les données et l’information ne sont pas encore gérées comme un actif organisationnel stratégique.

La plupart des nouveaux systèmes s’appuyaient sur des données dans des systèmes de tenue de dossiers. Cependant, les données qui se trouvent dans d’autres systèmes et les données récemment numérisées n’étaient pas gérées de façon officielle.

Tableau 4. Quelles données sont utilisées?

Nous avions déjà accès aux données dans le système de tenue de dossiers : neuf systèmes
Nous avons besoin de données supplémentaires du système de tenue de dossiers : quatre systèmes
Nous créons des ensembles de données : deux systèmes
Sommaire du tableau 4

Ce tableau infographique illustre « quelles données sont utilisées ». Il comporte trois rangées. Dans la première rangée, il est mentionné que neuf systèmes « avaient déjà accès aux données dans le système de tenue de dossiers ». Dans la deuxième rangée, il est mentionné que quatre systèmes nécessitaient « des données supplémentaires du système de tenue de dossiers ». Dans la troisième rangée, il est mentionné que deux systèmes « créent des ensembles de données ».

L’accès aux données et la mise à jour des données sont des obstacles importants :

« Nous ne devrions pas devoir faire appel à notre chaîne de commandement pour obtenir l’accès aux données. »

« Nous avons eu de la difficulté à obtenir des données par le portail du CLMC. »

« Nous avons besoin régulièrement de données à jour. »

Personnes interrogées du N1

CLMC désigne le « Centre du logiciel militaire du Commandement ».

La plupart des nouveaux systèmes ne sont pas documentés officiellement.

  • Lorsqu’on leur a demandé s’ils élaboraient de la documentation pour décrire officiellement les éléments du nouveau système, un seul N1 a indiqué que cela avait été fait.
  • Tous les N1 ont reconnu que les systèmes devraient être documentés et officialisés.

« Les gens utilisent encore le courriel pour transmettre de l’information. Nous devons trouver des façons de saisir cette information et de la rendre accessible. Nous devons mettre fin à la tendance à recourir au courriel pour l’échange d’information, les discussions et la prise de décisions. »

Personne interrogée du N1

Conclusion : Les données et l’information ne sont pas encore codifiées, gérées, accessibles et mises à jour aussi souvent qu’il le faudrait au MDN et dans les FAC.


Retour à la table des matières

Synthèse des conclusions

L’évaluation visait à déterminer les progrès réalisés par le MDN et les FAC dans l’utilisation des données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique. Les résultats révèlent que, à un niveau organisationnel, le MDN et les FAC n’ont pas fait de progrès importants en ce qui concerne le développement de systèmes pratiques qui utilisent les données pour appuyer la prise de décisions. D’importants progrès ont été accomplis en ce qui a trait à la mise en œuvre d’éléments fondamentaux pour l’organisation. De plus, des capacités ainsi que des outils sont à la disposition des N1. Toutefois, une mosaïque de systèmes propres à chaque N1 a été développée, ce qui ne permet pas d’atteindre l’objectif de mettre en œuvre une culture et une capacité à l’échelle de l’organisation.

L’évaluation a démontré que le MDN et les FAC n’ont pas défini de priorités permettant d’orienter les investissements dans le développement de systèmes dans l’ensemble de l’organisation. De plus, les priorités des FAC n’ont pas été établies – priorités qui orienteraient et aideraient à façonner celles des investissements du MDN et des FAC.

Les responsabilités et les obligations redditionnelles en ce qui a trait à la communication de ces priorités, à la surveillance des progrès par rapport aux priorités et à la production de rapports sur les progrès doivent être clarifiées. La récente création du BTN donne l’occasion de définir et de mettre en œuvre ces structures.

Les constatations de l’évaluation indiquent que des faiblesses dans la qualité des données n’ont pas empêché le développement de systèmes utiles d’aide à la décision. En outre, les constatations suggèrent que les faiblesses perçues sur le plan de la littératie des données n’ont pas empêché le développement de systèmes. Les données et l’information ne sont pas encore gérées comme un actif organisationnel, même s’il y avait une reconnaissance générale de l’importance d’atteindre cet objectif. De plus, le cadre stratégique du ministère ne reflète pas les principes d’intégration énoncés dans la Politique sur les services et le numérique du CT.

Dans l’ensemble, le MDN et les FAC n’optimisent pas les investissements dans les systèmes d’aide à la décision mis en place actuellement dans l’ensemble de l’organisation. L’établissement de priorités à l’échelle de l’organisation pour guider ces activités et la mise en œuvre d’une structure pour surveiller et communiquer les progrès réalisés aideront l’organisation à avancer dans l’utilisation des données pour appuyer la prise de décisions aux niveaux stratégique, opérationnel et tactique.


Retour à la table des matières

Annexe A : Principales constatations et recommandations

Tableau 5. Sommaire des principales constatations et recommandations.

PRINCIPALES CONSTATATIONS RECOMMANDATIONS

CONSTATATION no 1 : Les progrès ont été lents pour ce qui est de la mise en œuvre des systèmes qui permettent au ministère de la Défense nationale et aux Forces armées canadiennes d’utiliser les données pour appuyer la prise de décisions.

 

CONSTATATION no 2 : L’établissement de priorités à l’échelle du ministère de la Défense nationale et des Forces armées canadiennes est nécessaire pour guider les choix en matière de développement.

  • Établir des priorités à l’échelle du MDN et des FAC pour le développement de systèmes d’aide à la décision, en assurant un équilibre défini entre les priorités stratégiques, opérationnelles et tactiques.

CONSTATATION no 3 : Les priorités propres aux Forces armées canadiennes sont nécessaires pour guider les priorités organisationnelles.

  • Établir des priorités propres aux FAC pour le développement de systèmes d’aide à la décision afin de définir les priorités organisationnelles du N1, ainsi que du MDN et des FAC.

CONSTATATION no 4 : Des systèmes ont été développés où le besoin était défini et où les données et l’information étaient comprises.

 

CONSTATATION no 5 : La gouvernance doit être harmonisée et précisée.

  • Établir un régime de gouvernance qui communiquera les priorités du MDN et des FAC, surveillera les progrès par rapport à ces priorités et communiquera les progrès réalisés.

CONSTATATION no 6 : Les données et l’information ne sont pas encore gérées comme un actif organisationnel stratégique.

 
Sommaire du tableau 5

Ce tableau présente les principales constatations et recommandations du rapport. Il comporte deux colonnes et sept rangées, y compris les titres. La colonne de gauche dresse la liste des principales constatations. La colonne de droite dresse la liste des recommandations. Il faut lire chaque rangée de la gauche vers la droite pour connaître la recommandation associée à chaque constatation.


Retour à la table des matières

Annexe B : Plan d’action de la direction

Recommandations du SMA(Svcs Ex)

  1. Établir des priorités à l’échelle du MDN et des FAC pour le développement de systèmes d’aide à la décision, en assurant un équilibre défini entre les priorités stratégiques, opérationnelles et tactiques.
  2. Établir un régime de gouvernance qui communiquera les priorités du MDN et des FAC, surveillera les progrès par rapport à ces priorités et communiquera les progrès réalisés.

Mesure de la direction

Durant l’AF 2022-2023, des activités clés ont eu lieu au sein du MDN et des FAC pour appuyer les données et la transformation numérique :

Le SMA(BTN), en collaboration avec les intervenants clés du MDN et des FAC (SMA[DPI], VCEMD/CISC, N1 du MDN et des FAC), précise la responsabilisation, les responsabilités et les autorités, ce qui entraînera des changements à la gouvernance existante qui appuiera la transformation numérique du MDN et des FAC en fournissant un leadership et une surveillance stratégiques de toutes les questions liées à l’écosystème numérique (le fusionnement de personnes, de processus, de technologies et de données). Cette gouvernance s’harmonisera avec le rôle du CISC dans la négociation des besoins des FAC pour l’adaptation dans l’ensemble du MDN et des FAC au nom du rôle du VCEMD à titre de champion numérique des FAC.

Livrables :

  1. Mettre au point et publier la responsabilisation, les responsabilités et les autorités du SMA(BTN).
  2. Mettre au point et publier le mandat du Comité des services numériques de la Défense.
  3. Établir une gouvernance conjointe entre le BTN et le DPI qui appuiera la transformation numérique et s’harmonisera avec le rôle du VCEMD dans la négociation des besoins des FAC pour l’adaptation dans l’ensemble du MDN et des FAC.
  4. Élaborer des critères de priorisation pour les nouveaux systèmes numériques d’aide à la décision.
  5. Achever la modernisation du programme de gestion du portefeuille d’applications.

Dates cibles :

1. Octobre 2023; 2. Janvier 2024; 3. Avril 2025; 4. Janvier 2024; 5. Avril 2025

Ce plan d’action de la direction sera considéré comme fermé dès que les cinq mesures de suivi provisoires auront été menées à bien.

BPR : BTN
BC : DPI, VCEMD, Secrétariat général

Recommandation du SMA(Svcs Ex)

  1. Établir des priorités propres aux FAC pour le développement de systèmes d’aide à la décision afin de définir les priorités organisationnelles des N1 ainsi que celles du MDN et des FAC.

Mesure de la direction

Durant l’évaluation du SMA(Svcs Ex) au cours de l’AF 2022-2023, de nombreuses activités clés ont eu lieu au sein des FAC pour appuyer les données et la transformation numérique.

Le poste de CISC a été créé en juin 2022 et le PCN des FAC a ensuite été publié pour communiquer le plan du CEMD pour la transformation numérique des FAC d’ici 2030. Le VCEMD/CISC élabore actuellement, en collaboration avec les principaux intervenants du MDN et des FAC (SMA[BTN], SMA[DPI], N1 des FAC), un Plan de campagne numérique-Plan axé sur les résultats (PCN-PAR) et la Directive de mise en œuvre du VCEMD qui fourniront aux N1 des FAC les tâches principales qui permettront une priorisation propre aux FAC des systèmes d’aide à la décision. Après leur publication, la Directive et le PCN-PAR nommeront le CISC comme responsable des domaines de données opérationnelles et mettront en place un mécanisme de gouvernance numérique; les deux donneront suite à cette recommandation.

Livrable : Officialiser, diffuser et publier le PCN-PAR et la Directive de mise en œuvre du VCEMD, après quoi le centre numérique des FAC, la gouvernance numérique des FAC et le bureau du dirigeant principal des données opérationnelles seront établis.

Date cible : Décembre 2023

BPR : CISC
BC : DPI, BTN et N1 du MDN


Retour à la table des matières

Annexe C : Méthodologie et limitations de l’évaluation

Méthodologie

Les constatations et recommandations de l’évaluation étaient appuyées par de multiples sources de données et par les méthodes de recherche qualitatives et quantitatives réunies durant la phase d’exécution, pour accroître la rigueur et assurer la fiabilité des renseignements et données à l’appui des constatations. Ces sources de données ont été triangulées et les constatations préliminaires, communiquées au Comité consultatif de l’évaluation. Les méthodes de recherche utilisées pour définir la portée de l’évaluation et la réaliser sont les suivantes :

Analyse documentaire

L’équipe d’évaluation a réalisé une analyse préliminaire des documents de base pendant la phase de planification, ce qui a favorisé l’acquisition d’une compréhension approfondie des activités évaluées et a servi de base à la définition de la portée et du plan d’évaluation. La documentation comprenait les directives, les politiques, les stratégies, les procédures, les lignes directrices et les plans du CT et du ministère qui étaient liés à la gestion et à l’utilisation des données à l’appui au mandat du MDN et des FAC. De plus, les comptes rendus des discussions de quatre comités de gouvernance de 2018 à aujourd’hui ont été examinés. Des documents choisis ont été examinés pour les systèmes décrits dans l’étude.

Études de cas

Afin d’évaluer les progrès réalisés par le MDN et les FAC dans le développement d’outils, d’applications et de systèmes pour appuyer la prise de décisions, l’évaluation a communiqué avec neuf N1 : l’Armée canadienne (AC), la MRC, l’Aviation royale canadienne, le Commandement des opérations interarmées du Canada (COIC), le Commandement – Forces d’opérations spéciales du Canada, le VCEMD, le SMA (Matériels) (SMA[Mat]), le SMA (Infrastructures et environnement) et le SMA (Finances). On a demandé à ces N1 d’identifier les systèmes qu’ils avaient développés récemment pour aider à appuyer la prise de décisions stratégiques, opérationnelles ou tactiques. Certains N1 ont identifié deux systèmes, et certains en ont identifié un seul. On a communiqué avec les personnes qui connaissaient le mieux le développement des systèmes respectifs, et elles ont répondu à des questions structurées concernant l’objectif du système, le processus de prise de décisions sous-jacent à son développement, l’état de la gestion des données, le processus de développement, les obstacles à la réussite, l’état d’avancement du projet et d’autres sujets connexes.

Au total, 14 systèmes ont été décrits dans le cadre de l’évaluation. Un résumé a été produit pour chaque système, et celui-ci a été fourni aux personnes interrogées à des fins de validation. Un exemple est fourni à l’annexe E.

Entrevues avec des informateurs clés

L’équipe d’évaluation a repéré les informateurs clés dans les N1 pour l’ensemble du MDN et des FAC afin d’identifier les systèmes nouvellement mis au point pour appuyer la prise de décisions stratégiques, opérationnelles ou tactiques. On a communiqué avec les personnes interrogées afin d’identifier les propriétaires de ces systèmes. Des entrevues détaillées ont ensuite été menées auprès des propriétaires des systèmes au moyen d’un guide d’entrevue structurée. De plus, des entrevues ont été menées auprès de répondants clés concernés par l’Initiative d’analyse des données du MDN et des FAC. Des entrevues ont été menées auprès de représentants du Secrétariat du CT et de trois autres organisations fédérales pour discuter de leurs difficultés et de leurs expériences liées au développement et à l’amélioration de systèmes pour appuyer la prise de décisions.

Au total, 49 personnes ont été interrogées dans le cadre de l’évaluation. Certaines entrevues étaient en personne, et certaines étaient en petits groupes de deux, trois ou quatre. Certaines personnes ont été interrogées plus d’une fois afin d’obtenir des renseignements supplémentaires sur les sujets de discussion.

Validité de la méthodologie

La méthodologie est suffisante pour assurer la validité et la rigueur des constatations et des conclusions.

Limitations de l’évaluation

Les limitations de l’évaluation et les stratégies d’atténuation employées dans le cadre du processus d’évaluation sont présentées dans le tableau ci- après.

Tableau 6. Méthodologie et limitations de l’évaluation.

Limitations Stratégies d’atténuation

Autosélection des exemples : Les N1 ont identifié les systèmes à décrire dans l’évaluation, ce qui pourrait entraîner des préjugés, réels ou apparents dans les résultats de l’étude.

Autosélection des exemples : Une entrevue préliminaire a été menée auprès de chaque N1 pour aider à identifier les systèmes qui avaient été développés récemment. Cette entrevue a permis aux évaluateurs de s’assurer que la sélection était adéquate d’un point de vue méthodologique. En outre, l’objectif de l’évaluation était atteint de manière plus efficace en permettant aux N1 d’identifier les systèmes qui étaient, selon eux, les plus utiles pour l’appui à la prise de décisions.

Constatations ne nécessitant pas beaucoup de données : On dépendait de l’interprétation de l’information. Cela pourrait avoir entraîné des risques concernant la perception de l’objectivité de l’évaluation.

Constatations ne nécessitant pas beaucoup de données : Cette limitation a été corrigée au moyen d’entrevues en profondeur pour examiner la raison d’être de ces décisions et mesures. Ces entrevues ont permis à l’intervieweur de vérifier la validité des déclarations. De plus, l’évaluation comprenait un nombre suffisant d’exemples de sorte que l’information sélectionnée dans un exemple pouvait être validée par l’information fournie dans d’autres exemples. Enfin, des résumés ont été élaborés pour documenter chaque système décrit, et ces résumés ont été fournis aux personnes interrogées à des fins de validation. Toutes ces mesures ont contribué à assurer la validité des résultats.

Systèmes ou applications en cours de développement : Le développement des systèmes est un processus continu, et la plupart d’eux n’étaient pas mis au point. Par conséquent, il y avait un risque que le résultat escompté des systèmes ne soit finalement pas atteint, et il y avait une perception que cela nuirait à l’utilité des systèmes à titre d’exemple dans l’évaluation.

Systèmes ou applications en cours de développement : Le guide d’entrevue a été élaboré pour se concentrer sur la prise de décisions liée au développement de ces systèmes, l’expérience du développement des systèmes, ainsi que les obstacles et les facteurs de succès. Par conséquent, les résultats de chaque système ne seraient pas touchés de manière négative si le développement du système faisait face à des difficultés ou n’était pas encore terminé.

Sommaire du tableau 6

Ce tableau présente un résumé des limitations et des stratégies d’atténuation. Il comporte deux colonnes et quatre rangées, y compris les titres. La colonne de gauche énumère les limitations de l’évaluation (autosélection d’exemples, constatations ne nécessitant pas beaucoup de données, systèmes/applications en cours de développement). La colonne de droite présente les stratégies d’atténuation. Il faut lire chaque rangée de la gauche vers la droite pour connaître la stratégie d’atténuation associée à chaque limitation.


Retour à la table des matières

Annexe D : Systèmes décrits dans le cadre de l’évaluation

Tableau 7. Systèmes décrits dans le cadre de l’évaluation.

N1 Système

AC

Une image commune de la situation opérationnelle de plusieurs tableaux de bord, y compris le personnel, l’équipement, la formation, les finances, etc.

AC

Tableau de bord sur les renseignements sur l’équipement pour appuyer la prise de décisions

COIC

Une image commune de la situation opérationnelle pour permettre l’acquisition rapide d’une connaissance de la situation

COIC

Source unique d’information utilisée par le COIC pour affecter le personnel

MRC

Vue d’ensemble des lieux d’affectation des marins, de leur disponibilité et des raisons pour lesquelles ils ne sont pas disponibles

MRC

Portail permettant aux marins d’avoir accès à l’information depuis leurs téléphones

Aviation royale canadienne

Outil de gestion de mission pour autoriser la section de répartition

VCEMD

Vue de l’information sur les tendances en recrutement dans les cinq régions

VCEMD

Outil d’analyse des risques pour aider à la planification des investissements du MDN et des FAC

Commandement – Forces d’opérations spéciales du Canada

Suite d’outils sur le Web pour le soutien opérationnel afin de gérer les opérations

SMA(Mat)

Rapport sur l’état et les tendances des projets de biens d’équipement de plus de 10 millions de dollars

SMA(Mat)

Automatisation de la production des rapports organisationnels du MDN et des FAC

SMA (Infrastructures et environnement)

Tableau de bord de projet qui comprend plusieurs éléments d’information sur les projets de N1

SMA (Finances)

Outil d’analyse pour aider à prédire les dépenses à la fin de l’exercice

Sommaire du tableau 7

Ce tableau présente la description des systèmes qui ont fait l’objet de l’évaluation, telle qu’elle a été faite par les différents N1. Il comporte deux colonnes et quinze rangées, y compris les titres. La colonne de gauche dresse une liste des N1. La colonne de droite présente une description des systèmes. Il faut lire chaque rangée de la gauche vers la droite pour connaître le système associé à chaque N1.


Retour à la table des matières

Annexe E : Exemple

L’application de la MRC

Objectif du système

L’application de la MRC est un portail permettant aux marins de la MRC d’avoir accès à l’information depuis leurs téléphones. L’application permettra aux marins d’avoir accès à l’information qui ne serait normalement disponible que sur un ordinateur doté d’une connexion au Réseau étendu de la Défense, et les aidera à gérer leurs activités quotidiennes. Elle permet aux marins de rester informés et connectés, et d’accomplir leur travail quotidien.

Facteur à l’origine du système

Évolution du développement

Nouvelles données et nouveaux processus

Facteurs de succès

Détails de la page

Date de modification :