Évaluation de l’accord de contribution à l’appui de la décontamination des anciennes stations radars de la ligne Mid-Canada situées en Ontario

Juin 2014

1258-208 (CS Ex)

Revu par le SMA(Svcs Ex) conformément à la Loi sur l’accès à l’information. Renseignements NON CLASSIFIÉS.

Acronymes et abréviations

Sommaire

L’évaluation de l’accord de contribution (AC) à l’appui de la décontamination des anciennes stations radars de la ligne Mid-Canada (LMC) situées en Ontario a été dirigée par le Chef – Service d’examen (CS Ex) et réalisée entre septembre et décembre 2013. L’évaluation est une composante du plan d’évaluation quinquennal (de 2012-2013 à 2016-2017), du ministère de la Défense nationale (MDN). Elle a été effectuée conformément à la Politique sur l’évaluation (2009) et à la Politique sur les paiements de transfert (2008) du Conseil du Trésor.

L’AC vise à aider la province de l’Ontario à décontaminer 11 anciennes stations radars de la LMC situées en Ontario. L’objectif est de remettre les stations radars dans un état permettant de réduire les risques futurs potentiels pour la santé humaine, la sécurité publique et l’environnement. Les travaux de décontamination prévus sont les suivants :

• enlever les matières non dangereuses et procéder à leur traitement sur le site ou en dehors du site, selon le coût;
• enlever les matières dangereuses et les contaminants, et les acheminer, pour élimination, vers un site extérieur réglementé et approuvé à cette fin.

En 2009, le gouvernement fédéral a accepté de verser 30 millions de dollars (M$) sur cinq ans sur les 60 M$ correspondant au montant total des dépenses estimées pour la réalisation des travaux de décontamination. En date de mars 2014, des rapports de fermeture de sites et d’achèvement des travaux avaient été reçus pour deux des 11 sites et approuvés par les intervenants. Les travaux de décontamination avancent dans trois des sites et sont pratiquement terminés. Ils devraient commencer très bientôt dans les six autres sites. Tous les projets de décontamination devraient être achevés d’ici la fin de l’AF) 2014-2015, et les inspections auront lieu peu de temps après. Il restera donc des fonds à dépenser au cours de l’AF 2015-2016 pour produire les rapports de fermeture de sites et d’achèvement des travaux et les faire accepter par les intervenants. Par conséquent, les responsables du programme n’atteindront pas l’objectif d’avoir dépensé les fonds de la contribution d’ici la fin de l’AF 2014-2015.

À noter que l’accord de contribution a suscité un degré élevé de confiance entre des groupes disparates, ce qui a été bénéfique pour tous les intervenants.

Principales constatations et recommandations

Principale constatation no 1 : L’accord de contribution a aidé à assainir les stations radars contaminées en Ontario en raison des gestes posés par le gouvernement fédéral dans le passé.

Principale constatation no 2 : L’accord de contribution doit être modifié afin de reporter au-delà de l’AF 2014-2015 la date d’achèvement des travaux d’assainissement des derniers sites contaminés.

Principale constatation no 3 : Le recours à un conseiller expérimenté en matière de projets, possédant des connaissances spécialisées en assainissement de sites contaminés, a constitué un facteur clé de la réussite du projet.

Recommandation no 1 : Que le sous-ministre adjoint (Infrastructure et Environnement) (SMA(IE)) demande au ministère des Ressources naturelles (MRN) de préparer les attestations d’achèvement des travaux pour les 11 sites avant la fin de l’été 2014 et exige de recevoir celles-ci au plus tard le 31 mars 2015.

Recommandation no 2 : Attendu que, dans sa forme actuelle, l’accord de contribution expire à la fin de l’AF 2014-2015, et attendu que le MRN doit terminer la fermeture des sept derniers sites au cours de l’été 2014 et préparer ensuite les documents requis pour la fermeture de ces sites, l’équipe d’évaluation recommande de prolonger l’accord de contribution jusqu’au 31 mars 2016.

Note : Voir à l’annexe A – Plan d’action de la direction les recommandations et les réponses de la direction.

1.0 Introduction

1.1 Description de l’accord de contribution pour la ligne Mid-Canada

1.2 Étendue de l’évaluation

L’équipe d’évaluation a examiné les questions de pertinence et de rendement (c.-à-d. l’efficacité et l’efficience) à la lumière des modalités de l’accord de contribution de 30 M$ pour la LMC et conformément à l’architecture d’alignement des programmes du MDN.

L’architecture d’alignement des programmes de 2013 classe l’accord de contribution pour la LMC dans la catégorie 4.3.5 Sous-Sous Programme – Biens immobiliers – Environnement et assainissement. Cette catégorie est liée au Résultat stratégique – La Défense demeure continuellement préparée à s’acquitter de la défense nationale et des services de la Défense en conformité avec les valeurs et intérêts canadiens.

1.2.1 Ressources

Les dépenses totales visées par l’évaluation s’élèvent à environ 33 M$. Ce chiffre représente le montant de l’accord de contribution (30 M$) auquel s’ajoute la somme versée par Construction de Défense Canada (2 M$) et les coûts assumés par le MDN pour son personnel administratif et de gestion de projet ainsi que ses frais généraux pour les AF 2009-2010 à 2013-2014 (environ 1 M$).

Durant la période visée par l’évaluation (AF 2007-2008 à 2013-2014), les dépenses liées à l’accord de contribution s’élèvent à 24,58 M$. Au cours de cette même période, les montants versés à Construction de Défense Canada, sous la rubrique fonctionnement et entretien (F et E), ont atteint 1,875 M$ et ont servi à soutenir la gestion des programmes. Le MDN estime que les dépenses de F et E seront de l’ordre de 150 000 $ au cours de l’AF 2014-2015.

1.2.2 Enjeux et questions

Conformément à la Directive du Conseil du Trésor sur la fonction d’évaluation, les questions fondamentales examinées par l’équipe d’évaluation sont la pertinence et le rendement du programme (c.-à-d. l’efficacité, l’efficience et l’économie). Ces questions sont les suivantes :

1. Dans quelle mesure l’AC répond-il à un besoin manifeste?
2. L’AC est-il conforme aux rôles et responsabilités du gouvernement fédéral?
3. L’AC s’harmonise-t-il avec les priorités du gouvernement fédéral et les résultats stratégiques définis par le MDN et les Forces armées canadiennes (FAC)?
4. Dans quelle mesure l’AC permet-il d’atteindre les résultats escomptés?
5. Le programme assure-t-il l’optimisation des ressources?

Voir l’annexe D – Matrice d’évaluation pour la matrice complète d’évaluation.

2.0 Constatations et recommandations

Les constatations et recommandations découlant de l’évaluation sont décrites dans les sections 2.1 à 2.5.

2.1 Besoin continu

L’équipe d’évaluation est parvenue à la constatation que ce programme devra être maintenu tant et aussi longtemps que les 11 sites n’auront pas été décontaminés (AF 2015-2016) de façon à protéger l’environnement et la santé humaine.

Des examens indépendants³ des stations radars de classe 1 et de classe 2 de la LMC, en Ontario, ont permis d’observer que des contaminants, y compris des biphényles polychlorés, des hydrocarbures pétroliers totaux, de l’amiante et des métaux lourds, avaient été rejetés dans l’environnement. La contamination est attribuable aux bâtiments, aux peintures, à l’équipement électrique, aux déversements de pétrole et de carburant diesel ainsi qu’à l’épandage de pesticides. Il a été présumé que ces contaminants avaient déjà ou pourraient avoir des effets nuisibles sur l’environnement et sur la santé humaine.

2.2 Concordance avec les rôles et les responsabilités du gouvernement fédéral

L’AC concorde avec les rôles et les responsabilités du gouvernement fédéral. En avril 2005, le gouvernement fédéral a établi le cadre stratégique de responsabilité partagée relative aux sites contaminés en vertu duquel il acceptait de partager la responsabilité de la gestion à long terme des sites contaminés. Ce cadre établissait que le Comité directeur des sous-ministres adjoints pour les sites contaminés fédéraux acceptait, au nom du gouvernement fédéral, de négocier une entente de partage des coûts avec la province de l’Ontario afin de nettoyer les sites qui avaient auparavant appartenu au gouvernement fédéral ou avaient été administrés par ce dernier.

De plus, il est « normal » que le MDN assume la composante du financement attribuée au gouvernement fédéral. Après les multiples versions de la notion de durabilité environnementale, dont la dernière a conduit à la mise en œuvre de la Stratégie fédérale de développement durable (SED) au cours de la période 2010-2013,⁴ le MDN et les FAC ont élaboré, en 2013, la Stratégie environnementale de la Défense (SED). La vision énoncée dans cette stratégie est de gérer les établissements de défense, de même que les zones opérationnelles et d’entraînement, de façon à minimiser les effets nuisibles sur l’environnement – tout en maintenant la disponibilité opérationnelle des forces militaires. La SED fournit au MDN et aux FAC des indications sur la manière d’y parvenir et concorde avec l’engagement pris par ces derniers, soit celui d’assainir les sites qui présentent le risque le plus élevé pour l’environnement ou pour la santé humaine.

2.3 Harmonisation avec les priorités du gouvernement

L’AC s’harmonise aussi avec les priorités actuelles du gouvernement du Canada. L’assainissement des terrains contaminés par des actions passées du gouvernement fédéral est une priorité fédérale depuis le début des années 1980. C’est en 2005 qu’a été établi un cadre stratégique de responsabilité partagée relative aux sites contaminés. Ce document détermine les critères en vertu desquels le gouvernement fédéral envisagerait de financer une partie des coûts de nettoyage des sites contaminés sur des terrains ne relevant pas de la compétence fédérale, dans la mesure où la contamination résulte directement de ses propres activités ou opérations.

La consultation des Autochtones et la gérance environnementale demeurent aussi des priorités pour le gouvernement fédéral. Dans le discours du Trône de 2013, le gouvernement affirme qu’il continuera de « travailler en partenariat avec les peuples autochtones à créer des collectivités saines, prospères et autonomes ». La Stratégie fédérale de développement durable de 2013-2016, rendue publique en novembre 2013, rappelle l’importance « que le gouvernement fédéral, les provinces, les territoires et les groupes autochtones travaillent de concert pour protéger les paysages terrestres et marins, les écosystèmes et les espèces en péril ».

2.4 Atteinte des résultats escomptés (Efficacité)

Principale constatation no 1 : L’AC a aidé à assainir les stations radars contaminées en Ontario en raison des gestes posés par le gouvernement fédéral dans le passé.

L’efficacité de l’AC a été évaluée en comparant des mesures de rendement appropriées et des indicateurs de rendements clés aux résultats escomptés. Ces résultats comprenaient les suivants :

• le caractère satisfaisant (c.-à-d., l’efficacité) de la décontamination des sites;
• l’acceptation des résultats de la décontamination par les intervenants (c.-à-d., leur satisfaction);
• le respect des conditions du programme.

Dans le modèle logique du programme (voir l’annexe C), ces critères sont présentés comme les résultats immédiats et intermédiaires.

Les données pour les mesures de rendement sont tirées de rapports, de documents, d’études, de rapports financiers, de documents fournis par le personnel de la Direction – Gestion du génie de l’environnement, de plusieurs entrevues réalisées avec le gestionnaire des programmes et le principal intervenant bénéficiaire. L’efficacité générale de l’AC a été établie en fonction des résultats d’une analyse de toute cette information.

2.4.1 Décontamination satisfaisante

Pour évaluer l’efficacité des travaux de décontamination, l’équipe d’évaluation a utilisé les mesures de rendement présentées au tableau 1.

Tableau 1. Mesures de rendement servant à vérifier l’efficacité des travaux de décontamination

En se basant sur les données obtenues à l’aide de ces mesures de rendement, l’équipe d’évaluation est parvenue aux constatations suivantes :

• les responsables du programme utilisent de bonnes techniques de décontamination;
• les responsables du programme respectent les règlements en vigueur et, de façon générale, ont recours à de bonnes méthodes de gestion de projets;
• toutes les obligations contractuelles et liées aux travaux sont respectées.

2.4.1.1 Respect des recommandations découlant des évaluations environnementales

Une évaluation environnementale (EE) devait être effectuée pour chacun des 11 sites. À la lumière des résultats de ces évaluations, les divers permis requis pour la réalisation des travaux ont été demandés, et le ministère de l’Environnement de l’Ontario (MEO) a surveillé ces travaux afin d’en assurer la conformité aux normes en vigueur. Comme c’est le ministère des Ressources naturelles (MRN) qui est responsables des projets, le MDN n’a pas vérifié la nature des permis délivrés. Le MDN a observé que des représentants du MEO assistaient habituellement aux réunions liées aux projets et aux programmes. Le MRN a affirmé que tous les permis nécessaires avaient par la suite été délivrés.

Les indicateurs définis pour les vérifications de conformité ont révélé ce qui suit :

• une évaluation environnementale a été faite et consignée pour les 11 sites;
• des permis signés ont été délivrés par les autorités de réglementation et obtenus pour les 11 sites;
• des rapports de décontamination des sites ont été produits dans les 90 jours suivant la fin des travaux réalisés à cette fin, puis présentés et examinés par le Directeur général – Environnement (DGE) ou par le Directeur – Protection de l’environnement (D P Env);
• des échantillonnages de confirmation ont été réalisés afin d’attester de la conformité des travaux aux normes, aux lignes directrices ainsi qu’aux règles régissant la tenue des dossiers et l’information.

2.4.1.2 Recours à la planification intégrée de projets et analyses de rentabilisation

Les plans de gestion préparés par le MRN et revus par le MDN et CDC ont fait en sorte que les travaux prévus ont été effectués en temps opportun. L’équipe d’évaluation a constaté que ces plans, tout comme la planification intégrée des projets et les analyses de rentabilisation, avaient été fort utiles.

Comme il s’y était engagé, le MRN a préparé des copies de travail de huit plans de gestion généraux. Les plans propres aux différents sites ont été mis à jour chaque année par le MRN, puis revus par le MDN dont les avis étaient sollicités périodiquement par le MRN. Les obligations découlant des plans de gestion (par exemple, sur les plans de la santé et de la sécurité et des mesures d’urgence) ont été prises en compte pour l’approvisionnement en services de nettoyage. À l’occasion, le MRN a sollicité l’aide de consultants pour mettre à jour les plans de gestion des projets.

La deuxième modification apportée à l’annexe E de l’AC a eu pour effet d’établir l’obligation de présenter deux ou trois rapports d’étape et factures par année. L’équipe d’évaluation a également observé que, de façon générale, les échéances fixées étaient respectées (c.-à-d. avec une certaine flexibilité selon la date d’achèvement et de présentation au MRN de l’Ontario des derniers produits livrables de l’entrepreneur).

2.4.1.3 Réalisation d’une activité d’assurance de la qualité

Pour chaque décontamination de site, le MRN a embauché des consultants spécialisés en gestion de la qualité pour travailler avec les entrepreneurs en décontamination des camps. Ces consultants étaient responsables de l’assurance de la qualité et des contrôles ainsi que du respect des plans de santé et sécurité et des protocoles de décontamination en lien avec la sécurité des travailleurs, de même que des sols et matériaux contaminés. Leur travail comportait des activités de surveillance, d’échantillonnage et d’analyse en laboratoire. Le recours aux services de spécialistes en décontamination et en contrôle et assurance de la qualité a permis de produire des rapports suivant une méthodologie précise, y compris pour le contrôle de la qualité et les résultats des tests, et de les annexer au rapport de décontamination des sites.

2.4.1.4 Mise en application des leçons apprises

Les leçons apprises ont trait à la collecte, à l’évaluation, à la validation et à l’utilisation des données pour déterminer les points de défaillance et les réalisations attendues d’un projet. Il devrait exister une méthode ou un processus pour intégrer ces leçons dans l’organisation. Le succès d’un « système » de leçons apprises dépend de son adoption par les intervenants.

L’équipe d’évaluation a conclu que les leçons apprises avaient été mises en application et avaient pris la forme de l’établissement d’une liste de mesures relatives à l’assurance de la qualité (AQ) et de l’élaboration de plans d’activités. Cette liste de mesures a été établie et ces plans d’activités ont été élaborés pour chaque projet et chaque programme. Une matrice d’attribution des responsabilités a été conçue, des comptes rendus des réunions portant sur l’assurance de la qualité et la gestion des risques des projets ont été rédigés, et un plan de gestion de projets a été élaboré.

2.4.2 Acceptation, par les intervenants, des travaux réalisés

Un élément clé de l’AC consistait à faire accepter chaque site décontaminé par tous les intervenants, principalement les bandes des Premières Nations, Parcs Ontario, les municipalités locales et les autres ministères fédéraux désignés comme autorités responsables tout au long du processus d’évaluation environnementale.

Afin de mesurer le degré d’acceptation générale, par les intervenants, des travaux de décontamination réalisés, l’équipe d’évaluation a procédé par entrevues et par analyse de la documentation existante.

Les principaux indicateurs étaient les suivants :

• vérification, par les intervenants, du processus de décontamination et des résultats obtenus;
• satisfaction des intervenants.

Les mesures ainsi que leurs indicateurs et sources de données sont présentés sur la Matrice d’évaluation. Voir l’annexe D – Matrice d’évaluation.

2.4.2.1 Vérification, par les intervenants, du processus de décontamination et des résultats obtenus

En réalisant différentes analyses documentaires, l’équipe d’évaluation a pu confirmer l’existence d’instruments de vérification pour tous les sites à assainir. Les documents analysés comprenaient des rapports d’étape, des rapports de décontamination des sites, des résumés de projets, des rapports d’inspection sur place et les comptes rendus des réunions sur l’état d’avancement des projets. Les entretiens ont également confirmé que les intervenants avaient participé au programme et en avaient accepté les résultats.

2.4.2.2 Satisfaction des intervenants

Les communications efficaces facilitent la compréhension des enjeux, instaurent un climat de confiance et de respect, et créent un environnement propice à l’éclosion d’idées créatrices et à l’émergence de solutions aux problèmes cernés. Les communications efficaces peuvent réduire les conflits et la frustration. L’équipe d’évaluation a constaté que la communication et l’acceptation des projets par tous les intervenants avaient effectivement suscité une mobilisation au sein des collectivités touchées.

Premières Nations

Le MRN a déployé des efforts satisfaisants pour obtenir l’acceptation, par les Premières Nations (PN), des activités de décontamination des sites. Le MRN a fait appel au savoir traditionnel autochtone dans le cadre de l’étude des sites. L’évaluation environnementale comprenait des consultations avec les PN, sous forme de réunions publiques, et les résultats de ces consultations sont consignés dans les comptes rendus des réunions.

Une composante importante de l’accord de contribution était celle d’offrir des possibilités et des avantages aux membres des PN. Les Autochtones des collectivités locales constituaient une partie importante de la main-d’œuvre. Leur participation directe aux travaux de décontamination a contribué à faire connaître la portée et la qualité du projet. Le MRN a organisé des visites pour les Aînés des PN au début et à la fin des travaux de décontamination des sites, s’assurant ainsi de tenir compte de leurs avis et suggestions. Le MRN a également sollicité les avis et opinions des PN lors des réunions semestrielles concernant le programme et des téléconférences courantes. Enfin, le MRN a mentionné que les PN avaient tenu des cérémonies religieuses de clôture de projet sur certains des sites décontaminés.

Parcs Ontario

Le MRN a obtenu l’acceptation de Parcs Ontario quant aux efforts de décontamination des sites. Le MRN a émis des normes et négocié des techniques d’enfouissement avec Parcs Ontario. Durant l’aménagement des sites d’enfouissement, un délégué de Parcs Ontario faisait partie des représentants du MRN présents sur les lieux. Le MRN a suivi le processus provincial d’évaluation environnementale et obtenu les permis nécessaires.

Ministère de la Défense nationale et Construction de Défense Canada

La communication entre le MRN et le MDN et CDC était ouverte et transparente. Les moyens utilisés par le MRN – envoi de factures et de rapports d’étape, visites sur place, réunions périodiques, analyse des plans et des rapports, et échanges de conseils – ont aidé à faire accepter, par le MDN, les travaux de décontamination des sites. Le MRN est d’avis que la réussite du projet est en grande partie attribuable aux efforts déployés par CDC au chapitre de la gestion du projet et du transfert des connaissances.

2.4.3 Respect de l’accord de contribution

L’équipe d’évaluation a pris en compte les facteurs suivants pour évaluer la conformité du projet aux modalités et conditions de l’accord de contribution :

• le respect du calendrier d’exécution et du contrat;
• l’attestation de l’achèvement du projet.

Les mesures et leurs indicateurs ou les sources de données sont indiqués sur la matrice d’évaluation (Voir l’annexe D).

2.4.3.1 Respect du calendrier d’exécution et du contrat

Les travaux progressent de manière raisonnable dans tous les sites. Ils sont en majeure partie terminés. Deux sites sont fermés et la décontamination des neuf autres sites devrait être achevée d’ici la fin de l’AF 2014-2015. Si le MRN demeure fidèle aux pratiques exemplaires qu’il a utilisées, les travaux de décontamination de ces neuf derniers sites seront acceptés par les intervenants à la fin de l’AF 2014-2015.

À l’automne de l’AF 2013-2014, les activités de décontamination financées en vertu de l’accord de contribution étaient terminées dans huit stations radars. Il reste donc trois sites à décontaminer au cours de l’AF 2014-2015.

Le tableau 2 indique l’état d’avancement des travaux de décontamination des stations radars de la LMC au 10 décembre 2013.

Tableau 2. État de décontamination des sites

2.4.3.2 Attestation de l’achèvement du projet

L’équipe d’évaluation a constaté qu’une attestation de l’achèvement du projet avait été émise pour les trois sites entièrement décontaminés. L’échantillonnage de confirmation a confirmé que le volet environnemental de la décontamination des sites avait été réalisé conformément aux critères applicables. On s’attend à ce que les sites restants soient acceptés par les intervenants d’ici la fin de l’AF 2014-2015 et que leur état soit conforme aux conditions énoncées dans l’accord de contribution.

Principale constatation no 2 : L’AC doit être modifié afin de reporter au-delà de l’AF 2014-2015 la date d’achèvement des travaux de décontamination des derniers sites contaminés.

2.4.4 Sites décontaminés

Le résultat final visé par l’AC est que les 11 sites soient assainis au point que tous les intervenants estiment pouvoir les utiliser sans risque. L’échéancier initial n’a pas été respecté, mais les retards accusés n’étaient ni imprévus ni déraisonnables compte tenu du caractère incertain de l’ampleur de la contamination.

2.5 Démonstration d’efficience et d’économie

L’équipe d’évaluation a tenu compte des critères suivants pour établir le degré d’efficience et d’économie du programme :

• l’optimisation des ressources affectées aux travaux de décontamination;
• les coûts indirects et de gestion du programme.

L’information a été réunie en procédant à une analyse des documents et des rapports ayant trait au programme ainsi qu’à des entrevues avec des informateurs clés.

2.5.1 Optimisation des ressources affectées aux travaux de décontamination

Ces critères ont été évalués à l’aide des indicateurs suivants :

• le recours aux procédures de marchés concurrentiels;
• le respect des estimations de coûts;
• les connaissances spécialisées en gestion de projets;
• les coûts indirects et de gestion du programme.

2.5.1.1 Recours aux procédures de marchés concurrentiels

Lors de l’examen des documents contractuels et au cours des entrevues, l’équipe d’évaluation a remarqué que de saines pratiques en matière d’approvisionnement avaient été utilisées pendant toute la durée du projet. Ces pratiques comprenaient le recours aux procédures de marchés concurrentiels pour s’approvisionner au prix courant, le regroupement des travaux pour tous les sites afin de minimiser les coûts par site et l’établissement de prix unitaires fixes pour les travaux supplémentaires.

L’équipe d’évaluation n’a pas pu procéder à une analyse comparative exhaustive avec d’autres projets de décontamination (p. ex., la décontamination de la Ligne de détection lointaine avancée, à Goose Bay ou l’enlèvement du TCE [ou trichloroéthène] à Valcartier) qui ont été réalisés par le MDN en raison de la portée unique et de la complexité de chaque projet.Mais en dépit de la difficulté d’établir des comparaisons directes, même avec le dépassement de coûts, le coût moyen d’assainissement des sites situés sur la LMC semble correspondre à 40 p. 100 du coût de travaux semblables de décontamination effectués dans le cadre de projets antérieurs, comme ceux de la Ligne de détection lointaine avancée (DEW).

Tableau 3. Comparaison des coûts

2.5.1.2 Respect des estimations de coûts

L’accord de contribution consistait en un transfert de 30 M$ du gouvernement fédéral à la province de l’Ontario au cours de la période allant de 2008-2009 à 2014-2015. De plus, le MDN prévoyait utiliser 2,25 M$ de l’argent affecté au fonctionnement et à l’entretien (F et E) pour absorber les frais de gestion du programme/projet et d’administration. Aucune somme n’avait été prévue pour les salaires, les locaux et les coûts indirects liés à la gestion du programme/projet et à la supervision du personnel mobilisé au bureau du SMA(IE).

Tableau 4. Montants des crédits 1 et 10

Les dépenses au titre de l’AC durant la période visée par l’équipe d’évaluation (des AF 2007-2008 à 2013-2014) s’élevaient à 24,58 M$⁷ ce qui signifie qu’une somme de 5,42 M$ n’avait pas encore été dépensée à la fin de l’AF 2013-2014. Des déboursements de 4,95 M$, au titre de l’AC, sont prévus pour l’AF 2014-2015.

L’équipe d’évaluation a constaté que le budget du projet n’avait pas été respecté. L’estimation initiale de 60 M$ pour la décontamination complète des 11 sites avait été établie en 1999 par la société SNC-Lavalin. En 2003, le MRN a révisé l’étendue initiale des travaux et, de concert avec SNC-Lavalin, est parvenu, en 2007, à une nouvelle estimation, cette fois de 85 M$.

Entre-temps, des pourparlers étaient en cours entre le MRN le MDN afin de déterminer ce qui constituait un coût admissible et un coût non admissible. L’accord final conclu en 2008 était le suivant : des coûts estimés de 85 M$, 60 M$ pouvaient être imputés à l’AC signé avec le MDN.

En 2013, le MRN a indiqué que son estimation du coût total allait se situer entre 91 et 96 M$, soit approximativement de 7 à 12 p. 100 de plus que l’estimation de 2007. Compte tenu de la nature incertaine de ces travaux et du temps nécessaire pour les réaliser, l’estimation réelle semble assez précise et raisonnable.

2.5.1.3 Connaissances spécialisées en gestion de projets

Le personnel du MRN affecté au projet ne possédait aucune expérience de gestion et n’était pas non plus familier avec les méthodes utilisées pour administrer ou diriger un projet de décontamination de sites contaminés. Leur expérience antérieure se limitait à celle de gardien des terres publiques. Le rôle de conseiller en matière de projets a donc été confié par contrat à un tiers qui possédait une vaste expérience de décontamination de sites contaminés dans les régions éloignées. Avec le recul, il est permis d’affirmer que ce fut là une sage décision. Agissant à titre d’enseignant et de mentor auprès du personnel du MRN, le conseiller recruté possédait à la fois l’expérience et les connaissances spécialisées en décontamination de sites, qui ont assuré la réussite du projet.

Principale constatation no 3 : Le recours à un conseiller expérimenté en matière de projets, possédant des connaissances spécialisées en décontamination de sites a constitué un facteur clé de la réussite du projet.

2.5.1.4 Coûts indirects et gestion du programme

Après avoir effectué une analyse financière, l’équipe d’évaluation a chiffré à 1,875 M$ les coûts indirects assumés par le MDN, sur les 24,56 M$ dépensés. Ce chiffre correspond à des coûts administratifs de 7,6 p. 100, ce qui n’est pas non plus déraisonnable pour un programme de cette nature.

2.6 Conclusion

Comme établi à la section consacrée à la pertinence, l’AC respectait l’engagement pris par le gouvernement fédéral de financer en partie l’assainissement des sites contaminés. La présente évaluation s’appuie sur les données découlant de l’étude environnementale réalisée ainsi que des décisions stratégiques prises par le gouvernement fédéral.

Comme établi à la section consacrée au rendement, l’AC a permis d’atteindre les résultats escomptés durant la période visée par l’évaluation. Les travaux d’assainissement sont terminés dans deux sites et ont été acceptés par les intervenants; ils sont aussi terminés dans deux autres sites, mais il reste à les faire accepter par les intervenants, et ils ne sont que partiellement réalisés dans les sept derniers sites. Les onze sites touchés par le projet devraient tous avoir été décontaminés d’ici la fin de l’AF 2014-2015.

À noter que l’accord de contribution a suscité un degré élevé de confiance entre des groupes disparates, ce qui a été bénéfique pour tous les intervenants.

Annexe A – Plan d’action de la direction

Mesure de la direction

En collaboration avec le MRN, le SMA(IE) révisera les processus qui seront inclus dans la modification à l’AC afin de s’assurer que les attestations auront été émises pour les 11 sites avant le 31 mars 2015.

BPR : SMA(IE) / Directeur général – Exigences du portefeuille (DG Ex P)

Date cible : Décembre 2014 pour l’examen des processus

Mesure de la direction

Le SMA(IE) demandera au MRN de prolonger l’AC actuel jusqu’au 31 mars 2016. Il est prévu de modifier l’AC en conséquence d’ici décembre 2014.

BPR : SMA(IE) / DG Ex P

Date cible : Modifier l’accord de contribution d’ici 2014

Annexe B – Méthode et limites de l’évaluation

1.0 Méthode

L’équipe d’évaluation a eu recours à de multiples éléments de preuve ainsi qu’à des méthodes de recherches qualitatives et quantitatives complémentaires comme moyens de garantir que la fiabilité de l’information et des données appuie les constatations de l’évaluation. Une approche uniforme a été établie pour la collecte et l’analyse des données à l’appui des constatations, des constatations et des recommandations de l’évaluation. En fonction des preuves obtenues des sources disponibles, les évaluateurs ont examiné l’atteinte des résultats escomptés, ainsi que l’efficience et les économies du programme, afin de produire un portrait équilibré de la pertinence et du rendement de l’AC. Les renseignements et les données ont été corrélés avec chaque question d’évaluation ainsi qu’avec les indicateurs correspondants. Pour garantir la validité des données saisies, les évaluateurs ont utilisé une approche de triangulation des données. L’équipe d’évaluation a également simplifié la formulation des principales composantes du modèle logique initial et supprimé les résultats considérés comme des indicateurs. (Voir le modèle logique à l’annexe C).

1.1 Aperçu des méthodes de collecte des données

Les méthodes de collecte des données ont été choisies en fonction des données requises pour vérifier les indicateurs de rendement. On a eu recours aux méthodes de collecte des données ci-dessous pour recueillir les données qualitatives et quantitatives pour chaque type d’opération lors de l’évaluation :

• Examen de la documentation;
• Entrevues menées auprès d’informateurs clés;
• Examen des données administratives et financières.

1.1.1 Examen des documents et des dossiers

Un examen préliminaire de la documentation a été réalisé à l’étape de la planification de l’évaluation afin d’acquérir une compréhension générale de l’AC. Un examen exhaustif des documents a été entrepris par l’équipe d’évaluation à l’étape d’exécution de l’évaluation, en se concentrant sur la pertinence et le rendement des activités de l’AC.

Les documents ci-dessous ont été étudiés à l’étape d’exécution de l’évaluation.

• Documents du programme :
  • Présentation au Conseil du Trésor, rapports annuels concernant l’AC et autres rapports d’activités;
• Documents administratifs :
  • Rapports financiers de l’AC, échange de correspondance;
• Documents de responsabilisation :
  • Rapports sur les plans et les priorités du MDN et des FAC, Rapports sur le rendement ministériel du MDN et des FAC, Stratégie de défense Le Canada d’abord et discours du Trône.

L’examen des documents a été réalisé à l’aide d’un modèle adapté et organisé en fonction des questions de l’évaluation et des indicateurs.

1.1.2 Entrevues avec les informateurs clés

Les entrevues avec les informateurs clés et les séances d’information organisées avec les parties intéressées à l’AC, qui participaient directement ou indirectement à la prestation du programme, ont constitué une importante source de renseignements qualitatifs.

Des entrevues individuelles en personne ont été réalisées avec les gestionnaires du projet du MDN, le conseiller du projet désigné par CDC et le contrôleur nommé par le SMA(IE). Des entrevues téléphoniques ont été réalisées avec des membres du personnel du MRN.

1.1.3 Examen des données financières et administratives

Les données financières relatives à l’AC ont été examinées afin de déterminer le degré d’efficience et d’économie des activités et des extrants du programme. Les données, qui couvrent cinq années civiles, soit de 2009 à 2013, ont été extraites des rapports financiers sur l’AC.

2.0 Limites

Le tableau qui suit indique les limites liées aux sources et les stratégies d’atténuation adoptées pour composer avec elles.

Tableau B-1. Limites de l’évaluation et stratégies d’atténuation

Annexe C – Modèle logique

Annexe D – Matrice d’évaluation

Tableau D-1. Matrice d’évaluation

___________________________________________________________________________________________________________________________

Note de bas de page 1 Les deux autres lignes étaient la ligne DEW, qui longeait le 69e parallèle, et la ligne Pinetree qui longeait le 53e parallèle dans l’Ouest et le 50e parallèle dans l’Est. Contrairement à la ligne Pinetree et à la ligne DEW, exploitées conjointement par les États-Unis et le Canada, la LMC était financée et exploitée entièrement par l’Aviation royale canadienne.

Note de bas de page 2 Comme établi en 1992 par le Conseil canadien des ministres de l’Environnement.

Note de bas de page 3 Durant la période allant de 1980 à 2000, les 11 sites ont fait l’objet d’au moins cinq analyses et évaluations environnementales.

Note de bas de page 4 Le Plan vert du Canada (1990); les versions 1 à 4 de la Stratégie de développement durable du MDN; le Plan d’action pour les sites contaminés fédéraux (2004); vérification de la stratégie de développement durable, réalisée par le Chef – Service d’examen (2009); examen des programmes, réalisé par le Directeur général – Environnement (2010); mise en œuvre de la SFDD (2010-2013); élaboration de la Stratégie environnementale de la Défense (2011–2013).

Note de bas de page 5 Sur la base d’une contribution de 30 M$. En utilisant un coût estimatif total de 110 M$, le coût par site se chiffre à 10 M$ – dont une participation de 2,7 M$ du gouvernement fédéral pour chaque site.

Note de bas de page 6 Dépenses estimées pour l’AF 2014-2015.

Note de bas de page 7 L’échéancier initial prévoyait des dépenses de 29 750 000 $ avant la fin de l’AF 2013-2014.