À propos de ce guide
1.0 Introduction
1.1 Objet du CGRR
1.2 Dans quelles situations un CGRR est il nécessaire?
1.3 Lien avec la Structure de gestion des
ressources et des résultats
2.0 Planification de base
2.1 Qui devrait participer?
2.2 Détermination de la portée et de la
complexité
2.3 Quand commencer
2.4 Principes directeurs
2.5 Cas exigeant une certaine souplesse
3.0 Survol
4.0 Description des diverses
composantes
4.1 Profil du programme
4.2 Résultats prévus
4.3 Plan de suivi et d’évaluation
5.0 L’élaboration d’un CGRR et
ses pièges
6.0 Mise en oeuvre du CGRR
7.0 Intégration des CGRR et CVAR
8.0 Vous avez besoin de plus de
renseignements?
Annexe A : Processus d’examen et
d’approbation
Annexe B : Questions du Comité
d’examen des dépenses
Annexe C : Modèle de cadre d’évaluation
Annexe D : Modèle de table des matières
des CGRR et CVAR intégrés
Ce Guide remplace le Guide d’élaboration des cadres de gestion et de
responsabilisation axés sur les résultats (août 2001). Il est fondé sur les
leçons qu’a retirées le Centre d’excellence en évaluation (CEÉ) de sa
collaboration avec les ministères dans le contexte de l’élaboration, de
l’examen et de l’approbation de cadres de gestion et de responsabilisation
axés sur les résultats (CGRR).
Afin d’élaborer ce guide, nous avons consulté un éventail
d’intervenants au sujet de leurs expériences et de leurs besoins. Nous avons
constaté qu’il nous fallait modifier le Guide, de même que notre approche de
l’examen et de l’approbation des cadres pour les adapter au contexte actuel.
Notre objectif est de rehausser la qualité des CGRR et, ce faisant, en appuyer
la mise en oeuvre.
Quelles sont les différences [1]
par rapport à l’ancien guide? D’abord, nous avons simplifié nos
conseils et directives. Cette version du guide est donc beaucoup plus brève que
la version de 2001. Nous espérons que cette concision et cette précision
aideront les ministères et organismes à élaborer des cadres plus courts et
plus stratégiques.
Nous avons relevé par le passé un certain nombre de points faibles communs
aux CGRR. Par exemple, dans bien des cas les renseignements sur les stratégies
de mesure du rendement n’étaient pas complets, les résultats n’étaient
pas axés sur les avantages pour les Canadiens, les structures de gouvernance
n’étaient pas adéquates, et ainsi de suite. Nous avons tenté de remédier
à ces problèmes en fournissant des précisions sur la nature et le niveau des
renseignements requis, en apportant une aide accrue au moyen d’outils et de
formation et en modifiant le processus d’approbation afin d’assurer la
participation des bonnes personnes au moment voulu.
Enfin, nous avons actualisé le Guide pour tenir compte
des changements du contexte. L’incorporation des activités d’examen continu
des dépenses et l’établissement des liens entre les résultats et la
Structure de gestion des ressources et des résultats (SGRR) [2]
d’un ministère par rapport à son architecture des activités de
programme (AAP)[3] sont des exemples
de nouvelles exigences.
Nous espérons que les modifications et les directives indiquées dans cette
version améliorée du guide aideront les ministères à atteindre les résultats
voulus et à assurer le genre de reddition de comptes et la saine gestion que
les Canadiens attendent d’eux.
À qui est destiné ce guide?
Ce guide a été rédigé à l’intention des gestionnaires de programme et
du personnel responsable de l’évaluation. Il présente une série
d’attentes claires quant au contenu des CGRR, au niveau de détail requis et
au processus d’examen et d’approbation. Dans ce document, le terme « ministère
» comprend les ministères et les organismes.
Le CGRR a été adopté en 2000, peu de temps après que le gouvernement fédéral
ait eu déposé Des résultats pour les Canadiens et les Canadiennes - un
document dans lequel les gestionnaires sont encouragés à mettre l’accent sur
la mesure des progrès réalisés par rapport à la concrétisation des résultats
des programmes, politiques et initiatives.
Avec l’entrée en vigueur de la Politique sur les
paiements de transfert (juin 2000), le CGRR et le cadre de vérification axé
sur les risques (CVAR) sont devenus obligatoires dans les présentations au
Conseil du Trésor (CT) portant sur des paiements de transfert [4].
Les CGRR et les CVAR donnent aux gestionnaires les moyens et les mesures nécessaires
pour surveiller les programmes, améliorer le rendement, gérer les risques et
présenter des rapports à ce sujet.
La Politique d’évaluation (avril 2001) du gouvernement du Canada préconise
également l’élaboration d’un CGRR. Ce dernier intègre la fonction d’évaluation
au contexte de la gestion axée sur les résultats et aide les gestionnaires et
les décideurs à évaluer les résultats des programmes et des politiques de façon
objective.
Comme le gouvernement rehausse encore l’importance accordée à la saine
gestion, qui comprend une planification efficace, l’évaluation du rendement
et l’examen continu des dépenses, et le Parlement exerce des pressions pour
que soit accrue la transparence dans l’utilisation des fonds publics, les CGRR
et CVAR demeurent des outils de planification et de gestion essentiels. Ils
constituent des cadres facilitant le suivi du rendement, la gestion des risques
et la présentation des résultats et ils sont inextricablement liés à la SGRR
des ministères. Les résultats des activités de suivi et d’évaluation
contribueront à la production de rapports liés à la SGRR. Il devient donc
essentiel que tous les gestionnaires de programme élaborent et mettent en
oeuvre un CGRR, indépendamment des exigences de la Politique sur les paiements
de transfert.
Le CGRR fournit aux gestionnaires de programme un énoncé concis ou un guide
pour la planification, le suivi, l’évaluation et la communication des résultats
d’un programme, d’une politique ou d’une initiative pendant la durée de
son cycle de vie. Sa mise en oeuvre aide le gestionnaire de programme :
- à formuler un modèle clair et logique qui lie les ressources et
les activités aux résultats prévus;
- à décrire clairement les rôles et les responsabilités des
principaux partenaires participant à l’exécution du programme, de la
politique ou de l’initiative;
- à prendre des décisions judicieuses sur la façon d’améliorer le
rendement de façon continue;
- à démontrer la responsabilisation et les avantages pour les Canadiens;
- à veiller à ce qu’une information fiable soit mise à la
disposition des cadres supérieurs du ministère, des organismes
centraux et des autres intervenants clés en temps opportun.
Un CGRR est requis pour l’approbation des modalités relatives à des
subventions destinées à une catégorie de bénéficiaires ou à des
contributions et doit donc être présenté au Secrétariat du Conseil du Trésor
(SCT) aux fins d’examen et d’approbation dans le cadre d’une présentation
au CT connexe.
Comme le CGRR peut constituer un outil de gestion utile,
le CEÉ en recommande également l’élaboration pour favoriser une prise de décisions
efficace au niveau de la direction et démontrer une responsabilisation claire
dans tous les domaines de programme. Par exemple, les cadres supérieurs peuvent
envisager de « regrouper » un certain nombre de programmes apparentés (y
compris des programmes autres que des programmes de subventions et
contributions) en un seul CGRR si cette mesure permet de mieux tenir compte de
la structure ou des activités d’un ministère en regard de la réalisation
des résultats prévus [5].
1.3 Lien avec la Structure de gestion des
ressources et des résultats
La Structure de gestion des ressources et des résultats
(SGRR), qui remplacera la Structure de planification, de rapport et de
responsabilisation (SPRR) à compter de 2005-2006, oblige les ministères à élaborer
une architecture des activités de programme (AAP). L’AAP illustre la façon
dont un ministère affecte et gère les ressources qui lui sont confiées pour
obtenir les résultats voulus et les liens entre les programmes et les résultats
stratégiques [6] et exige,
avec la SGRR, la formulation des résultats prévus et des mesures du rendement
pour chaque élément et niveau de l’AAP. Il convient de souligner que l’élaboration
et la mise en oeuvre d’un CGRR faciliteront le respect de cette exigence. Plus
particulièrement, l’élaboration d’un CGRR permettra de s’assurer :
- que les programmes sont bien conçus en établissant un modèle logique;
- que les résultats voulus sont clairs en élaborant des énoncés des résultats;
- qu’une stratégie de mesure du rendement existe en cernant les
principales questions en matière de rendement et en établissant des
indicateurs significatifs.
Les CGRR qui sont réalistes et représentatifs du programme aident les
ministères à fournir au SCT une information financière et non financière
pertinente et réaliste aux fins de la prise de décisions.
Avant d’amorcer l’élaboration d’un CGRR, il vous faudra déterminer
certains points, notamment qui doit participer au processus et comment vous y
prendre.
Deux groupes clés participent à l’élaboration et à la mise en oeuvre
des CGRR : les gestionnaires de programme et les gestionnaires de l’évaluation.
Les gestionnaires de programme assument la responsabilité principale
à l’égard de l’élaboration et de la mise en oeuvre du CGRR. Il leur
incombe :
- de s’assurer que le contenu du CGRR est exact et qu’il reflète bien
la structure, le mode de fonctionnement et la gestion de la politique, du
programme ou de l’initiative;
- de mettre en oeuvre le CGRR. Ils doivent, plus particulièrement, veiller
à ce que le personnel du programme et les partenaires assurent la collecte
d’information sur le rendement, veillent à la qualité et à la sécurité
des données et de l’information recueillies, surveillent et améliorent
leur rendement de façon continue et fassent état des résultats par le
biais d’activités d’évaluation et de présentation de rapports en
temps opportun.
Les gestionnaires ministériels de l’évaluation jouent également
un rôle essentiel dans l’élaboration et la mise en oeuvre des CGRR. Il leur
revient :
- de fournir des conseils et une expertise technique tout au long de l’élaboration
et de la mise en oeuvre des stratégies de mesure du rendement et d’évaluation;
- de gérer ou de mener les activités d’évaluation conformément à la
Politique d’évaluation du gouvernement du Canada (avril 2001).
Il convient également de consulter les principaux intervenants (p. ex., les
tiers chargés de la prestation, tels que les organismes non gouvernementaux)
aux fins de l’élaboration des éléments du CGRR. La mise en oeuvre sera
grandement facilitée si on obtient leur adhésion aux résultats visés et aux
activités continues de surveillance et de présentation de rapports dès le départ.
2.1.1 Approbation ministérielle
À compter de janvier 2005, l’agent financier supérieur (AFS) ou son délégué
doit faire preuve d’une diligence raisonnable pour veiller à la qualité et
à l’exhaustivité des présentations au CT concernant le programme des
paiements de transfert et des documents connexes, y compris le CGRR. «
L’approbation » doit indiquer, au nom de la haute direction du ministère, la
conformité de la présentation proposée au CT pour ce qui est des critères
suivants :
- les autorisations;
- la provenance des fonds;
- l’information détaillée au sujet des coûts;
- les comités de vérification et d’évaluation;
- les modalités;
- le cadre de gestion et de responsabilisation axé sur les résultats;
- le cadre de vérification axé sur le risque; et
- d’autres documents concernant la responsabilisation tel qu’il est spécifié
par le SCT.
Il faut l’approbation de l’AFS avant qu’une présentation et des
documents connexes ne puissent être soumis au SCT aux fins d’examen et
d’approbation.
Le SCT s’attend à ce que les gestionnaires de programme et les chefs de
l’évaluation appuient les AFS dans le cadre du processus d’examen et
d’approbation en assurant la qualité et l’exhaustivité des sections
pertinentes du CGRR. L’annexe A donne la liste des critères
pour l’examen et l’approbation à l’intention de l’agent financier supérieur,
du SMA et du chef de l’évaluation.
Lorsque le CGRR est « approuvé » par l’AFS, le SCT examinera le cadre
afin de veiller aux éléments suivants :
- La portée et le niveau de détail proposés pour le CGRR conviennent au
niveau de risque rattaché au programme, à la politique ou à
l’initiative.
- Les résultats des évaluations antérieures ont été pris en compte dans
la conception du programme, dans la stratégie de mesure du rendement et
dans les plans d’évaluation.
- Les questions proposées en matière d’évaluation sont pertinentes et
traitent des exigences du CT et du SCT au niveau de l’information.
- Des estimations plausibles des coûts des activités d’évaluations sont
fournies.
- Les obligations redditionnelles relatives à la prestation et aux rapports
sont claires.
Les analystes du secteur des programmes du SCT travaillent en collaboration
avec le CEÉ et d’autres analystes de la Direction de la gestion axée sur les
résultats (DGR) afin de s’assurer que l’examen du SCT est complet. Il est
important de souligner que les analystes du SCT n’examineront pas les CGRR ou
des documents connexes sans la preuve d’une diligence raisonnable.
La portée et le niveau de détail d’un CGRR devraient être proportionnés
à la portée et à la complexité du programme, de la politique ou de
l’initiative. Ainsi, un programme à « faible risque » devrait être assorti
d’un modèle logique et d’activités de suivi et d’évaluation simples.
Dans le cas d’un programme plus complexe à « risque plus élevé », il
convient de fournir des renseignements plus détaillés pour expliquer
clairement les rapports, les obligations redditionnelles, les risques et les
difficultés rattachées à la mesure du rendement.
Dès le départ, le CGRR devrait indiquer le niveau global de risque associé
au programme, à la politique ou à l’initiative et expliquer clairement la
manière dont les risques ont été déterminés (par exemple, les facteurs de
risque qui ont été pris en considération et la méthode de cotation qui a été
appliquée). Cette mesure aidera les ministères à situer le niveau de
complexité du CGRR dans une certaine perspective.
On invite les gestionnaires de programme à consulter leurs services de vérification
et d’évaluation pour obtenir de l’aide en vue de procéder à l’évaluation
des risques stratégiques.
Le CGRR devrait être élaboré dès le départ, idéalement au moment où on
prend les décisions relatives à la conception et aux approches de la mise en
oeuvre de la politique, du programme ou de l’initiative. Une fois que le CGRR
a été approuvé, les gestionnaires de programme devraient le mettre en oeuvre
sans attendre, en commençant par mettre en application la stratégie de mesure
du rendement proposée et établir les détails du plan d’évaluation. (Voir
également la section 6.0 — Mise en oeuvre du CGRR.)
Le respect des principes directeurs suivants par les gestionnaires de
programme et de l’évaluation favorise l’élaboration et la mise en oeuvre réussies
du CGRR :
- utilité - pour s’assurer que les gestionnaires puissent utiliser
le CGRR pour expliquer leurs politiques, programmes et initiatives aux
Canadiens et mettre en oeuvre des activités efficaces de mesure du
rendement et d’évaluation;
- sentiment d’appartenance - pour satisfaire aux besoins de tous
les intervenants et s’assurer que les besoins en information et les
exigences en matière de responsabilisation de tous les gestionnaires sont
remplis;
- transparence - pour s’assurer que tous les intervenants
comprennent quels sont les résultats prévus;
- orientation privilégiant l’action - pour s’assurer que
l’information dont les gestionnaires et les autres intervenants ont besoin
est disponible au moment où sont prises les décisions importantes;
- précision et concision - pour s’assurer de la mise en
oeuvre immédiate du cadre par les gestionnaires et les partenaires;
- crédibilité - pour s’assurer que les normes
professionnelles [7] sont respectées
et que les engagements en matière de suivi, d’évaluation et de rapports
sont réalisables.
Il peut arriver que l’approche standard du CGRR (exposée dans ce guide) ne
réponde pas adéquatement aux besoins des ministères. Le cas échéant, les
gestionnaires de programme et de l’évaluation devraient consulter la section
« Outils et matériel d’orientation » du site Web du CEÉ (http://www.tbs-sct.gc.ca/eval/tools-outils_f.asp).
Ce site renferme des ressources utiles. En voici quelques détails :
- Pour adapter le CGRR à une situation particulière, consultez Conseils
pour une approche stratégique aux CGRR (2005).
- Dans le cas d’une initiative horizontale, consultez le Guide
d’accompagnement — L’élaboration des cadres de gestion et de
responsabilisation axés sur les résultats pour les initiatives
horizontales (juin 2002).
- Si vous avez besoin d’aide pour comprendre ou élaborer une terminologie
commune pour les résultats, vous devriez consulter le Lexique de la
gestion axée sur les résultats (décembre 2004).
Le CGRR a été simplifié et comporte dorénavant trois composantes de base
:
- Le profil du programme - une description concise de la politique,
du programme ou de l’initiative, y compris le contexte et le besoin, les
intervenants et les bénéficiaires ainsi que l’affectation des
ressources.
- Les résultats prévus - une description et une illustration
(c’est-à-dire, le modèle logique) des liens entre les activités d’une
politique, d’un programme ou d’une initiative et le changement économique,
social ou environnemental requis, des obligations redditionnelles et des
hypothèses cruciales sur lesquelles le programme, la politique ou
l’initiative est fondé.
- Le suivi et l’évaluation - un guide détaillé des activités
continues de mesure du rendement et d’évaluation qui contribueront à une
gestion efficace du programme et à la responsabilisation.
Les autres sections de ce guide renferment une description de chacune des
composantes ainsi que des suggestions pour favoriser la qualité du cadre et
s’assurer que tous les renseignements voulus y sont.
Pour aider les ministères à l’égard des programmes à « faible risque
», nous offrons des suggestions pour la longueur des pages de chaque section
principale. Veuillez noter que ce ne sont que des lignes directrices suggérées.
Pour les programmes à risque moyen et élevé, le ministère devrait encore
s’assurer que le CGRR est bref et ciblé. Cependant, la longueur des pages dépend
de la complexité du programme, de la politique ou de l’initiative.
Cette section contient un résumé de l’objet de chacune des composantes et
des directives sur les renseignements devant y figurer. Il importe de noter que
l’information présentée dans les tableaux constitue l’essentiel des
attentes du SCT à l’égard des CGRR.
Le profil du programme représente une description concise de la raison d’être
d’un programme, d’une politique ou d’une initiative, des questions ou
problèmes qui en sont l’objet, des principaux intervenants et bénéficiaires,
des résultats visés et des besoins en ressources.
Un profil complet et concis du programme permettra de communiquer clairement
les objectifs visés par un programme, une politique ou une initiative, ainsi
que les mesures envisagées pour atteindre ces objectifs. Le profil et la
composante qui suit (résultats prévus) représentent le point de départ de
l’élaboration des activités de suivi et d’évaluation.
Dans le cas des programmes présentant un « risque faible », cette
section devrait tenir sur deux à quatre pages.
Tableau 4.0 Renseignements requis pour la composante «
Profil du programme »
1.0 Le profil du programme représente une
description concise du programme, de la politique ou de l’initiative.
|
Section
|
Éléments clés
|
1.1 Contexte
|
- Présenter clairement la raison pour laquelle le programme, la
politique ou l’initiative est nécessaire.
- Dans le cas d’un nouveau programme ou d’une nouvelle
initiative, mentionner les données et la politique qui appuient le
programme.
- Dans les cas de renouvellement de l’autorisation relative à un
programme ou à une initiative, expliquer pour quelle raison la question
demeure importante ainsi que les progrès réalisés jusque là.
- Mentionner les travaux de recherche, les évaluations de besoins,
les études démographiques approfondies, etc. étayant l’analyse.
- Expliquer pourquoi le gouvernement joue un rôle
légitime et nécessaire dans ce domaine de programme ou cette activité[8]
.
|
1.2 Objectifs
|
- Énoncer clairement les objectifs du programme, de la politique ou
de l’initiative.
- Expliquer les liens entre les objectifs et les résultats stratégiques
du ministère présentés dans l’architecture des activités de
programme.
|
1.3 Principaux intervenants et bénéficiaires
|
- Donner la liste de tous les principaux intervenants, y compris les
partenaires de la prestation et les bénéficiaires du projet.
- Si l’information est disponible, préciser les cibles en termes de
bénéficiaires atteints. Si elle ne l’est pas, en indiquer les
raisons et préciser de quelle façon et à quel moment les cibles, le
cas échéant, seront établies.
|
1.4 Ressources
|
- Présenter un résumé (sous forme de tableau) des ressources
annuelles affectées au ministère et à chacun des partenaires de la
prestation (y compris les salaires, les dépenses en F et E, les
transferts aux partenaires et les dépenses en capital).
- Préciser les coûts estimatifs rattachés aux activités continues
de mesure du rendement et d’évaluation.
|
Il s’agit des résultats que l’on prévoit obtenir du programme, de la
politique ou de l’initiative et des obligations redditionnelles connexes.
Cette composante constitue le noyau du CGRR.
Le modèle logique est l’un des éléments clés de cette composante. Il décrit
sous forme de diagramme la relation déterminante ou logique (c’est-à-dire,
les liens) entre les activités, les extrants et les résultats d’une
politique, d’une initiative ou d’un programme donné. Le modèle doit être
accompagné d’une explication décrivant les liens (c’est-à-dire, l’enchaînement
des diverses séries de résultats). Un modèle logique bien conçu établit la
validité de la théorie sur laquelle repose le programme et constitue la première
étape de l’élaboration de stratégies de mesure du rendement et d’évaluation
réalisables et pertinentes.
À ce stade-ci, le SCT recommande de faire le point sur
les risques internes et externes éventuels qui pourraient être rattachés au
programme, à la politique ou à l’initiative, donc de procéder à une évaluation
des risques afin de confirmer le caractère approprié des résultats
proposés et des cibles de rendement connexes [9]
.
Dans le cas des programmes présentant un « risque faible », cette
section devrait tenir sur deux à trois pages.
Tableau 4.1 Renseignements requis pour la composante « Résultats prévus
»
2.0 Les résultats prévus présentent une description
logique et une illustration des liens entre les activités et extrants
et les résultats, ainsi que les obligations redditionnelles connexes.
|
Section
|
Éléments clés
|
2.1 Résultats prévus
|
- Préciser les résultats prévus aux divers stades du programme, de
la politique ou de l’initiative ainsi que les délais d’exécution
prévus.
- Indiquer quels facteurs internes et externes
pourraient agir sur la capacité d’un programme, d’une politique
ou d’une initiative de mener aux résultats prévus [10].
Il peut s’agir d’un renvoi au CVAR, à condition de le préciser.
|
2.2 Modèle logique
|
- Fournir un modèle logique, y compris un texte explicatif, du
programme, de la politique ou de l’initiative en veillant à ce que
les activités, les extrants et les résultats s’enchaînent de façon
logique.
- Expliquer le lien entre les résultats finaux et les résultats
stratégiques du ministère prévus dans l’architecture des activités
de programme.
|
2.3 Obligations
redditionnelles
|
- Préciser les rôles et les responsabilités (c’est-à-dire, les
fonctions, les obligations et les pouvoirs) du ministère et de ses
partenaires de la prestation.
- Préciser les cibles de rendement, les
responsabilités en matière de rapports et toute contrainte de
fonctionnement [11] du ministère et de ses
partenaires qui pourrait se répercuter sur la capacité du ministère
d’exécuter le programme ou de faire état du rendement.
- Dans le cas des ententes de collaboration (c’est-à-dire, les
programmes ou les initiatives gérés ou exécutés conjointement avec
des partenaires), expliquer de quelle façon la relation avec les
partenaires sera gérée, y compris le processus décisionnel.
|
Le plan de suivi et d’évaluation est élaboré en collaboration avec
l’unité d’évaluation du ministère et constitue la stratégie du
gestionnaire des programmes pour surveiller le rendement et démontrer les résultats.
Le plan de suivi et de mesure du rendement permet aux gestionnaires de mettre
sur pied les systèmes et les processus nécessaires pour recueillir et analyser
les données de manière à pouvoir optimiser le rendement. Les évaluations
produisent de l’information exacte, objective et fondée sur des données
probantes pour aider les gestionnaires à prendre des décisions judicieuses, à
démontrer le succès du programme, en montrer la pertinence continue et élaborer
d’autres modes de prestation plus rentables.
Ce n’est qu’en combinant ces deux activités que les gestionnaires de
programme et les cadres supérieurs peuvent prouver l’avantage d’un
programme, d’une politique ou d’une initiative pour les Canadiens. Il
convient donc de tenir compte des questions sur lesquelles portent les activités
d’examen continu des dépenses.
Dans le cas des programmes présentant un « risque faible », cette
section devrait tenir sur deux à quatre pages.
Tableau 4.2 Renseignements requis pour la composante « Plan de suivi et
d’évaluation »
3.0 Le plan de suivi et d’évaluation contient les
directives s’appliquant aux activités continues de mesure du
rendement et d’évaluation
|
Section
|
Éléments clés
|
3.1 Plan de mesure
du rendement
|
- Exposer la stratégie globale de mesure du rendement, dont
quatre à cinq questions de rendement clés, et justifier le choix de
cette stratégie. La stratégie devrait comprendre une description des
systèmes actuels (c’est-à-dire, tant les systèmes d’information
que les systèmes opérationnels) sur pied pour appuyer le suivi et de
la façon dont on procédera pour examiner le rendement et apporter
les rajustements nécessaires, à quel moment cela sera fait et par
qui.
- Présenter les indicateurs/mesures pertinents et les cibles de
rendement pour chacune des questions de rendement clés.
- Décrire les dispositions qui seront prises pour assurer l’intégrité
des données.
- Indiquer les coûts annuels estimatifs des activités de mesure du
rendement.
- Énumérer tous les engagements en matière de rapports sur le
rendement de la part du ministère et de tous les partenaires de la
prestation. L’objet du rapport doit être clairement indiqué en
mettant l’accent sur la manière dont le rapport sera utilisé pour
améliorer le rendement.
|
3.2 Plan d’évaluation
|
- Exposer la stratégie globale d’évaluation
et justifier le choix de cette stratégie.
- Les évaluations formatives doivent être utilisées de façon
judicieuse, dans les cas où des questions sont soulevées par rapport
à l’exécution du programme. Elles peuvent porter sur des questions
d’exécution précises ou sur la qualité des systèmes de collecte de
données sur le rendement et de rapports. Les évaluations formatives «
complètes » doivent aborder les extrants, les résultats préliminaires,
la validation du modèle logique du programme et la probabilité de la réalisation
des résultats à long terme.
- Dans le cas des évaluations sommatives, préciser tous les enjeux
de l’évaluation connus [12] , qui comprennent
le succès, la pertinence et la rentabilité, de même que les enjeux
relevés dans les évaluations antérieures.
- Indiquer comment et à quel moment les questions abordées par le
Comité d’examen des dépenses seront intégrées aux activités
d’évaluation. (L’annexe B renferme la liste des principales
questions).
- Présenter l’approche globale de l’évaluation (c’est-à-dire,
le cadre d’évaluation), y compris les sources de données, les méthodes
proposées et les responsabilités en matière de collecte de données.
(L’annexe C renferme un modèle de cadre sous forme de tableau.)
- Donner les coûts estimatifs des activités d’évaluation.
- Énumérer toutes les exigences en matière de rapports associées
à la stratégie d’évaluation, y compris la date d’élaboration
du cadre d’évaluation et la date d’achèvement des évaluations.
|
Il y a un certain nombre de pièges que les gestionnaires de programme et les
gestionnaires de l’évaluation doivent s’efforcer d’éviter lorsqu’ils
élaborent un CGRR.
- La rédaction à la seule intention du SCT. S’il importe qu’un
programme, une politique ou une initiative respecte l’ensemble des
exigences du SCT, un CGRR doit, d’abord et avant tout, être un document
utile au gestionnaire de programme. C’est à cette personne qu’il
revient de veiller à ce que le programme soit géré efficacement, et le
CGRR représente un outil clé à cette fin.
- Un trop grand recours aux consultants de l’extérieur. Le manque
de temps et d’expertise peuvent amener un gestionnaire de programme à
confier l’élaboration du CGRR à un consultant de l’extérieur. Bien
que les consultants puissent apporter une expertise précieuse, ce ne sont
pas eux qui ont la responsabilité de la mise en oeuvre du CGRR, ni de la
concrétisation des résultats prévus. Le gestionnaire de programme doit
s’assurer que le rapport du consultant reflète exactement le programme et
qu’il sera en mesure d’exécuter ce qui y est proposé.
- Un document volumineux et complexe. Le CGRR peut facilement devenir
un document volumineux qui sera difficile à mettre en oeuvre. Comme les détails
relatifs au programme, à la politique ou à l’initiative devraient déjà
être présentés dans d’autres documents, il faut bien veiller à ne
fournir que les renseignements essentiels pour expliquer le programme, la
politique ou l’initiative et le plan global de suivi et d’évaluation.
La portée et le niveau de détail d’un CGRR (et d’un CVAR) devraient être
proportionnés à la portée et à la complexité du programme, de la
politique ou de l’initiative. Ainsi, dans le cas d’un programme simple
à faible risque, le CGRR peut tenir sur moins de 10 pages[13].
- Le défaut de consulter l’unité d’évaluation du ministère ou
d’assurer la coordination avec cette dernière. Il est arrivé par le
passé qu’un manque de coordination avec l’unité d’évaluation du
ministère ou l’absence de consultation auprès de cette unité entraîne
l’élaboration de stratégies de mesures du rendement et d’évaluation
inadéquates ou difficiles à mettre en oeuvre. Un tel état de choses entraîne
un gaspillage de ressources et amenuise considérablement
la capacité du gestionnaire de fournir en temps opportun une information crédible
et fiable sur la situation d’un programme. En mobilisant les unités
ministérielles d’évaluation au tout début du processus, les gestionnaires de programme
peuvent aider à assurer que les activités de
suivi et d’évaluation sont « logiques » et peuvent être mises en
oeuvre telles que décrites.
- La présentation d’une stratégie de mesure du rendement incomplète.
De nombreux gestionnaires de programme soutiennent qu’il est difficile de
cerner tous les besoins en données au moment de l’élaboration du CGRR.
Bien que cela soit effectivement le cas, surtout pour les nouveaux
programmes, il reste que l’on connaît les besoins fondamentaux en matière
de renseignements financiers et administratifs et que ces derniers peuvent
servir de point de départ aux activités de suivi. En outre, plus l’élaboration
d’une stratégie de mesure du rendement complète demande de temps, plus
il faudra de temps pour être en mesure de fournir des renseignements crédibles
et fiables aux gestionnaires de programme, aux intervenants clés, aux
cadres supérieurs et aux organismes centraux. La disponibilité
d’information sur le rendement est une question appelée à prendre une
importance grandissante dans le cadre des activités d’examen continu des
dépenses et de l’utilisation de la SGRR.
- L’absence de cibles de rendement et de données de référence
connexes. Trop souvent, les stratégies de mesure du rendement ne
comprennent pas de cibles de rendement ni d’exigences connexes en matière
de données (c’est-à-dire, les données de base). Sans cette information,
il est difficile d’évaluer la contribution relative d’un programme,
d’une politique ou d’une initiative et de veiller à ce que les
renseignements nécessaires soient recueillis et conservés dès le départ.
La description des questions de rendement clés et des cibles connexes représente
une nouvelle exigence visant à remédier à ce problème.
- L’idée que le travail est terminé une fois le cadre approuvé.
Pour bien des gestionnaires de programme, l’élaboration d’un CGRR est
une fin en soi. Une fois le cadre approuvé, ils le mettent de côté pour
ne le reprendre qu’au moment de se préparer aux activités d’évaluation.
Le CGRR constitue pour le gestionnaire de programme un guide non seulement
pour le travail d’évaluation, mais aussi, et ce qui est encore plus
important, pour la mesure du rendement et une gestion saine. Ainsi, l’élaboration
d’un CGRR devrait être considérée comme la première étape d’une
saine gestion et, par conséquent, comme un moyen d’arriver à ses fins.
On devrait veiller dès le départ à disposer des ressources nécessaires
au suivi et à l’évaluation du programme, de la politique ou de
l’initiative et s’assurer ainsi que les engagements en la matière
pourront être respectés.
La valeur réelle du CGRR ne se concrétise que lorsque ce dernier est mis en
oeuvre. Voici quelques conseils pour faciliter la mise en oeuvre et en assurer
l’efficacité par rapport aux coûts :
- Distribuez un exemplaire de la version définitive du CGRR (ou un résumé)
à tous les intervenants clés afin de confirmer les rôles et les
responsabilités en matière de prestation, de mesure du rendement, d’évaluation
et de rapports.
- Veillez à ce que les activités de mesure du rendement, d’évaluation
et de rapport figurent dans les modalités et dans les ententes de
contribution.
- Commencez à travailler avec l’unité de l’évaluation et les autres
services de l’organisation chargés de la collecte de l’information liée
aux résultats le plus tôt possible afin de créer les bases de données et
les modèles de rapport et d’élaborer les plans d’évaluation détaillés
nécessaires pour appuyer la prise de décisions.
- Prenez le temps de consulter le nombre croissant d’études spéciales,
de documents de référence et autres sources d’information sur les méthodes
efficaces de gestion axée sur les résultats, la mesure du rendement, la
gestion des risques et les activités d’évaluation disponibles auprès du
SCT, du Bureau du vérificateur général et des ministères qui gèrent des
programmes de subventions et contributions. Cette documentation vous aidera
à élaborer et à mettre en oeuvre des programmes axés sur les résultats
et vos activités de mesure du rendement et d’évaluation.
- Une fois par année au moins, tenez une réunion avec le personnel du
programme, y compris les partenaires de la prestation, le gestionnaire de
l’évaluation et les autres intervenants clés, pour examiner et mettre à
jour le CGRR. Vérifiez si l’information produite au sujet du programme
contribue à démontrer ou à améliorer le rendement en temps opportun et
si les résultats et les cibles prévus sont toujours pertinents.
La Politique sur les paiements de transfert exige l’élaboration d’un
CGRR et d’un CVAR pour veiller à ce que les gestionnaires disposent des
outils et des mesures nécessaires au suivi du programme, à l’amélioration
du rendement et à la production de rapports. Les deux cadres se complètent.
Leur processus d’élaboration permet de les intégrer naturellement en raison
des approches types de l’analyse et de la planification utilisées par les
gestionnaires pour assurer le suivi du fonctionnement et du rendement des
programmes. Les gestionnaires de programme devraient, par exemple, étudier
simultanément les questions liées au rendement et aux risques lorsqu’ils définissent
les résultats prévus, les cibles de rendement, les rôles et les responsabilités.
Les ministères pourraient envisager d’intégrer les deux cadres pour
assurer une coordination efficace de ces activités connexes ou pour accroître
l’efficience de la préparation et du processus d’examen interne. (L’annexe
D renferme un exemple de table des matières des CGRR / CVAR intégrés).
Si vous avez besoin de plus de renseignements, veuillez communiquer avec
votre unité d’évaluation ou consulter le site Web du CEÉ à l’adresse
suivante : http://www.tbs-sct.gc.ca/eval/eval_f.asp..
Agent financier supérieur (AFS) ou son délégué
La conformité de la présentation proposée au CT en ce qui a trait aux éléments
suivants :
- les autorisations;
- la provenance des fonds;
- l’information détaillée au sujet des coûts;
- les comités de vérification et d’évaluation;
- les modalités;
- le cadre de gestion et de responsabilisation axé sur les résultats;
- le cadre de vérification axé sur le risque;
- d’autres documents concernant la responsabilisation tel qu’il est spécifié
par le SCT.
Nota : Il faut l’approbation de l’AFS avant qu’une présentation et des
documents connexes ne puissent être soumis au SCT.
Direction du programme (niveau SMA)
- Une justification claire est donnée pour la portée et le niveau de détail
proposés tel qu’il est déterminé par le niveau de risque rattaché au
programme, à la politique ou à l’initiative.
- Le contenu est exact et reflète la structure, le fonctionnement et la
gestion de la politique, du programme ou de l’initiative.
- Le cadre comprend un engagement (y compris les ressources humaines et
financières connexes) à l’égard du suivi et de l’évaluation du
rendement et les fonds nécessaires seront réservés et transférés.
- Les obligations redditionnelles relatives à la prestation, à la collecte
et à la présentation de l’information sur le rendement et aux activités
d’évaluation sont claires.
Unité d’évaluation ministérielle (chef de l’évaluation)
- Il existe une stratégie de mesure du rendement permettant au ministère
d’assurer un suivi du rendement à l’égard des résultats et d’en
faire rapport avec un degré élevé de fiabilité.
- Il existe un cadre et une stratégie d’évaluation préliminaires répondant
aux exigences de la Politique d’évaluation du SCT.
- Le calendrier des activités d'évaluation est approprié et permet de
fournir à la haute direction, en temps opportun, de l'information relative
aux résultats axée sur des éléments probants.
- Les questions du Comité d’examen des dépenses ont été incorporées
au cadre d’évaluation préliminaire dans les cas où il est pertinent de
le faire.
- Des estimations plausibles des coûts des activités de suivi, de mesure
du rendement et d’évaluation sont fournies.
Le Comité d’examen des dépenses, mis sur pied pendant l’hiver 2004, évalue
les dépenses et les programmes actuels du gouvernement au moyen de deux séries
de critères. La première série est de nature stratégique et porte sur les
points suivants :
- Intérêt public - Le programme ou l’activité continue-t-il de
servir l’intérêt public?
- Rôle du gouvernement - Y a-t-il un rôle légitime et nécessaire
pour le gouvernement dans le domaine du programme ou de l’activité?
- Fédéralisme - Le rôle actuel du gouvernement est-il approprié
ou faut-il songer à transférer le programme ou l’activité aux
provinces?
- Partenariat - Quels programmes ou activités pourrait-on transférer
en tout ou en partie au secteur privé ou au secteur bénévole?
- Optimisation des ressources - Les contribuables canadiens
obtiennent-ils le maximum de valeur pour leurs impôts?
- Efficacité - Si le programme ou l’activité continue, comment
peut-on améliorer son efficacité?
- Capacité financière - Peut-on se permettre financièrement
l’ensemble de programmes et d’activités qui en résultera? Sinon, quels
programmes ou activités devraient être abandonnés?
La deuxième série porte sur la mise en œuvre. Ces questions ne sont abordées
que si on propose une modification des dépenses. Ces critères sont incorporés
aux évaluations au besoin.
La deuxième série porte sur la mise en œuvre. Ces questions ne sont abordées
que si on propose une modification des dépenses. Ces critères sont incorporés
aux évaluations au besoin.
- Faisabilité - Les réductions de dépenses et les échéances
proposées sont-elles réalisables et durables? Comment seront gérées
leurs répercussions au fil des ans?
- Coûts futurs - Les modifications proposées permettront-elles d’éviter
des coûts ou des pressions sur les programmes ou entraîneront-elles de
tels coûts ou pressions?
- Capacité - Quelle est l’incidence de tous les changements proposés
sur les capacités stratégiques et analytiques? Sur les capacités liées
aux opérations et à la prestation?
- Gestion des ressources humaines - Quelle est l’incidence de tous
les changements proposés sur la gestion des ressources humaines, les
niveaux de dotation et les coûts de la rémunération?
- Intégrité des programmes - Les changements proposés tiennent-ils
compte des besoins actuels liés aux opérations et à l’intégrité des
programmes? Assurent-ils le maintien de l’intégrité de la gouvernance générale
et de la capacité de la fonction de contrôleur ainsi que des systèmes de
gestion de l’information du ministère?
- Répercussions horizontales - Les répercussions des changements
proposés sur d’autres ministères sont-elles bien connues? Quelle est
l’incidence des changements proposés sur les autres paliers de
gouvernement, le secteur privé et le secteur bénévole? Qu’en est-il sur
le profil de risque général du ministère? Quelles stratégies le ministère
recommande-t-il pour atténuer les risques inacceptables? La proposition prévoit-elle
des éventualités pour parer aux principaux risques liés à la mise en œuvre
des changements proposés?
Le cadre d’évaluation présenté dans le CGRR sera examiné et mis à jour
au fil de l’évolution du programme en fonction de facteurs tels un changement
de la situation, les changements apportés au programme et les leçons tirées
de l’expérience. Il sert de point de départ à l’élaboration d’un plan
plus détaillé pour les évaluations formative (si nécessaire) et sommative.
Activité d’évaluation
|
Enjeux
|
Sources de données
|
Méthodes d’analyse des données
|
Fréquence de l’analyse
|
Responsabilité
|
Évaluation formative [14]
|
Amélioration continue : Existe-t-il des moyens d’améliorer
l’exécution du programme du point de vue de l’efficacité ou de
l’efficience?
|
|
|
|
|
|
Systèmes de mesure du rendement : Des données appropriées sur
le rendement sont-elles recueillies, conservées et utilisées?
Assure-t-on la qualité des données?
|
|
|
|
|
|
Conception et mise en œuvre du programme :
Le programme est-il exécuté ou mis en œuvre comme il
avait été prévu? Etc., etc.
|
|
|
|
|
|
Autres enjeux :
|
|
|
|
|
Évaluation sommative
|
Succès : Est-ce que la politique, le programme ou
l’initiative atteint ses objectifs sans dépassement de budget et sans
effets indésirables?
|
|
|
|
|
|
Pertinence : Est-ce que le programme, la politique ou
l’initiative est toujours compatible avec les priorités du ministère
et de l’ensemble du gouvernement et répond véritablement à un besoin
réel?
|
|
|
|
|
|
Rentabilité : Utilise-t-on les moyens les plus appropriés et
les plus efficaces pour atteindre les objectifs ou y aurait-il lieu
d’envisager d’autres modes de conception et d’exécution?
|
|
|
|
|
|
Autres enjeux :
|
|
|
|
|
|
Questions/enjeux du CED :
(Voir l’annexe B)
|
|
|
|
|
1.0 Introduction
1.1 Contexte
1.2 Niveau d’intégration
1.3 Évaluation générale des risques
2.0 Profil du programme
2.1 Contexte
2.2 Objectifs
2.3 Intervenants et bénéficiaires
2.4 Ressources
3.0 Résultats attendus
3.1 Résultats attendus
3.2 Principaux secteurs de risque
3.3 Modèle logique
3.4 Obligations redditionnelles
4.0 Résumé de l’évaluation et de la gestion des risques
4.1 Principaux risques
4.2 Mesures d’atténuation en place
4.3 Stratégies supplémentaires
5.0 Suivi, évaluation et vérification
5.1 Plan de suivi
5.1.1 Rendement
5.1.2 Risque
5.2 Plan d’évaluation
5.3 Vérification interne et vérification des bénéficiaires
5.4 Engagements en matière de rapports
Annexes (selon les besoins)
[1] Le document « Résumé des
modifications apportées aux lignes directrices sur l’élaboration des cadres
de gestion et de responsabilisation axés sur les résultats (CGRR) »
(février 2005) présente un résumé complet des changements apportés aux
lignes directrices du CEÉ sur l’élaboration des CGRR.
[2] La Structure de gestion des
ressources et des résultats (SGRR) est un cadre exhaustif qui consiste en un répertoire
des activités, ressources, résultats, renseignements sur la mesure du
rendement et la gouvernance d’une organisation. Les activités et les résultats
sont présentés selon les liens logiques qui existent entre eux et leurs liens
avec les résultats stratégiques auxquels ils contribuent. La SGRR est établie
à partir de l’Architecture des activités de programme de l’organisation.
[3] L’Architecture des activités
de programme est un répertoire de toutes les activités menées par un ministère
ou un organisme. Ces activités sont présentées selon les liens logiques qui
existent entre elles et leurs liens avec les résultats stratégiques auxquels
elles contribuent.
[4] Voir la disposition 8.1.1
(xv) de la Politique sur les paiements de transfert (juin 2000).
[5] On appelle « CGRR global »
un CGRR regroupant un certain nombre de programmes. Le document Conseils pour
une approche stratégique aux CGRR (février 2005) renferme de plus amples détails
sur l’utilisation des CGRR globaux.
[6] Les résultats stratégiques
sont les avantages à long terme et durables pour les Canadiens qui découlent
du mandat, de la vision ou des efforts d’un ministère ou organisme. Il
s’agit de l’apport qu’un ministère ou organisme veut avoir dans la vie
des Canadiens.
[7] Par exemple, les stratégies
d’évaluation devraient respecter les Normes d’évaluation pour le
gouvernement du Canada énoncées dans la Politique d’évaluation du Conseil
du Trésor (avril 2001).
[8] Il s’agit là d’une
question étudiée par le Comité d’examen des dépenses. Une liste complète
des questions du Comité est donnée à l’annexe B.
[9] Si vous avez besoin d’aide
pour effectuer des évaluations des risques, consultez le cadre de
vérification axé sur les risques sur le site Web du Centre d’excellence en vérification
interne (http://www.tbs-sct.gc.ca/ia-vi/home-accueil_f.asp).
[10] À ce stade-ci, il
convient de procéder à une évaluation des risques stratégiques rattachés au
programme, à la politique ou à l’initiative pour s’assurer que les énoncés
de résultats et les échéanciers correspondent bien à la capacité d’exécution
(autorisations, compétences et ressources) du ministère (et de ses
partenaires).
[11] Les règles et les procédures
administratives devant être respectées ou les règles à suivre découlant des
politiques en matière de valeurs et d’éthique et de protection des
renseignements personnels sont des exemples de contraintes de fonctionnement.
[12] On ne connaîtra pas tous
les enjeux de l’évaluation au moment de l’élaboration du CGRR; le SCT en
est conscient. Les enjeux définis dans le CGRR ne représentent donc qu’un
point de départ pour l’élaboration d’un plan d’évaluation plus détaillé
du programme, de la politique ou de l’initiative. Les activités menées à
l’appui de l’élaboration d’un tel plan devraient être incorporées aux
plans opérationnels d’un programme et commencer aux premiers stades de l’exécution.
[13] Le CEÉ recommande la
concision et la précision dans le CGRR et, si possible, l’intégration des
CGRR et CVAR afin de regrouper efficacement les constatations et d’assurer une
meilleure coordination des tâches explicitement liées. Pour obtenir de plus
amples renseignements sur le sujet, consulter la section 7.0 « Intégration des
CGRR et CVAR ».
[14] Comme on le mentionne à
la section 4.3 « Suivi et évaluation », le CEÉ recommande d’utiliser les
évaluations formatives de façon judicieuse. On envisagera l’utilisation d’évaluations
formatives et d’autres méthodes d’évaluation selon la situation. Les
exemples d’enjeux pour les évaluations formatives figurant dans ce tableau ne
sont que des suggestions.
|