Plan d'évaluation quinquennal des IRSC
2008-2009 – 2012-2013

Unité de l'évaluation
Direction de l'évaluation et de l'analyse
Portefeuille de l'application des connaissances
2008

Autre(s) format(s)


Version PDF
(549 Ko)

Table des matières

  1. Introduction
  2. Contexte de planification
  3. Approche de l'élaboration du plan d'évaluation
  4. Activités de l'Unité de l'évaluation

Annexes

1. Introduction

Les Instituts de recherche en santé du Canada (IRSC) en sont à leur huitième année d'activité. De plus en plus mûr, mais encore relativement jeune, l'organisme gère des programmes et des initiatives de financement de la recherche en santé dont l'importance est cruciale pour le bien-être des Canadiens. Avec des dépenses de plus de 974 millions de dollars en 2007-2008 et environ 360 employés, les IRSC continuent de développer leurs fonctions et services centraux. Dans un environnement dynamique semblable, le besoin et le rôle d'une fonction d'évaluation viable et forte, qui permet d'évaluer efficacement la pertinence, le rendement et la contribution des programmes par rapport aux objectifs et au mandat1 des IRSC, sont de plus en plus importants.

Le présent document expose le premier plan d'évaluation quinquennal des IRSC (le Plan), qui a été préparé pour assurer l'existence d'un programme d'évaluation complet, axé sur la stratégie, qui couvre la totalité des dépenses de programme des IRSC au cours des cinq prochaines années2.

Le Plan a été élaboré par l'Unité de l'évaluation au sein de la Direction de l'évaluation et de l'analyse entre novembre 2007 et juin 2008, et il a par la suite été approuvé par les organes directeurs des IRSC. Il est mis en oeuvre à compter de l'exercice 2008-2009 par l'Unité de l'évaluation. Le Plan a été dressé d'abord à l'intention de la haute direction et des gestionnaires de programme des IRSC, de la Direction de l'évaluation et de l'analyse des IRSC, et du Secrétariat du Conseil du Trésor du Canada. Il a été élaboré en fonction des plans d'évaluation précédents, d'un examen documentaire, de vastes consultations avec la direction à l'échelle des IRSC et des exigences législatives et politiques du gouvernement fédéral et des organismes centraux en matière d'évaluation. Il s'applique à tous les programmes de subventions des IRSC en proposant une approche stratégique par grappe de programmes. Une stratégie d'établissement des priorités fondée sur le risque a été utilisée pour aider à définir les priorités d'évaluation et à rationaliser le calendrier de cinq ans. L'Unité de l'évaluation restructurera annuellement le calendrier quinquennal d'évaluation afin d'assurer la capacité d'adaptation et la pertinence du plan quinquennal par rapport aux besoins stratégiques des IRSC, et de tenir compte de la faisabilité de sa mise en oeuvre. Un calendrier d'évaluation mis à jour sera affiché sur le site Web des IRSC au cours du premier trimestre de chaque exercice financier.

2. Contexte de planification

Le plan d'évaluation a été élaboré en tenant compte de l'environnement global dans lequel évoluent les IRSC. À titre d'organisme fédéral, les IRSC sont assujettis aux exigences centrales communes à toutes les institutions fédérales, en plus des exigences législatives qui s'y appliquent en propre.

2.1. Priorités des IRSC, du gouvernement et des organismes centraux

2.1.1. Priorités des IRSC

La Loi sur les IRSC (2000) énonce l'engagement de l'organisme à assurer la transparence et à rendre compte des investissements faits dans la recherche en santé (alinéa 4l). Elle exige que le conseil d'administration des IRSC surveille, analyse et évalue les questions liées à la santé et à la recherche en santé (alinéa 5d), de même que le rendement global des IRSC en vue de l'atteinte de leurs objectifs (alinéa 14b). La Loi sur les IRSC prévoit également l'examen quinquennal du mandat des IRSC et du rendement de chaque institut de recherche en santé (art. 21).

La Politique des IRSC sur l'évaluation et la mesure du rendement, publiée en 2002, s'inscrit dans le prolongement de la Loi sur les IRSC et y renvoie. La politique vise à promouvoir une gestion axée sur les résultats dans toute l'organisation et exige que chaque institut, programme et initiative soit évalué dans les cinq ans suivant sa création.

Dans le Plan stratégique des IRSC (2004), d'autres engagements sont pris en vue d'évaluer le rendement et de démontrer l'optimisation des investissements dans la recherche en santé sur deux plans différents, mais complémentaires : la valeur des programmes individuels dans l'ensemble des programmes des IRSC et le rendement global des investissements pour les Canadiens.

2.1.2. Priorités du gouvernement

En 2006, le gouvernement fédéral du Canada publiait Avantage Canada : Bâtir une économie forte pour les Canadiens, un plan stratégique d'économie à long terme conçu pour améliorer la prospérité économique du pays. Le document présentait cinq « avantages économiques concurrentiels » pour le Canada :

  • L'avantage fiscal -- réduire les taxes et les impôts pour les Canadiens et établir le taux d'imposition le plus bas sur les nouveaux investissements des entreprises au sein des pays du G7.
  • L'avantage financier -- éliminer la dette nette de l'ensemble des administrations publiques du Canada en moins d'une génération.
  • L'avantage entrepreneurial -- réduire la réglementation inutile et les tracasseries administratives, et accroître la concurrence sur le marché canadien.
  • L'avantage du savoir -- former la main-d'oeuvre la plus scolarisée, la plus qualifiée et la plus souple au monde.
  • L'avantage infrastructurel -- bâtir l'infrastructure moderne dont le Canada a besoin.

Certaines des initiatives ci-dessus visaient à assurer l'efficacité des programmes et des dépenses du gouvernement. Avantage Canada prévoyait ainsi un nouveau système de gestion des dépenses, à mettre en place par le président du Conseil du Trésor, qui serait axé sur l'optimisation des ressources et la saine gestion.

En décembre 2006, des mesures précises pour aider à accroître la transparence et à renforcer la reddition de comptes dans les activités gouvernementales ont été proposées par la Loi fédérale sur la responsabilité, qui apportait des modifications à des instruments législatifs clés comme la Loi sur la gestion des finances publiques. En particulier, la Loi sur la gestion des finances publiques modifiée exige la tenue d'un examen quinquennal de tous les programmes de subventions et de contributions afin d'en évaluer l'utilité et l'efficacité (par. 42.1) 3.

La Stratégie des sciences et de la technologie (2007) du gouvernement du Canada a aussi établi d'importantes orientations pour les IRSC. La stratégie insiste sur une meilleure reddition de comptes et demande que nous améliorions notre capacité de mesurer les impacts des investissements dans les sciences et la technologie et d'en rendre compte.

2.1.3. Priorités des organismes centraux

La Politique d'évaluation du Secrétariat du Conseil du Trésor, publiée en 2001, régit le rôle et l'application de la fonction d'évaluation dans l'ensemble des ministères fédéraux. En réponse à l'importance accrue accordée par le gouvernement du Canada à la transparence et à la reddition de comptes au cours des dernières années, le SCT a entrepris de renouveler ses politiques d'évaluation et d'autres politiques.

Censées entrer en vigueur en 2008-2009, les nouvelles politique, normes et directive d'évaluation remodèleront les activités d'évaluation dans l'administration fédérale et en élargiront la portée. Le nouvel ensemble d'instruments exigera que les IRSC planifient, sur une période de cinq ans, l'évaluation de la totalité des programmes de coûts directs, même si l'évaluation de la plupart est déjà prévue par la LGFP. Une évaluation plus globale étant exigée, la politique étend sa définition des instruments et approches d'évaluation en vue d'assurer la qualité, la neutralité et la ponctualité des évaluations.

La politique révisée du Conseil du Trésor sur les paiements de transfert, en vigueur depuis octobre 2008, renforce en outre l'exigence de la LGFP voulant que les subventions, les contributions et les autres paiements de transfert soient revus ou évalués tous les cinq ans. La politique exige aussi qu'une stratégie de mesure du rendement soit établie et appliquée pendant tout le cycle de vie d'un programme de paiements de transfert, et stipule que les bénéficiaires de subventions peuvent être tenus de rendre compte des résultats obtenus.

2.2. Évaluation des risques

Les IRSC évoluent dans un environnement où les conditions économiques, technologiques, sociales et politiques changent sans cesse. Afin de poursuivre la réalisation de leur mandat et de s'acquitter de leurs engagements, les IRSC prennent en considération divers facteurs de risque qui ont un impact direct ou secondaire sur leur rendement sur les plans de la stratégie, des programmes et de l'administration.

Une série de risques propres à l'organisme, pertinents pour sa fonction d'évaluation, ont été définis dans le cadre intégré de gestion et de responsabilisation axé sur les résultats (CGRR) et le cadre de vérification axé sur les risques (CVAR) pour les programmes de subventions de recherche et de soutien du personnel de recherche des IRSC. Ces cadres ont été présentés au SCT en 20064 :

  • Risque de ne pas obtenir les résultats prévus — Les IRSC s'engagent par rapport à un vaste ensemble de résultats attendus, tels que produire de la recherche (des connaissances) de qualité, renforcer la capacité des chercheurs en santé, et contribuer à un secteur de la santé vigoureux et à la santé des Canadiens.
  • Défaillance du système d'examen par les pairs — L'augmentation spectaculaire du nombre de nouvelles initiatives, de nouveaux comités d'examen et de nouveaux volets de financement aux IRSC exerce une pression considérable sur le système d'examen par les pairs.
  • Mauvaise utilisation des fonds — Les IRSC gèrent un budget total de plus de 850 millions de dollars par année. Plus de 90 % de ce budget est destiné à des subventions et bourses qui sont versées à des parties de seconde part — universités et chercheurs — pour la conduite de recherche.
  • Atteinte d'un juste équilibre entre les programmes stratégiques (investissements dans des domaines prioritaires) et ouverts (études à l'initiative de chercheurs dans n'importe quel domaine de la recherche en santé), et entre les disciplines.
  • Application des connaissances : des résultats pour les Canadiens — Les évaluations des instituts des IRSC réalisées en 2005 ont fait ressortir certaines lacunes en matière d'application des connaissances.
  • Incapacité de mesurer et de communiquer adéquatement les résultats de la recherche — Bien que les subventions soient accordées en fonction des antécédents des chercheurs et du bien-fondé des propositions de recherche, il n'existe aucune garantie que la recherche sera en fait de haute qualité ou que des résultats seront obtenus au terme de la période de financement.
  • Exode possible de chercheurs dans le domaine de la santé — Le Canada risque de perdre des chercheurs si les IRSC ne sont pas en mesure de financer toutes les excellentes demandes qui sont reçues année après année.

Outre les risques susmentionnés, les études évaluatives et les plans futurs seront aussi guidés par le profil de risque de l'organisme (en voie d'élaboration). Ce projet est piloté par le bureau du chef des services financiers (Portefeuille de la planification et de la gestion des ressources). Jusqu'ici, une liste complète de risques d'entreprise touchant les IRSC a été dressée, et ces risques ont été évalués sur des échelles d'impact et de vulnérabilité.

En plus d'affiner les pratiques de gestion des risques à l'échelle organisationnelle, les IRSC sont également engagés dans un projet du portefeuille de la santé, qui a permis d'établir un cadre de gestion intégrée du risque (GIR) pour les subventions et les contributions dans tout le portefeuille de la santé au sein du gouvernement du Canada. Les IRSC, l'Agence de la santé publique du Canada et Santé Canada participent à ce projet. Le cadre de GIR sera un pas en avant qui favorisera une gestion globale et systématique des risques et assurera une meilleure harmonie avec les cadres et les initiatives de gestion des risques du gouvernement, de manière à permettre une prise de décision et des résultats stratégiques.

2.3. Évaluation et fonctions connexes aux IRSC

Les IRSC travaillent depuis 2001 à se doter d'une capacité interne d'évaluation, de mesure du rendement et d'analyse, effort largement inspiré par l'obligation de remplir les exigences de la Loi sur les IRSC. Au cours de la période de 2005 à 2007, d'importants investissements ont été faits dans la Direction de l'évaluation et de l'analyse, où trois unités distinctes ont été établies : Évaluation, Données et analyse, et Évaluation de l'impact5. La Direction est aussi passée au sein du Portefeuille de l'application des connaissances. La structure actuelle de la Direction a été conçue pour appuyer la prise de décision fondée sur des faits et la planification stratégique aux IRSC, ainsi que pour satisfaire aux exigences de la Loi sur la gestion des finances publiques et des politiques du SCT.

À l'heure actuelle, la Direction se compose de personnel hautement qualifié, soit des spécialistes des données, des évaluateurs et des analystes de la recherche en santé. Il importe de noter que la nouvelle Direction n'a pas encore un effectif complet, surtout parce que le recrutement et le maintien en poste du personnel spécialisé posent des difficultés. De même, puisque la Direction a pris forme au cours de la période de 2005 à 2007 seulement, une grande partie de ses employés sont nouveaux aux IRSC. Le personnel en poste est maintenant engagé dans une gamme d'activités d'évaluation et d'analyse — évaluation des programmes, évaluation de la recherche (ou évaluation de l'impact) et analyse des données, par exemple — qui aideront la haute direction de l'organisation dans la prise de décision et la reddition de comptes.

2.3.1. L'évaluation des programmes et l'Unité de l'évaluation

Au gouvernement du Canada, « l'évaluation des programmes consiste en la collecte et en l'analyse systématiques de données sur les résultats de ces programmes pour établir des jugements au sujet de leur pertinence, de leur rendement et d'autres manières d'exécuter les programmes ou d'obtenir les mêmes résultats » (projet de Politique d'évaluation du SCT, 2008). Le but de l'évaluation de programmes est d'éclairer la prise de décision au sujet de la mise en oeuvre et de l'efficacité d'un programme particulier ou d'un ensemble de programmes. Ces évaluations peuvent être formatives ou sommatives, ou posséder des éléments des deux. Aux IRSC, la fonction d'évaluation des programmes incombe à l'Unité de l'évaluation.

Les principales responsabilités de l'Unité de l'évaluation sont les suivantes :

  • établir des plans d'évaluation annuels et pluriannuels, et procéder à des études d'évaluation de programme conformément aux plans établis et aux exigences du SCT;
  • diriger des évaluations interministérielles et/ou y participer;
  • appuyer la direction des programmes dans l'évaluation de la conception, de l'exécution et de l'efficacité des politiques, des programmes et des initiatives (p. ex. fournir des conseils sur les cadres de gestion et de responsabilisation axés sur les résultats, la réalisation d'études évaluatives au niveau des programmes, les activités de mesure du rendement et les analyses de données);
  • participer à l'élaboration de cadres et de méthodes visant la recherche évaluative au niveau des programmes;
  • appuyer les efforts pour créer une capacité, une infrastructure et une culture d'évaluation aux IRSC.

Il existe environ 150 programmes de financement différents aux IRSC6 qui peuvent être classés dans 22 activités de programme sous 3 résultats stratégiques : Avancement des connaissances dans le domaine de la santé, Ressources humaines et capacité de recherche, et Application des connaissances et commercialisation.

Outre l'intérêt d'évaluer les résultats de ces programmes, la haute direction des IRSC et d'autres intervenants ont fait valoir l'importance de mesurer les impacts de la recherche scientifique appuyée par l'organisme. L'Unité de l'évaluation de l'impact au sein de la Direction de l'évaluation et de l'analyse est chargée de la fonction d'évaluation de la recherche.

2.3.2. L'évaluation de la recherche et l'Unité de l'évaluation de l'impact

L'évaluation de la recherche (ou l'évaluation de l'impact) aux IRSC vise à saisir et à décrire les résultats et les répercussions à long terme de la recherche en santé, financée par les IRSC, et elle n'est axée sur aucun programme particulier. Son but est de fournir de l'information pertinente à des fins de planification stratégique et d'établissement de politiques, et d'aider à démontrer les progrès par rapport au mandat de l'organisme et à ses résultats stratégiques.

En 2005, les IRSC ont reconnu le besoin de se doter d'un cadre pour examiner l'impact de la recherche en santé. En 2007, l'Unité de l'évaluation de l'impact a été créée et a entrepris de mettre au point et de mettre en oeuvre le cadre d'évaluation des répercussions élaboré en 2005. À l'heure actuelle, l'Unité de l'évaluation de l'impact met ce cadre en application au moyen de plusieurs projets, procédant par thème (p. ex. impacts de la recherche sur l'obésité, impacts de la recherche en santé cardiovasculaire et en santé cérébrovasculaire) et par catégorie (p. ex. commercialisation). Après cette première année de mise en application du cadre d'évaluation des répercussions de la recherche en santé des IRSC, le cadre même et les méthodes de mise en oeuvre seront revus et affinés au besoin.

L'Unité de l'évaluation de l'impact participe aussi à un certain nombre de collaborations internationales.

2.3.3. L'analyse des données et l'Unité des données et de l'analyse

Depuis la création de l'Unité des données et de l'analyse, la capacité analytique de l'organisme a été considérablement renforcée. Les deux équipes de l'unité — Production de données et Analyse — produisent des statistiques des IRSC et les valident, répondent aux demandes de données7, préparent des analyses pour des clients internes et externes, contribuent aux documents/rapports des IRSC et fournissent d'autres services d'analyse.

L'unité travaille à la création d'un nouveau système de classification de la recherche qui permettra aux IRSC de rendre compte avec exactitude de leurs investissements et résultats par secteur de recherche, d'un système de rapport sur la recherche (SRR) pour saisir les extrants et les résultats des investissements dans la recherche en santé, et d'un cadre d'assurance de la qualité des données pour garantir la fiabilité et la validité des données des IRSC.

2.4. Difficultés auxquelles se heurte l'évaluation des programmes aux IRSC

Le plan d'évaluation quinquennal actuel des IRSC s'applique principalement aux évaluations de programme; il sera mis en oeuvre par l'Unité de l'évaluation, avec la collaboration et l'aide de l'Unité des données et de l'analyse ainsi que de l'Unité de l'évaluation de l'impact.

En mettant en oeuvre le premier plan d'évaluation quinquennal des IRSC, l'Unité de l'évaluation peut se heurter à un certain nombre de difficultés liées à des facteurs financiers, opérationnels, techniques et culturels au sein de l'organisme, à savoir :

  1. des contraintes budgétaires et relatives aux ressources humaines;
  2. la complexité de la structure de l'organisation, y compris la multiplicité des centres de responsabilité de programme et leur dispersion géographique;
  3. une culture organisationnelle qui n'a pas été entièrement transformée pour soutenir l'orientation sur les résultats;
  4. un engagement efficace et durable de la direction des programmes dans les processus de consultation et d'évaluation;
  5. un manque d'information sur le rendement et d'une infrastructure de données au sein des IRSC pour appuyer les activités de mesure et d'évaluation;
  6. un certain nombre de difficultés inhérentes à la mesure des résultats des programmes, comme l'effet d'entraînement et l'attribution.

En réponse à certaines des difficultés susmentionnées, la Direction de l'évaluation et de l'analyse s'est engagée à fond dans un certain nombre de projets ayant pour but de mettre au point des indicateurs de rendement cohérents et communs, ainsi que d'établir une capacité de mesure connexe aux IRSC. Elle contribue également à des initiatives visant à améliorer la capacité d'évaluation globale de l'organisme. Ces projets et initiatives comprennent :

  • l'établissement de la Structure de gestion des ressources et des résultats (SGRR) de l'organisme, qui définit les résultats stratégiques, les activités de programme connexes, les besoins en matière de ressources, ainsi que les résultats attendus et les indicateurs de rendement;
  • l'établissement continu de cadres de gestion et de responsabilisation axés sur les résultats (CGRR) pour les programmes de financement des IRSC;
  • la mise en oeuvre du cadre commun des IRSC, ou des indicateurs de rendement communs à recueillir dans les 13 instituts des IRSC;
  • la conception du Système de rapport sur la recherche (SRR), c'est-à-dire un référentiel électronique centralisé de données de fin de subvention visant à appuyer la saisie et l'analyse des extrants et des impacts de la recherche d'une matière plus rigoureusement structurée et systématique;
  • la mise au point et la mise en oeuvre du cadre d'évaluation des répercussions des IRSC, lequel oriente et guide l'évaluation des impacts à court et à long terme de la recherche en santé;
  • la conception et la mise en oeuvre du réseau d'évaluation des IRSC, soit un site Web pour l'ensemble des IRSC et un groupe de travail voués au partage de l'information sur l'évaluation et la mesure du rendement dans toute l'organisation, le tout s'appuyant sur des réunions mensuelles en face-à-face.

La prochaine section présente les pratiques d'assurance de la qualité utilisées par l'Unité de l'évaluation.

2.5. Pratiques d'assurance de la qualité

L'Unité de l'évaluation accomplit son travail de manière approfondie, objective et concertée en faisant appel à un mélange de ressources internes et contractuelles. Les normes professionnelles suivantes, définies par la Société canadienne d'évaluation, guident les produits et les services d'évaluation des IRSC : utilité, faisabilité, rectitude et exactitude8.

Le contrôle de qualité des produits et des services d'évaluation à l'Unité de l'évaluation est exercé par un certain nombre de pratiques, dont les suivantes :

  • supervision des études d'évaluation de premier plan par des comités directeurs/groupes de travail dont font partie des intervenants clés des programmes et du personnel de l'Évaluation et de l'Analyse;
  • intégration de multiples sources de données dans chaque évaluation comme norme de bonne pratique;
  • examens internes par les pairs et la direction;
  • présence d'un ETP (agent d'évaluation et de contrôle de la qualité) qui se consacre à l'assurance de la qualité;
  • examen des propositions des entrepreneurs du point de vue de leur rigueur méthodologique et des pratiques d'assurance de la qualité de ces derniers.

La gouvernance de l'évaluation aux IRSC s'appuie sur plusieurs comités et sous-comités de gouvernance et de gestion stratégique, dont font partie des experts de l'évaluation et de la mesure du rendement. Ces organes consultatifs améliorent le système d'assurance de la qualité de la fonction d'évaluation de programme par une approche collégiale et consultative de la prise de décision et de l'approbation. La rétroaction des comités et de la haute direction des IRSC confirme que l'unité produit des résultats et fournit des services de plus en plus complets et fiables.

3. Approche de l'élaboration du plan d'évaluation

3.1. Principes directeurs

Un certain nombre de principes directeurs, inspirés des normes et des lignes directrices en matière d'évaluation du SCT, ont été pris en considération dans l'élaboration du Plan :

  • utiliser le processus de planification comme une occasion de communiquer le rôle et l'importance de l'évaluation et engager la direction des IRSC dans la priorisation et l'utilisation de l'évaluation;
  • adopter une approche fondée sur le risque pour déterminer les besoins d'évaluation et se concentrer plus tôt sur les priorités importantes et les projets à risque élevé;
  • utiliser une méthode uniforme, équilibrée et transparente pour déterminer les engagements en matière d'évaluation;
  • harmoniser les évaluations prévues avec la Structure de gestion des ressources et des résultats des IRSC;
  • incorporer suffisamment de souplesse dans le processus pour s'assurer que l'organisme et l'Unité de l'évaluation sont en mesure de répondre aux besoins d'évaluation nouveaux et prioritaires;
  • harmoniser le Plan avec la planification de l'examen international des IRSC comme occasion de continuer à renforcer le rôle de l'évaluation en tant que fonction de gestion efficace et essentielle9;
  • incorporer l'engagement des IRSC à répondre aux exigences de la Loi sur la gestion des finances publiques ainsi que de la politique révisée du SCT sur l'évaluation et de la politique sur les paiements de transfert.

Ces principes témoignent de l'importance pour les IRSC de faire en sorte que les efforts d'évaluation servent tant à la reddition de comptes qu'à l'amélioration des programmes et à l'apprentissage.

3.2. Processus de planification et facteurs importants

Le processus de planification a inclus les étapes clés suivantes : établissement du groupe de travail sur le plan d'évaluation quinquennal; examen des priorités des IRSC et de l'ensemble du gouvernement; consultations avec la direction des IRSC à l'échelle de l'organisme et des programmes; affinage de l'univers d'évaluation selon les catégories de l'architecture des activités du programme; mise au point de la méthodologie de priorisation fondée sur les risques et priorisation/classement des évaluations de programme (pour la description de toutes les étapes, voir la section 3.3 et l'Annexe C).

De plus, l'Unité de l'évaluation continue de surveiller les facteurs qui peuvent remodeler l'ensemble des programmes et les affectations budgétaires des IRSC, et donc influer sur les priorités d'évaluation de programme et/ou les thèmes d'études évaluatives proposés dans le Plan. Ces facteurs incluent :

  • les résultats de l'examen stratégique des IRSC par le SCT (réalisé au printemps / à l'été 2008);
  • l'élaboration du nouveau plan stratégique des IRSC (Plan stratégique II);
  • l'achèvement du profil de risque de l'organisme;
  • le changement à la direction au cours de l'exercice 2008-2009;
  • les influences résultant de la modification des priorités gouvernementales ou des besoins en matière de santé des Canadiens.

3.3. Étapes de la planification de l'évaluation

Étape 1 : Examen des priorités
Un examen a été réalisé par l'Unité de l'évaluation pour relier les activités d'évaluation potentielles aux objectifs et aux priorités de l'ensemble de l'organisme et du gouvernement. Les documents sur les orientations stratégiques et les priorités de l'organisme (section 2.1) ont constitué d'importantes sources d'information sur les buts et les risques organisationnels. De plus, en janvier 2008, les membres du Sous-comité de la mesure du rendement ont été invités de manière proactive à préciser les priorités des IRSC et à indiquer les décisions sur les dépenses à venir qui devraient être guidées par l'évaluation. Les priorités et les objectifs à l'échelle du gouvernement ont été confirmés par un examen des lignes directrices et des documents législatifs pertinents.

Étape 2 : Affinage de l'univers d'évaluation
Une attention considérable a été consacrée à l'affinage et à l'opérationnalisation de l'univers d'évaluation pour qu'il reflète bien les programmes des IRSC et permette l'évaluation de toutes les dépenses de programme. L'architecture des activités de programme (AAP) a donc été un point de départ utile pour définir l'univers d'évaluation des programmes. L'utilisation de l'AAP allait aussi permettre à l'Unité de l'évaluation d'étudier l'efficacité de secteurs de programme complets et de tirer les conclusions qui s'imposent au moyen d'un nombre optimisé d'études portant sur une seule question plus globale.

Étape 3 : Sélection des critères de risque et de priorité
Compte tenu du nombre d'évaluations requises, la méthode d'établissement des priorités et en particulier la sélection de critères informatifs et valides reposant sur des risques revêtaient de l'importance. La détermination initiale des critères de priorité a été guidée par la planification de l'évaluation des IRSC en 2005-2006, malgré quelques modifications apportées. Par conséquent, un niveau de critères a été établi : importance relative, cycle de vie du programme, reddition de comptes antérieure, priorités stratégiques/organisationnelles, et visibilité. L'examen des priorités a guidé la sélection des critères, lesquels ont par conséquent été validés par le groupe de travail sur le plan d'évaluation quinquennal et les comités suivants : Sous-comité de la mesure du rendement, Comité de la recherche et de l'application des connaissances (CRAC), et Comité permanent de la mesure du rendement, de l'évaluation et de la vérification (CPMREV).

Étape 4 : Établissement des priorités au sein de l'univers d'évaluation
Des activités d'évaluation bien définies de l'AAP ont été classées par ordre de priorité selon les critères établis. L'échelle de cotation pour chaque critère reposait sur un examen d'échelles de cotation similaires dans tous les ministères fédéraux, et elle a été mise au point de concert avec le groupe de travail. Une liste prioritaire de projets d'évaluation de programme a été dressée en fonction de la cote globale, la catégorie de l'AAP classée le plus haut justifiant une évaluation précoce dans le cycle de cinq ans, et la catégorie classée le plus bas, une évaluation tardive (exception faite des exigences du CT et des programmes partagés). Les questions horizontales n'ont pas été classées par ordre de priorité, mais plutôt signalées comme thèmes préliminaires des évaluations priorisées. Le calendrier d'évaluation de programme quinquennal proposé (tableau 1) en est le produit final.

Étape 5 : Validation des activités d'évaluation prioritaires
Afin de renforcer la validité du processus de priorisation, des entrevues avec des membres de la haute direction et des directeurs sectoriels choisis ont eu lieu, et une analyse qualitative de leurs réponses a été réalisée. L'analyse des données des entrevues a révélé un consensus au sujet des principales priorités d'évaluation dans l'ensemble des IRSC, venant ainsi à l'appui des résultats de l'exercice de classement des risques par ordre de priorité.

Étape 6 : Processus d'approbation et diffusion
Après que le calendrier quinquennal définitif des activités d'évaluation a été accepté par les organes décisionnels des IRSC (Sous-comité de la mesure du rendement, CRAC et CPMREV), un plan d'évaluation quinquennal préliminaire a été préparé, puis approuvé par le responsable de l'évaluation de l'organisme. Une fois accepté par le SCT, le Plan sera diffusé à l'échelle des IRSC.

Étape 7 : Mise en oeuvre et surveillance
L'Unité de l'évaluation continue de définir la stratégie de mise en oeuvre du Plan. Comme il est résumé à la section 3.2, un certain nombre de facteurs peuvent influer sur les priorités d'évaluation des programmes et/ou les thèmes d'études évaluatives proposés dans le Plan. Par conséquent, l'Unité de l'évaluation s'engage à restructurer chaque année le calendrier quinquennal d'évaluation, en se servant d'un type de méthodologie semblable, pour s'assurer que le Plan demeure pertinent et exact. Le calendrier mis à jour sera diffusé à l'échelle des IRSC et affiché sur leur site Web.

  1. Les IRSC ont pour mandat d'exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé et de renforcer le système de santé au Canada (projet de loi C-13, 2000).
  2. Le Plan d’évaluation quinquennal vise uniquement les évaluations de programme. D’autres activités d’évaluation, comme l’évaluation de l’impact de la recherche, sont exclues du présent document de planification (pour plus de détails, voir la section 2.3).
  3. Les IRSC sont un établissement public qui figure à l’annexe II de la Loi sur la gestion des finances publiques. De plus, les dépenses de programme des IRSC sont presque exclusivement constituées de subventions et de bourses.
  4. La méthodologie utilisée pour l’évaluation des risques a notamment consisté à examiner les secteurs de risque indiqués dans les plans de vérification interne et l’examen international de 2005 des IRSC, puis à analyser le niveau de risque et à déterminer les secteurs de préoccupation et d’impact liés aux secteurs de risque. Les stratégies d’atténuation existantes ont ensuite été analysées. Des représentants de la direction des IRSC ont collaboré activement à l’élaboration du CGRR et du CVAR, ainsi qu’à l’évaluation des risques.
  5. Le mandat de la Direction de l’évaluation et de l’analyse est d’appuyer la direction et les cadres des IRSC dans la mise en oeuvre de solides pratiques de mesure du rendement, d’évaluation et d’analyse en vue d’aider à réaliser le mandat et les objectifs stratégiques des IRSC, et de respecter les exigences législatives de l’organisation.
  6. Selon les codes financiers des IRSC pour l’exercice 2007-2008.
  7. Pour présenter une demande de données, remplir le formulaire en ligne de demande de données.
  8. Une description des normes d’évaluation des programmes se trouve à l’adresse suivante
  9. L’examen précédent des IRSC, qui date de 2005-2006, était un examen international d’envergure réalisé sous la conduite de la Direction de l’évaluation et de l’analyse pour évaluer les progrès de l’organisme dans son ensemble depuis sa création. Le deuxième examen est prévu pour 2010-2011.

Tableau 1.

Calendrier d'évaluation quinquennal des IRSC (2008-2009 – 2012-2013)