Plan d'évaluation des Instituts de recherche en santé du Canada 2010/2011 - 2014/2015
Autre(s) format(s)
Unité d'évaluation
Direction de l'évaluation, de la vérification interne et de la gestion du risque
Portefeuille de la stratégie et des affaires générales
Octobre 2010
Table des matières
- Au sujet des Instituts de recherche en santé du Canada
- 1. Cadre général et contexte
- 2. Calendrier d'évaluation
- 3. Risques et facteurs de succès
- Annexes
- Remarques
Liste des tableaux
- No. 1 Figure 1 – Lien hiérarchique entre le chef de l'évaluation et le président des IRSC
- No. 2 Figure 2 – Structure de gouvernance de l'évaluation aux IRSC
- No. 3 Tableau 1 – Changements importants entre les plans d'évaluation 2009-2010 et 2010-2011
- No. 4 Tableau 2 – Rapports à présenter en 2010-2011
- No. 5 Matrice 1 – Calendrier et plan de ressources pour 2010-2011
- No. 6 Tableau 3 – Plan de ressources 2010-2011 (Évaluations)
- No. 7 Tableau 4 – Planification des ressources 2010-2011 (autres activités de l'Unité d'évaluation)
- No. 8 Matrice 2 – Calendrier d'évaluation quinquennal (2010-2011 - 2014-2015)
- No. 9 Tableau 5 – Plan d'évaluation quinquennal détaillé et calendrier des ressources
- No. 10 Tableau 6 – Facteurs de succès
- No. 11 Tableau 7 – Évaluation des risques
Au sujet des Instituts de recherche en santé du Canada
Mandat
Les IRSC ont pour mandat d'exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada (projet de loi C-13, 13 avril 2000).
Vision
Les IRSC ont pour vision de faire du Canada un chef de file mondial dans la création et l'utilisation de connaissances grâce à la recherche en santé, et ce, au profit des Canadiens et de la collectivité mondiale.
Réaliser le mandat et la vision
Établis en 2000, les IRSC préconisent une approche fondée sur des solutions, multidisciplinaire et collaborative de la recherche en santé. Leur structure unique permet de réunir des chercheurs de toutes les disciplines et de différents lieux géographiques grâce à leurs treize instituts. Actuellement, les IRSC appuient plus de 13 000 chercheurs et stagiaires du domaine de la santé dans des universités, des hôpitaux d'enseignement et d'autres organisations liées à la santé et centres de recherche d'un bout à l'autre du pays. L'organisme appuie la recherche en santé dans le cadre d'un processus ouvert qui satisfait aux normes d'excellence et d'éthique internationales les plus élevées dans quatre domaines de recherche : recherche biomédicale, recherche clinique, recherche sur les systèmes et services de santé, et recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations.
Instituts
Les 13 instituts des IRSC sont conjointement responsables de réaliser l'objectif fondamental des IRSC et possèdent chacun un plan stratégique distinct aligné sur les grandes orientations, le mandat et la vision des IRSC. Les instituts encouragent et renforcent les assises de l'excellence de la recherche au Canada, mobilisent les intervenants du milieu de la recherche et favorisent la recherche interdisciplinaire et intégrative en matière de santé et d'application des connaissances. Par l'intermédiaire de leurs directeurs scientifiques et de leurs conseils consultatifs, et sous la surveillance et l'orientation du conseil d'administration des IRSC, les instituts travaillent de concert avec les intervenants afin d'établir un programme de recherche en santé dans l'ensemble des domaines, secteurs et régions, un programme qui permet de saisir les occasions de recherche scientifique et qui reflète les nouveaux besoins en santé des Canadiens, l'évolution du système de santé et les besoins en information des responsables des politiques sur la santé.
1. Cadre général et contexte
1.1 But
Le but du présent plan d'évaluation est :
- fournir des calendriers des évaluations à effectuer au cours des cinq prochaines années;
- présenter du contexte concernant les exigences du Conseil du Trésor pour la production d'un plan d'évaluation et la manière dont il sera utilisé au sein des IRSC;
- de décrire les approches utilisées pour déterminer et prioriser les évaluations des IRSC et les évaluations horizontales;
- d'indiquer les besoins en ressources et l'utilisation des ressources au sein de l'Unité d'évaluation pour procéder aux évaluations prévues;
- de déterminer les risques et les facteurs de succès dans la conduite des évaluations.
1.2 Exigences du Conseil du Trésor relativement aux plans d'évaluation
Le but premier du plan d'évaluation est d'aider le président des IRSC à s'assurer que des informations crédibles, opportunes et neutres sur la pertinence continue et le rendement des dépenses directes au titre de programmes sont disponibles pour appuyer une prise de décision stratégique éclairée, qui repose sur des faits. Le plan d'évaluation aide à faire en sorte qu'il soit rendu compte des résultats qu'ont permis d'atteindre les politiques et les programmes des IRSC.
Le plan d'évaluation a également diverses autres utilités, p. ex. :
- aider le président à confirmer que les besoins d'information des IRSC sont satisfaits;
- fournir aux gestionnaires de programme la possibilité de s'assurer que les évaluations prévues peuvent être synchronisées pour aider à la redéfinition des programmes;
- fournir aux gestionnaires de programme et au chef de l'évaluation1 une plate forme annuelle pour amorcer un dialogue sur l'élaboration et l'application de stratégies de mesure du rendement qui appuient efficacement les évaluations;
- fournir aux unités responsables de la préparation du Rapport sur les plans et les priorités (RPP) et du Rapport ministériel sur le rendement (RMR), ainsi qu'à d'autres groupes engagés dans les activités de planification stratégique et de rapport, la possibilité de savoir quand des évaluations seront disponibles pour guider leur travail;
- fournir au chef de l'évaluation la possibilité d'établir une communication régulière et de travailler à la recherche d'un consensus sur les besoins et les priorités en matière d'évaluation dans l'ensemble des IRSC;
- être un outil de gestion pour le chef de l'évaluation, afin de permettre de planifier le déroulement des opérations et les besoins en ressources humaines au cours des années à venir, de réfléchir aux progrès et d'intégrer les enseignements tirés des années précédentes pour renforcer la fonction.
La Politique sur l'évaluation2 exige que le président veille à l'établissement d'un plan quinquennal continu d'évaluation et confirme que ce plan :
- cadre avec la Structure de gestion, des ressources et des résultats des IRSC et la soutient;
- appuie les exigences du Système de gestion des dépenses, y compris les examens stratégiques;
- vise tous les programmes permanents de subventions et de contributions, conformément au paragraphe 42.1 de la Loi sur la gestion des finances publiques.
Pour s'assurer que l'évaluation couvre les nombreux programmes et initiatives dans des catégories de l'AAP, l'Unité d'évaluation procédera par échantillonnage pour définir la portée de l'évaluation; plus de détails à ce sujet sont donnés à la section 2.3 du présent document.
Le président est chargé, sur l'avis du comité d'évaluation3 des IRSC, d'approuver le plan d'évaluation, qui est ensuite présenté au Secrétariat du Conseil du Trésor (SCT). Les exigences suivantes, entre autres, doivent être remplies et reflétées dans le plan d'évaluation :
- Toutes les dépenses de programme directes4 à l'exception des subventions et des contributions, doivent être évaluées tous les cinq ans;
- Tous les programmes permanents de subventions et de contributions doivent être évalués tous les cinq ans5.
Le chef de l'évaluation est chargé d'établir et de mettre à jour chaque année le plan d'évaluation quinquennal continu et de s'assurer qu'il répond aux exigences ci dessus. Il doit notamment définir et recommander une approche de l'évaluation qui soit fondée sur les risques, présenter un plan d'évaluation approuvé au SCT et s'assurer que les évaluations comprennent des conclusions claires et valides au sujet de la pertinence et du rendement des programmes.
1.3 L'évaluation aux IRSC
Les IRSC travaillent depuis 2001 à se doter d'une capacité interne d'évaluation, de mesure du rendement et d'analyse. L'Unité d'évaluation travaille de concert avec l'Unité d'évaluation de l'impact, qui se concentre sur les effets plus globaux des programmes des IRSC, et un groupe d'analyse des données, responsable des systèmes de données et des services d'information. L'Unité d'évaluation elle même s'emploie à appuyer la prise de décision fondée sur des faits et la planification stratégique dans l'ensemble des IRSC, en s'efforçant de remplir ou de dépasser les exigences de l'ensemble des politiques du CT en matière d'évaluation. Le fait que les exigences des politiques du CT soient remplies et dépassées assure la direction de la crédibilité et de la neutralité des processus et des produits d'évaluation. Le plan stratégique des IRSC, L'innovation au service de la santé6, souligne l'importance de la fonction d'évaluation pour aider l'organisme à atteindre l'excellence organisationnelle et à démontrer son impact.
L'Unité d'évaluation n'a pas compté sur un effectif complet en 2010 à cause de changements de personnel et de difficultés de recrutement; pendant un certain temps, elle comptait seulement trois ETP sur huit. Un recrutement récent a permis de porter l'effectif au niveau prévu, quoiqu'il reste difficile de trouver du personnel d'évaluation expérimenté et compétent. Nombre de ministères et d'organismes fédéraux éprouvent les mêmes difficultés. Les problèmes de recrutement ont entraîné des retards limités dans la réalisation de projets d'évaluation prévus, mais cela n'a eu aucune conséquence pour les évaluations de programme avec présentations au CT ni pour les initiatives horizontales.
L'Unité d'évaluation a été touchée par une réorganisation au sein de l'organisme depuis le dépôt du dernier plan d'évaluation, et elle fait maintenant partie d'une nouvelle direction de l'évaluation, de la vérification interne et de la gestion des risques, au sein du Portefeuille de la stratégie et des affaires générales des IRSC. Le nouveau chef de l'évaluation (le directeur de l'évaluation, de la vérification interne et de la gestion des risques)7 relève directement du président des IRSC, ce qui a pour effet d'éliminer tous doutes quant à la neutralité soulevés dans le rapport d'évaluation de cette année du Cadre de responsabilisation de gestion (CRG) sur la fonction8.
Figure 1 - Lien hiérarchique entre le chef de l'évaluation et le président des IRSC
Le diagramme ci après montre les nouveaux arrangements pour la gouvernance du comité d'évaluation des IRSC depuis août 2010. Le comité de la haute direction, dont le président des IRSC est à la tête, est le nouveau comité d'évaluation des IRSC. Le sous comité sur la mesure du rendement (SCMR) joue un rôle stratégique et consultatif relativement à la conception et à la conduite des évaluations. Le président du SCMR présente d'importants points d'évaluation au comité de la haute direction, avec l'appui du personnel de l'Unité d'évaluation. L'Unité d'évaluation peut aussi être invitée à présenter des points d'information au comité de vérification s'il y a lieu.
Figure 2 - Structure de gouvernance de l'évaluation aux IRSC
1.4 Élaboration du plan d'évaluation
Le plan d'évaluation 2010-2011 repose sur une révision des plans d'évaluation 2008-2009 et 2009-2010 présentés au SCT par les IRSC. Un exercice détaillé de planification et de consultation est prévu pour le plan de 2011-12 à 2015-2016, qui fera suite aux nouvelles directives du SCT pour l'établissement des plans d'évaluation9.
Le présent plan d'évaluation révisé a été établi selon l'approche suivante :
- Déterminer l'univers d'évaluation à l'aide de l'architecture des activités de programme (AAC)10, de la SGRR et d'informations supplémentaires provenant des gestionnaires de programme;
- Revoir et mettre à jour les critères fondés sur les risques utilisés dans les plans d'évaluation antérieurs des IRSC (importance relative; cycle de vie des programmes; historique de responsabilité; priorités stratégiques/organisationnelles);
- Consulter les cadres supérieurs et les gestionnaires de programme aux IRSC (énumérés en annexe);
- Consulter le Conseil de recherches en sciences naturelles et en génie (CRSNG) et le Conseil de recherches en sciences humaines (CRSH) pour établir le calendrier d'évaluations horizontales des trois organismes.
1.5 Changements par rapport au plan d'évaluation 2009-2010
Les changements importants au calendrier d'évaluation pour la période de 2009-2010 à 2013-2014 présenté au SCT sont indiqués dans le tableau ci dessus, avec une justification dans chaque cas. Comme les catégories de l'AAP des IRSC ont changé entre 2009-2010 et 2010-201111,un tableau de concordance a été fourni pour permettre les comparaisons entre les deux AAP.
Tableau 1 - Changements importants entre les plans d'évaluation 2009-2010 et 2010-2011
| Évaluation de programme | AAP 2010/11 | AAP 2009/10 | Changement | Justification |
|---|---|---|---|---|
| Partenariats pour l'amélioration du système de santé (PASS), Programme de subventions pour réunions, planification et dissémination et Programme de subventions « Des connaissances à la pratique » (Programmes d'application des connaissances) |
1.4.2 | 2.3.2 et 3.1.1 | Évaluation ramenée de 2011-2012 à 2010-2011 | Le changement à l'AAP a accru l'importance relative (ajout de 9 M$ aux programmes de partenariat) et le risque connexe. |
| Initiatives stratégiques (y compris Initiative de recherche en médecine régénératrice et nanomédecine et Programme canadien de rayonnement synchrotron) | 1.4.1.1 | 1.2.1 1.2.2 2.1.5 2.1.6 |
Prolongation du délai pour l'évaluation - le rapport d'évaluation doit maintenant être terminé en 2011-2012 | L'examen international des IRSC fournira une grande partie des données nécessaires pour cette évaluation. Le nouveau délai permet d'améliorer le rapport coût efficacité de l'évaluation en réduisant considérablement la quantité de données additionnelles à recueillir. |
| Programme des partenariats de recherche concertée sur la santé (PRCS) et Programme de démonstration des principes (PDP I et II) (Programmes de commercialisation de la recherche) | 1.3.1 | 3.2 | Évaluation reportée à 2011-2012 | Une analyse d'évaluabilité initiale a révélé qu'il n'y avait pas suffisamment de données pour l'évaluation. Des stratégies seront établies par les gestionnaires de programme, avec les conseils de l'Unité d'évaluation, pour les données à recueillir. L'évaluation est prévue pour 2011-2012. |
| Programme ouvert de subventions de recherche (fonctionnement) - étude d'évaluation de l'historique des extrants, des résultats et des impacts | 1.1.1 | 1.1.1 | Achèvement du rapport reporté de 2009-2010 à 2010-2011 | Des contraintes relatives aux ressources ont retardé l'achèvement. |
| Programme des réseaux de centres d'excellence dirigés par l'entreprise - Examen de la pertinence et de l'efficacité | 1.3.2.2 | 3.1.2 (partie) | Examen de la pertinence et de l'efficacité prévu pour 2010-2011 | Évaluation des trois organismes qui ne figurait pas au calendrier des IRSC pour 2009-2010. |
1.6 Rapports à présenter en 2010-2011
Le tableau suivant montre les rapports qui doivent être présentés au Conseil du Trésor en 2010-2011.
Tableau 2 - Rapports à présenter en 2010-2011
| Évaluation des programmes | AAP 2010/11 | AAP 2009/10 |
|---|---|---|
| Programme ouvert de subventions de recherche (fonctionnement) - étude d'évaluation de l'historique des extrants, des résultats et des impacts | 1.1.1 | 1.1.1 |
| Programme d'essais contrôlés randomisés | 1.1.2 | 1.1.2 |
| Programmes d'appui salarial | 1.2.1.1 | 2.1.1 et 2.1.5 |
| Chaires de recherche du Canada (dirigé par le Conseil de recherches en sciences humaines) | 1.2.1.2 | 2.1.3 |
1.7 Approbation du plan d'évaluation
Comme l'exige la Politique sur l'évaluation (section 6.1.7) le présent plan d'évaluation a été examiné par le comité d'évaluation des IRSC et approuvé par le président des IRSC.
La note de confirmation, comme le prévoit le Guide de rédaction des plans d'évaluation ministérielle (Guide to Developing Departmental Evaluation Plans) du Secrétariat du Conseil du Trésor, est incluse en annexe.