Cadre de mesure et d’évaluation du rendement

Table des matières

Résumé
Introduction : contexte et objectifs
Sources d'information et méthodes
Profil du programme
Gestion des risques
Points et questions d'évaluation
Stratégie de surveillance du rendement et d'évaluation
Les notes en bas de page

Résumé

Contexte et buts

Les Instituts de recherche en santé du Canada (IRSC) et leurs partenaires ont annoncé l'Initiative stratégique de formation en recherche dans le domaine de la santé (ISFRS) au printemps 2001. L'ISFRS, dont l'orientation est proactive, stratégique et axée sur les problèmes, représente une nouvelle façon de soutenir la formation en recherche dans le domaine de la santé au Canada, et un changement de cap par rapport aux modèles précédents centrés sur les candidats. Elle représente un important investissement des IRSC et de leurs partenaires dans la formation en recherche dans le domaine de la santé, les IRSC et les divers instituts devant dépenser près de 85 millions de dollars en six ans pour cette initiative. Le présent document expose une stratégie de mesure du rendement et un cadre d'évaluation pour l'ISFRS. Il a deux buts principaux : 1) fournir une structure pour surveiller le rendement de l'ISFRS; 2) orienter et structurer une évaluation formative, qui doit avoir lieu trois ans après la mise en oeuvre, et une évaluation sommative, qui doit être terminée à la fin de la première période subventionnelle de six ans.

Ce cadre de mesure du rendement et d'évaluation a été établi à partir de plusieurs sources d'information :

• Examen de la documentation pertinente;
• Consultations qualitatives avec 22 intervenants : personnel du programme aux IRSC; représentants d'organismes partenaires, titulaires de subventions, titulaires de subventions également financés par un partenaire, membres de comités consultatifs de programme, candidats non financés, instituts des IRSC, membres de comités d'examen, doyens aux études supérieures, représentants du conseil provincial de l'éducation supérieure et stagiaires financés.

L'établissement du profil du programme, y compris du modèle logique, a conduit à la détermination des intrants, des activités, des extrants, des résultats à court terme et des impacts à long terme prévus de l'ISFRS. Ces impacts sont les suivants :

• Augmentation de la capacité canadienne globale (c.-à-d. au sein des communautés de recherche des IRSC et des partenaires) permettant de s'attaquer avec succès à d'importantes questions à tous les niveaux de la recherche en santé;
• Augmentation de la capacité de tous les partenaires dans le domaine de l'application des connaissances;
• Augmentation de l'attrait et du prestige des carrières en recherche dans le domaine de la santé, y compris des carrières à l'extérieur des cadres traditionnels.

Les risques à prendre en compte ont été définis, c.-à-d. les facteurs les plus susceptibles
d'empêcher l'ISFRS d'atteindre ses objectifs, de même que des stratégies pour essayer d'atténuer ces risques. Quatre catégories de risque dont l'impact pourrait être important ou modéré ont été reconnues, dont la prise en compte demandera un effort plus ou moins grand :

• Risques que les processus d'examen et de sélection ne permettent pas d'opérationnaliser adéquatement les intentions du programme, en particulier de résoudre la tension entre l'orientation stratégique et le renforcement des capacités, d'une part, et l'excellence dans le soutien de la formation en recherche, d'autre part;
• Risques d'échec du modèle de partenariat;
• Risque que le bassin de stagiaires soit insuffisant;
• Risques que les établissements hôtes ne soient pas capables de s'adapter aux modèles de formation transdisciplinaires et trans-établissements.

Les points à évaluer et les sous-questions pertinentes ont été déterminés au moyen des consultations et de l'examen documentaire. Ces points sont les suivants :

• Incidences des processus de sélection de l'ISFRS sur le succès éventuel des programmes et des stagiaires financés dans le cadre de l'ISFRS;
• Mesure dans laquelle l'ISFRS met des milieux de formation nationaux intégrés à la disposition de groupes d'étudiants qui forment des masses critiques dans des secteurs stratégiques de la recherche en santé;
• Mesure dans laquelle l'ISFRS produit les résultats escomptés, en comparaison avec les autres mécanismes de financement antérieurs et actuels de la formation en recherche dans le domaine de la santé;
• Succès du modèle de partenariat;
• Impacts de l'ISFRS comparativement aux autres mécanismes de financement antérieurs et actuels de la formation en recherche dans le domaine de la santé.

La stratégie de mesure continue du rendement de l'ISFRS utilisera un ensemble d'indicateurs clés pour mesurer plusieurs des extrants et des résultats indiqués dans le modèle logique du programme, dont :

• La mise en oeuvre et la durabilité des programmes de formation ;
• La quantité et la qualité des stagiaires qui y participent;
• La qualité des milieux de formation.

Des rapports de rendement annuels seront produits à compter de 2004.

Les examens à mi-parcours et à six ans porteront sur les points et les questions d'évaluation, qui seront abordés à l'aide de multiples méthodologies, par exemple :

• Examen des rapports financiers et des rapports d'étape présentés conformément à la stratégie de mesure du rendement;
• Enquête auprès des titulaires de subventions;
• Enquête auprès des doyens aux études supérieures (ou l'équivalent);
• Enquête auprès des instituts et des partenaires;
• Étude contrôlée des stagiaires : comparaison des résultats des stagiaires soutenus par l'ISFRS et des stagiaires soutenus par des mécanismes de financement traditionnels – des IRSC ou d'autres organismes –, plus particulièrement les étudiants financés grâce à des bourses de formation nationales et ceux qui sont financés à même les subventions de recherche;
• Examen de thèses et de publications : étude comparative des travaux d'étudiants financés dans le cadre de l'ISFRS et d'autres étudiants.

L'évaluation de mi-parcours sera terminée au plus tard en mars 2004, et l'examen à six ans, au plus tard en décembre 2006.

1. Introduction : contexte et objectifs

Les Instituts de recherche en santé du Canada (IRSC) et leurs partenaires ont annoncé l'Initiative stratégique de formation en recherche dans le domaine de la santé (ISFRS) au printemps 2001. Elle représente un important investissement des IRSC et de leurs partenaires dans la formation en recherche dans le domaine de la santé, les IRSC et les divers instituts devant dépenser près de 85 millions de dollars en six ans pour cette initiative. Visant à créer une culture nationale d'inventivité, d'innovation et de transdisciplinarité en recherche parmi la prochaine génération de chercheurs en santé, l'Initiative sert à financer des groupes de chercheurs en santé établis pour que ceux-ci puissent élaborer et offrir des programmes de formation en recherche dans leurs champs d'expertise. Proactive, stratégique et axée sur les problèmes, l'ISFRS représente une innovation pour le soutien de la formation en recherche dans le domaine de la santé au Canada, et un changement de cap par rapport aux modèles précédents axés sur les candidats.

Le présent document expose une stratégie de mesure du rendement et un cadre d'évaluation pour l'ISFRS, conformément aux exigences des Cadres de gestion et de responsabilisation axé sur les résultats (CGRR). Les CGRR ont pour but de fournir aux gestionnaires de programme les outils leur permettant de comprendre les rôles et les responsabilités que suppose la prestation du programme, de spécifier les relations logiques entre ce que le programme est censé accomplir et comment il est censé le faire, d'évaluer et de rajuster le rendement courant du programme, et d'assurer une évaluation et un rapport adéquats de ses résultats¹. L'établissement de ce cadre de mesure du rendement et d'évaluation vise donc deux objectifs principaux : 1) fournir une structure pour surveiller le rendement de l'ISFRS, 2) orienter et structurer une évaluation formative, qui doit avoir lieu trois ans après la mise en oeuvre du programme, et une évaluation sommative, qui doit être terminée à la fin de la première période subventionnelle de six ans. Les conclusions de l'évaluation à mi-parcours seront utilisées pour modifier et améliorer les processus du programme en fonction des premières expériences, tandis que l'évaluation à six ans aura pour but de déterminer les réalisations et les résultats (directs et indirects) de l'ISFRS à la lumière de son mandat et de ses objectifs.

Un comité directeur du cadre de mesure du rendement et d'évaluation a supervisé l'établissement du cadre d'évaluation. Ses 10 membres représentaient tous les intervenants du programme, dont les IRSC, les instituts, les organisations partenaires, les subventionnés et les administrateurs universitaires. La liste des membres du comité se trouve à l'Annexe 1.

Alors que l'évaluation des progrès dans le cadre des subventions individuelles demeure l'objectif des gestionnaires du programme, la stratégie de mesure du rendement et le cadre d'évaluation serviront à mettre en évidence des indicateurs de progrès qui pourront être inclus dans les rapports d'étape annuels des programmes financés et compilés dans les exercices de mesure du rendement et d'évaluation au niveau programmatique.

2. Sources d'information et méthodes

Ce cadre de mesure du rendement et d'évaluation a été établi à l'aide de plusieurs sources d'information :

Examen de la documentation pertinente : y compris les annonces de l'ISFRS et des programmes des instituts et les guides de demande, les guides d'examen par les pairs des IRSC, le cadre d'évaluation des IRSC et le plan d'évaluation pour le programme Cadres de développement de la capacité autochtone de recherche en santé (CDCARS).

Consultations des intervenants : Vingt-deux entrevues semi-structurées ont eu lieu, par téléphone ou en personne, avec les intervenants du programme au sein des IRSC et de la communauté de recherche en santé. L'échantillon des personnes interrogées est résumé ci-après.

Tableau 1 : Entrevues réalisées par type de personne interrogée

Les personnes interrogées devaient indiquer leur compréhension des objectifs du programme; décrire comment elles voyaient les éléments du modèle logique; indiquer les éléments de risque et les stratégies de gestion des risques; proposer des indicateurs de rendement clés; et indiquer et prioriser les points à évaluer. Les entrevues se sont déroulées en anglais ou en français, au choix du répondant. Elles ont duré entre 40 et 90 minutes. Le guide d'entrevue a été revu par le gestionnaire de projet et prétesté. Des changements mineurs ont été apportés par la suite. Une deuxième version, plus brève, a été utilisée pour des informateurs clés qui n'intervenaient pas directement, de façon suivie, dans le programme.

3. Profil du programme

3.1 Aperçu

L'ISFRS a été conçue avec comme objectif global de permettre aux équipes de recherche fructueuses de renforcer et d'étendre leur formation dans des domaines de recherche de pointe en offrant une aide à la formation pour les chercheurs en santé dans des domaines ciblés. Bien que ce modèle existe depuis un certain nombre d'années aux États-Unis et ailleurs, le soutien fédéral de la recherche en santé au Canada continuait dans une grande mesure à suivre un modèle axé sur les candidats, c'est-à-dire un modèle où les étudiants présentaient des demandes dans le cadre de programmes selon leurs intérêts, mais où ces programmes avaient peu de moyens, dans le meilleur des cas, d'encourager l'entrée dans des domaines clés grâce à un financement stratégique. Le programme mise résolument sur la transdisciplinarité, définie comme « l'intégration et la transformation de domaines de savoirs de multiples perspectives afin de définir, de prendre en charge et de résoudre des problèmes complexes du monde réel » ². Plus précisément, les objectifs de l'ISFRS sont les suivants :

1. Accroitre la capacité du milieu canadien de la recherche en santé, notamment dans des secteurs où il est possible de démontrer qu'il existe un besoin de développer cette capacité.

2. Favoriser le recrutement et le maintien en poste de personnes hautement qualifiées du Canada et de l'étranger afin qu'elles entreprennent une formation en recherche dans le domaine de la santé au Canada.

3. Appuyer la création de programmes de formation transdisciplinaires qui sont innovateurs, efficaces et concurrentiels à l'échelle internationale.

4. Assurer la participation de nouveaux mentors et éducateurs à l'élaboration et à l'évolution des stratégies de formation.

5. Encourager la création de programmes qui :

• Englobent diverses disciplines de recherche et approches méthodologiques en vue de prendre en charge de grands problèmes de santé et de défis scientifiques
• Intègrent une formation et des discussions sur l'éthique de la recherche et les questions éthiques connexes;
• Permettent de parfaire et de mesurer les compétences de chacun en matière de communication, de travail d'équipe et de leadership, notamment la préparation des demandes de subvention et l'examen par les pairs.
• Incorporent des stratégies de recherche efficaces permettant de mettre les connaissances en pratique³.

L'ISFRS est financée conjointement par les IRSC et leurs 13 instituts⁴ et des partenaires clés. Dans la première vague de financement, les instituts ont déterminé des domaines de recherche prioritaires et des éléments de programme de formation auxquels les candidats pouvaient répondre. Certains d'entre eux ont mis à disposition des fonds additionnels par leurs propres initiatives stratégiques de formation, soit en donnant plus d'extension à des programmes financés, soit en finançant des programmes supplémentaires. Des demandes peuvent également être présentées en dehors de ces domaines, pour répondre à d'autres besoins de formation en recherche dans le domaine de la santé.

Les principaux partenaires de l'ISFRS ont contribué financièrement à des initiatives dans leur province ou domaine de contenu. Ces partenaires sont les suivants :

• Fondation des maladies du coeur du Canada
• Alberta Heritage Foundation for Medical Research
• Société d'arthrite
• Fondation canadienne de la recherche sur les services de santé (FCRSS)
• Action Cancer Ontario
• Société de recherche sur le cancer
• Fonds de la recherche en santé du Québec
• Institut de recherche Robert-Sauvé en santé et en sécurité du travail (IRSST)
• Michael Smith Foundation for Health Research
• REPAR (Réseau provincial de recherche en adaptation-réadaptation du Québec)/ IRDPQ (Institut de réadaptation en déficience physique du Québec)

Comme pour la plupart des autres programmes des IRSC, un processus de demande en deux étapes a été adopté pour l'ISFRS. Des lettres d'intention sont présentées, qui permettent de déterminer si le projet satisfait aux critères d'admissibilité du programme, après quoi un groupe présélectionné de candidats est invité à présenter des demandes détaillées. Chacun de ces candidats peut obtenir une modeste subvention de développement (5 000 $), pour compenser une partie des coûts de préparation de la demande détaillée.

Le premier concours tenu dans le cadre de l'ISFRS, en juillet 2001, a donné lieu à 235 lettres d'intention. Cent trente et une équipes ont été invitées à présenter une demande détaillée, et 127 l'ont fait. Cinquante et une subventions ont été accordées en mars 2002, à des équipes de chercheurs de 75 universités, hôpitaux d'enseignement et instituts de recherche différents à la grandeur du pays. Le Tableau 2, ci-dessous, montre les contributions des différentes sources de financement à ces 51 subventions : les IRSC ont financé 14 de ces subventions (27 %) (les 14 les mieux cotées à l'examen par les pairs⁵), et les instituts et les partenaires, les 37 autres (73 %). Une des conséquences de cette décision, qui sera examinée plus en détail dans le chapitre sur l'évaluation des risques, est que l'ISFRS semble vue aujourd'hui de deux façons différentes : 1) soit qu'on considère que tous les programmes financés satisfaisaient aux critères d'excellence, une partie de l'aide provenant directement des IRSC, l'autre étant acheminée par l'entremise des instituts, sans distinction entre les deux sources; 2) soit qu'on considère que les programmes financés par l'entremise des instituts visaient à développer la capacité dans des domaines de recherche particuliers, avec pour résultat que l'excellence n'aurait pas nécessairement primé sur les besoins de développement de la capacité selon les instituts.

Tableau 2 : Fonds et subventions accordés, ISFRS, concours de 2001

Les contributions des partenaires individuels ne sont pas disponibles dans les documents des IRSC, mais peuvent être trouvées dans les états financiers de certains des partenaires (mais pas tous)⁶.

Un deuxième concours à la grandeur des IRSC a été entrepris à la fin de 2002. Soixante et onze lettre d'intention ont alors été reçues, et 66 invitations à présenter des demandes détaillées ont été faites. Les demandes reçues sont actuellement à l'étude.

En tout, 48 personnes ont participé à l'examen de ces demandes, dont 30 ont fait partie à la fois du comité qui a examiné les lettres d'intention et d'un des deux comités qui ont évalué les demandes détaillées. Dix de ces personnes provenaient de milieux de recherche en dehors du Canada. L'équipe d'examen a été constituée selon le processus habituel suivi par les IRSC. En raison de contraintes de temps, l'avis des partenaires n'a pas été systématiquement demandé à cet égard.

Les initiatives de formation financées doivent « consiste[r] en un groupe d'excellents mentors/éducateurs, qui sont des chercheurs en santé accomplis, et qui travaillent en collaboration pour offrir un programme de recherche d'une forme et d'un contenu définis à un groupe de stagiaires » ⁷. Les programmes de formation sont encouragés à faire appel à plus d'un établissement et à favoriser les possibilités de formation transdisciplinaire. Ils peuvent prévoir une initiation des étudiants du premier cycle et des étudiants professionnels à la recherche en santé, une formation supérieure en recherche, et une formation postdoctorale en recherche (y compris la formation ou le recyclage des professionnels de la santé, des chercheurs ou des universitaires à n'importe quel stade de leur carrière).

Les processus de recrutement de stagiaires pour les programmes de l'ISFRS sont encore en train d'être définis, mais ils consisteront vraisemblablement en une combinaison de concours ouverts et de mesures de recrutement ciblées.

Soixante-dix pour cent (70 %) des fonds des programmes doivent être utilisés pour verser une allocation aux stagiaires et prendre en charge les frais de déplacement des mentors et des stagiaires entre les divers lieux de formation; des fonds d'organisations partenaires peuvent s'ajouter à cette aide. D'autres dépenses admissibles incluent les coûts d'élaboration et de coordination de la structure, du format et du contenu des programmes, les coûts d'élaboration et de diffusion de matériels didactiques, les coûts de publicité et de recrutement de stagiaires, et les autres coûts considérés comme justifiables.

Les sommes accordées aux stagiaires individuels sont fondées sur des niveaux minimums établis par les IRSC. Ces niveaux, ainsi que les sommes accordées dans les programmes d'aide au personnel de recherche des IRSC (bourses de formation destinées à des chercheurs individuels), sont indiqués au Tableau 3. Les équipes financées dans le cadre de l'ISFRS peuvent à leur discrétion verser des allocations supérieures aux minimums indiqués au Tableau 3, et aucun maximum n'est fixé.

Tableau 3 : Valeurs des allocations, ISFRS et autres bourses de formation des IRSC

Chaque programme doit former un comité consultatif ou une structure de gouvernance équivalente dont font partie des intervenants pertinents et auquel le programme doit rendre compte de ses progrès et de ses orientations futures.

3.2 Modèle logique du programme

Un modèle logique pour l'ISFRS, fondé sur toutes les sources d'information disponibles, est présenté à la page 15. Les éléments de ce modèle sont les suivants :

• Intrants : les ressources humaines, financières et matérielles du programme, et leur organisation. À noter que le modèle logique inclut à la fois les éléments directement gérés par les IRSC et les autres intrants critiques de sources externes. Ces derniers intrants sont marqués par des rectangles pointillés;
• Activités : les programmes, les services, les produits et les transactions qui transforment les intrants en extrants;
• Extrants : les productions directes du programme, ou la transformation des ressources en quelque chose qui est fourni aux clients ou aux utilisateurs;
• Résultats du programme : à court terme, les résultats du programme et leurs effets sur les groupes cibles, les intervenants et leur milieu, et à moyen ou à long terme, leurs incidences sur les buts globaux du programme.

Ces éléments sont décrits en détail ci-après.

Intrants

• Des partenaires (intrant externe) : Outre le financement (voir Tableau 2), les organisations partenaires ouvrent l'accès à des réseaux d'expertise et de recherche à l'intérieur de lieux géographiques définis ou de domaines de contenu, ainsi qu'à des milieux d'application. Elles contribuent aux orientations stratégiques des programmes de formation dans des domaines de contenu particuliers. Et surtout, de leur point de vue, leur apport permet de maximiser la formation en recherche entre leurs murs ou dans leurs domaines.
• Des IRSC : Outre l'octroi de fonds, les IRSC coordonnent et appuient les processus d'examen, et soutiennent les instituts au niveau de l'infrastructure et des orientations. Ils fournissent également des ressources administratives : gestionnaires et agents de programme, soutien technique et administratif, fonctions d'évaluation, de surveillance, de vérification interne et d'éthique de la recherche, ainsi que liaison avec d'autres organismes et programmes.
• Des instituts des IRSC : Comme le montre le Tableau 2, les 13 instituts fournissent une grande part des fonds de l'ISFRS. Outre cette contribution, les instituts contribuent d'importante façon à l'orientation des programmes de formation, en indiquant dans quels domaines des chercheurs sont déjà nécessaires et continueront de l'être, et en fournissant des cadres pour les orientations stratégiques des programmes de formation dans leurs secteurs. Les instituts contribuent à l'orientation et au soutien des comités d'examen, et ils peuvent fournir des ressources administratives pour la création des programmes de formation. Ils assurent également la liaison avec des organisations partenaires clés.
• Des titulaires de subvention et de leurs programmes (intrant externe) : Les intrants qui proviennent des titulaires de subvention incluent évidemment le temps, l'expertise et l'expérience qu'ils apportent à la formation et à l'encadrement. Ils incluent aussi le temps et l'expertise que le comité consultatif du programme (ou l'équivalent) consacre à l'évaluation des progrès et à la détermination des orientations futures.
• Des établissements de recherche ou d'enseignement participants (intrant externe) : Les établissements participants (universités, hôpitaux d'enseignement et autres types de centres de recherche) fournissent des intrants clés sous forme de salaire régulier, d'avantages sociaux, d'infrastructure physique (bureaux, laboratoires) et de services d'appoint pour les subventionnés. Ils fournissent aussi certains types des services administratifs ou de bureau pour les programmes financés (p. ex. fonctions de ressources humaines, services financiers). Dans le cadre de leur contribution permanente à l'ensemble de la communauté de recherche, les établissements mettent aussi des ressources à disposition pour appuyer le processus d'examen du mérite en accordant des congés payés aux membres des comités d'examen.

À un autre niveau, les établissements participants procurent l'infrastructure éducationnelle qui sous-tend les programmes de formation, c'est-à-dire les processus et les politiques servant à agréer et à intégrer les cours et les cursus, les stages et les placements sur le terrain, et d'autres formes d'apprentissage. Lorsque les programmes de formation supposent une collaboration interdépartementale, interfacultés et/ou inter-établissements, les établissements doivent permettre la comparabilité et la compatibilité à l'intérieur de leurs propres structures et territoires.

• Du système d'éducation postsecondaire (intrant externe) : Enfin, il est important de reconnaitre que des intrants sont requis des systèmes d'éducation postsecondaire de l'ensemble des provinces et des territoires canadiens, ainsi que des centres partout dans le monde qui peuvent acheminer des stagiaires vers les programmes. Le plus important de ces intrants est un apport constant de diplômés du premier cycle qui possèdent une formation appropriée et qui s'intéressent à la recherche en santé comme carrière. Des apports sous-jacents, mais néanmoins critiques, des systèmes d'éducation postsecondaire sont l'infrastructure et des mécanismes pour la création et le soutien de programmes d'éducation postsecondaire agréés dans les provinces et les territoires. Celles-ci déterminant les préalables pour les programmes de formation agréés, les programmes de formation de l'ISFRS ne peuvent pas être créés indépendamment d'elles.

Activités

• des initiatives stratégiques de formation : Les activités centrales de l'ISFRS sont évidemment les activités des programmes de formation financés :
  1. recrutement, sélection et supervision/encadrement des stagiaires;
  2. création et adoption d'un contenu et de mécanismes de formation interdisciplinaire/inter-établissements (cursus, cours, groupes de discussion, etc.);
  3. établissement et adoption de mécanismes d'interaction transdisciplinaire parmi les membres du programme de formation et avec d'autres groupes pertinents.

• des stagiaires : Les activités des stagiaires sont également cruciales. La participation fructueuse des stagiaires à tous les aspects des programmes de formation est nécessaire pour que les programmes produisent leurs principaux résultats. Leur participation a plusieurs dimensions : une dimension purement académique, une dimension relative à l'acquisition d'habiletés pratiques applicables, et une dimension interactionnelle. Cette dernière est une importante caractéristique de l'ISFRS, en ce sens qu'elle permet aux stagiaires d'interagir avec des pairs et d'autres chercheurs dans des contextes transdisciplinaires.
• des IRSC, des instituts et des organisations partenaires : Les IRSC, les instituts des IRSC et les organisations partenaires participantes appuient les programmes de formation par des activités de gestion : processus de sélection, débours financiers, notification et communication, surveillance des progrès et des programmes, et évaluation. Les instituts et les partenaires viennent également en aide aux stagiaires en intégrant les programmes de formation dans leurs activités courantes et leurs orientations.
• des établissements : Les établissements participants jouent un rôle actif dans les programmes en contribuant à la création et au soutien des programmes éducatifs et académiques, et en mettant des services de personnel, de finances et de gestion des installations à la disposition des programmes de formation. Et surtout, parce que la mise en oeuvre réussie de programmes de formation transdisciplinaire dépendra jusqu'à un certain point de changements de culture dans les programmes des cycles supérieurs pour faire une place à des modules de formation transdisciplinaires, les établissements participants peuvent entreprendre des activités pour soutenir ces changements de culture, par exemple créer des diplômes d'études supérieures en « études interdisciplinaires » ou des comités interdépartementaux.

Extrants

Les extrants attendus du l'ISFRS ont été divisés en trois catégories : extrants de partenariat, extrants de formation et extrants d'infrastructure de formation.

• Extrants de partenariat : Ces extrants sont les « produits » de la participation des partenaires à l'ISFRS, au-delà des extrants de formation et d'infrastructure indiqués ci-après. Les partenaires s'attendent à ce que leur rôle dans l'ISFRS produise :
  1. De plus nombreuses possibilités de formation en recherche dans leurs sphères (c'est-à-dire domaines de contenu ou provinces), tout en leur permettant d'influencer la nature et les orientations de la formation dans ces sphères;
  2. Des partenariats durables dont la valeur est perçue de part et d'autres et qui profitent aux IRSC, aux instituts et aux partenaires;
  3. Dans le cas de partenariats avec des organisations axées sur le contenu (p. ex. Fondation des maladies du coeur), des ponts entre les stagiaires et le milieu du transfert des savoirs.

• Extrants de formation : Ces extrants sont les « produits » des programmes de formation en termes d'expériences des stagiaires. Les extrants de formation attendus peuvent être considérés selon toutes les phases de la participation des stagiaires aux programmes :
  1. Le recrutement en nombre suffisant d'étudiants du plus fort calibre possible, en tenant compte de l'équilibre entre les sexes, les langues et les régions;
  2. La supervision et l'encadrement appropriés des stagiaires, dans le cadre d'un programme continu et intégré, afin qu'ils soient pleinement intégrés dans le programme transdisciplinaire global;
  3. L'arrivée des stagiaires au terme des programmes de formation dans les délais prévus, ce qui assure un bassin de diplômés possédant des diplômes d'études supérieures et postdoctorales dans des domaines stratégiques de recherche en santé. (Il est important de savoir que la plupart des programmes ne commenceront pas à produire un nombre significatif de diplômés avant au moins la troisième année de financement.)
  4. La possibilité offerte aux étudiants (et qu'ils saisissent) d'interagir avec de multiples réseaux pertinents de recherche et d'application dans tout le spectre transdisciplinaire.

• Extrants d'infrastructure de formation : Il s'agit des changements au niveau des environnements de formation, que l'ISFRS vise à transformer de certaines façons passablement fondamentales et permanentes, par exemple en adoptant et en maintenant un contenu de formation, contenu de formation (p. ex. cours, cursus, programmes menant à un grade) transdisciplinaire, transversal (interdépartemental, interfacultés, inter-établissements) et/ou offert en partenariat (c'est-à-dire avec des organisations partenaires), ainsi que des mécanismes connexes (p. ex. cours Web, groupes d'apprentissage en ligne). Ces résultats attendus incluent aussi des mécanismes permanents d'interaction transdisciplinaire, soit des façons pour les stagiaires de profiter de possibilités structurées et non structurées d'interagir avec d'autres stagiaires et communautés de recherche (p. ex. conférences, colloques écoles d'été).

Différences entre les extrants de l'ISFRS et ceux d'autres programmes de bourses de formation. Bien qu'à un niveau les extrants décrits ci-dessus soient semblables à ceux de n'importe quel programme de bourses de formation, certaines importantes différences qualitatives et quantitatives sont attendues. Elles sont résumées dans le tableau ci-après.

Tableau 4 : Résumé – Différences attendues dans les extrants de l'ISFRS

Résultats du programme : Plusieurs types de résultats attendus de l'ISFRS ont été dégagés, mais il est signalé que le programme peut aussi avoir des résultats inattendus qui devraient être pris en compte dans le processus d'évaluation.

• Résultats à court terme de la formation en recherche : À court terme, c'est-à-dire dans les six premières années du cycle de financement, l'ISFRS devrait produire :
  1. un nombre accru de stagiaires qui suivent une formation de chercheur en santé dans des domaines stratégiques (c.-à-d. considérés être d'importance stratégique par les IRSC, les instituts et les organisations partenaires)
  2. une base disciplinaire plus diversifiée de stagiaires formés dans des domaines de recherche stratégiques en santé, attirant ainsi d'autres secteurs que celui des sciences de la santé
  3. une qualité accrue des stagiaires formés dans des domaines de recherche stratégiques en santé
  4. une compétitivité accrue et plus précoce des stagiaires aux concours pour le financement de la recherche stratégique en santé
  5. une plus grande productivité (plus tôt) en recherche transdisciplinaire
  6. des rapports plus nombreux (et plus étroits) entre les stagiaires eux-mêmes, avec les mentors et avec les milieux de recherche pertinents dans tout le pays et dans le monde
  7. le placement accru de diplômés dans des milieux de recherche ou d'application de la recherche, y compris dans des milieux non traditionnels.

• Résultats à court terme au niveau de l'infrastructure : Au cours du premier cycle de financement de six ans, l'ISFRS devrait avoir les résultats suivants :
  1. une capacité accrue pour les chercheurs et leurs établissements d'obtenir d'autres fonds de recherche et de formation pour étendre et soutenir les programmes;
  2. une capacité accrue de mettre des mettre de formation nationaux intégrés à la disposition de groupes d'étudiants afin de former des masses critiques dans des domaines stratégiques de recherche en santé;
  3. une capacité constante d'attirer et de soutenir adéquatement la recherche en santé transdisciplinaire et stratégique.

Résultats à moyen terme : Les résultats de l'ISFRS dans les cinq à dix années suivant l'octroi des subventions seraient constatés dans les trajectoires de carrière des stagiaires, la qualité et l'impact des résultats de leur recherche, et les milieux de politique et de pratique pertinents. Des résultats à moyen terme précis seraient les suivants :

1. Des trajectoires de carrière en recherche améliorées pour les diplômés : des proportions plus fortes de diplômés bâtissent des carrières fructueuses dans les domaines de recherche en santé dans lesquels ils ont été formés, résultat de la qualité de leur recherche et de leurs rapports avec des chercheurs et des établissements de recherche clés dans leur sphère. Il est important de savoir, toutefois, que ces résultats supposent des changements de mentalité dans les établissements de recherche afin que la transdisciplinarité soit reconnue à sa juste valeur et récompensée dans les critères de promotion et de titularisation.
2. De meilleurs débouchés et perspectives de carrière pour les chercheurs en santé : dans l'ensemble, l'ISFRS est censée conduire à un milieu professionnel qui appuie davantage la recherche en santé, et qui offre plus de possibilités d'engagement et d'avancement en encourageant – sur les plans personnel et professionnel – la recherche en santé;
3. Une capacité canadienne accrue de prévoir les besoins de recherche en santé et d'y répondre de manière stratégique et innovatrice : à mesure que de nouvelles questions de santé et de nouveaux besoins de recherche se posent, le milieu canadien de la recherche sera davantage préparé à intervenir avec rapidité, inventivité et efficacité, tant par les connaissances et les compétences transdisciplinaires qui seront requises que par des réseaux nationaux et internationaux plus forts;
4. Une transdisciplinarité, une productivité en recherche de pointe et une compétitivité à long terme accrues : dans l'ensemble, l'ISFRS devrait contribuer à la compétitivité (p. ex. soutien de la recherche, formation d'équipes de haute qualité) et à la productivité (p. ex. résultats de recherche et application des connaissances dans la politique et la pratique) canadiennes.

• Résultats à long terme : À long terme, soit jusqu'à 20 ans après sa création, l'impact de l'ISFRS devrait prendre la forme de contributions à l'atteinte des buts globaux suivants :

1. Capacité canadienne globale accrue (c.-à-d. au sein des IRSC et des communautés de recherche des partenaires) de s'attaquer à d'importantes questions dans tous les domaines de recherche;
2. Capacité accrue de tous les partenaires dans l'application des connaissances;
3. Attrait et prestige accrus des carrières en recherche dans le domaine de la santé, y compris à l'extérieur des milieux traditionnels.

Le modèle logique présenté à la page suivante illustre les relations entre les intrants, les activités, les extrants et les résultats de l'ISFRS, en relation avec ses buts globaux.

Figure 1: Initiative stratégique  pour la formation en recherche dans le domaine de la santé – modèle logique du programme [ PDF (56 Ko) | Aide ]

4. Gestion des risques

Ce cadre incorpore également un module d'évaluation des risques, selon une perspective de vérification fondée sur les risques dans l'évaluation de programme⁸. Ce module vise à déterminer les éléments du programme qui sont le plus à risque, c.-à-d. ceux qui sont le plus susceptibles d'empêcher ou de rendre plus ardue l'atteinte des objectifs de l'ISFRS.

4.1 Critères de risque

Les risques énumérés ci-après reposent sur l'évaluation faite par les intervenants. Au cours des consultations, ceux-ci ont été invités à indiquer et à expliquer les éléments du programme qui, selon eux, risquent le plus de compliquer ou d'empêcher l'atteinte des objectifs de l'ISFRS. Cette façon de procéder permet de relier les éléments de risque à la séquence causale indiquée dans le modèle logique, ce qui aide à trouver des stratégies potentielles pour réduire les risques au niveau d'intervention approprié (intrants, activités, extrants, etc., et/ou les liens entre eux).

4.2 Domaines de risque et stratégies d'atténuation

Les intervenants ont signalé plusieurs aspects par rapport auxquels les objectifs de l'ISFRS risquent de ne pas être atteints. Le tableau ci-après montre les domaines de risque les plus souvent mentionnés, le niveau de risque, la place de ces risques dans le modèle logique (indiquée dans la Figure 1 par le symbole R), ainsi que les stratégies proposées par les intervenants pour les atténuer. Pour certains de ces éléments, les intervenants étaient généralement d'accord, en dépit de la vaste gamme de perspectives internes et externes représentées. Pour d'autres (le risque 2 en particulier), toutefois, les avis étaient plus partagés, et ils semblaient traduire la tension qui existe à ce sujet dans le milieu du financement de la recherche en santé.

À noter qu'un certain nombre de risques indiqués par les intervenants semblent pouvoir être associés à une compréhension globale de l'ISFRS comme faisant partie intégrante d'un vaste écosystème de recherche où l'interdépendance d'éléments signifie qu'un important changement d'orientation n'est possible que si tous les autres éléments pertinents sont en harmonie et concourent à ce changement (et inversement, si aucun ne va à contre-courant). Par exemple, le risque 6, qui concerne la disponibilité de fonds de recherche, fait ressortir l'importance de fonds de recherche supplémentaires pour soutenir le nombre accru de stagiaires et le nombre accru de chercheurs qu'ils deviendront. Le risque 5b peut être vu comme une crainte que des changements significatifs dans l'orientation de la formation en recherche dans le domaine de la santé ne soient possibles que si les comités transdisciplinaires d'examen du mérite, qui donneront l'élan nécessaire à ces changements, réussissent à faire leur, le nouveau modèle.

Tableau 5 : Évaluation des risques

Dans la Figure 2 ci-après, les catégories de risque ont été classées selon la gravité de l'impact (c.-à-d. quelle serait sa gravité sur la capacité de l'ISFRS d'atteindre ses objectifs et de remplir son mandat : impact important, impact modéré, ou impact négligeable) et la probabilité de cet impact (faible, moyenne ou grande). Les mesures de gestion des risques sont illustrées à la Figure 3. Quatre catégories de risque sont jugées pouvoir avoir un impact important ou modéré, et donc nécessiter un effort de gestion plus ou moins grand :

2. Le risque de ne pas réussir à résoudre la tension entre l'orientation stratégique de renforcement de la capacité et le soutien de l'excellence dans la formation en recherche;
7. Le risque d'échec du modèle de partenariat;
4. Le risque d'un bassin insuffisant de stagiaires;
5. Le risque découlant de l'incapacité à délaisser les modèles actuels centrés sur les candidats, et le risque que les établissements hôtes ne soient pas en mesure de s'adapter et d'intégrer les modèles de formation transdisciplinaires et inter-établissements.

Figure 2 : Risques pour l'Initiative stratégique pour la formation en recherche dans le domaine de la santé

Figure 3 : Mesures de gestion des risques

5. Points et questions d'évaluation

Les CGRR devraient inclure un ensemble de points et de questions qui, une fois qu'on y aura répondu, permettront une évaluation approfondie de la pertinence, du succès et de la rentabilité d'un programme¹². Un ensemble préliminaire de points et de questions d'évaluation – dont bon nombre découlent directement des catégories de risque indiquées dans la section précédente – a été tiré des entrevues et de l'examen documentaire. Ils sont présentés ci-après et résumés au Tableau 6.

Point 1 : Incidences des processus de sélection de l'ISFRS sur le succès éventuel des programmes financés dans le cadre de l'ISFRS

Cette question porte sur les impacts du programme sur la suffisance de ses intrants, en cherchant directement à savoir comment la tension entre le financement de l'excellence et du renforcement stratégique de la capacité pourrait avoir influé à la fois sur la probabilité de succès des programmes financés et la qualité des stagiaires participants (en termes de probabilité de carrière de recherche productive et innovatrice) :

1.1 Quelle est la nature de l'interrelation entre le renforcement stratégique de la capacité et le financement de l'excellence dans les domaines de recherche stratégiques avec les fonds de l'ISFRS, et qu'est-ce que cette situation signifie pour la probabilité globale de succès des programmes?

1.2 Quels impacts les processus de sélection (initiatives et stagiaires) ont-ils eus sur la qualité des milieux de formation et des stagiaires choisis?

Point 2 : Mesure dans laquelle l'ISFRS met des milieux de formation nationaux intégrés à la disposition de groupes d'étudiants qui forment des masses critiques dans des secteurs stratégiques de la recherche en santé

Il s'agit essentiellement d'un point de mise en oeuvre, qui a pour but de déterminer dans quelle mesure l'ISFRS réussit à procurer les milieux et les expériences de formation censés rendre possibles les avantages du programme. (Dans le modèle logique, il est centré sur la case « Activités – Initiatives stratégiques de formation » .) Il ciblerait le risque, mis en évidence dans la section précédente, que les programmes ne réussissent pas à délaisser les modèles de formation existants qui sont centrés sur le candidat, tout en déterminant dans quelle mesure ils perpétuent les modèles existants de formation en recherche dans le domaine de la santé :

2.1 Dans quelle mesure les expériences des stagiaires en ce qui a trait aux principales facettes de la formation en recherche sont-elles satisfaisantes :
Qualité, ampleur, profondeur et cohérence de la formation multidisciplinaire à tous les points de vue pertinents de l'orientation de recherche stratégique?
Qualité de la supervision et de l'encadrement, sur le plan du soutien, de l'utilité et de la transdisciplinarité?
Qualité et diversité des expériences de développement des compétences en recherche?
Qualité et fréquence des interactions transdisciplinaires entre plusieurs milieux de recherche, au niveau national et international?

Ce point permettra également d'examiner le risque que les établissements hôtes ne soient pas en mesure de s'adapter et d'intégrer des modèles de formation transdisciplinaires et inter-établissements, en vérifiant si leur appui à la mise en oeuvre des programmes de l'ISFRS est suffisant (la case « Activités : établissements » dans le modèle logique) :

2.2 Dans quelle mesure les mécanismes et les niveaux d'aide permettent-ils de soutenir la création et la mise en oeuvre d'environnements de formation nationaux, transdisciplinaires et intégrés à l'intérieur de chaque programme?

2.3 Avec quel succès les programmes et leurs partenaires ont-ils pu négocier la réalisation de leurs visions de la formation transdisciplinaire en recherche dans le domaine de la santé dans le contexte de leurs établissements et celui, plus global, de la formation supérieure en recherche?

Point 3 : Mesure dans laquelle l'ISFRS produit les résultats escomptés, en comparaison avec les autres mécanismes de financement antérieurs et actuels de la formation en recherche dans le domaine de la santé

Il s'agit ici d'examiner directement le succès avec lequel l'ISFRS a produit des résultats qui devraient être visibles au cours des quelques premières années de financement, en comparaison avec les formes existantes de soutien de la formation en recherche (bourses de personnel ou allocations de recherche sur les subventions de fonctionnement offertes par les IRSC et les autres organismes de recherche). Il s'agit en particulier de mesurer l'efficacité avec laquelle l'ISFRS a produit les résultats d'infrastructure de formation en recherche indiqués dans le modèle logique en posant la question suivante :

Avec quel succès l'ISFRS a-t-elle réussi à produire :
3.1 Un plus grand nombre d'étudiants formés comme chercheurs en santé dans des domaines stratégiques (c.-à-d. des domaines considérés être d'importance stratégiques par les IRSC, les instituts et les organisations partenaires)?
3.2 Une base disciplinaire plus diversifiée de stagiaires formés dans des domaines de recherche stratégiques en santé?
3.3 Une qualité accrue des stagiaires formés dans des domaines de recherche stratégiques en santé?
3.4 Une compétitivité accrue et accélérée des stagiaires aux concours pour le financement de la recherche stratégique en santé?
3.5 Une productivité accrue et accélérée en recherche transdisciplinaire?

1. Des rapports plus nombreux (et plus étroits) entre les stagiaires eux-mêmes, avec les mentors et avec les milieux de recherche pertinents au Canada et à l'étranger?

3.7 Un placement accru de diplômés dans des milieux de recherche ou d'application de la recherche, y compris dans des milieux non traditionnels?
3.8 Une plus grande capacité d'obtenir d'autres fonds de recherche ou de formation pour appuyer le programme?
3.9 Une capacité soutenue de mettre des milieux de formation nationaux intégrés à la disposition de groupes d'étudiants qui forment des masses critiques dans des domaines de recherche stratégiques en santé?
3.10 Une capacité soutenue d'attirer et d'appuyer comme il se doit la recherche en santé transdisciplinaire et stratégique?

Point 4 : Succès du modèle de partenariat

Le modèle de partenariat de l'ISFRS visait à forger de nouvelles relations de travail entre les IRSC, les instituts, les partenaires provinciaux et les ONG en tant qu'importants acteurs dans l'établissement et la gestion du programme national de formation en recherche dans le domaine de la santé. Ce point permettra de déterminer avec quel succès ce modèle a été opérationnalisé, selon les perspectives de tous les partenaires et de leurs structures de responsabilisation respectives, à l'aide des questions suivantes :

4.1 Avec quel succès le modèle de partenariat de l'ISFRS a-t-il été mis en oeuvre et opérationnalisé?

4.2 Comment le modèle de partenariat de l'ISFRS a-t-il influé sur la capacité de tous les partenaires de donner suite à leurs intérêts stratégiques par l'ISFRS?

Point 5 : Impacts de l'ISFRS comparativement aux autres mécanismes de financement antérieurs et actuels de la formation en recherche dans le domaine de la santé

Ce point a pour but de déterminer les principaux impacts à moyen terme de l'ISFRS en posant les questions suivantes :

Quel a été l'impact de l'ISFRS sur :

5.1 les trajectoires professionnelles des stagiaires financés?
5.2 les débouchés professionnels pour les chercheurs en santé?
5.3 la capacité canadienne de prévoir les besoins sur le plan de la recherche en santé et d'y répondre stratégiquement?
5.4 la transdisciplinarité de la recherche en santé canadienne?
5.5 la productivité et la compétitivité en recherche transdisciplinaire?

Toutefois, les intervenants ont signalé que tous les effets de l'ISFRS ne seraient normalement pas visibles jusqu'à ce que : a) les programmes aient produit plusieurs cohortes de chercheurs en santé; et b) les premières cohortes soient en milieu de carrière, c'est-à-dire pas avant 15 ou 20 ans après la création du programme.

Tableau 6 : Initiative stratégique pour la formation en recherche dans le domaine de la santé : points et questions d'évaluation proposées

6. Stratégie de surveillance du rendement et d'évaluation

Ce chapitre expose les stratégies proposées pour surveiller le rendement continu de l'ISFRS, ainsi que des stratégies d'évaluation pour les évaluations de mi-parcours et sommative.

6.1 Conception de l'évaluation : comparaisons et études contrôlées

Comme il a été indiqué précédemment, les conclusions de mi-parcours seront utilisées pour modifier et améliorer les processus programmatiques à la lumière des premières expériences, alors que l'évaluation à six ans aura pour but d'évaluer les réalisations et les résultats (directs et indirects) de l'ISFRS par rapport à son mandat et à ses objectifs.

Pour assurer la crédibilité de l'évaluation au sein de la communauté de recherche, les données recueillies dans les deux phases doivent être aussi probantes que possible. La rigueur de l'évaluation dépendra de la solidité de ce qui peut être déduit des comparaisons disponibles entre ce qui se serait produit en l'absence du programme et ce qui s'est produit avec le programme. Nous recommandons que les stratégies de mesure du rendement et d'évaluation visent à maximiser la solidité de cette inférence de deux façons :

• En établissant des mesures de base (pré-ISFRS, fondées sur les cinq années précédentes) et en obtenant des mesures répétées et régulières d'indicateurs clés pour suivre les changements au fil du temps (par rapport aux mesures de base).
  1. Bien que ce ne soit pas un plan d'évaluation très poussé, ces comparaisons permettront au moins de mesurer le changement, par opposition à une simple description de programme. Elles seront particulièrement utiles pour des indicateurs facilement quantifiables comme les nombres et les types de stagiaires dans les domaines de recherche ciblés. Toutefois, les difficultés et les coûts d'établir des mesures de base appropriées ne doivent pas être sous-estimés.

• En procédant à des études contrôlées habilement conçues dans quelques domaines de résultat ou d'impact clés. Nous recommandons deux études du genre, qui compareraient toutes les deux les résultats finals pour les stagiaires formés dans le cadre de l'ISFRS et pour les autres qui ont profité de mécanismes de financement traditionnels par l'entremise des IRSC ou d'autres organismes, et en particulier pour les lauréats de bourses de formation nationales et les étudiants financés grâce à des subventions de recherche.

Étude contrôlée des expériences et des résultats des étudiants (question d'évaluation 2.1). La mesure dans laquelle l'ISFRS produit une différence mesurable dans les expériences de formation en recherche des étudiants est évidemment un facteur clé dans la détermination du succès du programme. Une étude contrôlée, comparant des échantillons suffisamment représentatifs et comparables d'étudiants soutenus dans le cadre de l'ISFRS et d'étudiants profitant d'autres programmes de financement plus traditionnels, ainsi que d'étudiants qui n'auraient pas droit à une aide financière aux termes d'autres programmes (p. ex. bourses de personnel des IRSC, allocations de recherche) et d'autres encore qui pourraient ne pas avoir été admissibles au financement par le passé, permettra de comprendre clairement quels types d'impacts différentiels a eus le programme. Cette étude devrait examiner les impacts de l'ISFRS comparativement à ceux d'autres programmes, sur : 1) l'exposition des étudiants à la formation en recherche transdisciplinaire; 2) les impacts de cette exposition sur le travail des étudiants eux-mêmes; 3) les possibilités d'interaction avec des pairs et des chercheurs ou équipes dans d'autres milieux, et les impacts de cette interaction; 4) la productivité et la qualité de la recherche; 5) les intentions de faire carrière en recherche dans le domaine de la santé; et enfin (mais non le moindre) 6) la satisfaction des étudiants à l'égard de leur formation en recherche dans le domaine de la santé. L'étude devrait également évaluer les niveaux d'aide financière et autre sur lesquels ont réellement pu compter les étudiants dans les deux groupes. Des échantillons d'étudiants dans les deux groupes seraient choisis aléatoirement, en tenant compte des niveaux, des années d'admission, de la région et des axes de recherche des IRSC (selon la répartition des programmes financés par axe de recherche), et des mesures seraient idéalement prises à trois moments : à mi-chemin dans la formation, au moment de l'obtention du diplôme, et entre deux et cinq ans après l'obtention du diplôme.

Étude comparative des impacts de la transdisciplinarité sur les extrants de recherche des stagiaires (question d'évaluation 3.5). Une prémisse centrale de l'ISFRS est que des stagiaires en recherche dans le domaine de la santé possédant des connaissances et des compétences transdisciplinaires augmenteront la transdisciplinarité et l'inventivité de leur propre travail. Ce résultat pourra se manifester directement, par l'intégration des littératures, des techniques et des perspectives de recherche d'autres disciplines, ou plus indirectement, par une ouverture ou une réceptivité aux idées d'en dehors de la discipline centrale des stagiaires. Afin de déterminer dans quelle mesure et de quelle manière l'ISFRS influence réellement la nature des activités de recherche des stagiaires, une étude contrôlée comparera les extrants de recherche primaires – thèses de doctorat, dissertations doctorales, premières publications et communications – de stagiaires de l'ISFRS et d'étudiants appuyés dans le cadre d'autres programmes de financement plus traditionnels (p. ex. bourses de personnel des IRSC, allocations de recherche). Les extrants seraient comparés pour ce qui est : 1) de la qualité; 2) de la quantité; et 3) du degré et de la nature de la transdisciplinarité. Alors que des techniques bibliométriques traditionnelles pourront être utilisées pour les deux premières variables, l'élaboration et la validation de méthodologies seront nécessaires pour évaluer la transdisciplinarité dans les extrants de recherche à travers une variété de disciplines, une tâche colossale. Par exemple, des critères pour cet examen pourraient être établis par un groupe indépendant de chercheurs nationaux et internationaux experts des sujets particuliers et possédant une solide base dans la recherche en santé transdisciplinaire. L'examen lui-même pourrait aussi être confié à un groupe d'experts indépendants, un peu comme pour l'examen par les pairs en aveugle d'un article présenté à un journal. Pour évaluer la faisabilité du projet, des études pilotes pourraient être réalisées dans un nombre limité de disciplines stratégiquement importantes, par exemples celles du secteur biomédical.

Pour les autres impacts du programme, une auto-évaluation des changements (par les titulaires de subvention, les établissements, les instituts et les partenaires) peut fournir une information suffisante, même si des études contrôlées pourraient être réalisées pour d'autres questions également.

Six principales sources de données sont proposées, dont les deux études contrôlées proposées ci-dessus. Certaines sont applicables aux évaluations de mi-parcours et finale, alors que d'autres conviennent mieux à l'évaluation finale.

Examen des progrès et rapports financiers : Plusieurs indicateurs clés devraient être disponibles dans les rapports d'étape annuels présentés aux IRSC ainsi que dans les rapports financiers annuels. Ces rapports pourraient être revus annuellement et les indicateurs pertinents pourraient être compilés, ce qui permettrait, dans certains cas, de comparer les extrants dans les rapports aux extrants prévus dans les demandes de financement.

Enquête auprès des titulaires de subvention : De brefs sondages par Internet de tous les titulaires de subvention de l'ISFRS permettraient d'avoir accès à plusieurs indicateurs, dont des mesures de la qualité et de la quantité de mise en oeuvre des programmes de formation ainsi que de l'encadrement et de la supervision transdisciplinaires.

En outre, un échantillon de chercheurs dont les demandes auraient été rejetées à l'étape de la lettre d'intention ou à l'étape de la proposition détaillée devrait être inclus pour évaluer les principaux résultats de programmes non financés, car certains des objectifs proposés pourraient même avoir été atteints sans financement de l'ISFRS¹³.

Enquête/étude auprès des stagiaires : Il s'agit de l'étude contrôlée dont il a été question ci-dessus, qui serait des plus pertinentes pour l'évaluation à mi-chemin et à six ans. Sinon, des enquêtes transversales auprès des stagiaires de l'ISFRS pourraient être réalisées pour évaluer leurs expériences, en particulier dans le cadre de la stratégie de mesure du rendement¹⁴.

Enquête auprès des doyens aux études supérieures (ou l'équivalent) : Des indicateurs de la vigueur et de la durabilité des programmes pourraient être obtenus au moyen de brefs sondages par téléphone ou sur Internet auprès des doyens aux études supérieures (ou leurs équivalents dans les hôpitaux d'enseignement et d'autres types de centres de recherche).

Sondage auprès des instituts et des partenaires : Les instituts et les partenaires seront en mesure de livrer d'importantes données qualitatives et quantitatives sur le portrait global de la formation de chercheur en santé dans leurs domaines de recherche respectifs, avec ou sans les contributions de l'ISFRS, ainsi que sur le succès du modèle de partenariat (question 4).

Examen des thèses et des publications : étude comparative : Cette étude est décrite ci-dessus.

6.3 Stratégie de mesure continue du rendement

Le but de la mesure continue du rendement est de suivre les progrès des programmes vers leurs buts attendus. Les principaux indicateurs sont mesurés régulièrement et les résultats sont comparés aux attentes, afin de fournir aux gestionnaires de programme des informations utilisables pour modifier les programmes et assurer leur rendement optimal ou l'atteinte de leurs objectifs, ou signaler le besoin d'une exploration plus approfondie. La stratégie de mesure pour les programmes de l'ISFRS résumée au Tableau 7 montre un ensemble d'indicateurs clés et les sources de données connexes pour chacun des extrants et des résultats à court terme dans le modèle logique. La responsabilité de la collecte de données et des rapports pour chacun des indicateurs proposés est précisée, en supposant que plusieurs des indicateurs proposés peuvent se trouver dans les rapports d'étape annuels des titulaires de subvention aux IRSC et/ou à leurs comités consultatifs de programme.

Le niveau de priorité pour chaque indicateur considéré apparait dans la dernière colonne. Ce niveau est fondé sur l'avis du comité directeur, afin que l'effort de collecte d'indicateurs demeure à un niveau réaliste.

Tableau 7 : Stratégie de mesure du rendement pour l'ISFRS

En résumé, les indicateurs de haute priorité, formant l'épine dorsale de la stratégie de mesure continue du rendement pour l'ISFRS, seraient les suivants :

• Degré d'exposition transdisciplinaire : proportion du travail de recherche et des cours des stagiaires hors des frontières disciplinaires traditionnelles
• Qualité de l'encadrement comparativement aux attentes des stagiaires
• Temps passé par les stagiaires avec des chercheurs à part leurs principaux superviseurs et en dehors de leurs principales disciplines
• Nombre de stagiaires dont les comités de supervision sont multidépartementaux et/ou multi-établissements
• Degré d'interaction entre les étudiants du programme de formation
• État de développement et degré de mise en oeuvre du contenu de formation prévu
• Degré d'assurance de la durabilité du programme
• Nombres d'étudiants dans des domaines de recherche ciblés faisant l'objet d'appels de demandes comparativement aux cinq années avant l'ISFRS
• Niveau moyen des stagiaires de premier cycle dans des domaines de recherche ciblés faisant l'objet d'appels de demandes comparativement aux cinq années avant l'ISFRS¹⁵
• Nombre et proportion de stagiaires et de diplômés de premier cycle qui connaissent bien le travail d'équipes de recherche clés dans des milieux de recherche pertinents partout au pays et dans le monde
• Nombre de possibilités d'établir des contacts au niveau national et international offertes aux étudiants
• Proportion de stagiaires et de diplômés qui ont rencontré des partenaires et des intervenants dans les milieux de recherche pertinents partout au pays et dans le monde et qui ont discuté de leur travail avec eux
• Proportion de stagiaires qui ont l'intention de faire carrière en recherche dans le domaine de la santé
• Proportion de stagiaires qui ont l'intention de poursuivre leur formation en recherche dans le domaine de la santé
• Proportion de stagiaires qui occupent des postes de recherche à temps plein deux ans après avoir obtenu leur plus haut diplôme
• Quantité de ressources (heures du corps enseignant, locaux, matériel, etc.) engagées par les établissements pour soutenir les programmes
• Fonds pour soutenir les programmes obtenus d'autres sources.

Les données que les titulaires de subvention seraient censées fournir dans leurs rapports d'étape annuels sont indiquées ci-après. Un exemple de rapport d'étape est présenté à l'Annexe 2.

Au sujet des stagiaires

• Détails sur les stagiaires de premier cycle admis au programme
• Nombre de disciplines et de types de programmes de premier cycle représentés par les stagiaires
• Profil du groupe des stagiaires par sexes, régions et langues
• Nombre de stagiaires dans les programmes, par niveau, comparativement aux cibles (le cas échéant)
• Nombre d'étudiants obtenant leur diplôme, par niveau, comparativement aux cibles (le cas échéant)
• Nombre de rapports, de publications et de communications présentés à ce jour par les étudiants : dates de présentation et revues ciblées

Au sujet du programme

• Situation et niveau de mise en oeuvre du contenu de formation prévu
• Degré d'assurance de la durabilité du programme de formation
• Situation, niveau de mise en oeuvre et durabilité prévue des mécanismes d'interaction
• Degré d'exposition transdisciplinaire : proportion du travail de recherche et de cours des stagiaires en dehors des frontières transdisciplinaires traditionnelles

La stratégie d'évaluation porte sur les points et les questions d'évaluation, en faisant appel aux mêmes sources d'information de base et aux mêmes comparaisons. Le tableau ci-dessous montre les principaux indicateurs et les principales sources de données pour toutes les questions d'évaluation. De plus, l'évaluation devrait prendre en compte et évaluer les extrants et les résultats inattendus, notamment pour ce qui est des impacts négatifs possibles, par exemple la concurrence entre les instituts.

Tableau 8 : Résumé de la stratégie d'évaluation de l'ISFRS

6.5 Plan de rapport

Le plan suivant vise à faire en sorte que les résultats de la mesure continue du rendement et de l'évaluation soient communiqués et que les obligations de rendre compte soient remplies.

Dans l'ensemble, la stratégie de rapport pour le cadre devrait consister en des rapports annuels obligatoires aux instances suivantes :
- Comité de direction et conseil d'administration des IRSC
- Instituts des IRSC : leur direction et conseil consultatif
- Organismes partenaires: leur direction et structure de gouvernance
- Chaque programme participant et son comité consultatif de programme
- Établissements hôtes de chacun des programmes.

Des rapports de l'examen de mi-parcours et de l'examen à six ans doivent également être présentés à ces instances.

Le Tableau 9 résume le plan de rapport pour la stratégie de mesure du rendement et d'évaluation.

Tableau 9 : Sommaire du plan de rapport

Les notes en bas de page

1. Secrétariat du Conseil du Trésor, Guide d'éloboration des cadres de gestion et de responsabilisation axés sur les résultats, août 2002.
2. http://www.cihr-irsc.gc.ca/services/funding/opportunities/institutes/2001/trans_f.shtml
3. Subventions des Programmes stratégiques de formation des IRSC, concours 2002, Instructions pour la demande détaillée, p. 1.
4. Institut de l’appareil locomoteur et de l’arthrite (IALA), Institut du cancer (IC), Institut du développement et de la santé des enfants et des adolescents (IDSEA), Institut de génétique (IG), Institut des maladies infectieuses et immunitaires (IMII), Institut des neurosciences, de la santé mentale et des toxicomanies (INSMT), Institut de la nutrition, du métabolisme et du diabète (INMD), Institut de la santé des Autochtones (ISA), Institut de la santé circulatoire et respiratoire (ISCR), Institut de la santé des femmes et des hommes (ISFH), Institut de la santé publique et des populations (ISPP), Institut des services et des politiques de la santé (ISPS), Institut du vieillissement (IV).
5. Procès-verbal du Comité de direction, 1er mars 2002. http://www.cihr-irsc.gc.ca/publications/about_cihr/meeting_minutes/governing_council/committees/executive/exec_minutes_7_f.shtml
6. Par exemple: http://www.msfhr.org/docs/MSFHR_Audited_Financial_Statements.pdf, qui montre une contribution de 54 000 $ en 2001-2002.
7. Appel de demandes. Initiative stratégique des IRSC pour la formation en recherche dans le domaine de la santé, mars 2001.
8. Conseil du Trésor, avril 2001, Cadre de gestion intégrée du risque.
9. Le conseil d'administration des IRSC est bien au courant de la situation et a songé à des moyens d'intervenir?: On exprime l'avis que le conseil d'administration doit clarifier ses intentions en ce qui concerne une base commune de financement, et ensuite, la façon dont cette décision se répercutera sur le renforcement de la capacité et la promotion de l'excellence. (Procès-verbal du Comité de direction des IRSC, 1er mars 2002); La communauté de recherche peut recevoir des signaux contradictoires des IRSC en ce qui concerne la rigueur de son processus d'attribution des fonds pour les concours ouverts et les initiatives stratégiques si le seuil de financement pour les dernières est plus bas que dans le cas des concours ouverts, ce qui pourrait laisser supposer que des recherches moins qu'excellentes sont financées par les IRSC. (Procès-verbal du conseil d'administration, 11 mars 2002).
10. Les parties concernées sont déjà bien au courant de cette situation, et des analyses internes ont été entreprises pour comparer les cotes moyennes des candidats financés et de tous les candidats dans les quatre axes.
11. Procès-verbal du Groupe de travail sur les programmes et l'examen par les pairs, les 15 et 16 novembre 2000.
12. Conseil du Trésor, 2001, p. 24.
13. Pour assurer l'uniformité des mesures, cette enquête pourrait être préparée en collaboration avec l'Institut de la santé des Autochtones (ISA), qui prévoit réaliser une enquête auprès des chercheurs et des étudiants financés dans le cadre du programme.
14. Voir note 14.
15. Un outil qui permet une évaluation normalisée entre départements établissements, comme celui en usage à l'Université McGill, sera utilisé.