Évaluation des intervenants du concours de subventions Fondation de 2015
Rapport final

Rédigé par :

  • Dre Jamie Park
  • Mahrukh Zahid
  • Julie Bain
  • Jennifer Rup
  • Dre Jemila Hamid
  • Caitlin Daly
  • Dre Julia E. Moore
  • Dre Sharon Straus

Pour toute question concernant ce rapport, veuillez communiquer avec :

Jamie Park, Ph.D.
Coordonnatrice de recherche
Programme d'application des connaissances
Institut du savoir Li Ka Shing
Hôpital St. Michael
Toronto, Canada
Courriel : ParkJam@smh.ca
Tél. : 416-864-6060, poste 76219

Table des matières


Abréviations

CVC
CV commun canadien
EFE
Étape finale de l'évaluation
EI
Écart interquartile
IRSC
Instituts de recherche en santé du Canada
POSF
Programme ouvert de subventions de fonctionnement
PV
Président virtuel

Définitions

Candidats à l'étape 1
Personnes ayant présenté une proposition de recherche pour la première étape du concours de subventions Fondation de 2015.
Évaluateurs à l'étape 1
Personnes ayant évalué, par l'intermédiaire d'une plateforme en ligne, des demandes présentées pour la première étape du concours de subventions Fondation de 2015.
Présidents virtuels à l'étape 1
Personnes chargées de superviser et d'appuyer le processus d'évaluation à distance pour l'étape 1.
Candidats après la décision à l'étape 1
Candidats ayant reçu, au terme du processus d'évaluation de l'étape 1, un avis leur indiquant s'ils passent ou non à l'étape 2.
Candidats à l'étape 2
Candidats retenus au terme de l'étape 1 ayant présenté une demande pour la deuxième étape du concours de subventions Fondation de 2015.
Évaluateurs à l'étape 2
Personnes ayant évalué, par l'intermédiaire d'une plateforme en ligne, des demandes présentées pour la deuxième étape du concours de subventions Fondation de 2015.
Présidents virtuels à l'étape 2
Personnes chargées de superviser et d'appuyer le processus d'évaluation à distance pour l'étape 2.
Évaluateurs à l'étape finale de l'évaluation
Présidents virtuels à l'étape 2 qui sont devenus évaluateurs et ont participé à une discussion en personne pour l'étape finale de l'évaluation.
Candidats après la décision à l'étape 2
Candidats ayant reçu, au terme du processus d'évaluation de l'étape finale, un avis leur indiquant s'ils sont financés ou non dans le cadre du concours de subventions Fondation de 2015.

Sommaire

Objectif

Les Instituts de recherche en santé du Canada (IRSC) ont travaillé de concert avec le milieu de la recherche afin de réformer et de moderniser les programmes de recherche libre et les processus d'évaluation. Dans le cadre de la réforme, les IRSC ont lancé en 2014 le premier concours de subventions Fondation, visant à offrir du soutien à long terme pour entreprendre des programmes de recherche novateurs et porteurs. Un deuxième concours Fondation a été lancé à l'automne 2015, et la rétroaction des intervenants sur les processus de demande et d'évaluation par les pairs a été recueillie. Le présent rapport résume la rétroaction des candidats, des administrateurs de recherche, des pairs évaluateurs et des présidents virtuels (PV) ayant participé à l'une des trois étapes du concours Fondation de 2015.

Dix sondages ont été diffusés et analysés afin que chaque étape (étape 1, étape 2 et étape finale de l'évaluation [EFE]) du concours Fondation et chaque groupe de participants (candidats, administrateurs de recherche, évaluateurs et PV) puissent être évalués. Les taux de réponse et les données démographiques se trouvent dans les sections 1 et 2. Le taux de réponse global est de 51,0 % (n = 1 604), et les résultats présentés dans les sections suivantes correspondent aux données définitives découlant des réponses aux sondages. Les sections 3 et 4 présentent brièvement le point de vue des répondants sur les critères de sélection, l'échelle de sélection et la pondération des critères. La plupart des répondants ont indiqué que les critères étaient clairs, mais qu'il y aurait lieu de clarifier « Productivité » et « Importance des contributions », à l'étape 1, et « Approche de recherche » et « Expertise », à l'étape 2. Les PV ont laissé entendre que l'étendue de l'échelle de sélection n'avait pas été utilisée en entier, possiblement parce que les échelles en lettres sont ambigües. Par ailleurs, les répondants ont soulevé des lacunes relatives à l'application des critères « Leadership » et « Mentorat et formation » aux chercheurs en début de carrière. Les candidats et les évaluateurs ont suggéré de réduire la pondération du critère « Leadership » et d'augmenter celle des critères « Productivité » et « Vision et direction du programme » à l'étape 1, et d'augmenter la pondération du critère « Approche de recherche » et de réduire celle de « Qualité de l'environnement de soutien » à l'étape 2. Les sections 5 et 6 brossent un portrait de la satisfaction des répondants à l'égard du format et du processus de demande. Dans l'ensemble, les candidats à l'étape 1 étaient plus susceptibles d'être satisfaits de leur étape du processus que les candidats à l'étape 2. De plus, les candidats doutaient que les évaluateurs connaissaient les limites de caractères des demandes. Les répondants ont recommandé d'augmenter les limites des critères « Importance des contributions » à l'étape 1 et « Approche de recherche » à l'étape 2.

Les sections 7 et 8 portent sur la perception des répondants à l'égard du CV et du budget. Ceux-ci ont indiqué que le CV commun canadien (CVC) avait été difficile à utiliser en raison de problèmes techniques. Par ailleurs, les candidats ont suggéré d'augmenter les limites de la section sur la justification du budget et de la plupart des sections du CV de l'étape 2. Les répondants ont en outre souligné que la rédaction de la demande de budget et l'évaluation du budget avaient été difficiles en raison des limites de caractères, et les évaluateurs ont suggéré que les candidats fournissent des justifications supplémentaires lorsqu'ils demandent une augmentation budgétaire. Les sections 9 et 10 offrent un aperçu général de la pertinence des documents de soutien et du matériel didactique pour les répondants. Bien que ces derniers aient utilisé ces ressources et les aient trouvées utiles, ils ont suggéré de simplifier leur contenu en regroupant les documents. La section 11 présente le point de vue des répondants sur RechercheNet. Dans l'ensemble, ils se sont dits satisfaits de RechercheNet et de son service d'aide. Cependant, les candidats à l'étape 2 étaient moins susceptibles de se dire satisfaits du service d'aide que le reste des répondants. Les sections 12 et 13 portent sur la satisfaction générale des intervenants à l'égard du processus et du format d'évaluation. En général, les évaluateurs étaient satisfaits des limites de caractères des feuilles de travail. Le degré de satisfaction des candidats, des évaluateurs et des PV était toutefois variable. La plupart des candidats après la décision se sont dits insatisfaits; cela dit, leur satisfaction était corrélée à leur réussite dans le processus. Quant aux évaluateurs à l'EFE, ils se sont dits satisfaits de leur processus d'évaluation, alors que les évaluateurs à l'étape 1 et à l'étape 2 se sont dits préoccupés par la façon dont l'échelle et les critères de sélection étaient utilisés par les autres évaluateurs. La section 14 traite de l'expérience des évaluateurs et des PV avec le processus de classement. Les évaluateurs ont indiqué avoir eu de la difficulté à utiliser et à interpréter l'échelle en lettres, et à coter les demandes à tous les stades de carrière. En outre, ils ne comprenaient pas le but des bris d'égalité pendant le processus de classement. Les sections 15 et 16 présentent la rétroaction des intervenants sur la lecture des évaluations et la qualité des évaluations. Les répondants trouvaient que la qualité des évaluations était variable et que les évaluations étaient trop courtes ou imprécises pour permettre d'améliorer les demandes. Les sections 17, 18 et 19 présentent l'avis des intervenants sur le processus de discussion en ligne, le rôle des PV et la charge de travail perçue. Les commentaires faisaient ressortir comment les discussions sont essentielles au processus; toutefois, le degré de participation des évaluateurs et des PV était variable. La participation du PV était généralement jugée utile, et la charge de travail, gérable. Les sections 20 et 21 résument la rétroaction des intervenants sur les réunions en personne et le document d'avis de décision. Dans l'ensemble, les répondants étaient d'avis que les réunions en personne étaient importantes et efficaces, mais que le transfert des demandes d'un groupe à l'autre était difficile. La plupart des candidats ont trouvé le contenu de l'avis de décision inutile et ont eu du mal à l'interpréter. Enfin, les sections 22 et 23 fournissent un aperçu général de la rétroaction reçue sur les sondages et des limites du présent rapport.

Aperçu du concours

Le processus de demande du concours de subventions Fondation de 2015 comprenait l'inscription, puis un concours en trois étapes et une évaluation. À l'étape 1, les candidats (candidats à l'étape 1) ont rempli un formulaire de demande structurée correspondant aux critères de sélection axés sur leur calibre comme candidat. Ensuite, ils ont dû remplir un CV en ligne par l'intermédiaire du CVC. Les évaluateurs (évaluateurs à l'étape 1) ont quant à eux été appelés à évaluer le calibre des candidats ainsi que leur vision et leur direction du programme. Pour ce faire, ils ont évalué les demandes qui leur avaient été assignées en fournissant des évaluations structurées reposant sur l'attribution d'une cote alphabétique et sur la rédaction de courts commentaires sur les forces et faiblesses pour chaque critère de l'étape 1. Les IRSC leur ont ensuite demandé de classer les demandes en fonction des cotes, après quoi ils ont regroupé tous les classements des évaluateurs en vue d'établir un classement combiné pour chaque demande. Une fois les évaluations versées, elles ont fait l'objet d'une discussion par l'intermédiaire d'une plateforme permettant aux évaluateurs de communiquer dans un espace virtuel, dans le cadre d'une période de discussion en ligne asynchrone de trois jours. Les PV (PV à l'étape 1) ont supervisé et appuyé le processus d'évaluation de l'étape 1. Au terme de ce dernier, les candidats (candidats après la décision à l'étape 1) ont reçu un avis de décision. Les candidats retenus ont été invités à présenter une demande à l'étape 2 (candidats à l'étape 2). Le formulaire de demande structurée de l'étape 2 correspondait aux critères de sélection axés sur la qualité du programme de recherche proposé. Les candidats à l'étape 2 ont reçu un budget de base établi par les IRSC et ont dû fournir des renseignements supplémentaires sur leur CV par l'intermédiaire du CVC. Les évaluateurs (évaluateurs à l'étape 2) ont été appelés à évaluer la qualité du programme, l'expertise, l'expérience et les ressources, de même que le budget demandé. La discussion sur les évaluations de l'étape 2 a été menée au moyen de la même plateforme qu'à l'étape 1, toujours dans le cadre d'une période de discussion en ligne asynchrone de trois jours. Les PV (PV à l'étape 2) ont supervisé et appuyé le processus d'évaluation de l'étape 2. À l'EFE, les PV ont joué le rôle d'évaluateurs (évaluateurs à l'EFE) et ont participé à une discussion en personne et intégré les résultats des évaluations de l'étape 2. Ils se sont concentrés sur les demandes se trouvant près du seuil de financement (« zone grise ») et dont les évaluations des évaluateurs à l'étape 2 présentaient une grande variabilité. Une fois l'EFE terminée, les évaluateurs ont formulé des recommandations aux IRSC sur les demandes qui devraient être financées. Enfin, un avis de décision définitif incluant les résultats à l'étape 2 et à l'EFE a été remis aux candidats à l'étape 2 (candidats après la décision à l'étape 2).

Méthodologie

Les sondages en ligne ont été élaborés à l'aide de FluidSurveys et envoyés aux candidats, aux évaluateurs, aux administrateurs de recherche et aux PV du concours entre septembre 2015 et août 2016. Les IRSC ont fait passer les sondages aux répondants et fourni les résultats aux responsables du programme d'application des connaissances de l'Hôpital St. Michael afin qu'ils les analysent entre novembre 2016 et février 2017. Les sondages comprenaient des questions ouvertes et des questions fermées. Nous, responsables du programme d'application des connaissances de l'Hôpital St. Michael, avons analysé ces dernières en tant que proportion des réponses totales reçues pour une question au moyen de SPSS Statistics 20. Le cas échéant, nous avons simplifié les réponses aux échelles de Likert en combinant tous les « d'accord » et « en désaccord » en deux catégories nominales, « accepter » et « rejeter »; le test du chi carré ou la méthode exacte de Fisher ont été appliqués pour déterminer la signification statistique. Nous avons eu recours au test t ou à l'analyse de la variance pour comparer les cotes moyennes des variables continues parmi les sous-groupes établis selon les données démographiques dans un environnement informatique R. Quant aux commentaires reçus aux questions ouvertes, nous les avons analysés dans NVivo 11. Les réponses en français ont été traduites en anglais. Deux analystes de données qualitatives ont pris connaissance, de manière indépendante, des données des sondages en passant en revue une partie des réponses afin d'établir une liste initiale de codes, d'idées principales et de thèmes. Ils ont ensuite comparé leur liste initiale de codes potentiels et élaboré un cadre analytique s'appliquant aux données. Les réponses ont été codées et intégrées dans le cadre par un seul analyste, puis le cadre a été peaufiné encore un peu plus et modifié pour mieux correspondre aux données de l'analyste. Un processus itératif d'analyse de données a été utilisé pour adapter le cadre pendant le processus de codage afin de relever les thèmes émergents. Il convient de noter que seules les réponses liées à la question posée ont été codées, et qu'une réponse pouvait être associée à plusieurs thèmes. Les conclusions principales sont présentées dans le corps du rapport, et les réponses à toutes les questions de sondage se trouvent dans les annexes.

Conclusions

Le présent rapport comprend les taux de réponse aux sondages et les critères relatifs aux données démographiques des répondants. Il expose également la rétroaction des répondants sur 19 domaines liés au processus de demande et au processus d'évaluation : perception à l'égard des critères de sélection, pondération des critères, satisfaction à l'égard du processus de demande, format de la demande, CV, budget, documents de soutien, matériel didactique, RechercheNet, format de l'évaluation, processus d'évaluation, processus de classement, lecture des évaluations, qualité des évaluations, discussion en ligne, rôle du PV, charge de travail perçue, réunion en personne et avis de décision. Dans les dernières sections du rapport, nous présentons les commentaires des participants sur les sondages ainsi que les limites des résultats. Toutes les proportions ont été calculées à partir des réponses valides; les valeurs n associées se trouvent dans les tableaux de métadonnées de l'annexe A. De plus, nous avons regroupé les réponses aux questions ouvertes pour les présenter sous forme de résumés; les valeurs nassociées aux thèmes des réponses se trouvent dans les tableaux de l'annexe B et sont classées par répondants.

1. Taux de réponse aux sondages

Au total, 3 146 personnes ont été invitées à remplir un sondage; 1 624 (51,6 %) réponses ont été reçues, dont 20 qui ont été exclues en raison de données manquantes et 1 604 qui ont été incluses dans l'analyse finale. Les IRSC ont reçu 591 réponses de candidats à l'étape 1, 31 d'administrateurs de recherche, 249 d'évaluateurs à l'étape 1, 22 de PV à l'étape 1, 380 de candidats après la décision à l'étape 1, 130 de candidats à l'étape 2, 90 d'évaluateurs à l'étape 2, 11 de PV à l'étape 2, 7 d'évaluateurs à l'EFE et 93 de candidats après la décision à l'étape 2. Le taux de réponse le plus faible (36,0 %) revient aux candidats après la décision à l'étape 2, et le plus élevé (73,0 %), aux PV à l'étape 1 (tableau 1).

2. Données démographiques

La présente section donne un aperçu du stade de carrière, de la profession, du thème de recherche, de la langue de préférence, du statut de financement et de l'expérience des répondants. Dans les stades de carrière, « début de carrière » signifie moins de 5 ans d'expérience comme chercheur indépendant, « milieu de carrière », de 5 à 10 ans d'expérience et « chercheur chevronné », plus de 10 ans d'expérience. Quant aux thèmes de recherche, ils renvoient aux quatre thèmes de recherche en santé énoncés dans le mandat des IRSC : recherche biomédicale; recherche clinique; recherche sur les services et les systèmes de santé; recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Pour la répartition complète des critères démographiques, consulter les tableaux 2 à 11 de l'annexe A.

2.1 Candidats

Les IRSC ont invité 991 candidats à l'étape 1 à remplir un sondage, et 591 ont répondu à l'appel, dont des chercheurs en début de carrière (31,8 %), des chercheurs en milieu de carrière (21,8 %) et des chercheurs chevronnés (46,0 %). Ils ont aussi invité 260 candidats à l'étape 2; 130 ont répondu à l'appel, dont des chercheurs en début de carrière (33,1 %), des chercheurs en milieu de carrière (18,5 %) et des chercheurs chevronnés (48,5 %) [tableau 2]. Les réponses des candidats à l'étape 1 et à l'étape 2 provenaient en grande partie de candidats du domaine de la recherche biomédicale (56,9 %; 53,8 %) et, dans une moindre mesure, des domaines de la recherche clinique (17,3 %; 20,8 %), de la recherche sur les services et les systèmes de santé (10,8 %; 13,8 %) et de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (14,6 %; 10,8 %) [tableau 4]. Un pourcentage élevé de candidats à l'étape 1 et à l'étape 2 (66,8 %; 82,3 %) recevaient du financement des IRSC au moment du sondage (tableau 5). Lorsqu'ils ont été interrogés sur la langue utilisée et la langue de préférence, 87,0 % des candidats à l'étape 1 ont dit utiliser l'anglais comme langue officielle, 98,5 % ont dit avoir utilisé l'anglais pour remplir leur demande, et 96,3 % ont dit s'être senti à l'aise de présenter leur demande dans la langue de leur choix (tableau 6). Un faible pourcentage de répondants (2,9 %) ont indiqué avoir rencontré des problèmes d'ordre linguistique en remplissant leur demande. Les réponses des candidats aux questions ouvertes ont fait ressortir qu'ils avaient l'impression d'avoir de meilleures chances de réussite en présentant une demande an anglais, et qu'une demande en français n'était pas aussi efficace. Presque la moitié des candidats à l'étape 1 (46,7 %) et 35,4 % des candidats à l'étape 2 avaient présenté une demande au concours Fondation de 2014 (tableau 7).

2.2 Candidats après la décision

Sur 910 candidats après la décision à l'étape 1, 380 ont répondu au sondage, à savoir des chercheurs en début de carrière (30,3 %), des chercheurs en milieu de carrière (31,6 %) et des chercheurs chevronnés (37,6 %). Sur 260 candidats après la décision à l'étape 2, 93 ont répondu au sondage, dont des chercheurs en début de carrière (26,9 %), des chercheurs en milieu de carrière (17,2 %) et des chercheurs chevronnés (55,9 %) [tableau 2]. Les réponses des candidats après la décision à l'étape 1 et à l'étape 2 provenaient en grande partie de candidats du domaine de la recherche biomédicale (61,3 %; 61,3 %) et, dans une moindre mesure, des domaines de la recherche clinique (14,7 %; 10,8 %), de la recherche sur les services et les systèmes de santé (9,5 %; 14,0 %) et de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (13,7 %; 14,0 %) [tableau 4]. Presque la moitié des candidats après la décision à l'étape 1 et à l'étape 2 (50,9 %; 45,2 %) avaient présenté une demande au concours Fondation de 2014 (tableau 7). La majorité des réponses des candidats après la décision à l'étape 1 (68,6 %) provenaient de ceux qui n'avaient pas été retenus au terme de l'étape 1. Chez les candidats après la décision à l'étape 2, les réponses provenaient presque autant de candidats retenus (54,8 %) que de candidats non retenus (45,2 %) pour le concours Fondation de 2015 (tableau 8).

2.3 Administrateurs de recherche

Parmi les 59 administrateurs de recherche invités à répondre à un sondage, 31 l'ont fait. Ils n'ont pas eu à remplir la section sur les données démographiques.

2.4 Évaluateurs

Au total, 433 évaluateurs à l'étape 1, 171 évaluateurs à l'étape 2 et 16 évaluateurs à l'EFE ont été invités à remplir un sondage. Le groupe de répondants (249 évaluateurs à l'étape 1, 90 évaluateurs à l'étape 2 et 7 évaluateurs à l'EFE) était composé de chercheurs en milieu de carrière (51,2 %; 27,8 %; 14,3 %) et de chercheurs chevronnés (42,3 %; 67,8 %; 85,7 %) [tableau 2]. Une faible proportion des réponses provenaient de chercheurs en début de carrière (5,2 % pour les évaluateurs à l'étape 1 et 4,4 % pour les évaluateurs à l'étape 2). Une grande proportion d'évaluateurs à l'étape 1, d'évaluateurs à l'étape 2 et d'évaluateurs à l'EFE œuvraient dans le domaine de la recherche biomédicale (63,3 %; 68,9 %; 42,9 %); les pourcentages étaient moindres pour la recherche clinique (18,5 %; 11,1 %; 28,6 %), la recherche sur les services et les systèmes de santé (6,5 %; 14,4 %; 0 %), et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (10,5 %; 5,6 %; 28,6 %) [tableau 4]. Plus de 75 % des évaluateurs à l'étape 1, des évaluateurs à l'étape 2 et des évaluateurs à l'EFE avaient déjà évalué des demandes pour les IRSC, tandis qu'un faible pourcentage ont indiqué ne jamais l'avoir fait (1,6 % des évaluateurs à l'étape 1; 12,2 % des évaluateurs à l'étape 2) [tableau 9].

2.5 Présidents virtuels

Au total, 30 PV à l'étape 1 ont été invités à répondre à un sondage; 22 l'ont fait, dont des chercheurs en milieu de carrière (18,2 %) et des chercheurs chevronnés (81,8 %). De plus, sur les 16 PV à l'étape 2 invités à répondre à un sondage, 11 l'ont fait, dont des chercheurs en milieu de carrière (9,1 %) et des chercheurs chevronnés (90,9 %) [tableau 2]. Une grande proportion de PV à l'étape 1 et de PV à l'étape 2 travaillaient dans le domaine de la recherche biomédicale (81,8 %; 72,7 %); les proportions étaient moindres dans les domaines de la recherche clinique (4,5 %, 9,1 %), de la recherche sur les services et les systèmes de santé (4,5 %; 9,1 %) et de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (9,1 %; 9,1 %) [tableau 4]. Plus de 70 % des PV à l'étape 1 et des PV à l'étape 2 avaient déjà joué les rôles d'évaluateur et de président pour les IRSC, tandis qu'un faible pourcentage ont indiqué n'avoir jamais évalué de demandes (4,5 %; 0 %) ou agi comme président pour les IRSC (4,5 %; 9,5 %) [tableaux 9 et 10].

3. Rétroaction sur les critères et l'échelle de sélection

Dans le cadre des nouveaux processus de demande et d'évaluation, les IRSC ont déterminé des critères de sélection pour chaque étape. Les critères de l'étape 1, qui portent sur le calibre du candidat, sont les suivants : « Leadership », « Importance des contributions », « Productivité » et « Vision et direction du programme ». Les critères de l'étape 2, axés sur la qualité du programme de recherche proposé, sont les suivants : « Idée de recherche », « Approche de recherche », « Expertise », « Mentorat et formation » et « Qualité de l'environnement de soutien ». Une nouvelle échelle de cotation a également été élaborée pour le concours, et les évaluateurs l'ont utilisée pour coter les demandes selon chacun des critères de sélection (O++, O+, O, E++, E+, E, G, F et P). Dans la présente section, nous racontons sommairement l'expérience des répondants quant à l'utilisation de l'échelle de sélection et faisons part de quelques-uns de leurs commentaires sur les différents critères. Les résultats sont présentés selon l'étape de la demande et le processus d'évaluation. Les pourcentages indiqués ont été calculés en fonction du nombre de réponses valides des 591 candidats à l'étape 1, des 31 administrateurs de recherche, des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 380 candidats après la décision à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2 et des 93 candidats après la décision à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 12 à 27).

3.1 Étape 1

Plus de 70 % des candidats à l'étape 1 et des administrateurs de recherche trouvaient que les critères de l'étape 1 étaient clairs et comprenaient les renseignements à inclure pour chacun (tableau 12). Lorsqu'ils ont été interrogés sur le Guide d'interprétation, 72,7 % des candidats à l'étape 1 ont indiqué que les critères y étaient clairement décrits (tableau 13). Ceux qui ont répondu le contraire ont fait part de leur expérience dans les réponses aux questions ouvertes. Ils ont mentionné que les renseignements inclus dans certains critères se chevauchaient, en particulier pour les critères « Leadership », « Importance des contributions » et « Productivité ». Par exemple :

« On ne savait pas toujours si un élément s'inscrivait dans "Leadership" ou dans "Importance des contributions", surtout pour les nouveaux chercheurs principaux, dont les plus importantes contributions constituent aussi souvent des exemples de leadership… Ces critères peuvent également chevaucher le critère "Productivité", comme les contributions de la plupart des scientifiques correspondent à leurs publications et à leurs subventions reçues »

Candidat à l'étape 1

Par ailleurs, 58,1 % des candidats à l'étape 1 ont indiqué que la distinction entre « Productivité » et « Importance des contributions » était claire (tableau 12). Dans les réponses aux questions ouvertes, ils ont mentionné qu'il y avait une quantité importante de chevauchements conceptuels entre ces critères et que la distinction entre eux était floue. Les administrateurs de recherche ont abondé dans le même sens, laissant entendre que la distinction n'était pas bien comprise par les candidats. Les répondants ont également souligné que les sections « Vision et direction du programme » et « Résumé » pourraient être clarifiées, et les candidats ont dit les avoir trouvées très redondantes. De plus, les répondants ont exprimé leurs doutes quant à l'importance ou à la pertinence de certains critères pour le processus de sélection, et plus particulièrement, sur la façon dont le critère « Leadership » serait appliqué aux différents stades de carrière et aux différentes disciplines. Par exemple, ils n'étaient pas certains de comprendre comment serait évalué le leadership des chercheurs en début de carrière comparativement à celui des chercheurs établis, et comment serait évaluée la productivité des chercheurs en sciences fondamentales comparativement à celle des chercheurs cliniques. Par exemple :

« La section "Productivité" dépend grandement du domaine. La comparaison des indicateurs de recherche peut donner des résultats très trompeurs, étant donné que les domaines populaires (grand public) génèrent un facteur d'impact plus important, notamment en raison des citations, que les domaines spécialisés. »

Candidat à l'étape 1

Lorsque les administrateurs de recherche et les candidats à l'étape 1 ont été interrogés sur le retrait ou l'ajout de critères de sélection, la majorité a dit ne pas vouloir qu'on en retire (84,6 %; 84,0 %) ou qu'on en ajoute (76,6 %; 70,8 %) [tableau 14]. Ceux qui étaient contre le statu quo ont proposé des changements dans les réponses aux questions ouvertes. Certains ont suggéré de fusionner les critères « Productivité » et « Importance des contributions », tandis que d'autres ont recommandé de retirer le critère « Leadership » parce qu'ils avaient l'impression qu'il désavantageait les chercheurs en début de carrière. La prise en compte ou l'ajout du stade de carrière a également été suggéré comme critère de sélection. Par exemple :

« Dans la section du leadership, en tant que nouveau chercheur, j'ai trouvé difficile de mettre autre chose que la gestion de mon laboratoire et mes contributions au domaine. J'imagine que la plupart des nouveaux chercheurs ne sont pas directeurs ou rédacteurs de quoi que ce soit. Peut-être qu'on pourrait inclure dans les instructions quelques exemples de compétences en leadership chez un nouveau chercheur. »

Candidat à l'étape 1

Les PV et les évaluateurs à l'étape 1 ont également été invités à donner leur point de vue sur les critères de sélection et la façon dont les candidats ont rempli chaque section. Environ la moitié des évaluateurs à l'étape 1 (53,5 %) ont recommandé de fournir aux candidats des renseignements supplémentaires sur les critères de sélection (tableau 15). Dans les réponses aux questions ouvertes, les évaluateurs ont aussi suggéré de fournir des renseignements supplémentaires sur les éléments à inclure et la quantité de détails nécessaires pour répondre au critère « Vision et direction du programme ». De plus, ils ont indiqué que les candidats avaient besoin de clarifications sur les renseignements appropriés à inscrire pour les critères « Productivité », « Importance des contributions » et « Leadership », notamment parce qu'ils ont observé un manque d'uniformité quant à la section dans laquelle les renseignements avaient été inscrits, et ont laissé entendre qu'il y avait un chevauchement conceptuel entre ces critères, ce qui les rendait difficiles à évaluer. Par exemple :

« Il semble que beaucoup de candidats aient inscrit les renseignements, mais dans d'autres sections de la demande, et qu'ils s'attendaient à ce que j'en tienne compte dans l'évaluation de chaque section... J'ignore si nous devons extraire ou déduire les renseignements provenant d'autres sections, ou si nous devons nous en tenir strictement à ce qui se trouve dans chaque section. Il pourrait être utile de donner aux candidats et aux évaluateurs des renseignements ou des instructions supplémentaires à cet égard. »

Évaluateur à l'étape 1

Les évaluateurs à l'étape 1 ont également suggéré de fournir des renseignements supplémentaires aux candidats sur la façon de répondre aux critères de sélection selon leur stade de carrière, en particulier la section « Leadership » pour les chercheurs en début de carrière.

Au sujet de leur capacité perçue à évaluer les critères en se servant de l'information fournie par les candidats : 74,4 % des évaluateurs à l'étape 1 se sont dits aptes à évaluer le critère « Leadership », 74,7 %, aptes à évaluer le critère « Importance des contributions », 88,2 %, aptes à évaluer le critère « Productivité », et 61,4 %, aptes à évaluer le critère « Vision et direction du programme » (tableau 16). Ces résultats concordent avec leurs commentaires sur la façon d'évaluer chaque critère : 72,7 % savaient comment le faire pour le critère « Leadership », 76,8 %, comment le faire pour le critère « Importance des contributions », 90,3 %, comment le faire pour le critère « Productivité », et 69,2 %, comment le faire pour le critère « Vision et direction du programme » (tableau 17). La majorité des évaluateurs à l'étape 1 ont dit avoir évalué des demandes de « chercheurs établis » (63,6 %) [tableau 18], et environ la moitié estimaient que les critères « Leadership », « Importance des contributions » et « Vision et direction du programme » ne pouvaient pas être facilement appliqués à tous les stades de carrière (tableau 19). Ces résultats concordent avec les réponses aux questions ouvertes des évaluateurs, qui ont mentionné avoir eu du mal à évaluer des demandes pour certains stades de carrière.

Lorsqu'on les a interrogés sur les critères de sélection, 65,0 % des évaluateurs à l'étape 1 ont répondu qu'ils étaient appropriés et qu'ils les avaient aidés à évaluer le calibre du candidat (tableau 20). De même, 59,2 % ont dit avoir été en mesure de bien cerner la différence de calibre des candidats (tableau 21). La capacité d'utiliser les critères de sélection pour évaluer les candidats ou cerner les différences entre eux n'était pas corrélée au type de chercheur (chercheur en début de carrière ou chercheur établi) évalué (tableau 22). En outre, la majorité des évaluateurs à l'étape 1 (60,2 %) et 40,8 % des PV à l'étape 1 estimaient que les critères leur avaient permis d'établir des différences entre les demandes, et non seulement entre les candidats (tableau 21). Ceux qui ont indiqué avoir eu de la difficulté à évaluer le calibre du candidat et la qualité de sa demande en ont parlé dans les réponses aux questions ouvertes. Les évaluateurs à l'étape 1 ont dit avoir eu du mal à évaluer des demandes dans certaines disciplines de recherche; plus particulièrement, ils ont trouvé difficile d'évaluer des demandes en recherche fondamentale comparativement à des demandes en recherche clinique ou des demandes hors de leur champ d'expertise. Par exemple :

« C'était vraiment difficile de comparer des candidats en recherche clinique et translationnelle et des cliniciens-chercheurs à des candidats en sciences fondamentales. Le critère sur l'importance des contributions posait problème, étant donné que certains évaluateurs attribuaient des cotes très élevées à la recherche translationnelle et des cotes faibles aux découvertes en sciences fondamentales. C'est également très difficile de comparer la productivité de candidats comptant peu de publications à impact élevé en sciences fondamentales à la productivité de candidats comptant de nombreux articles à impact faible à moyen en recherche clinique. De toute évidence, certains évaluateurs accordaient une très grande priorité à la recherche translationnelle, alors que la plupart, non. »

Évaluateur à l'étape 1

Lorsqu'ils ont été interrogés sur leur utilisation de l'échelle de sélection, 59,2 % des évaluateurs à l'étape 1 ont dit avoir tiré parti de toute l'étendue de l'échelle; cependant, cette affirmation n'a été validée que par un faible pourcentage (27,2 %) des PV à l'étape 1 (tableau 23). Ces résultats concordent avec les réponses aux questions ouvertes, qui font état d'un manque de clarté sur la façon d'utiliser l'échelle. Plus précisément, les évaluateurs ont dit avoir couramment utilisé le haut de l'échelle parce qu'ils avaient généralement l'impression que les demandes étaient excellentes. Par ailleurs, ils ont mentionné qu'ils ne savaient pas comment bien utiliser l'échelle ni quelles étaient les attentes à cet égard. Ce manque de clarté leur a donné l'impression que l'échelle avait nui à leur capacité de trancher entre les candidats. Les commentaires généraux laissaient aussi entendre que l'échelle n'était pas utilisée de la même manière par tous les évaluateurs. Pour régler ce problème, les répondants ont indiqué qu'il serait possible d'améliorer l'échelle de sélection en revenant à l'échelle numérique qu'on utilisait dans les concours antérieurs pour calculer une moyenne ou une cote globale. Par exemple :

« Ce serait plus simple d'obtenir une moyenne avec des cotes numériques. Je pourrais comparer plus efficacement les résultats du classement aux miens… »

Évaluateur à l'étape 1

Une fois la sélection terminée à l'étape 1, les candidats après la décision à l'étape 1 ont été invités à donner leur point de vue sur les critères. Les avis étaient partagés : 40,2 % des candidats se sont dits satisfaits de la clarté des critères de sélection, tandis que 43,0 % s'en sont dits insatisfaits. De plus, 29,9 % se sont dits satisfaits de la clarté du système de cotation, alors que 55,3 % ont dit l'inverse (tableau 24). Selon les réponses aux questions ouvertes, les candidats estimaient que le système de cotation manquait de cohérence, si bien qu'ils ne savaient pas trop si le processus d'évaluation avait été appliqué de la même manière par tous les évaluateurs.

3.2 Étape 2

Plus de 70 % des candidats à l'étape 2 trouvaient que les critères de l'étape 2 étaient clairs et comprenaient les renseignements à inclure pour chacun (tableau 25). Au total, 71,7 % des candidats à l'étape 2 estimaient que les critères étaient clairement décrits dans le Guide d'interprétation (tableau 13). Les thèmes dégagés à l'étape 2 étaient semblables à ceux ressortis à l'étape 1, les répondants indiquant ici aussi que la quantité de détails attendus des candidats pour chaque critère n'était pas toujours claire, dans ce cas-ci surtout pour le critère « Approche de recherche ». Par exemple :

« C'est difficile de juger la quantité de détails qu'il faut fournir au sujet des expériences dans la section "Approche de recherche". D'après les commentaires que j'ai reçus la dernière fois à l'étape 2, les évaluateurs ne s'entendaient pas sur la quantité de détails ou la vue d'ensemble qu'ils voulaient avoir. »

Candidat à l'étape 2

Par ailleurs, les répondants ont fait savoir que l'importance ou la pertinence de certains critères n'étaient pas tout à fait claires, en particulier pour le critère « Mentorat ».

En outre, la majorité (76,2 %) des candidats à l'étape 2 ont dit avoir pu indiquer, sous le critère « Expertise », comment les experts du programme les aideraient à assurer l'atteinte des objectifs proposés (tableau 26). Ceux qui n'avaient pas été en mesure de le faire adéquatement ont fourni des explications dans les réponses aux questions ouvertes. Les répondants s'entendaient pour dire qu'ils avaient manqué d'instructions claires et d'espace pour communiquer l'expertise des membres de leur équipe. Ils avaient également l'impression que les candidats travaillant au sein d'une équipe interdisciplinaire ou en collaboration avec d'autres chercheurs étaient désavantagés, comme il n'y avait pas suffisamment d'espace pour bien expliquer le rôle de chaque membre de l'équipe. Par exemple :

« Il manque d'espace si nous travaillons avec une grande équipe et sans CV. J'avais l'impression que la prise en compte ou la reconnaissance de certains des experts du programme dépendait de l'expertise de l'évaluateur, étant donné que nous n'avions pas assez d'espace pour les présenter ou pas de CV pour appuyer nos affirmations sur leur expertise. »

Candidat à l'étape 2

Les candidats ont dit avoir peur de recevoir une mauvaise évaluation parce qu'ils n'avaient pas fourni assez de renseignements.

Concernant le retrait ou l'ajout de critères, la majorité des candidats à l'étape 2 et des évaluateurs à l'étape 2 ont dit ne pas vouloir qu'on en retire (81,5 %; 66,7 %) ou qu'on en ajoute (72,6 %; 70,0 %) [tableau 14]. Ceux qui ont dit souhaiter le retrait ou l'ajout de critères ont exprimé leur point de vue dans les réponses aux questions ouvertes. Les répondants ont suggéré d'ajouter des critères ou une section sur le contexte pour les données préliminaires, l'état d'avancement de la recherche et les antécédents de financement. En outre, ils ont recommandé l'ajout d'un critère sur la contribution aux connaissances ou les avantages potentiels de la recherche proposée. Les candidats ont également suggéré de retirer les critères « Mentorat » et « Qualité de l'environnement de soutien », étant donné qu'ils pouvaient défavoriser les chercheurs en début de carrière ou les petits établissements. Par exemple :

« Je trouvais que l'attribution d'une cote pour la qualité du soutien risquait d'avantager les candidats d'unités ou d'établissements de grande envergure, où les installations de recherche sont souvent plus vastes et diversifiées que dans les petits établissements. Les évaluateurs peuvent avoir tendance à mieux coter une demande en raison de ce critère. »

Évaluateur à l'étape 2

Environ la moitié des évaluateurs à l'étape 2 (51,1 %) ont souligné que les candidats avaient besoin de renseignements supplémentaires sur les critères de sélection (tableau 15). Il s'agit d'ailleurs d'un thème qui est ressorti dans les réponses aux questions ouvertes des évaluateurs. Plus précisément, ils ont mentionné que les candidats avaient besoin de clarifications sur les renseignements à inclure dans « Approche de recherche ». Par exemple :

« On doit leur expliquer clairement que l'idée devrait être différente de l'approche. D'après ce que j'ai lu, dans les meilleures demandes, c'est dans l'idée que les principaux objectifs de la demande étaient expliqués, et la recherche mise en contexte afin d'en démontrer la pertinence, alors que l'approche portait plus explicitement sur les méthodes et le modèle qui seraient utilisés. J'ai ainsi pu évaluer séparément l'idée de recherche et les approches méthodologiques. »

Évaluateur à l'étape 2

Au sujet de leur capacité perçue à évaluer les critères en se servant des renseignements fournis par les candidats, plus de 80 % des évaluateurs à l'étape 2 se sont dits aptes à évaluer les critères « Idée de recherche », « Expertise », « Mentorat et formation » et « Qualité de l'environnement de soutien ». La proportion d'évaluateurs ayant dit la même chose pour le critère « Approche de recherche » était toutefois moindre (70,0 %) [tableau 16]. Lorsqu'ils ont été interrogés sur la clarté des critères, la majorité des évaluateurs à l'étape 2 ont indiqué savoir comment évaluer les critères « Idée de recherche » (76,7 %), « Approche de recherche » (72,1 %), « Expertise » (83,3 %), « Mentorat et formation » (78,9 %) et « Qualité de l'environnement de soutien » (76,6 %) [tableau 17]. Toutefois, à peine plus de la moitié des évaluateurs (51,1 %) estimaient que les critères de sélection pouvaient être facilement appliqués à tous les stades de carrière (tableau 19). Ces résultats concordent avec les réponses aux questions ouvertes, qui indiquaient qu'il était difficile de comparer les demandes à tous les stades de carrière, mais qu'il s'agissait d'un facteur important à considérer. Par exemple :

« C'était souvent difficile d'évaluer l'expérience et la connaissance du domaine des jeunes chercheurs avec certaines des méthodes proposées. Souvent, ils se fiaient à des collaborateurs avec qui ils n'avaient pas vraiment travaillé auparavant. C'était très difficile à évaluer. »

Évaluateur à l'étape 2

Lorsqu'on les a interrogés sur l'utilité des critères de sélection, 62,2 % des évaluateurs à l'étape 2 ont jugé qu'ils avaient été utiles et les avaient aidés à évaluer la qualité du programme de recherche proposé (tableau 20). De plus, 54,5 % ont répondu que les critères de sélection leur avaient permis de cerner les différences dans la qualité de la recherche proposée (tableau 21). La capacité des évaluateurs de cerner ces différences était en outre associée au stade de carrière des candidats. Concrètement, les évaluateurs étaient plus susceptibles de discerner les différences de calibre des chercheurs en début de carrière (72,7 %) que des chercheurs établis (48,5 %) [n = 90, p = 0,046; tableau 22]. Dans les réponses aux questions ouvertes, les évaluateurs à l'étape 2 ont mentionné que la demande ne contenait pas assez d'information pour leur permettre de faire une bonne sélection, surtout s'ils ne connaissaient pas très bien le domaine de recherche. Par exemple :

« Le thème des demandes était trop vaste pour me permettre de faire une bonne évaluation. Je suis spécialiste des sciences fondamentales et j'ai dû évaluer beaucoup de demandes traitant d'imagerie. Même si je comprends les principes de l'imagerie, je ne suis pas en mesure de comparer des demandes en imagerie à des demandes en sciences fondamentales (j'en avais trois de chaque domaine). »

Évaluateur à l'étape 2

Les répondants ont également souligné que certains critères ne les avaient pas aidés à trancher entre les candidats, en particulier « Qualité de l'environnement de soutien » et « Mentorat et formation ».

La majorité des évaluateurs à l'étape 2 (60,4 %) ont dit que les critères les avaient aidés à mettre en évidence des différences significatives entre les demandes (tableau 21). La capacité des évaluateurs de relever ces différences était associée au stade de carrière du candidat. Plus précisément, les évaluateurs étaient plus susceptibles de cerner les différences des demandes des chercheurs en début de carrière (85,7 %) que de celles des chercheurs établis (52,3 %) [n = 90, p = 0,01; tableau 22]. En revanche, seulement 27,3 % des PV à l'étape 2 ont indiqué que les critères de sélection les avaient aidés à mettre en évidence des différences significatives entre les demandes.

Lorsqu'ils ont été interrogés sur la convivialité de l'échelle de sélection, 64,0 % des évaluateurs à l'étape 2 ont répondu que les descripteurs pour chaque lettre de l'échelle de sélection étaient clairs, et 55,8 % ont dit qu'ils étaient utiles, tandis que 18,6 % ont affirmé le contraire (tableau 27). Par ailleurs, 51,3 % des évaluateurs ont indiqué avoir tiré parti de toute l'étendue de l'échelle de sélection; toutefois, seulement 36,4 % des PV à l'étape 2 étaient d'accord pour dire que les évaluateurs à l'étape 2 en avaient pleinement tiré parti (tableau 23). Les évaluateurs à l'EFE ont abondé dans le même sens. De plus, comme pour l'étape 1, un thème commun est ressorti des réponses aux questions ouvertes, soit le manque de clarté sur la façon d'utiliser l'échelle et les attentes quant à son utilisation. Les évaluateurs ont aussi dit avoir eu du mal à trancher entre les demandes, surtout celles de grande qualité. Par exemple :

« La signification de "remarquable+" (O+) ou de "remarquable++" (O++) est imprécise et vient fausser les cotes. La plupart des évaluateurs n'utilisent pas toute l'étendue de l'échelle, ce qui force implicitement le groupe à utiliser le haut de l'échelle. Cette situation engendre non seulement l'insatisfaction des évaluateurs, mais surtout le mécontentement des candidats, qui ne comprennent pas pourquoi une demande jugée exceptionnelle n'est pas financée. »

Évaluateur à l'étape 2

3.3 Étape finale de l'évaluation

Une fois les décisions rendues au terme de l'étape finale de l'évaluation, les candidats après la décision à l'étape 2 ont été invités à donner leur point de vue sur les critères de sélection – 44,9 % se sont dits satisfaits de la clarté des critères, tandis que 42,7 % s'en sont dits insatisfaits. En outre, 34,8 % se sont dits satisfaits de la clarté du système de cotation, alors que 56,1 % ont dit l'inverse (tableau 24).

4. Pondération des critères de sélection

La présente section résume le point de vue des répondants sur la pondération des critères de sélection, et les résultats sont présentés selon l'étape (étape 1 et étape 2 des processus de demande et d'évaluation). La pondération à l'étape 1 se répartissait comme suit : 25 % pour « Leadership », 25 % pour « Importance des contributions », 25 % pour « Productivité » et 25 % pour « Vision et direction du programme ». Les critères de l'étape 2 étaient pondérés de la manière suivante : 25 % pour « Idée de recherche », 25 % pour « Approche de recherche », 20 % pour « Expertise », 20 % pour « Mentorat et formation » et 10 % pour « Qualité de l'environnement de soutien ». Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1, des 130 candidats à l'étape 2 et des 90 évaluateurs à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 28 à 31).

4.1 Étape 1

Les candidats à l'étape 1 ont été invités à se prononcer sur la pondération des critères de l'étape 1 dans les questions ouvertes. Si les candidats estimaient généralement que les critères étaient bien pondérés, certains ont dit trouver que la pondération du critère « Leadership » était trop élevée pour son importance, et que cette pondération trop élevée pourrait nuire aux chercheurs en début de carrière. Par exemple :

« Je pense que, dans une certaine mesure, le critère "Leadership" est difficile à quantifier et à vérifier. C'est pourquoi il faudrait peut-être en réduire la pondération. Par contre, la productivité et les contributions scientifiques sont faciles à vérifier. »

Candidat à l'étape 1

De plus, les répondants ont indiqué que, vu le peu de détails pouvant être fournis (limite de caractères), la pondération était aussi trop élevée pour le critère « Vision et direction du programme ». Les candidats ont toutefois laissé entendre qu'ils voudraient que la pondération de ce critère soit augmentée si la limite de caractères l'était également.

Par ailleurs, environ la moitié des évaluateurs à l'étape 1 trouvaient la pondération appropriée pour chacun des critères de l'étape 1. Plus précisément, 50,0 % des évaluateurs étaient d'accord avec la pondération du critère « Leadership », 54,6 %, avec celle du critère « Importance des contributions », 57,5 %, avec celle du critère « Productivité », et 54,2 %, avec celle du critère « Vision et direction du programme » (tableau 28). Les répondants pour qui les pondérations étaient inappropriées ont proposé les pondérations idéales (médianes) suivantes : 15 % pour « Leadership » (écart interquartile [EI] = 10-20), 25 % pour « Importance des contributions » (EI = 15-30), 30 % pour « Productivité » (EI = 20-40) et 30 % pour « Vision et direction du programme » (EI = 20-40) [tableau 29]. Dans les réponses aux questions ouvertes, les évaluateurs ont également recommandé d'augmenter la pondération des critères « Vision et direction du programme » et « Productivité », et ils ont aussi mentionné que la pondération du critère « Leadership » désavantageait les chercheurs en début de carrière et ont suggéré de la réduire.

4.2 Étape 2

La majorité des candidats à l'étape 2 trouvaient la pondération appropriée pour chaque critère de l'étape 2. Plus précisément, 70,5 % des candidats étaient d'accord avec la pondération du critère « Idée de recherche », 65,5 %, avec celle du critère « Approche de recherche », 67,2 %, avec celle du critère « Expertise », et 79,5 %, avec celle du critère « Qualité de l'environnement de soutien ». Toutefois, les candidats étaient moins susceptibles (56,6 %) de trouver appropriée la pondération pour « Mentorat et formation » (tableau 30). Les candidats pour qui les pondérations étaient inappropriées ont proposé les pondérations idéales (médianes) suivantes : 30 % pour « Idée de recherche » (EI = 20-30), 30 % pour « Approche de recherche » (EI = 30-38), 25 % pour « Expertise » (EI = 15-30), 10 % pour « Mentorat et formation » (EI = 6-15) et 5 % pour « Qualité de l'environnement de soutien » (EI = 0-10) [tableau 31]. Encore une fois, les réponses des candidats à l'étape 2 aux questions ouvertes indiquaient qu'il faudrait réduire la pondération du critère « Qualité de l'environnement de soutien » étant donné qu'il pouvait défavoriser les laboratoires de recherche de certaines régions ou de certaines tailles. Par exemple :

« La section sur la qualité de l'environnement de soutien est la plus discutable. Si un chercheur principal a été financé, c'est que son environnement doit être favorable. Les IRSC vont-ils vraiment aller jusqu'à baisser arbitrairement les cotes d'un chercheur principal exceptionnel parce que l'évaluateur, pour une raison quelconque, n'est pas convaincu de la qualité de l'environnement de ce chercheur? À l'inverse, est-ce que les chercheurs principaux des grands établissements obtiennent automatiquement 10 %, peu importe leurs aptitudes? Si oui, la géographie l'emporte sur la qualité. »

Candidat à l'étape 2

De plus, les répondants ont indiqué que la pondération pour le critère « Approche de recherche » n'était pas assez élevée et ont suggéré de le fusionner avec « Idée de recherche » afin d'augmenter la pondération et l'espace accordé. Par exemple :

« L'idéal serait d'augmenter la pondération de l'approche et de l'idée de recherche pour que les candidats fournissent une justification solide de leur programme de recherche et communiquent clairement leur plan d'exécution des objectifs du programme. »

Candidat à l'étape 2

Généralement, environ la moitié des candidats à l'étape 2 trouvaient que la pondération des critères de l'étape 2 était appropriée. Plus précisément, 51,1 % des candidats étaient d'accord avec la pondération du critère « Idée de recherche », 56,7 %, avec celle du critère « Expertise », 42,2 %, avec celle du critère « Approche de recherche », et 40,0 %, avec celle du critère « Mentorat et formation ». De plus, 62,2 % des évaluateurs étaient d'accord avec la pondération de « Qualité de l'environnement de soutien » (tableau 30). Ceux pour qui les pondérations étaient inappropriées ont proposé les pondérations idéales (médianes) suivantes : 30 % pour « Idée de recherche » (EI = 20-30), 35 % pour « Approche de recherche » (EI = 30-40), 25 % pour « Expertise » (EI = 10-30), 10 % pour « Mentorat et formation » (EI = 10-15) et 5 % pour « Qualité de l'environnement de soutien » (EI = 0-10) [tableau 31]. Par ailleurs, dans les réponses aux questions ouvertes, les évaluateurs ont appuyé l'idée d'augmenter l'importance ou la pondération de l'approche de recherche ou de la méthodologie proposée.

5. Satisfaction globale à l'égard du processus de demande

La présente section donne un aperçu de l'expérience et de la rétroaction des répondants relativement au processus de demande structurée. Les résultats sont présentés selon l'étape (étape 1 et étape 2). Les pourcentages indiqués dans cette section ont été calculés en fonction du nombre de réponses valides des 591 candidats à l'étape 1, des 31 administrateurs de recherche et des 130 candidats à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 32 à 36).

5.1 Étape 1

La majorité des candidats à l'étape 1 (70,2 %) et des administrateurs de recherche (80,0 %) se sont dits satisfaits du processus de demande structurée (tableau 32). La satisfaction globale était corrélée à l'expérience antérieure de présentation de demande des candidats, c'est-à-dire que les candidats qui n'avaient jamais présenté de demande aux IRSC étaient plus susceptibles d'être satisfaits du processus (75,3 %) que ceux qui l'avaient déjà fait (64,1 %) [n = 566, p = 0,015; tableau 33]. Lorsqu'ils ont été invités à comparer le processus à celui du concours Fondation de 2014, 51,5 % des candidats à l'étape 1 ont indiqué que la demande leur avait pris moins de temps à remplir, tandis que 17,4 % ont dit qu'elle leur en avait pris plus; 34,9 % ont affirmé que le nouveau processus était plus facile à utiliser, alors que 3,5 % ont dit l'inverse; et 32,5 % ont indiqué que ce processus demandait moins de travail, comparativement à 16,6 % qui ont dit qu'il en demandait plus (tableaux 34 à 36).

5.2 Étape 2

Au total, 51,6 % des candidats à l'étape 2 se sont dits satisfaits du processus de demande structurée (tableau 32). Contrairement aux candidats à l'étape 1, la satisfaction des candidats à l'étape 2 n'était pas corrélée à leur expérience antérieure de présentation de demande. Lorsqu'ils ont été invités à comparer le processus à celui du concours Fondation de 2014, 44,2 % des candidats à l'étape 2 ont indiqué que la demande leur avait pris moins de temps à remplir, tandis que 28,0 % ont dit qu'elle leur en avait pris plus; 53,4 % ont affirmé que le nouveau processus était plus facile à utiliser, alors que 2,3 % ont dit l'inverse; et 22,1 % ont indiqué que le processus demandait moins de travail, comparativement à 23,4 % qui ont dit qu'il en demandait plus (tableaux 34 à 36).

Lorsqu'on leur a demandé de comparer ce processus au dernier Programme ouvert de subventions de fonctionnement (POSF), 60,9 % des candidats à l'étape 2 ont indiqué que la demande leur avait pris plus de temps à remplir, tandis que 25,2 % ont dit qu'elle leur en avait pris moins; 53,5 % ont affirmé que le nouveau processus était plus difficile à utiliser, alors que 27,9 % ont dit le contraire; et 62,8 % ont indiqué qu'il demandait plus de travail, comparativement à 22,1 % qui ont dit qu'il en demandait moins (tableaux 34 à 36).

6. Rétroaction sur le format de la demande structurée

La présente section résume l'expérience et la rétroaction des répondants relativement au format de la demande structurée, une des nouveautés conceptuelles du programme de subventions Fondation. Le format structuré a été conçu de façon à ce que les candidats et les évaluateurs se concentrent sur des critères de sélection bien précis. À l'étape 1, les candidats avaient droit à une demi-page pour le critère « Leadership », à une demi-page pour « Importance des contributions », à une demi-page pour « Productivité » et à une page pour « Vision et direction du programme ». À l'étape 2, les candidats avaient trois pages pour le critère « Idée de recherche », trois pages pour « Approche de recherche », trois pages pour « Expertise », deux pages pour « Mentorat et formation » et une page pour « Qualité de l'environnement de soutien ». Les résultats ci-après sont présentés selon l'étape (étape 1 et étape 2 des processus de demande et d'évaluation). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 591 candidats à l'étape 1, des 31 administrateurs de recherche, des 249 évaluateurs à l'étape 1, des 130 candidats à l'étape 2 et des 90 évaluateurs à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 37 à 48).

6.1 Étape 1

La majorité des candidats à l'étape 1 (92,1 %) et des administrateurs de recherche (100 %) n'ont pas rencontré de difficultés non techniques en remplissant le formulaire de demande structurée (tableau 37). Les commentaires émis en réponse aux questions ouvertes sur cette étape du processus étaient dans l'ensemble positifs. En outre, de façon générale, les candidats à l'étape 1 (78,3 %) et les administrateurs de recherche (84,0 %) ont trouvé le formulaire de demande structurée de l'étape 1 facile à utiliser. Toutefois, les candidats (65,4 %) et les administrateurs (72,0 %) étaient un peu moins enclins à dire qu'ils l'avaient trouvé intuitif (tableau 38). Les candidats qui n'avaient jamais présenté de demande étaient par ailleurs plus susceptibles (85,9 %) que ceux qui en avaient déjà présenté une (69,5 %) d'avoir trouvé le formulaire de demande facile à utiliser (n = 566, p < 0,0001; tableau 39). De plus, les candidats qui n'avaient jamais présenté de demande étaient plus susceptibles (71,1 %) que ceux qui en avaient déjà présenté une (58,8 %) d'avoir trouvé le formulaire de demande intuitif (n = 566, p = 0,008; tableau 39). Lorsqu'on leur a demandé de comparer cette expérience à la précédente, 31,5 % des candidats à l'étape 1 ont dit avoir eu une meilleure expérience avec la demande structurée qu'avec la dernière demande qu'ils avaient présentée aux IRSC; en revanche, 32,6 % ont indiqué que leur expérience avait été équivalente, et 17,2 %, qu'elle avait été pire (tableau 40).

En outre, lorsqu'ils ont été invités à donner leur avis sur les limites de caractères de l'étape 1, moins de 70 % des candidats à l'étape 1 ont dit que le nombre limite de caractères était suffisant pour répondre à chacun des critères, sauf celui du critère « Vision et direction du programme », que 72,3 % ont trouvé suffisant. Plus précisément, 67,4 % ont répondu que la limite de caractères était adéquate pour « Leadership », 61,4 %, qu'elle l'était pour « Importance des contributions », et 69,8 %, qu'elle l'était pour « Productivité » (tableau 41). Quant aux administrateurs de recherche, moins de la moitié d'entre eux ont dit avoir trouvé la limite adéquate pour « Leadership » (48,0 %), « Productivité » (44,0 %) et « Importance des contributions » (40,0 %), tandis que 64,0 % ont dit avoir trouvé suffisant l'espace pour « Vision et direction du programme » (tableau 41). Les candidats pour qui les limites de caractères étaient inadéquates ont recommandé une page pour « Leadership », une page pour « Importance des contributions », une page pour « Productivité » et deux pages pour « Vision et direction du programme » (tableau 42). De plus, dans les réponses aux questions ouvertes, les candidats ont mentionné que les limites de caractères dans le formulaire de demande structurée les avaient empêchés de bien expliquer leurs idées. Ils ont aussi souligné avoir dû répéter certains renseignements dans plusieurs sections afin d'améliorer la clarté de leur demande. Plus précisément, les candidats ont recommandé soit d'augmenter la limite du critère « Vision et direction du programme », soit de le retirer, puisque la limite actuelle ne leur permet pas de fournir une explication claire. Ils ont suggéré quelques autres améliorations à apporter au formulaire : fournir des exemples concrets, augmenter les limites, permettre le téléchargement de PDF dans les annexes, établir une limite de caractères pour toute la demande plutôt que pour chaque section, etc. Les candidats ont également dit avoir rencontré des difficultés techniques en remplissant le formulaire, en particulier avec l'exactitude du nombre de caractères et la mise en forme.

Les évaluateurs à l'étape 1 ont aussi été invités à fournir leurs commentaires sur le format de la demande structurée. La majorité d'entre eux (79,3 %) étaient d'avis que le format de la demande structurée leur avait été utile dans leur évaluation (tableau 43) et estimaient qu'il avait permis aux candidats de fournir tous les renseignements nécessaires à la tenue d'une évaluation complète (64,0 %) [tableau 44]. Les commentaires positifs formulés par les évaluateurs soulignaient entre autres qu'ils avaient l'impression que les candidats avaient été plus concis et s'étaient concentrés sur chacun des critères, ce qui les avait empêchés d'inscrire des renseignements inutiles. Cependant, un thème commun est ressorti des réponses aux questions ouvertes, soit que les limites de caractères du formulaire avaient entraîné des écarts significatifs dans les réponses des candidats, ce qui a compliqué la tâche des évaluateurs. Ces derniers ont mentionné que les sections nuisaient à la fluidité générale de la demande, faisant en sorte qu'ils avaient de la difficulté à bien comprendre ce que les candidats voulaient communiquer. Par exemple :

« Le problème, ce n'est pas la structure. Elle est correcte. Dans les concours où elle est défaillante, l'évaluateur est tout simplement laissé à lui-même pour trouver les renseignements pertinents. Le problème, en fait, ce sont les limites, car elles restreignent la quantité de renseignements pouvant être communiqués dans chaque section… »

Évaluateur à l'étape 1

Les répondants ont suggéré de fusionner certaines sections, comme « Importance des contributions » et « Productivité », ce qui permettrait aux candidats d'utiliser les caractères dans le champ qu'ils jugent le plus important.

6.2 Étape 2

La majorité des candidats à l'étape 2 (82,5 %) n'ont pas rencontré de difficultés non techniques en remplissant le formulaire de demande structurée (tableau 37). En outre, plus de la moitié des candidats (59,2 %) ont trouvé le formulaire de demande structurée de l'étape 2 facile à utiliser, et 55,8 % l'ont trouvé intuitif (tableau 38). Comme à l'étape 1, la perception des candidats du caractère convivial et intuitif de la demande n'était pas liée à une expérience antérieure de présentation de demande (tableau 39). Lorsqu'on leur a demandé de comparer cette expérience à leur dernière expérience de présentation de demande aux IRSC, 33,7 % des candidats à l'étape 2 ont affirmé qu'ils avaient eu une meilleure expérience avec la demande structurée, 20,9 % ont dit que leur expérience avait été équivalente, et 45,4 % ont répondu qu'elle avait été pire (tableau 40).

En outre, lorsqu'ils ont été invités à se prononcer sur les limites de caractères à l'étape 2, les candidats ont indiqué qu'elles étaient suffisantes pour la plupart des critères. Plus précisément, 78,0 % ont répondu que la limite était adéquate pour « Idée de recherche », 78,9 %, qu'elle l'était pour « Expertise », 80,5 %, qu'elle l'était pour « Mentorat et formation », et 78,0 %, qu'elle l'était pour « Qualité de l'environnement de soutien ». Toutefois, ils étaient seulement 50,4 % à trouver la limite adéquate pour « Approche de recherche » (tableau 45), et lorsqu'on leur a demandé quelle serait la limite idéale pour ce critère, 33,4 % ont répondu quatre pages (tableau 46). Dans les réponses aux questions ouvertes, les répondants ont souligné la nécessité d'augmenter l'espace, en particulier pour le critère « Approche de recherche ». Les candidats avaient généralement l'impression d'avoir passé beaucoup de temps à supprimer des renseignements afin de respecter les limites de caractères, ce qui a eu un effet sur la rigueur dont ils pouvaient faire preuve. De plus, ils ont suggéré de laisser les limites telles quelles ou d'établir une limite pour toute la demande plutôt qu'une pour chaque critère. Les candidats à l'étape 2 n'étaient en outre pas certains de comprendre les attentes des évaluateurs pour chaque critère et craignaient d'être injustement jugés en raison de leur incapacité de fournir suffisamment de détails.

Les évaluateurs à l'étape 2 ont aussi été invités à fournir leurs commentaires sur le format de la demande structurée. Comme les candidats à l'étape 2, ils ont indiqué que les limites de caractères étaient adéquates pour la plupart des critères. Plus précisément, 67,8 % ont répondu qu'elle était adéquate pour « Idée de recherche », 73,3 %, qu'elle l'était pour « Expertise », 73,3 %, qu'elle l'était pour « Mentorat et formation », et 81,1 %, qu'elle l'était pour « Qualité de l'environnement de soutien ». Toutefois, ils étaient seulement 57,5 % à trouver la limite adéquate pour « Approche de recherche » (tableau 45), et lorsqu'on leur a demandé quelle serait la limite idéale pour ce critère, 32,1 % ont répondu quatre pages (tableau 46). Ce thème, soit l'augmentation des limites en général, et en particulier pour « Approche de recherche », est une fois de plus ressorti des réponses aux questions ouvertes. Lorsqu'on leur a demandé comment le format de la demande influençait le processus d'évaluation, la majorité des évaluateurs à l'étape 2 étaient d'avis que le format de la demande structurée leur avait été utile dans leur évaluation (70,1 %) [tableau 43], qu'il avait permis aux candidats de fournir tous les renseignements nécessaires à la tenue d'une évaluation complète (60,1 %) [tableau 44] et que les candidats à l'étape 2 avaient fait bon usage de l'espace à leur disposition, c'est-à-dire que si le candidat n'avait pas fourni assez de détails, c'est parce qu'il n'avait pas inscrit les « bons » détails, et non parce qu'il manquait d'espace (58,9 %) [tableau 47]. Par ailleurs, les évaluateurs étaient moins susceptibles de répondre que les chercheurs établis avaient fourni les renseignements nécessaires (51,5 %) comparativement aux chercheurs en début de carrière (86,4 %) [n = 22, p = 0,009; tableau 48]. Enfin, tout comme les évaluateurs à l'étape 1, les évaluateurs à l'étape 2 ont indiqué dans les réponses aux questions ouvertes que les limites étaient trop restrictives pour leur permettre de bien comprendre et évaluer les demandes, et ont recommandé de les augmenter.

7. Perceptions sur la section du CV

La présente section fournit un aperçu de l'expérience et de la rétroaction des répondants concernant la section du CV. À la lumière de commentaires formulés par le milieu de la recherche concernant le CV du concours Fondation de 2014, les IRSC ont modifié les limites de certaines sections et ajouté de nouvelles sections. Les résultats ci-après sont présentés selon l'étape (étape 1 ou étape 2 des processus de demande et d'évaluation). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 591 candidats à l'étape 1, des 31 administrateurs de recherche, des 249 évaluateurs à l'étape 1, des 130 candidats à l'étape 2 et des 90 évaluateurs à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 49 à 56).

7.1 Étape 1

Dans l'ensemble, les instructions du CV Fondation ont été jugées claires et faciles à suivre par les candidats à l'étape 1 (64,8 %; 63,9 %) et les administrateurs de recherche (64,0 %; 68,0 %) [tableau 49]. Toutefois, seulement 48,8 % des candidats à l'étape 1 et 48,0 % des administrateurs de recherche ont indiqué que le CVC était facile à utiliser (tableau 50). Dans les réponses aux questions ouvertes, les candidats ont suggéré d'améliorer le CVC en perfectionnant la technologie ou les caractéristiques techniques, comme ils avaient trouvé le CVC compliqué et long à remplir.

Lorsqu'on leur a demandé de commenter l'utilité du CV, 71,3 % des candidats et 75,0 % des administrateurs ont répondu que le CV Fondation aiderait les évaluateurs à déterminer le calibre des candidats (tableau 51), ce que la majorité des évaluateurs à l'étape 1 (61,4 %) ont en effet corroboré (tableau 52). Toutefois, les évaluateurs ont répondu dans les questions ouvertes qu'ils n'étaient pas certains de saisir l'importance du tableau des contributions professionnelles. Ils ont par ailleurs demandé le calcul du facteur d'impact et l'ajout d'un objectif ou d'une mesure normalisée. Quant aux candidats à l'étape 1 et aux administrateurs de recherche, la majorité (64,0 %; 76,0 %) s'entendaient pour dire que le tableau des contributions professionnelles avait fourni des renseignements utiles aux évaluateurs (tableau 53). Dans les questions ouvertes, les répondants ont soulevé des préoccupations sur l'importance du tableau des contributions professionnelles et la façon dont il serait jugé par les évaluateurs. Plus précisément, les administrateurs et les évaluateurs se demandaient si la quantité de publications l'emporterait sur la qualité ou le facteur d'impact d'une publication. De plus, les répondants trouvaient que ce tableau reprenait des renseignements qui avaient déjà été mentionnés ailleurs dans le CVC. Les candidats ont demandé que soient ajoutées au tableau les citations de leurs publications, leur participation à des évaluations ou à des comités et leurs autres activités de mentorat (p. ex. stagiaires de premier cycle).

Chaque section du CV a été évaluée individuellement quant à sa pertinence et à sa limite de caractères. Dans l'ensemble, les candidats à l'étape 1, les administrateurs de recherche et les évaluateurs à l'étape 1 étaient d'avis que chaque section était pertinente et que les limites de caractères étaient appropriées. La section « Congés » est celle que la plus faible proportion de candidats ont jugée pertinente (64,2 %) [tableau 54], et la section « Publications » est celle que la plus faible proportion de candidats ont jugé adéquate pour ce qui est de la limite de caractères (68,5 %) [tableau 55]. Dans les réponses aux questions ouvertes, la plupart des candidats ont dit avoir trouvé les limites restrictives et ont suggéré de les augmenter, en particulier pour la section « Publications ». Les répondants ont aussi indiqué que la limite de certaines sections du CV pourrait être réduite. Par exemple, les administrateurs de recherche et les évaluateurs ont exprimé cet avis pour la section « Présentations », et les candidats ont dit la même chose de la section « Emploi », en plus de remettre en question sa pertinence. Les évaluateurs ont également souligné que la section « Adhésions » n'était pas aussi pertinente que les autres sections et ont suggéré d'en réduire la limite de caractères.

7.2 Étape 2

La majorité des candidats à l'étape 2 estimaient que les instructions du CV Fondation étaient claires (70,6 %) et faciles à suivre (71,0 %) [tableau 49]. De plus, 63,9 % des candidats ont répondu que le CV Fondation aiderait les évaluateurs à déterminer le calibre des candidats, 67,8 %, que le tableau des contributions professionnelles était utile, et 83,1 %, que la section des contributions les plus importantes était utile (tableaux 53 et 56). Dans les questions ouvertes, les répondants ont dit que la section « Contributions les plus importantes » répétait d'autres parties de la demande, comme « Productivité ». Lorsqu'on leur a demandé quels autres renseignements pourraient être importants pour leur demande, les répondants ont mentionné qu'ils auraient aimé inclure plus de détails sur leurs publications, comme le type de publication et l'ordre de présentation des auteurs. Ils ont aussi demandé l'ajout d'une mesure normalisée, comme l'indice h, pour calculer le facteur d'impact, et l'inclusion des réalisations des stagiaires. Par ailleurs, les évaluateurs à l'étape 2 (61,1 %) ont confirmé que les renseignements du CV les avaient aidés à déterminer le calibre des candidats (tableau 52). Dans les réponses aux questions ouvertes, ils ont recommandé d'améliorer la mise en page du CV en s'inspirant du format du CV abrégé des National Institutes of Health.

Chaque section du CV a été évaluée individuellement quant à sa pertinence et à sa limite de caractères. Dans l'ensemble, les candidats à l'étape 2 et les évaluateurs à l'étape 2 étaient d'avis que chaque section était pertinente. Les sections ayant récolté les plus faibles proportions pour ce qui est de la pertinence sont « Congés » (61,2 % des candidats) et « Adhésions » (65,5 % des évaluateurs) [tableau 54]. Lorsqu'ils ont été interrogés sur les limites de caractères, les évaluateurs ont répondu qu'elles étaient appropriées pour chaque section du CV. Toutefois, la limite de certaines sections n'était pas toujours bien vue par les candidats, comme celle de la section « Reconnaissances », jugée adéquate par 33,9 % des candidats, celle de la section « Publications », jugée adéquate par 42,7 %, celle de la section « Présentations », jugée adéquate par 32,1 %, et celle de la section « Activités d'évaluation et de révision », jugée adéquate par 30,9 % (tableau 55). Les répondants qui trouvaient les limites inappropriées ont été invités à suggérer une limite pour chaque section du CV. Ils ont généralement suggéré d'augmenter ou d'abolir la limite de la plupart des sections. Ils ont proposé de remplacer la limite par une période et ont suggéré une période de 10 ans pour « Publications », « Financement de recherche », « Présentations » et « Activités d'évaluation et de révision ». Lorsqu'on leur a demandé quelles améliorations ils apporteraient au CV, les candidats et les évaluateurs ont suggéré de retravailler le site et l'interface du CVC étant donné que la navigation et la convivialité laissaient à désirer. Les répondants ont dit avoir rencontré plusieurs difficultés techniques avec le CVC, dont la lenteur de l'interface, les pannes du site et les étapes inutiles, qui les rendaient perplexes.

8. Rétroaction sur le budget

Les candidats à l'étape 2 ont présenté une demande de budget pour financer le programme de recherche proposé dans leur demande. Les évaluateurs ont été appelés à déterminer si les ressources demandées étaient adéquates pour soutenir financièrement le programme de recherche proposé tel qu'il était décrit dans la demande. De plus, les IRSC ont demandé que le budget concorde avec les antécédents de financement du candidat, comme déterminé dans le budget de base qu'ils ont fourni. La présente section résume l'expérience et la rétroaction des répondants relativement à la section du budget dans la demande. Les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 130 candidats à l'étape 2 et des 90 évaluateurs à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 57 à 59).

On a demandé aux candidats s'ils savaient quoi inclure dans la demande de budget. La majorité des candidats à l'étape 2 (75,4 %) ont dit savoir quels renseignements inclure dans chacune des catégories budgétaires. De plus, 67,3 % des candidats savaient comment justifier les fonds demandés, mais seulement 55,8 % savaient quoi inclure dans la section sur les antécédents de financement (tableau 57). Les réponses aux questions ouvertes ont confirmé que les candidats ne comprenaient pas trop la section sur les antécédents de financement, notamment comment ils étaient calculés. Les candidats qui ont demandé des éclaircissements à ce sujet ont dû attendre longtemps avant d'obtenir une réponse. Les répondants ont suggéré de clarifier certaines sections; par exemple, beaucoup ont dit ne pas trop savoir dans quelle catégorie s'inscrivaient les dépenses liées aux animaux. Dans un autre ordre d'idées, lorsqu'on leur a demandé ce qu'ils pensaient du format du budget, 63,2 % des candidats et 54,8 % des évaluateurs ont répondu que les limites de caractères du budget global étaient adéquates. De plus, 64,0 % des candidats et 63,1 % des évaluateurs estimaient que la limite de caractères pour justifier les fonds demandés était appropriée (tableau 58). Dans les réponses aux questions ouvertes, les candidats ont également demandé d'augmenter les limites de caractères, puisque l'espace accordé semblait insuffisant.

On a par ailleurs demandé aux évaluateurs à l'étape 2 de donner leur opinion sur le processus d'évaluation du budget. Les avis étaient généralement partagés : 47,0 % des évaluateurs ont dit avoir trouvé le processus clair, 49,4 %, avoir pu évaluer efficacement le budget, et 42,4 %, avoir pu évaluer efficacement les demandes de budget pour tous les stades de carrière. En outre, 43,5 % ont répondu que les candidats avaient fourni l'information pertinente, 48,8 %, que les candidats avaient fourni l'information nécessaire, et 44,0 %, que les candidats avaient clairement justifié la pertinence des fonds demandés pour soutenir le programme de recherche proposé (41,7 % ont dit l'inverse) [tableau 59]. Une minorité d'évaluateurs (35,7 %) estimaient que les candidats avaient fourni une justification acceptable lorsque le budget demandé excédait leur montant de base. Lorsqu'on les a interrogés sur la section « Autre » du budget de base des IRSC, la majorité des évaluateurs (70,6 %) ont indiqué qu'elle les avait aidés à comprendre comment le budget de base est calculé, et 64,7 % ont dit que les catégories budgétaires étaient appropriées. Les évaluateurs ont mentionné avoir eu de la difficulté à arriver à un consensus sur le budget, ce qui a donné lieu à d'interminables discussions sur cette section, au détriment des autres sections de la demande. Ils ont également exprimé que le montant demandé dans le budget était très précis et qu'ils auraient préféré une ventilation générale. Par ailleurs, les évaluateurs ont affirmé qu'il était difficile d'évaluer le budget lorsque les candidats ne fournissaient pas suffisamment de renseignements. De nombreux évaluateurs ont indiqué que les candidats avaient gonflé leur budget sans fournir les justifications nécessaires. Ils ont également fait état de leur confusion sur le calcul du budget de base et de leur préoccupation sur l'équité de ce calcul. De plus, les répondants ont souligné que les candidats avaient besoin d'être mieux informés sur les renseignements à inclure pour bien remplir la section sur le budget. Par exemple :

« Il semble que le plus gros problème soit la façon d'arriver à un budget convenable, car chaque candidat peut concevoir un programme d'envergure, mais il doit respecter son budget de base. La base fixée est souvent contestée par les candidats, et en tant qu'évaluateurs, il nous est très difficile de recommander des budgets appropriés. »

Évaluateur à l'étape 2

9. Rétroaction sur les documents de soutien

Plusieurs documents ont été élaborés pour aider les participants aux processus de demande et d'évaluation du concours Fondation. La présente section offre un aperçu général de l'utilisation des documents de soutien fournis par les IRSC et de la rétroaction des répondants sur ces documents. Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 591 candidats à l'étape 1, des 31 administrateurs de recherche, des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2 et des 7 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 60 et 61)

Dans l'ensemble, l'utilisation des documents de soutien fournis par les IRSC était assez variable (tableau 60). Les candidats et les administrateurs de recherche étaient généralement plus susceptibles que les évaluateurs et les PV de les avoir utilisés. Voici les documents qui ont été les moins utilisés par les répondants, tous groupes confondus : Définitions des rôles pour le volet Fondation, Réforme des programmes ouverts et de l'évaluation par les pairs – Questions et réponses sur le volet Fondation, CV du volet Fondation – Guide de consultation rapide, Foire aux questions sur le CVC et Questions et réponses sur la demande de budget (tableau 60). Plus de 70 % des répondants qui avaient utilisé les documents de soutien ont dit qu'ils avaient été utiles (tableau 61). La plupart des répondants ont indiqué dans les réponses aux questions ouvertes qu'il était difficile de consulter un si grand nombre de documents. Par exemple :

« C'est pénible à la longue d'avoir à consulter autant de documents, aussi utiles soient-ils, pour obtenir les renseignements nécessaires. »

Administrateur de recherche

Les répondants ont souligné qu'un exemple de budget ou de demande retenue leur serait utile dans les prochains concours. Ils ont également recommandé de fournir dans les documents des renseignements supplémentaires sur ce qui est attendu des nouveaux chercheurs.

10. Rétroaction sur le matériel didactique

Plusieurs leçons d'apprentissage interactives ont été élaborées pour aider les participants aux processus de demande et d'évaluation du concours Fondation. La présente section offre un aperçu général de l'utilisation du matériel didactique fourni par les IRSC et de la rétroaction des répondants sur ce matériel. Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 591 candidats à l'étape 1, des 31 administrateurs de recherche, des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2 et des 7 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 62 et 63).

Dans l'ensemble, l'utilisation du matériel didactique fourni par les IRSC était assez variable (tableau 62); les présidents virtuels étaient les plus susceptibles d'avoir participé aux leçons. Voici les documents qui ont été les moins utilisés par les répondants, tous groupes confondus : Leçon interactive sur la demande de l'étape 1 du concours du volet Fondation et lesdocuments créés expressément pour les évaluateurs à l'étape 2. Ceux qui ont dit avoir utilisé le matériel didactique ont indiqué qu'il leur avait été utile (tableau 63). Dans les réponses aux questions ouvertes, les répondants ont mentionné qu'on pourrait améliorer l'accessibilité du matériel didactique en assouplissant l'horaire des leçons. Certains répondants ont dit avoir eu du mal à accéder au matériel didactique en raison de difficultés techniques avec la plateforme et la connexion à RechercheNet. Des répondants ont également suggéré d'inclure des exemples précis de budgets et de réponses aux critères. Par exemple :

« Il serait pertinent que les évaluateurs nous disent concrètement ce qu'ils veulent, ce qu'ils ont évalué et comment ils ont classé les demandes. »

Candidat à l'étape 2

Au sujet des webinaires, certains participants ont soulevé la nécessité de prolonger les périodes de questions et de discussion. D'autres ont dit que la discussion était une perte de temps quand la participation générale et la qualité des commentaires n'étaient pas au rendez-vous. De plus, des répondants ont indiqué qu'il n'est peut-être pas nécessaire d'assister à tous les webinaires si le matériel est fourni plus tôt. Certains ont mentionné que les séances facultaires offertes par leur établissement étaient plus utiles et bénéfiques que le matériel didactique des IRSC, et qu'ils avaient l'impression que les documents créés à l'interne étaient utiles parce qu'ils étaient concis et ne renfermaient que les renseignements essentiels.

11. RechercheNet

La présente section résume l'expérience et la rétroaction des répondants relativement à leur utilisation de RechercheNet, en particulier sa convivialité dans le cadre des processus de demande et d'évaluation. Les résultats sont présentés selon le processus de demande, le processus d'évaluation et la rétroaction sur le service d'aide. Les pourcentages présentés dans cette section ont été calculés en fonction du nombre de réponses valides des 591 candidats à l'étape 1, des 31 administrateurs de recherche, des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2 et des 7 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 64 à 71).

11.1 Processus de demande

Environ la moitié des candidats à l'étape 1 (54,5 %) et tous les administrateurs de recherche ont indiqué avoir accédé à RechercheNet au moyen d'un appareil fonctionnant sous Windows (tableau 65). La majorité des administrateurs de recherche (88,0 %) ont utilisé un compte d'essai (tableau 66); 96,0 % ont dit l'avoir trouvé utile, et 96,0 % ont mentionné qu'ils aimeraient avoir accès à un compte d'essai pour tous les programmes ouverts des IRSC (tableau 67). Les administrateurs de recherche ont également demandé d'avoir accès aux demandes de leur établissement en temps réel ou avant leur envoi pour améliorer l'efficacité et aider les candidats plus tôt dans le processus.

Lorsqu'on les a interrogés sur la convivialité générale, 84,8 % des candidats à l'étape 1 et 88,0 % des administrateurs de recherche ont mentionné que RechercheNet était facile à utiliser. La majorité des candidats à l'étape 1 (86,0 %) et des administrateurs de recherche (88,0 %) ont dit avoir réussi à y entrer l'information relative à leur demande sans aucune difficulté. Au total, 90,0 % des candidats et 88,0 % des administrateurs de recherche ont réussi à soumettre leur demande de manière efficace dans RechercheNet (tableau 68). Dans les réponses aux questions ouvertes, les répondants ont formulé des commentaires positifs sur RechercheNet, notamment sur sa convivialité par rapport au CVC et son caractère intuitif. Toutefois, lorsqu'on leur a demandé s'ils avaient rencontré des difficultés avec certaines tâches de RechercheNet, ils se sont montrés mécontents des copier-coller dans les sections qui modifiaient le nombre de caractères de façon inexacte. Par ailleurs, des candidats ont dit qu'ils auraient aimé pouvoir ouvrir plusieurs onglets simultanément et prévisualiser la page pour déterminer les sections s'appliquant à leur étape (p. ex. la visibilité de l'entête du budget aurait semé la confusion à l'étape 1).

11.2 Processus d'évaluation

Plus de 85 % des évaluateurs et des PV ont indiqué qu'il était facile d'utiliser RechercheNet dans le cadre du processus d'évaluation, 82,0 % des évaluateurs à l'étape 1 et 84,4 % des évaluateurs à l'étape 2 ont affirmé que l'évaluation structurée était conviviale, et tous les évaluateurs à l'EFE (100 %) ont dit la même chose du processus de catégorisation. Au total, 85,2 % des évaluateurs à l'étape 1, 89,2 % des évaluateurs à l'étape 2 et 100 % des évaluateurs à l'EFE ont réussi à évaluer les demandes de manière efficace à l'aide de RechercheNet. Par ailleurs, 85,6 % des PV à l'étape 1 et 80,0 % des PV à l'étape 2 ont dit avoir été en mesure de remplir efficacement leur rôle au moyen de RechercheNet (tableau 70). Les commentaires sur la demande dans RechercheNet et l'utilisation du site étaient généralement positifs. Lorsqu'on leur a demandé s'ils avaient rencontré des difficultés dans RechercheNet, les évaluateurs ont dit qu'ils avaient eu du mal à modifier leurs cotes une fois l'évaluation versée et qu'ils ignoraient si ces cotes étaient définitives ou s'ils pourraient les ajuster plus tard. De plus, ils ont mentionné qu'ils étaient incapables de consulter le classement final. La plupart des évaluateurs ont suggéré d'améliorer la navigation et les instructions sur la façon de contribuer à un fil de discussion dans l'outil de discussion en ligne. Les présidents virtuels ont quant à eux demandé de pouvoir communiquer directement avec les évaluateurs pour les inciter à participer et à effectuer leur classement. Ils ont également mentionné avoir dû naviguer longtemps pour accéder aux fils de discussion en ligne et avoir eu de la difficulté à ouvrir plusieurs fenêtres en même temps. Il a également été soulevé que la période de temporisation était trop courte pour permettre aux évaluateurs de s'acquitter de toutes leurs tâches; bon nombre d'entre eux ont dit avoir perdu leur travail et avoir perdu du temps à inscrire les renseignements à nouveau.

11.3 Rétroaction sur le service d'aide de RechercheNet

Plus de 70 % des candidats à l'étape 1, des administrateurs de recherche, des évaluateurs à l'étape 2, des PV à l'étape 2 et des évaluateurs à l'EFE se sont dits satisfaits de la rapidité du service d'aide, mais la proportion de candidats à l'étape 2 satisfaits était moindre (59,4 %) [tableau 71]. En outre, plus de 70 % des candidats à l'étape 1, des administrateurs de recherche, des évaluateurs à l'étape 2, des PV à l'étape 2 et des évaluateurs à l'EFE se sont dits satisfaits de l'utilité du service, mais les candidats à l'étape 2 étaient, là encore, moins susceptibles de s'en être dits satisfaits (61,9 %) [tableau 71].

12. Perceptions sur le format de l'évaluation

La présente section fournit un aperçu de l'expérience et de la rétroaction des évaluateurs relativement au format de la feuille de travail de l'évaluation. L'évaluation structurée est l'un des éléments conceptuels du programme Fondation. Le format structuré a été conçu de façon à ce que les candidats et les évaluateurs se concentrent sur des critères de sélection bien précis. Le point de vue des évaluateurs à l'étape 1 sur le format de la feuille de travail de l'évaluation n'a pas été sollicité; seuls les évaluateurs à l'étape 2 et à l'EFE ont été appelés à se prononcer. Les évaluateurs à l'étape 2 avaient droit à une demi-page pour fournir leurs commentaires sur les forces et les faiblesses de chacun des critères : « Idée de recherche », « Approche de recherche », « Expertise », « Mentorat et formation » et « Qualité de l'environnement de soutien ». Soulignons que les pourcentages indiqués dans la présente section ont été calculés en fonction du nombre de réponses valides des 380 candidats après la décision à l'étape 1, des 90 évaluateurs à l'étape 2, des 7 évaluateurs à l'EFE et des 93 candidats après la décision à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 72 et 73).

Plus de 80 % des évaluateurs à l'étape 2 et tous les évaluateurs à l'EFE trouvaient que les limites de caractères du formulaire d'évaluation structurée étaient suffisantes pour répondre à chaque critère de sélection (tableau 70). Ceux qui les trouvaient insuffisantes ont suggéré une limite idéale pour chaque critère : une page pour « Idée de recherche » (42,9 %), deux pages pour « Approche de recherche » (41,7 %), une page pour « Expertise » (100 %), aucune page (50,0 %) ou une demi-page (50,0 %) pour « Mentorat et formation », et aucune page pour « Qualité de l'environnement de soutien » (66,7 %) [tableau 73]. Les évaluateurs ont mentionné, dans les réponses aux questions ouvertes, que le formulaire d'évaluation était trop restrictif pour leur permettre de fournir des commentaires adéquats. Ils ont indiqué que l'espace accordé dans certaines sections (« Idée de recherche », « Approche de recherche ») était insuffisant pour fournir des commentaires détaillés, alors qu'il était excessif dans d'autres sections (« Qualité de l'environnement de soutien »). Les évaluateurs ont souligné qu'ils auraient préféré composer avec une limite pour l'ensemble des commentaires plutôt qu'une limite pour chaque section, et qu'ils n'aimaient pas avoir à énumérer les forces et les faiblesses dans des boîtes séparées.

13. Satisfaction générale à l'égard du processus d'évaluation

La présente section résume l'expérience et la rétroaction des répondants relativement au processus d'évaluation. Les résultats sont présentés selon l'étape (étape 1, étape 2 ou EFE). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 380 candidats après la décision à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2, des 7 évaluateurs à l'EFE et des 93 candidats après la décision à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 74 à 81).

13.1 Étape 1

Dans l'ensemble, les évaluateurs à l'étape 1 étaient partagés quant à leur satisfaction à l'égard du processus d'évaluation. Plus précisément, 46,4 % s'en sont dits satisfaits, et 41,8 %, insatisfaits. Dans les réponses aux questions ouvertes, les évaluateurs ont fait part de leurs préoccupations relatives aux critères de sélection et aux restrictions, puisque les renseignements fournis par les candidats étaient insuffisants ou non pertinents pour l'évaluation. De plus, 45,4 % des PV à l'étape 1 ont répondu qu'ils étaient satisfaits du processus d'évaluation, contre 54,5 % qui s'en sont dits insatisfaits (tableau 74). Aux yeux des PV, le format de l'évaluation était bien pensé, mais mal exécuté, comme en témoignent les évaluations présentées, pour la plupart de piètre qualité. Ils ont également indiqué qu'il y avait une grande variabilité dans les cotes, possiblement en raison du manque de formation des évaluateurs ou de problèmes relatifs à l'utilisation de l'échelle de sélection. Par exemple :

« Il y a un écart important entre l'échelle de sélection et les instructions aux évaluateurs fournies par les IRSC. Les IRSC demandent aux évaluateurs d'utiliser toute l'échelle en lettres pour coter leurs demandes. Autrement dit, ils leur demandent de l'utiliser de manière relative… Cependant, ils fournissent un tableau indiquant la signification de chaque lettre de l'échelle. Donc, l'échelle devrait être utilisée de façon objective. C'est injuste qu'un candidat exceptionnel reçoive un G juste parce que sa demande s'est retrouvée dans le même groupe que 10 autres demandes encore meilleures. »

PV à l'étape 1

Plus de la moitié des évaluateurs à l'étape 1 (59,0 %) estimaient que le processus d'évaluation structurée avait facilité le travail d'évaluation, et 39,6 %, qu'il avait facilité le retour d'information aux candidats (tableau 75). Dans leurs réponses aux questions ouvertes, certains évaluateurs ont formulé des commentaires positifs sur leur capacité d'adapter leur évaluation à l'aide du format structuré. Cependant, d'autres ont dit ne pas être certains de comprendre comment évaluer les sections avec l'échelle de sélection. De plus, des évaluateurs ont soulevé la nécessité d'accroître la participation des évaluateurs et des présidents, comme ils ne fournissaient pas toujours des commentaires. Par exemple :

« En lisant les autres évaluations, j'ai remarqué que les commentaires visant à expliquer aux candidats les lacunes de leur demande semblaient vraiment peu détaillés. La plupart des évaluateurs n'ont pratiquement rien écrit dans les faiblesses, si ce n'est que des commentaires plutôt vagues. S'il était facile de commenter les objectifs des demandes de subvention de fonctionnement, c'est beaucoup plus difficile d'expliquer la vraie raison d'une faible cote pour un critère d'un concours Fondation, comme le commentaire est beaucoup plus personnel. J'imagine que la plupart des évaluateurs sont vraiment mal à l'aise de dire à un candidat que sa faiblesse, c'est de ne pas avoir publié d'article à impact élevé au cours des sept dernières années, même si c'est exactement la raison pour laquelle il a obtenu une faible cote, que ça lui ait été dit ou non. »

Évaluateur à l'étape 1

Lorsqu'on leur a demandé ce qu'ils pensaient du processus d'évaluation à l'étape 1, la majorité des candidats après la décision à l'étape 1 (74,4 %) ont dit qu'ils en étaient insatisfaits, 61,6 %, qu'ils ne le trouvaient pas juste et transparent, et 74,4 %, qu'ils ne lui faisaient pas confiance (tableau 77). La satisfaction à l'égard du processus de sélection était associée au stade de carrière; les chercheurs en début de carrière étaient plus susceptibles d'être satisfaits (35,5 %) que les chercheurs en milieu de carrière (9,92 %) et les chercheurs chevronnés (16,9 %) [n = 349, p < 0,0001; tableau 78]. La satisfaction à l'égard du processus de sélection à l'étape 1 était également corrélée à la réussite des candidats à l'étape 1, c'est-à-dire que les candidats retenus étaient plus susceptibles d'être satisfaits (41,7 %) que les candidats non retenus (9,8 %) [n = 351, p < 0,0001; tableau 78]. De plus, 55,2 % des candidats après la décision à l'étape 1 ont dit avoir trouvé utile le processus d'évaluation structurée, tandis que 35,5 % ont répondu le contraire (tableau 79). Dans les réponses aux questions ouvertes, les candidats ont souligné le manque de discussions essentielles entre évaluateurs dans le système d'évaluation. Ils ont fait savoir que les évaluateurs ne pouvaient pas discuter de façon appropriée des écarts entre les classements et les évaluations sans se rencontrer en personne. Les candidats ont également dit avoir l'impression que les évaluateurs ne respectaient pas le processus, qu'ils manquaient de responsabilisation et qu'ils pouvaient fournir peu de commentaires sans avoir à se justifier. De plus, les commentaires des candidats ont fait ressortir un autre thème, soit l'impression que certains évaluateurs n'avaient pas l'expertise ou la connaissance de leur domaine de recherche nécessaires pour bien évaluer leur demande. Par exemple :

« Je crois que le nouveau processus d'évaluation par les pairs n'apporte pas grand-chose de plus que l'ancien processus. Le manque d'uniformité dans la cotation, le manque d'interactions entre les évaluateurs ainsi que leur manque de formation et d'expertise sont des problèmes préoccupants (et la combinaison de plusieurs d'entre eux accentue les problèmes). »

Candidat à l'étape 1

La majorité des candidats après la décision à l'étape 1 (78,3 %) n'ont pas communiqué avec les IRSC pour poser des questions sur le processus de sélection (tableau 79). Ceux qui l'avaient fait étaient partagés quant à leur satisfaction à l'égard de l'uniformité, de l'exactitude et du caractère complet des réponses des IRSC (45,7 % satisfaits, 36,6 % insatisfaits) et de la rapidité de la réponse (50,7 % satisfaits, 31,4 % insatisfaits). En revanche, la majorité (73,0 %) s'est dite satisfaite de la courtoisie du personnel des IRSC (tableau 81). Lorsqu'on leur a demandé pourquoi ils avaient communiqué avec les IRSC, les répondants ont dit l'avoir fait pour obtenir des clarifications sur des détails du processus de demande ou d'évaluation. Ils ont également dit avoir communiqué avec eux pour leur faire part de leurs préoccupations sur les commentaires reçus et pour donner leur avis sur les changements apportés à la demande et à l'évaluation.

13.2 Étape 2

Dans l'ensemble, les évaluateurs à l'étape 2 étaient partagés quant à leur satisfaction à l'égard du processus d'évaluation; 51,6 % s'en sont dits satisfaits, et 44,8 %, insatisfaits. Les évaluateurs ont soulevé la nécessité d'accroître la responsabilisation des évaluateurs et la transparence du processus. Ils ont suggéré de revenir aux réunions en personne ou d'en tenir une partie par téléconférence et d'améliorer la formation à l'intention des évaluateurs. Les commentaires ont fait ressortir l'inefficacité des discussions en ligne et l'utilisation non uniforme de l'échelle de sélection. Les PV à l'étape 2 étaient également partagés sur le processus d'évaluation : 45,5 % en étaient satisfaits, et 45,5 %, insatisfaits (tableau 74). Ils ont recommandé une approche en personne pour stimuler la participation des évaluateurs. Lorsqu'ils ont été invités à se prononcer sur la convivialité et l'utilité du processus d'évaluation structurée, 55,0 % des évaluateurs à l'étape 2 ont indiqué qu'il avait facilité le travail d'évaluation, 65,5 %, qu'il constituait une façon utile de fournir des commentaires aux candidats, et 63,2 %, qu'il était intuitif. De plus, 31,4 % ont affirmé que le processus avait facilité le retour d'information aux candidats, tandis que 55,2 % ont dit l'inverse (tableau 75). Les commentaires étaient généralement perçus comme étant incomplets ou brefs, donc inutiles aux candidats qui voudraient améliorer leur demande.

Lorsqu'on leur a demandé ce qu'ils pensaient du processus d'évaluation à l'étape 2, 55,1 % des candidats après la décision à l'étape 2 s'en sont dits insatisfaits (tableau 77). De plus, 58,3 % ne le trouvaient pas juste, et la majorité (61,8 %) ne lui faisait pas confiance (tableau 77). Les réponses aux questions ouvertes ont fait ressortir l'impression que les évaluateurs ne connaissaient pas le domaine de la demande et qu'ils avaient été mal jumelés. Les candidats ont indiqué que les commentaires qu'ils avaient reçus étaient brefs et ne concordaient pas avec les cotes ou les classements. Ils ont également noté des divergences entre les évaluateurs étant donné que leurs classements et leurs cotes présentaient un écart-type important. Par exemple :

« À mon avis, ce système est tout sauf transparent. Les évaluateurs peuvent décider de classer les demandes sans tenir compte des cotes ou des commentaires. De plus, aucun incitatif ne leur est offert pour les encourager à fournir des évaluations de grande qualité. »

Candidat après la décision à l'étape 2

Les candidats ont suggéré de retirer les évaluations de piètre qualité ou de tenir des réunions en personne pour discuter des écarts. Ils ont également proposé d'accroître la transparence ou la clarté du système de cotation afin de mieux comprendre la raison de ces écarts. Par exemple :

« Il faut assurer une transparence totale. Les candidats devraient recevoir les cotes et les classements (avec le dénominateur) de chaque évaluateur, puis une explication mathématique claire sur la façon dont les demandes ont été sélectionnées pour le financement ou pour une discussion selon les classements combinés. »

Candidat après la décision à l'étape 2

Dans l'ensemble, les candidats n'étaient pas en faveur du système de cotation alphabétique et ne comprenaient pas bien l'échelle ou la façon de l'utiliser. Ils ont suggéré de passer à une échelle numérique afin d'améliorer la clarté. Au sujet de l'utilité des commentaires des évaluateurs, certains candidats ont indiqué qu'ils n'étaient pas assez détaillés et qu'ils étaient subjectifs. Les écarts entre les cotes et les classements donnaient également l'impression aux candidats que les commentaires qu'ils avaient reçus étaient inutilisables et que ceux-ci n'indiquaient pas clairement les éléments à améliorer dans leur demande (p. ex. commentaires positifs, mais cotes faibles).

Par ailleurs, 56,1 % des candidats après la décision à l'étape 2 ont dit avoir trouvé le processus d'évaluation utile, tandis que 35,2 % ont dit l'inverse. L'utilité perçue était corrélée à la réussite à l'étape 2, c'est-à-dire que les candidats retenus au terme de l'étape 2 étaient plus susceptibles d'avoir trouvé le processus utile (73,5 %) que les candidats non retenus (35,7 %) [n = 91, p = 0,001; tableau 76]. Invités à se prononcer sur l'utilité du nouveau processus d'évaluation, les candidats ont répondu qu'elle avait diminué en raison du manque d'évaluateurs compétents et de transparence dans les processus de cotation et de classement. Par exemple :

« Je ne suis pas contre l'évaluation structurée en tant que telle. Mais il ne faut pas oublier qu'elle n'élimine pas la nécessité de faire appel à des évaluateurs qui connaissent le domaine ou la valeur de la discussion en personne avec les pairs… Ce manque de responsabilisation est caractéristique d'un système virtuel, comme en témoignent l'incohérence des évaluations, la brièveté des commentaires et l'absence de justifications de certains évaluateurs, qui n'ont pas répondu à leur président virtuel. »

Candidat après la décision à l'étape 2.

Lorsqu'on leur a demandé s'ils avaient communiqué avec les IRSC concernant le processus d'évaluation, la majorité des candidats après la décision à l'étape 2 (87,8 %) ont répondu que non (tableau 80). Ceux qui l'avaient fait étaient partagés quant à leur satisfaction à l'égard de l'uniformité, de l'exactitude et du caractère complet des réponses des IRSC (50,0 % satisfaits, 50,0 % insatisfaits). Cependant, la majorité des candidats se sont dits satisfaits de la rapidité de la réponse (70,0 %) et de la courtoisie du personnel des IRSC (90,0 %) [tableau 81].

13.3 Étape finale de l'évaluation

Tous les évaluateurs à l'EFE (100 %) se sont dits satisfaits de leur partie du processus d'évaluation; toutefois, seulement 28,1 % des candidats après la décision à l'étape 2 étaient satisfaits du processus d'évaluation à l'EFE (tableau 74). La satisfaction des candidats à l'égard de l'EFE était corrélée à leur réussite à l'étape 2; ceux retenus au terme de l'étape 2 étaient plus susceptibles d'être satisfaits (66,0 %) que ceux qui ne l'avaient pas été (7,3 %) [n = 88, p = 0,001; tableau 78]. Lorsqu'ils ont été invités à se prononcer sur le processus d'évaluation, les candidats ont répondu qu'ils n'avaient pas reçu de commentaires des évaluateurs ou qu'il y avait un écart-type important dans leurs classements. Cet écart préoccupait les candidats, car il leur donnait l'impression que les évaluateurs ne comprenaient pas bien le système de cotation ou qu'ils n'avaient pas reçu la formation nécessaire. Les candidats ne comprenaient pas comment ce genre d'écarts entre les évaluateurs était possible si le système était juste. De plus, le fait que certains ne soient pas passés à l'étape suivante malgré un classement élevé a alimenté la confusion à l'égard du système de cotation. Par exemple :

« Il y a une certaine confusion entre les cotes et les classements. Dans ma demande, il semblait n'y avoir aucun lien entre les deux, et aucun commentaire n'a été rédigé pour expliquer pourquoi d'excellentes cotes et observations se sont traduites par des classements très bas. Aucune transparence, donc aucune responsabilisation dans ce processus d'attribution de millions de dollars au financement de la recherche. »

Candidat après la décision à l'étape 2

Dans les réponses aux questions ouvertes, les candidats ont offert quelques suggestions, comme améliorer le jumelage de l'expertise des évaluateurs et des candidats, comme ces derniers avaient l'impression qu'il était difficile de trouver des évaluateurs compétents pour commenter leur demande. Par exemple :

« Les candidats ont besoin d'avoir la certitude que les évaluateurs ont l'expertise nécessaire pour évaluer leur demande, ce qui n'est pas le cas actuellement. »

Candidat après la décision à l'étape 2

De plus, les candidats auraient aimé qu'il y ait une plus grande transparence sur les personnes ayant évalué leur demande. Certains ignoraient de qui provenaient leurs cotes et leurs évaluations; par conséquent, ils ne savaient pas comment interpréter les résultats. Des candidats ont également suggéré la mise en place d'un processus hybride (en ligne et en personne), soulignant que le nouveau processus d'évaluation avait accentué les écarts et diminué la qualité et la responsabilisation des évaluateurs, ce qui avait donné lieu à des cotes divergentes et à des commentaires inadéquats.

14. Expérience des évaluateurs avec le processus de cotation et de classement

Les évaluateurs devaient coter les demandes qui leur avaient été assignées selon chacun des critères de sélection. À partir de ces cotes, les demandes ont été classées par ordre décroissant. Les évaluateurs devaient alors valider le classement et déplacer, si nécessaire, les demandes vers le haut ou le bas de la liste. La présente section donne un aperçu de l'expérience et de la rétroaction des évaluateurs relativement au processus de cotation et de classement. Les résultats sont présentés selon l'étape (étape 1 et étape 2). Les pourcentages indiqués dans la section ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1 et des 90 évaluateurs à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 82 à 86).

14.1 Étape 1

De façon générale, les évaluateurs à l'étape 1 (83,0 %) étaient d'avis que les cotes avaient permis de générer une liste de classement allant de la meilleure demande à la pire (tableau 82), et 79,8 % ont dit avoir dû départager des demandes ex æquo (tableau 81). Toutefois, 45,9 % des évaluateurs ont affirmé avoir eu de la difficulté à coter ou à classer les demandes (tableau 84). La plupart des évaluateurs ont dû briser l'égalité à une ou deux reprises; cependant, ils ont indiqué que cela avait causé un effet domino, un bris d'égalité en ayant entraîné un autre. Les principales difficultés liées aux bris d'égalité sont les suivantes : comprendre le but du bris d'égalité, trancher entre les meilleures demandes et s'assurer que les cotes et le classement concordent avec ceux des autres évaluateurs. Par exemple :

« Peut-être qu'il faudrait expliquer d'emblée que l'évaluateur devra départager des demandes ex æquo pour effectuer le classement. Je croyais que c'était le but du vote, mais mon président a dû me demander de briser l'égalité parce que je ne l'avais pas fait. »

Évaluateur à l'étape 1

Certains évaluateurs ont dit craindre que le processus, à cette étape, défavorise les chercheurs en début de carrière, surtout en raison du critère « Leadership ». Ils ont suggéré de normaliser les cotes et ont dit avoir passé beaucoup de temps à modifier les cotes parce qu'ils croyaient que le classement était la seule chose qui importait.

14.2 Étape 2

De façon générale, les évaluateurs à l'étape 2 (86,1 %) étaient d'accord pour dire que les cotes avaient permis de générer une liste de classement allant de la meilleure demande à la pire (tableau 82). La majorité d'entre eux (71,0 %) trouvaient que le processus de classement des demandes était intuitif, et 77,9 % estimaient qu'il était approprié d'ajuster le classement des demandes avant de soumettre leurs décisions (tableau 85). La majorité (80,2 %) des évaluateurs étaient d'avis que les cotes choisies correspondaient aux commentaires qu'ils avaient fournis dans chaque section, 75,6 %, qu'il s'était avéré utile d'avoir une plus grande gradation au sommet de l'échelle pour pouvoir départager des demandes hautement concurrentielles, et 67,4 %, que l'évaluation de chaque critère de sélection avait été un précieux outil pour les aider à classer leurs demandes. Toutefois, seulement 47,7 % ont dit avoir été en mesure de coter les demandes avec efficacité pour tous les stades de carrière, et 54,7 % ont dit avoir pu faire de même pour le classement (tableau 85). Une difficulté commune est ressortie des réponses des évaluateurs aux questions ouvertes, à savoir que les différences entre les demandes se situant au sommet de l'échelle de sélection étaient minimes, ce qui compliquait la corrélation entre les cotes et les classements lorsque les cotes étaient ajustées. Les évaluateurs avaient peur que la modification des cotes entraîne des différences importantes dans les classements et ont admis avoir ajusté les cotes de sorte à classer leur groupe de demandes selon leurs forces perçues. Ils ont également dit avoir eu du mal à évaluer des demandes touchant différents champs de recherche (p. ex. recherche fondamentale et recherche sur les systèmes de santé) et à classer les demandes des chercheurs en début de carrière. Lorsqu'ils ont été interrogés sur le processus de bris d'égalité, 31,4 % des évaluateurs à l'étape 2 ont mentionné qu'ils avaient dû départager des demandes ex æquo (tableau 83). En moyenne, les évaluateurs ont dû briser une ou deux égalités, et la plupart comprenaient le but (74,5 %) et le processus (68,6 %) du bris d'égalité, et la plupart trouvaient ce processus facile à suivre (65,2 %) [tableau 86]. Ceux qui ont manifesté leur désaccord ont répondu qu'ils ne voulaient pas être obligés de départager des demandes et qu'ils préfèreraient utiliser une autre méthode pour combler les écarts importants.

15. Expérience avec la lecture des autres évaluations

On a permis aux évaluateurs de lire les évaluations préliminaires de leurs pairs afin qu'ils aient un cadre de référence pour leurs propres évaluations et pour leur permettre de cerner tout écart en l'absence de réunions de comité en personne. La présente section résume l'expérience des évaluateurs et des PV avec la lecture des autres évaluations. Les résultats sont présentés selon l'étape (étape 1, étape 2 ou EFE). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2 et des 7 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 87 à 94).

15.1 Étape 1

Les évaluateurs à l'étape 1 (89,0 %) et les PV à l'étape 1 (100 %) ont dit avoir lu les évaluations préliminaires des autres évaluateurs (tableau 87). Les PV ont également indiqué avoir lu les demandes attribuées à leurs évaluateurs (81,8 %) [tableau 88]. Les principales raisons invoquées par ceux qui avaient lu les autres évaluations sont les suivantes : repérer les écarts entre les cotes attribuées par les évaluateurs (89,2 %) et se préparer en vue des discussions en ligne (80,4 %) [tableau 89]. De plus, 68,8 % des évaluateurs à l'étape 1 ont mentionné que la lecture des autres évaluations avait influencé leur propre évaluation d'au moins une demande (tableau 90). Par ailleurs, la principale raison invoquée par les évaluateurs qui n'avaient pas lu les autres évaluations préliminaires est qu'ils voulaient éviter d'être influencés par les autres évaluateurs (41,7 %) [tableau 91]. Soulignons enfin que les évaluateurs ont dit n'avoir lu les autres évaluations qu'en cas d'écarts manifestes.

15.2 Étape 2

Les évaluateurs à l'étape 2 (92,0 %) et les PV à l'étape 2 (100 %) ont dit avoir lu les évaluations préliminaires des autres évaluateurs (tableau 87). Les PV ont également indiqué avoir lu les demandes attribuées à leurs évaluateurs (90,9 %) [tableau 88]. Les principales raisons invoquées pour expliquer la lecture des autres évaluations sont les suivantes : repérer les écarts entre les cotes attribuées par les évaluateurs (87,0 %) et se préparer en vue des discussions en ligne (79,2 %) [tableau 89]. Dans les réponses aux questions ouvertes, les répondants ont dit que selon eux, c'était leur responsabilité de lire chaque évaluation pour les aider à intégrer des opinions d'experts, à comprendre les écarts et à stimuler la discussion. Ils ont par ailleurs indiqué que d'après leur expérience, les évaluations étaient inutiles si elles n'étaient pas remises à temps, ou que certaines étaient trop brèves ou mal écrites pour être constructives. Ils ont aussi répondu qu'il s'agissait d'un processus utile pour déterminer si les autres évaluateurs avaient une compréhension semblable de la demande et pour voir s'ils percevaient les mêmes forces et faiblesses. En outre, les évaluateurs considéraient comme importante la lecture des autres évaluations pour se préparer à la discussion et intégrer l'opinion et l'expertise des autres évaluateurs, surtout lorsque la demande évaluée traitait d'un domaine qu'ils connaissaient peu. Quant aux évaluateurs à l'étape 2 qui n'avaient pas lu les autres évaluations préliminaires, ils avaient choisi de ne pas le faire pour éviter d'être influencés par leurs pairs (100 %) [tableau 91]. Cependant, la majorité des évaluateurs ont indiqué que la lecture des autres évaluations s'était avérée utile (88,1 %) et avait influencé leur évaluation d'au moins une demande (75,0 %) [tableau 90].

15.3 Étape finale de l'évaluation

Tous les évaluateurs à l'EFE ont indiqué avoir lu les commentaires des autres évaluateurs à l'EFE (100 %) [tableau 87], et 86,0 % ont dit avoir consulté les demandes de subvention en plus des évaluations de l'étape 2 (tableau 86). La majorité des évaluateurs estimaient que la lecture de la demande et des évaluations était utile pour l'EFE (83,3 %), et 66,9 %, qu'elle était nécessaire pour l'évaluation de l'étape finale (tableau 87). De plus, 71,0 % des évaluateurs ont dit avoir mis, au total, entre une et deux heures pour lire les autres évaluations (tableau 92). La lecture des commentaires ou des décisions de catégorisation des autres évaluateurs a influencé 57,1 % des décisions des évaluateurs (tableau 93) « souvent » ou « occasionnellement » (tableau 94). Enfin, la plupart des évaluateurs (85,7 %) jugeaient que les commentaires des autres évaluateurs à l'EFE les avaient aidés à se préparer à la réunion en personne.

16. Qualité de l'évaluation

La présente section propose un survol de l'expérience et de la rétroaction des répondants relativement à la qualité des évaluations. Pour être de grande qualité, les évaluations doivent décrire clairement les forces et les faiblesses de la demande, fournir des justifications constructives et respectueuses pour chaque cote attribuée et inspirer confiance en la capacité de l'évaluateur à évaluer équitablement la demande. Les résultats sont présentés selon l'étape (étape 1, étape 2 ou EFE). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 380 candidats après la décision à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2, des 7 évaluateurs à l'EFE et des 93 candidats après la décision à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 95 à 102).

16.1 Étape 1

La moitié des évaluateurs à l'étape 1 (50,8 %) et 72,7 % des PV à l'étape 1 ont indiqué que la qualité des évaluations était problématique (tableau 95). En moyenne, 21,0 % des évaluations ont été jugées insatisfaisantes par les PV. Les principaux problèmes observés par ceux-ci étaient que les commentaires n'étaient pas assez détaillés pour expliquer les cotes (68,2 %) et qu'ils ne concordaient pas avec les critères de sélection (59,1 %) [tableau 96]. De plus, 56,3 % des PV ont indiqué que les problèmes de qualité signalés n'avaient pas été corrigés comme il se devait par les évaluateurs (tableau 95). Lorsqu'on a demandé aux évaluateurs à l'étape 1 de se prononcer sur la qualité des évaluations préliminaires, plus de 90 % ont répondu qu'aucun renseignement personnel sur l'évaluateur n'était divulgué et que les commentaires étaient rédigés avec respect et professionnalisme. Les évaluateurs étaient toutefois moins susceptibles de trouver que les justifications écrites concordaient avec les cotes respectives (63,0 %), que les commentaires faisaient référence à des critères de sélection précis (65,2 %), que les commentaires étaient clairs et concis (68,8 %), que les commentaires étaient objectifs et justes (62,5 %), que les commentaires sur le candidat, l'établissement de recherche ou le domaine de recherche étaient appropriés (72,4 %) et que les commentaires faisaient référence à des renseignements figurant dans la demande ou dans le CVC (75,5 %). Cela dit, 47,9 % estimaient que les cotes des autres évaluateurs étaient appuyées par des commentaires suffisamment détaillés (tableau 97). Dans les réponses aux questions ouvertes, les évaluateurs et les présidents virtuels ont soulevé la grande variabilité dans les classements, la justification des cotes et les commentaires des évaluateurs. Les répondants ont également souligné que la piètre qualité des évaluations était attribuable au manque de responsabilisation des évaluateurs. Ils ont laissé entendre que les évaluateurs ne se sentaient pas obligés de fournir une justification ou une réponse détaillée puisqu'ils n'avaient pas à défendre leur point de vue en personne; par conséquent, ils ont recommandé de revenir aux réunions en personne. Par exemple :

« J'aime bien le processus, mais je trouve tout de même préoccupant que certains évaluateurs publient des évaluations [qui manquent de contenu], mais ne participent pas au processus d'évaluation en ligne pour justifier leurs cotes alors que des écarts ont été observés, et ce, même si je leur ai demandé directement des précisions. Y aurait-il moyen de leur envoyer un courriel pour leur demander de se connecter pour l'évaluation? »

Évaluateur à l'étape 1

Après la présentation des conclusions de l'étape 1, les candidats après la décision à l'étape 1 ont été invités à dire ce qu'ils pensaient de la qualité des évaluations reçues. La majorité (70,0 %) d'entre eux se sont dits insatisfaits de la qualité globale des évaluations (tableau 98), et la satisfaction à cet égard était corrélée à la réussite à l'étape 1, c'est-à-dire que les candidats retenus pour l'étape 2 étaient plus susceptibles d'être satisfaits (51,7 %) que les candidats non retenus (11,3 %) [n = 363, p < 0,0001; tableau 100]. En outre, 35,8 % des candidats après la décision ont indiqué que les justifications écrites concordaient avec les cotes respectives, 25,9 %, que les cotes étaient appuyées par des commentaires suffisamment détaillés, 33,3 %, que les commentaires faisaient référence à des critères de sélection précis, 46,7 %, que les commentaires étaient clairs et concis, 25,8 %, que les commentaires étaient objectifs et justes, 30,3 %, que les commentaires sur le candidat, l'établissement de recherche ou le domaine de recherche étaient appropriés, 48,9 %, que les commentaires faisaient référence à des renseignements figurant dans la demande ou dans le CVC, 54,4 %, que les commentaires étaient rédigés avec respect et professionnalisme, et 24,4 %, que les évaluations contenaient des renseignements utiles qui les aideraient à mener leur recherche ou à affiner leur demande pour un concours futur (tableau 97). Sur une note plus positive, 89,1 % des candidats s'accordaient pour dire qu'aucun renseignement personnel sur l'évaluateur n'était divulgué dans les commentaires. En revanche, la majorité des candidats après la décision à l'étape 1 se sont dits insatisfaits de l'uniformité (74,4 %) et de la qualité (63,6 %) des conclusions de l'évaluation par les pairs (tableau 99). Les réponses aux questions ouvertes indiquent que les candidats avaient l'impression que les évaluateurs n'avaient peut-être pas été des experts de contenu et qu'ils avaient donc possiblement introduit des erreurs factuelles. Les répondants ont également souligné que certaines évaluations étaient trop brèves, que les commentaires étaient inutiles et que certains évaluateurs manquaient d'expertise et n'avaient peut-être pas lu la demande en détail. Par exemple :

« Il est clair que dans le processus d'évaluation, personne n'avait d'expertise dans mon domaine. Dans une évaluation, on me l'a mentionné explicitement, et dans une autre, l'évaluateur avait appliqué à mon domaine le critère sur la productivité de son domaine. »

Candidat après la décision à l'étape 1

Lorsqu'on leur a demandé de nommer les indicateurs importants pour déterminer la qualité de l'évaluation, plus de 70 % des évaluateurs à l'étape 1 et des PV à l'étape 1 ont nommé les suivants : la cohérence entre les cotes et les commentaires; une justification adéquate des forces et des faiblesses soulevées; la justesse et la pertinence des commentaires; la cohérence entre les commentaires et des critères de sélection précis; le caractère constructif des commentaires (visant à aider les candidats à améliorer leurs travaux ou d'éventuelles demandes); la clarté et la compréhensibilité des commentaires; et l'utilisation d'un langage respectueux et professionnel (tableau 101). En revanche, moins de 70,0 % des candidats après la décision à l'étape 1 trouvaient ces indicateurs importants pour déterminer la qualité de l'évaluation. Plus précisément : 52,2 % trouvaient importante la cohérence entre les cotes et les commentaires; 51,5 % trouvaient importante la justification adéquate des forces et des faiblesses soulevées; 51,7 % trouvaient importante la cohérence entre les commentaires et des critères de sélection précis; 49,4 % trouvaient importantes la justesse et la pertinence des commentaires; 45,7 % trouvaient important le caractère constructif des commentaires (visant à aider les candidats à améliorer leurs travaux ou d'éventuelles demandes); et 64,4 % trouvaient importantes la clarté et la compréhensibilité des commentaires. Le seul indicateur qui faisait exception était l'utilisation d'un langage respectueux et professionnel, jugée importante par 74,6 % des candidats (tableau 101). Dans les questions ouvertes, des répondants ont suggéré l'ajout d'un critère pour déterminer la qualité d'une évaluation, soit la formulation de commentaires constructifs par des évaluateurs experts du contenu. Les répondants ont également recommandé d'obliger les évaluateurs à participer et à formuler des commentaires, ce qui devrait les amener à mieux justifier leurs cotes. De plus, les répondants ont réclamé une méthode efficace pour améliorer le jumelage de l'expertise et des demandes, et ils ont soulevé la nécessité d'accroître l'objectivité des évaluateurs et d'instaurer une mesure fiable pour combler les écarts afin d'assurer la fiabilité interévaluateurs. Enfin, les réunions en personne étaient jugées indispensables à la qualité des évaluations. Par exemple :

« L'uniformité des évaluations et des cotes faisait souvent défaut. Je crois qu'une discussion en personne entre les évaluateurs aurait grandement amélioré la situation. »

Candidat après la décision à l'étape 1

16.2 Étape 2

Un peu comme pour les réponses de l'étape 1, 55,8 % des évaluateurs à l'étape 2 et 72,7 % des PV à l'étape 2 ont indiqué que la qualité des évaluations était problématique (tableau 95). Les évaluateurs et les PV ont jugé insatisfaisantes, respectivement, environ 25,0 % et 21,0 % des évaluations. De façon générale, plus de 70 % des évaluateurs et des PV ont répondu que les évaluations à l'étape 2 présentaient une description suffisamment détaillée des forces et des faiblesses, contenaient des observations centrées sur les critères de sélection, étaient exemptes d'erreur factuelle, contenaient des observations claires, contenaient des commentaires respectueux, offraient un juste équilibre entre les forces et les faiblesses permettant d'étayer les cotes attribuées, ne faisaient aucune référence inappropriée au candidat, à son établissement de recherche ni à son domaine de recherche et ne divulguaient aucun renseignement personnel sur l'évaluateur (tableau 97). Après la présentation des conclusions de l'EFE, les candidats après la décision à l'étape 2 ont été invités à dire ce qu'ils pensaient de la qualité des évaluations reçues. Ils ont été 41,8 % à indiquer que les évaluations étaient cohérentes puisque les justifications écrites (forces et faiblesses) concordaient avec les cotes respectives, et 25,4 % à reconnaître que les évaluations contenaient des renseignements utiles qui les aideraient à affiner leur demande pour un concours futur (tableau 99). Lorsqu'on leur a demandé de nommer les indicateurs importants pour déterminer la qualité de l'évaluation, plus de 70 % des évaluateurs, des PV et des candidats après la décision ont répondu une description suffisamment détaillée des forces et des faiblesses; un juste équilibre entre les forces et les faiblesses permettant d'étayer les cotes attribuées; l'absence d'erreur factuelle; des observations claires; des commentaires respectueux; et l'absence de référence inappropriée au candidat, à son établissement de recherche et à son domaine de recherche. Enfin, 66,7 % des candidats considéraient comme importante l'absence de renseignements personnels sur l'évaluateur, et 63,7 % des PV jugeaient important que l'évaluation contienne des observations centrées sur les critères de sélection (tableau 101).

16.3 Étape finale de l'évaluation

La majorité des évaluateurs à l'EFE (85,7 %) ont indiqué que la qualité des évaluations était problématique (tableau 95). Seulement 14,3 % des évaluateurs à l'EFE trouvaient que les évaluateurs à l'étape 2 avaient fourni des commentaires clairs et suffisants pour appuyer leurs cotes (tableau 102). Par exemple :

« Si certaines évaluations étaient excellentes, d'autres étaient très brèves, ce qui rendait les justifications difficiles à comprendre. De plus, certaines évaluations ne concordaient pas avec les cotes attribuées. »

Évaluateur à l'EFE

Après la présentation des conclusions de l'EFE, les candidats après la décision à l'étape 2 ont été invités à dire ce qu'ils pensaient de la qualité des évaluations reçues. Une minorité (36,0 %) d'entre eux se sont dits insatisfaits de la qualité globale des évaluations reçues (tableau 98), et la satisfaction à cet égard était corrélée à la réussite à l'étape 2, c'est-à-dire que les candidats financés étaient plus susceptibles d'être satisfaits (59,5 %) que les candidats non financés (12,5 %) [n = 61, p < 0,001; tableau 100]. Lorsqu'on leur a demandé d'évaluer des aspects précis, moins de 70 % des candidats après la décision ont répondu que les évaluations présentaient une description suffisamment détaillée des forces et des faiblesses (47,7 %), offraient un juste équilibre entre les forces et les faiblesses permettant d'étayer les cotes attribuées (45,2 %), contenaient des observations centrées sur les critères de sélection (48,8 %), étaient exemptes d'erreur factuelle (42,9 %), contenaient des observations claires (52,4 %), contenaient des commentaires respectueux (61,9 %) et ne faisaient aucune référence inappropriée au candidat, à son établissement de recherche ni à son domaine de recherche (63,1 %). Ils étaient toutefois 71,5 % à affirmer que les évaluations n'avaient pas divulgué de renseignements personnels sur l'évaluateur, et ils estimaient qu'il ne s'agissait pas d'un problème de qualité important concernant les évaluations reçues (tableau 97). Par ailleurs, les candidats après la décision à l'étape 2 étaient partagés (41,5 % satisfaits, 52,8 % insatisfaits) quant à la qualité des conclusions de l'évaluation par les pairs (tableau 98). Les commentaires généraux faisaient état, notamment, d'incohérences entre les cotes et les classements, comme la plupart des candidats avaient reçu des cotes très élevées sans aucune justification. Les candidats ont également souligné que les évaluateurs avaient erré dans certains de leurs commentaires, ce qui leur a donné l'impression que ceux-ci ne connaissaient pas suffisamment le domaine.

17. Expérience avec les discussions en ligne

La discussion en ligne visait à permettre aux évaluateurs d'ajuster leurs évaluations et de discuter des divergences entre leurs idées et celles des autres en l'absence d'une réunion en personne du comité. La présente section brosse un portrait de l'expérience et de la rétroaction des évaluateurs et des PV relativement à l'outil de discussion en ligne et à la participation aux discussions en ligne. Les résultats sont présentés selon l'étape (étape 1 ou étape 2). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 130 candidats à l'étape 2, des 90 évaluateurs à l'étape 2 et des 11 PV à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 103 à 109).

17.1 Étape 1

La majorité des évaluateurs à l'étape 1 avaient consulté des discussions en ligne (98,1 %) et participé à une discussion en ligne (95,3 %) [tableau 103]. En moyenne, ils avaient consulté la discussion en ligne de huit demandes et participé à la discussion en ligne de six demandes. Les raisons les plus courantes de participer étaient pour comprendre l'écart entre leurs cotes et celles d'un autre évaluateur (63,5 %) et répondre à l'invitation du président virtuel (57,0 %) [tableau 104]. Dans les questions ouvertes, les évaluateurs ont dit avoir participé à la discussion parce qu'ils estimaient qu'il leur incombait de le faire. Ils ont également mentionné avoir participé à une discussion en ligne afin d'obtenir des clarifications d'autres évaluateurs, surtout des experts de contenu. Toutefois, ils estimaient que la participation était seulement utile dans la mesure où les autres évaluateurs prenaient aussi part à la discussion et contribuaient à enrichir le débat, ce qui, d'après les commentaires, n'était pas toujours le cas. Par exemple :

« Il est absolument essentiel d'approfondir les discussions, surtout en cas de divergences. Les présidents virtuels ont une grande responsabilité : veiller à ce que les évaluateurs s'expliquent. J'ai bien aimé les discussions en général, mais j'ai remarqué que certains évaluateurs se faisaient trop discrets. J'estime que s'ils ne participent pas, ils devraient être exclus du collège des évaluateurs. »

Évaluateur à l'étape 1

Les évaluateurs trouvaient important d'avoir la possibilité de discuter pour connaître la réflexion des autres, encourager les échanges et obtenir des précisions sur le budget. Lorsqu'on leur a demandé quand une discussion devrait avoir lieu et à quelle fréquence, les répondants ont indiqué que les discussions en ligne devraient être obligatoires pour tous les évaluateurs et pour toutes les demandes afin de combler les écarts dans les cotes, les commentaires et les classements. Les raisons les plus courantes de ne pas participer étaient le manque de temps (50,0 %) et l'impression que la participation n'était pas nécessaire (50,0 %) [tableau 105]. Ceux qui n'avaient pas participé trouvaient que la période de discussion était insuffisante ou ne savaient pas comment accéder à la fonctionnalité de discussion. La majorité des évaluateurs à l'étape 1 ont indiqué que leur participation à une discussion en ligne les avait aidés à faire leur évaluation (70,0 %), qu'elle avait influencé leur évaluation de la demande (69,7 %), qu'elle les avait amenés à modifier au moins une évaluation (79,0 %) et que les autres évaluateurs avaient tenu compte des commentaires qu'ils avaient émis pendant la discussion en ligne (58,6 %) [tableau 106]. De même, 73,0 % des PV à l'étape 1 ont dit avoir trouvé utile la fonctionnalité de discussion en ligne (tableau 107). La plupart des répondants ont indiqué dans les réponses ouvertes que la méthode de discussion dirigée la plus efficace était l'évaluation en personne. Des répondants ont mentionné que la discussion en ligne était inutile en raison du manque de participation des évaluateurs et des présidents virtuels et ont suggéré d'obliger les évaluateurs à y participer et à contribuer au processus. Lorsqu'on a demandé aux PV de se prononcer sur les discussions en ligne, 55,0 % d'entre eux ont dit que leurs évaluateurs y avaient participé activement (tableau 108). En moyenne, les PV ont amorcé 14 discussions, et environ 39 % de leurs évaluateurs ont eu besoin d'être incités à prendre part à une discussion en ligne. Ils ont en outre souligné que la discussion en ligne était un aspect important du processus d'évaluation, mais qu'ils ne la trouvaient pas conviviale, déplorant le manque d'interaction des participants, notamment l'absence de réponses en temps réel.

17.2 Étape 2

La majorité des évaluateurs à l'étape 2 avaient consulté des discussions en ligne (98,8 %) et participé à une discussion en ligne (100 %) [tableau 103]. En moyenne, ils avaient consulté la discussion en ligne de sept demandes et participé à la discussion en ligne de six demandes. La raison la plus courante de participer était pour comprendre l'écart entre leurs cotes et celles d'un autre évaluateur (82,2 %) [tableau 104]. En revanche, les raisons les plus courantes de ne pas participer étaient le manque de participation des autres évaluateurs (100 %) et l'absence d'une invitation à participer par le PV (100 %) [tableau 105]. La majorité des évaluateurs à l'étape 2 ont indiqué que leur participation à une discussion en ligne les avait aidés à faire leur évaluation (68,0 %), qu'elle avait influencé leur évaluation de la demande (74,7 %), qu'elle les avait amenés à modifier au moins une évaluation (80,8 %) et que les autres évaluateurs avaient tenu compte des commentaires qu'ils avaient émis pendant la discussion en ligne (62,7 %) [tableau 106]. Comme à l'étape 1, les évaluateurs à l'étape 2 ont soulevé la nécessité d'obliger les évaluateurs à participer à la discussion en ligne, mais ont mentionné qu'ils avaient eu du mal à composer avec son aspect asynchrone.

Lorsqu'on a interrogé les PV à l'étape 2 sur la fonctionnalité de discussion en ligne, 81,8 % ont dit l'avoir trouvée utile (tableau 107). De plus, les PV ont unanimement répondu que la discussion en ligne était un aspect important du processus d'évaluation à l'étape 2 et qu'elle devrait être obligatoire pour les évaluateurs ayant des opinions divergentes au sujet d'une même demande. La majorité (80,0 %) des PV ont en outre affirmé que l'outil de discussion en ligne était utile pour étudier le budget d'une demande et présenter une recommandation convergente aux IRSC (tableau 107). En moyenne, les PV ont amorcé 16 discussions, et environ 35 % de leurs évaluateurs ont eu besoin d'être incités à prendre part à une discussion en ligne. La majorité (82,0 %) a indiqué que les évaluateurs avaient participé activement aux discussions en ligne (tableau 108). Cela dit, les réponses aux questions ouvertes sur l'outil de discussion en ligne faisaient état de difficultés relatives aux délais, à la lenteur du système et à l'ajustement des cotes. Les PV ont également soulevé le manque de participation des évaluateurs et ont fourni des suggestions pour remédier à ce problème, comme le recours à la vidéoconférence ou le rétablissement des évaluations en personne.

18. Rétroaction sur les présidents virtuels

La présente section résume le point de vue des répondants sur le rôle des présidents virtuels. Leur rôle consistait à confirmer l'assignation des demandes aux évaluateurs, à veiller à ce que les évaluations présentées soient de bonne qualité, à signaler les demandes devant faire l'objet d'une discussion par les évaluateurs, à surveiller ou à susciter les discussions en ligne, et à communiquer avec le personnel des IRSC, au besoin. Les résultats sont présentés selon l'étape (étape 1 et étape 2), et les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2 et des 7 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 110 à 115).

18.1 Étape 1

La plupart des évaluateurs à l'étape 1 ont trouvé la participation de leur PV appropriée (72,5 %) et utile (67,9 %), et estimaient qu'elle avait permis la tenue des discussions en ligne nécessaires (77,2 %) [tableau 110]. Lorsqu'on a demandé aux répondants de proposer des améliorations, ils ont suggéré que les présidents virtuels puissent exclure les évaluateurs incompétents ou ceux qui ne participent pas. Les évaluateurs ne comprenaient pas trop pourquoi les PV voulaient qu'ils atteignent un consensus sur les classements et le budget, parce qu'ils n'étaient pas certains qu'un consensus soit requis. Par ailleurs, ils ont mentionné que la qualité des PV était variable, soulignant que si la plupart avaient réussi à amorcer des discussions, d'autres n'en avaient animé aucune. Par exemple :

« C'était très variable – certains présidents travaillaient vraiment dur pour amorcer la discussion, alors que d'autres, non. »

Évaluateur à l'étape 1

Lorsqu'on les a interrogés sur leur expérience, 59,0 % des PV à l'étape 1 ont dit avoir été en mesure de jumeler la bonne expertise aux demandes (tableau 111). Certains ont dit qu'ils ignoraient qu'ils pouvaient le faire, mais auraient aimé pouvoir nommer des évaluateurs ayant une expertise en particulier lorsqu'ils en avaient besoin. Les PV ont également souligné qu'il y avait peu d'évaluateurs qualifiés, mais qu'à leur avis, ce n'était pas si problématique à l'étape 1 en raison des critères de sélection. Par ailleurs, la majorité des PV ont indiqué que leur participation avait permis la tenue des discussions en ligne nécessaires (81,8 %) [tableau 112] et qu'ils avaient reçu des questions des évaluateurs sur le nouveau processus d'évaluation (77,3 %) [tableau 113]. Les PV ont mentionné que la plupart des questions portaient sur l'outil de discussion en ligne (p. ex. quand l'utiliser, dans quelle mesure il faut discuter d'une demande et quelle est la période de discussions), et que les évaluateurs leur ont demandé d'éclaircir les processus de classement et de cotation. En outre, la majorité des PV ont dit avoir trouvé utile l'information fournie par les IRSC pour déterminer quelles demandes devraient faire l'objet d'une discussion (63,6 %) [tableau 112], et 72,7 % se sont dits satisfaits de leur rôle (tableau 115). Dans les réponses aux questions ouvertes, les PV ont suggéré d'améliorer le système de notification de sorte qu'il fournisse, entre autres, plus de mises à jour, par exemple quand des évaluateurs publient, discutent ou modifient des cotes ou des classements. Ils ont également suggéré d'améliorer la visibilité des classements et des cotes dans le tableur des IRSC, et ils ont demandé d'avoir accès à l'adresse courriel des évaluateurs pour pouvoir leur écrire afin de les inciter à participer aux discussions en ligne ou à discuter en temps réel.

18.1 Étape 2

De façon générale, les évaluateurs à l'étape 2 ont trouvé la participation de leur PV appropriée (74,8 %) et utile (72,4 %), et estimaient qu'elle avait permis la tenue des discussions en ligne nécessaires (67,5 %) et encouragé la discussion entre les évaluateurs (84,3 %) [tableau 110]. Par ailleurs, lorsqu'on les a interrogés sur leur expérience, la majorité des PV à l'étape 2 ont dit qu'ils avaient été en mesure de jumeler la bonne expertise aux demandes (72,7 %) [tableau 111], que leur participation avait permis la tenue des discussions en ligne nécessaires (91,0 %) [tableau 112] et qu'ils avaient reçu des questions des évaluateurs sur le nouveau processus d'évaluation (63,6 %) [tableau 113]. Dans l'ensemble, les PV ont dit avoir trouvé utile l'information fournie par les IRSC pour déterminer quelles demandes devraient faire l'objet d'une discussion (63,7 %) [tableau 114] et se sont dits satisfaits de leur rôle (72,8 %) [tableau 114].

19. Charge de travail perçue

Le nouveau processus d'évaluation vise notamment à réduire le fardeau imposé aux évaluateurs et la quantité de travail nécessaire pour mener les évaluations. La présente section résume la perception que les évaluateurs et les PV ont de leur charge de travail. Les pourcentages indiqués dans cette section ont été calculés en fonction du nombre de réponses valides des 249 évaluateurs à l'étape 1, des 22 PV à l'étape 1, des 90 évaluateurs à l'étape 2, des 11 PV à l'étape 2 et des 7 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 116 à 122).

19.1 Étape 1

De façon générale, les évaluateurs à l'étape 1 ont indiqué que leur charge de travail était « tout à fait appropriée » (38,6 %) ou « de gérable à un peu lourde » (33,5 %) [tableau 116]. Les évaluateurs ont en moyenne reçu 10 demandes. Par rapport au dernier concours du POSF, 68,0 % des évaluateurs ont indiqué que leur charge de travail était inférieure, 14,4 %, qu'elle était équivalente, et 14,4 %, qu'elle était supérieure. Par rapport au concours Fondation de 2014, 33,3 % des évaluateurs ont indiqué que leur charge de travail était inférieure, 42,9 %, qu'elle était équivalente, et 19,1 %, qu'elle était supérieure (tableau 117). Plus précisément, lorsqu'on leur a demandé de comparer la charge de travail associée à chaque activité d'évaluation à celle du concours du POSF, 85,4 % des évaluateurs ont dit que la lecture d'une demande représentait moins de travail, 50,0 %, que la recherche d'autres renseignements liés à une demande représentait moins de travail, et 74,2 %, que la rédaction de l'évaluation d'une demande représentait moins de travail. Par rapport au concours Fondation de 2014, la majorité des évaluateurs ont indiqué que la quantité de travail associée à la lecture d'une demande (66,3 %), à la recherche d'autres renseignements (66,3 %) et à la rédaction de l'évaluation d'une demande (68,7 %) était équivalente (tableau 118). En moyenne, les évaluateurs à l'étape 1 ont mis une heure et demie à lire une seule demande, une heure à chercher d'autres renseignements, une heure à rédiger l'évaluation d'une seule demande, une heure et demie à lire d'autres évaluations, une heure et demie à participer à des discussions en ligne et une heure et demie à classer les demandes qui leur avaient été attribuées (tableau 119). Les réponses aux questions ouvertes indiquaient que les évaluateurs avaient lu les demandes assez rapidement, mais qu'ils avaient dû accorder un certain temps à la relecture et à la recherche d'autres renseignements (citations, indice h, publications, etc.). De plus, les évaluateurs devaient consacrer plus de temps à la recherche d'autres renseignements lorsqu'ils ne connaissaient pas bien les documents et le domaine. Ils ont également dit avoir mis peu de temps à rédiger les évaluations, comme les limites de caractères les contraignaient à formuler de courts commentaires, mais ils se sont dits préoccupés par la qualité de leurs évaluations. Par ailleurs, ils ont mentionné que la lecture des évaluations de leurs pairs ne leur avait pas pris beaucoup de temps et leur avait surtout permis de comparer leurs cotes. Les évaluateurs ont en outre indiqué que le recours aux discussions en ligne avait été variable et que les demandes n'avaient pas toutes fait l'objet d'une discussion, ce qui a influencé le temps consacré aux discussions en ligne. Ils ont également dit que le temps consacré au classement avait varié en fonction du nombre de demandes ex æquo à départager et de la façon dont les bris d'égalité avaient été effectués.

La majorité des PV à l'étape 1 (86,0 %) ont indiqué que leur charge de travail était gérable (tableau 120) et, que la quantité de demandes qui leur avaient été attribuées était acceptable (95,5 %) [tableau 121]. Comparativement au dernier concours pour lequel ils avaient agi comme président, 14,4 % des PV ont dit que leur charge de travail était supérieure, 47,6 %, qu'elle était équivalente, et 33,3 %, qu'elle était inférieure (tableau 121). Les PV à l'étape 1 ont en moyenne reçu 27 demandes. Ils ont cependant précisé que le nombre idéal serait de 25 demandes. En moyenne, ils ont mis deux heures à confirmer l'attribution des demandes aux évaluateurs, quatre heures à lire les demandes assignées à leurs évaluateurs, quatre heures à lire les évaluations préliminaires produites par leurs évaluateurs, deux heures et demie à assurer la qualité des évaluations fournies par leurs évaluateurs, quatre heures à amorcer les discussions en ligne, trois heures à inciter les évaluateurs à participer à une discussion en ligne ou à le leur rappeler, quatre heures à participer à des discussions en ligne et une heure à faire part de toute question, préoccupation ou rétroaction aux IRSC (tableau 119). Dans les réponses aux questions ouvertes, les PV ont fait savoir que les délais et la charge de travail étaient appropriés, mais que le processus pouvait encore être amélioré. Ils ont mentionné que la charge de travail ne dépendait pas uniquement du nombre de demandes, mais aussi de l'expertise du président et du nombre de demandes nécessitant une discussion approfondie. Enfin, les PV ont suggéré de nommer cinq évaluateurs par demande plutôt que trois.

19.2 Étape 2

De façon générale, les évaluateurs à l'étape 2 ont dit que leur charge de travail était « tout à fait appropriée » (32,5 %) ou « de gérable à un peu lourde »(31,3 %) [tableau 116]. Par rapport au dernier concours du POSF, 59,3 % des évaluateurs ont indiqué que leur charge de travail était inférieure, 17,2 %, qu'elle était équivalente, et 23,5 %, qu'elle était supérieure (tableau 117). Lorsqu'on leur a demandé de comparer la charge de travail associée à chaque activité d'évaluation à celle du dernier concours du POSF, 71,8 % des évaluateurs ont dit que la lecture d'une demande représentait moins de travail, 28,2 %, que la recherche d'autres renseignements liés à une demande représentait moins de travail, et 67,2 %, que la rédaction de l'évaluation d'une demande représentait moins de travail (tableau 118). En moyenne, les évaluateurs à l'étape 2 ont mis deux heures et demie à lire une seule demande, une heure à chercher d'autres renseignements, une heure et demie à rédiger l'évaluation d'une seule demande, une heure à lire d'autres évaluations, une heure à participer à des discussions en ligne et une heure à classer les demandes qui leur avaient été attribuées (tableau 119).

La majorité (91,0 %) des PV à l'étape 2 ont indiqué que la quantité de demandes qui leur avaient été attribuées était acceptable en ce qui a trait à la charge de travail (tableau 120). Comparativement au dernier concours pour lequel ils avaient agi comme président pour les IRSC, 22,2 % des PV ont dit que leur charge de travail était supérieure, 44,4 %, qu'elle était équivalente, et 33,3 %, qu'elle était inférieure (tableau 121). Ils estimaient que le nombre idéal de demandes attribuées à chacun des PV serait de 15. En moyenne, les PV à l'étape 2 ont mis une heure à confirmer l'attribution des demandes aux évaluateurs, trois heures à lire les demandes assignées à leurs évaluateurs, trois heures et demie à lire les évaluations préliminaires produites par leurs évaluateurs, deux heures à assurer la qualité des évaluations fournies par leurs évaluateurs, deux heures et demie à amorcer les discussions en ligne, deux heures à inciter les évaluateurs à participer à une discussion en ligne ou à le leur rappeler, quatre heures à participer à des discussions en ligne et une heure à faire part de toute question, préoccupation ou rétroaction aux IRSC (tableau 119).

19.3 Étape finale de l'évaluation

De façon générale, les évaluateurs à l'EFE ont indiqué que leur charge de travail était « tout à fait appropriée » (57,1 %) ou « de gérable à un peu lourde »(42,9 %) [tableau 116]. Ils ont aussi dit avoir eu suffisamment de temps pour mener les activités préalables à la réunion (85,7 %) et qu'il était approprié d'assigner chaque demande à trois évaluateurs (85,7 %) [tableau 122]. Par rapport au dernier concours du POSF, 66,7 % des évaluateurs à l'EFE ont indiqué que leur charge de travail était inférieure, et 33,3 %, qu'elle était équivalente. Par rapport au concours Fondation de 2014, 60,0 % des évaluateurs ont dit que leur charge de travail était inférieure, et 40,0 %, qu'elle était équivalente (tableau 117). En moyenne, les évaluateurs ont reçu 15 demandes et ont mis une heure à lire les évaluations de l'étape 2 d'une seule demande, une heure à consulter les demandes de subvention de l'étape 2 pour une seule demande, une heure à chercher en ligne d'autres renseignements liés à la demande, une heure et demie à accepter ou refuser les demandes de subvention et à rédiger des commentaires à l'appui de l'évaluation, une heure à lire les commentaires des autres évaluateurs à l'EFE à l'aide de la tâche « En réunion » dans RechercheNet et une heure à revoir le classement de l'EFE en prévision de la réunion du comité à l'EFE (tableau 119). Les évaluateurs ont notamment indiqué dans leurs commentaires que la grande variabilité de la qualité des évaluations à l'étape 2 avait influencé le temps qu'ils avaient consacré à leur propre évaluation parce qu'ils avaient dû effectuer des recherches supplémentaires. Ils trouvaient que le temps qui leur était accordé pour mener les évaluations était insuffisant.

20. Réunion en personne

La présente section fournit un aperçu de l'expérience des répondants avec les réunions en personne. Avant cette réunion, chaque évaluateur a reçu un sous-ensemble de demandes, chacune assignée à trois évaluateurs. Pour chaque demande, l'évaluateur avait accès aux renseignements de l'étape 2, y compris les évaluations, les classements combinés, les écarts-types et les demandes complètes. Au moyen d'un système de catégorisation, les évaluateurs devaient classer les demandes dans la catégorie « oui » (financer) ou dans la catégorie « non » (ne pas financer). Chaque évaluateur recevait un nombre minimum de demandes pouvant être classées dans les catégories « oui » et « non » et devait soumettre ses recommandations aux IRSC avant la réunion. En fonction des recommandations (oui/non) faites par les évaluateurs dans le cadre des activités préalables à la réunion, les IRSC ont classé toutes les demandes arrivées à l'étape finale de l'évaluation par ordre décroissant. Lors de la réunion, les demandes ont été placées dans l'un des trois groupes suivants : groupe A (demandes à financer), groupe B (demandes dont il faut discuter à la réunion) ou groupe C (demandes à ne pas financer). Les demandes du groupe B ont fait l'objet d'une discussion pendant la réunion. Soulignons que les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 7 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 123 et 124).

Un peu plus de la moitié des évaluateurs à l'EFE (57,0 %) ont indiqué que le nombre de demandes acceptées ou refusées (« oui/non ») pour le processus de catégorisation était approprié (tableau 123). Selon les réponses aux questions ouvertes, les avis étaient toutefois partagés quant au nombre approprié, et il a été suggéré de laisser les évaluateurs le déterminer. La majorité des évaluateurs à l'EFE étaient d'accord avec les énoncés suivants concernant les réunions en personne : les instructions fournies à la réunion étaient claires et faciles à suivre (85,7 %), il était approprié de créer les groupes A, B et C et de concentrer la discussion du comité sur les demandes du groupe B (85,7 %), le processus de transfert de demandes des groupes A et C au groupe B était clair et simple (71,9 %), le processus de transfert de demandes entre les groupes était efficace (57,2 %), les conflits ont été gérés de façon appropriée durant la réunion (100 %), l'outil de vote était facile à utiliser (85,7 %), le processus de vote était efficace (85,7 %), les directives du processus de vote étaient faciles à suivre (71,4 %) et la réunion en personne est nécessaire pour décider des demandes qui doivent être financées (100 %) [tableau 119]. Toutefois, seulement 40,9 % des évaluateurs ont indiqué que le seuil de financement avait aidé à orienter la discussion durant la réunion (tableau 124), et il appert que certains ne connaissaient pas les seuils. De plus, les évaluateurs ont mentionné que la réunion en personne était la partie la plus importante de l'évaluation, dans la mesure où les évaluations étaient achevées et de qualité.

21. Avis de décision

La présente section résume la rétroaction des candidats après la décision à l'étape 2 sur le document d'avis de décision, un nouvel élément conceptuel instauré par les IRSC pour indiquer aux candidats si leur demande a été retenue ou non. Seuls ces candidats ont été invités à fournir leur point de vue sur l'avis de décision. Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 93 candidats après la décision à l'étape 2; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 125 et 126).

La majorité des candidats après la décision à l'étape 2 (61,5 %) ont indiqué que l'avis de décision expliquait clairement les résultats de leur demande à l'étape 1 et à l'étape 2, et 55,4 % ont affirmé que le document les avait aidés à interpréter leurs résultats (tableau 125). Parallèlement, 54,4 % des candidats ont dit avoir utilisé ce document pour interpréter leurs résultats (tableau 126). Dans les réponses aux questions ouvertes, des candidats ont mentionné qu'ils n'étaient pas au courant de l'existence de ces documents et de la façon d'y accéder. De plus, des candidats ont affirmé ne pas être certains de comprendre leurs classements par rapport à ceux des autres, et qu'il n'était pas évident de voir au premier coup d'œil si leur demande était financée ou non. Certains ont dit avoir lu le document plusieurs fois pour en comprendre le contenu parce qu'ils n'arrivaient pas à se situer dans les classements. Ils ont demandé de préciser comment les classements sont calculés et d'accroître la transparence à cet égard. Par exemple :

« [Je n'ai] toujours pas compris le classement combiné... J'aurais préféré voir la position de ma demande pour comprendre où je me situais par rapport au seuil de financement. J'ai été incapable de déchiffrer ma position par rapport au seuil. »

Candidat après la décision à l'étape 2

22. Rétroaction sur les sondages

La présente section propose un survol de l'expérience des répondants avec les sondages. Les IRSC leur ont demandé de faire part de leur impression générale sur le processus et les questions de sondage.

Il en ressort que les répondants ont, entre autres, trouvé le sondage trop long, mis plus de temps à le remplir que le temps indiqué, jugé les questions répétitives et mentionné que le temps à consacrer au sondage pourrait les dissuader de participer à un autre sondage. De plus, ils ont souligné que certaines questions étaient trop restrictives (p. ex. réponses « oui » ou « non ») et ne laissaient pas vraiment de place à la nuance. Cela dit, en général, les répondants étaient contents de pouvoir donner leur avis et espéraient que les IRSC en tiennent compte. Les candidats ont proposé l'ajout de questions sur les derniers changements, les évaluateurs, l'équité du processus d'évaluation et la direction des IRSC. Les évaluateurs ont quant à eux demandé l'ajout de questions sur l'échéancier, les derniers changements, les réunions virtuelles, le jumelage des demandes et de leur expertise, l'équité du processus et les difficultés relatives à l'évaluation des demandes de chercheurs en début de carrière. Les répondants ont également suggéré qu'on leur donne la possibilité de sauvegarder ou de télécharger une copie de leurs réponses afin qu'ils puissent les conserver dans leurs dossiers. En outre, ils ont demandé d'avoir accès aux sondages plus rapidement après la présentation des demandes afin qu'ils puissent fournir des réponses plus précises, et ont demandé l'ajout d'une option « S.O. » ou « Sauter la question ».

Limites

Voici les limites du rapport : a) comme les réponses aux sondages en ligne ont été recueillies de façon anonyme et indépendante d'une étape à l'autre du concours, nous ne pouvons pas confirmer qu'une seule et même personne n'a pas pu répondre à plus d'un sondage; b) il se peut que la taille des échantillons ne soit pas représentative des chercheurs du Canada étant donné que les données provinciales n'ont pas été recueillies; c) comme le taux de réponse moyen était de 51,0 %, il se peut que le présent rapport ne reflète pas l'opinion de tous les répondants possibles, puisque les personnes n'ayant pas participé auraient pu présenter différentes caractéristiques et avoir des opinions différentes; d) les réponses aux questions ouvertes ont été codées par une seule personne, alors les résultats pourraient être teintés d'une certaine subjectivité; e) la taille de certains échantillons était petite (soulignons que les plus petits groupes de répondants étaient ceux des évaluateurs à l'EFE et des PV). Il est important de tenir compte de ces limites lorsque vous consultez ou mentionnez ce rapport pour résumer l'opinion des répondants sur le processus de demande.

Date de modification :