Évaluation des intervenants du concours de subventions Projet de 2016
Rapport final

Rédigé par :

  • Dre Jamie Park
  • Mahrukh Zahid
  • Julie Bain
  • Jennifer Rup
  • Dre Jemila Hamid
  • Caitlin Daly
  • Dre Julia E. Moore
  • Dre Sharon Straus

Pour toute question concernant ce rapport, veuillez communiquer avec :

Jamie Park, Ph.D.
Coordonnatrice de recherche
Programme d'application des connaissances
Institut du savoir Li Ka Shing
Hôpital St. Michael
Toronto, Canada
Courriel : ParkJam@smh.ca
Tél. : 416-864-6060, poste 76219

Table des matières


Abréviations

AC
Application des connaissances
ACi
Application des connaissances intégrée
CVC
CV commun canadien
EFE
Étape finale de l'évaluation
EI
Écart interquartile
IRSC
Instituts de recherche en santé du Canada
POSF
Programme ouvert de subventions de fonctionnement
PV
Président virtuel

Définitions

Candidats à l'étape 1
Personnes ayant présenté une proposition de recherche pour la première étape du concours de subventions Projet de 2016.
Évaluateurs à l'étape 1
Personnes ayant évalué, par l'intermédiaire d'une plateforme en ligne, des demandes présentées pour la première étape du concours de subventions Projet de 2016.
Présidents virtuels à l'étape 1
Personnes chargées de superviser et d'appuyer le processus d'évaluation à distance pour l'étape 1.
Évaluateurs à l'étape finale de l'évaluation
Présidents virtuels à l'étape 1 qui sont devenus évaluateurs et ont participé à une discussion en personne pour l'étape finale de l'évaluation.
Candidats après la décision
Personnes ayant reçu, après l'étape finale de l'évaluation, un avis de décision leur indiquant s'ils ont été retenus ou non pour le concours de subventions Projet de 2016.

Sommaire

Objectif

Les Instituts de recherche en santé du Canada (IRSC) ont travaillé de concert avec le milieu de la recherche afin de réformer et de moderniser les nouveaux programmes de recherche libre et processus d'évaluation. Dans le cadre de la réforme, les IRSC ont lancé au printemps 2016 le premier concours pilote de subventions Projet, visant à soutenir les projets ayant une fin et un but précis qui sont les plus susceptibles de faire progresser les connaissances fondamentales ou appliquées en santé, la recherche en santé, les soins de santé, les systèmes de santé ou les résultats sur la santé. La rétroaction des intervenants sur les processus de demande et d'évaluation par les pairs a été recueillie. Le présent rapport résume la rétroaction des candidats, des administrateurs de recherche, des pairs évaluateurs et des présidents virtuels (PV) ayant participé au concours Projet de 2016. Six sondages ont été diffusés et analysés afin que chaque étape (étape 1 et étape finale de l'évaluation [EFE]) et chaque groupe de participants (candidats, administrateurs de recherche, évaluateurs et PV) puissent être évalués. Les taux de réponse et les données démographiques se trouvent dans les sections 1 et 2. Le taux de réponse global est de 49,3 % (n = 3 862), et les résultats présentés dans les sections suivantes correspondent aux données définitives découlant des réponses aux sondages. Les sections 3 et 4 présentent brièvement le point de vue des répondants sur les critères et l'échelle de sélection. De façon générale, les candidats ont eu du mal à faire la différence entre la « qualité de l'idée » et l'« importance de l'idée ». Les répondants ont suggéré comme nouveau critère l'ajout d'une section sur le contexte (renseignements généraux) ou la recherche préliminaire. Pour leur part, les évaluateurs ont dit avoir eu de la difficulté à utiliser l'échelle de sélection et avoir l'impression que la méthode d'application des connaissances intégrée (ACi) avait été mal intégrée ou évaluée. Les intervenants ont recommandé d'augmenter la pondération du critère « Approche », et soit de réduire celle des critères « Qualité de l'idée » et « Importance de l'idée », soit de les fusionner. Les sections 5 et 6 brossent un portrait de la satisfaction des répondants à l'égard du format et du processus de demande. En général, les répondants estimaient que le format de la demande était facile à utiliser; toutefois, les candidats et les évaluateurs trouvaient que les limites de caractères étaient trop restrictives pour qu'on puisse bien expliquer la recherche. Les sections 7 et 8 portent sur l'expérience des répondants avec le CV et le budget. Les candidats ont suggéré que la taille de la section « Publications » soit augmentée, et la plupart ont affirmé que le processus relatif au budget était clair, mais qu'il manquait d'espace pour justifier les fonds demandés. Les sections 9 et 10 offrent un aperçu général de la pertinence des documents de soutien et du matériel didactique pour les répondants. Ces documents étaient généralement employés et jugés utiles, mais les répondants ont suggéré que leur contenu et l'accès à ceux-ci soient simplifiés. La section 11 présente le point de vue des répondants sur RechercheNet. Dans l'ensemble, ils ont indiqué qu'il s'agissait d'un outil convivial et qu'ils étaient satisfaits du service d'aide. Des améliorations ont toutefois été suggérées, dont l'ajustement du nombre de caractères et l'ajout de fonctions de sauvegarde automatique.

Les sections 12 et 13 portent sur la satisfaction générale des intervenants à l'égard du processus et du format d'évaluation. Dans l'ensemble, les réactions sur la feuille de travail étaient positives. Toutefois, les évaluateurs ont demandé qu'on fusionne les forces et les faiblesses. De façon générale, les répondants n'étaient pas très satisfaits du processus d'évaluation, en particulier du manque de concordance entre les évaluations et les cotes, des écarts entre les évaluateurs et des évaluations peu étoffées. La section 14 traite de l'expérience des évaluateurs et des PV avec le processus de classement. Les évaluateurs soutenaient que leurs évaluations permettaient de produire une liste de classement. Toutefois, ils ont indiqué qu'ils doutaient de l'utilité du classement et du départage en cours de processus. Les sections 15 et 16 présentent la rétroaction des intervenants sur la lecture des commentaires des évaluateurs et la qualité des évaluations. Ils ont mentionné que la lecture des autres évaluations était utile et influençait les évaluations à l'étape 1, mais qu'elle avait une incidence moindre à l'EFE. Par ailleurs, certains candidats et évaluateurs ont affirmé que la qualité des évaluations était insatisfaisante. Les candidats ont noté que les évaluations ne concordaient pas avec leur cote et ont dit douter de l'expertise des évaluateurs. Les sections 17, 18 et 19 présentent l'avis des intervenants sur le processus de discussion en ligne, le rôle des PV et la charge de travail perçue. Les évaluateurs estimaient que la discussion en ligne était une partie importante et utile du processus; toutefois, ils trouvaient, tout comme les PV, que le niveau d'engagement était variable. Les PV, vus d'un bon œil, ont demandé qu'on élargisse leurs pouvoirs. La charge de travail était perçue comme étant gérable ou difficile à gérer, selon des facteurs comme la base de connaissances des évaluateurs et la remise des évaluations dans les délais. Les sections 20 et 21 résument la rétroaction des intervenants sur les réunions en personne et le document d'avis de décision. Les évaluateurs à l'EFE ont indiqué que les processus de l'EFE étaient clairs et faciles à suivre, mais ils trouvaient en général que le document d'avis de décision était compliqué à utiliser et difficilement accessible. Les sections 22 et 23 fournissent un aperçu général de la rétroaction reçue sur les sondages et des limites du présent rapport.

Aperçu du concours

Le processus de demande du concours de subventions Projet de 2016 comprenait l'inscription, puis un concours en deux étapes et une évaluation par les pairs. À l'étape 1, les candidats (candidats à l'étape 1) ont rempli un formulaire de demande structurée correspondant aux critères de sélection axés sur le concept et la faisabilité du projet. Ensuite, les candidats et les cocandidats ont dû remplir un CV en ligne par l'intermédiaire du CV commun canadien (CVC) et présenter un budget. Les évaluateurs (évaluateurs à l'étape 1) ont quant à eux été appelés à évaluer le concept du projet et la faisabilité de son plan d'exécution. Pour ce faire, ils ont évalué les demandes qui leur avaient été assignées en fournissant des évaluations structurées reposant sur l'attribution d'une cote pour chaque critère de sélection et sur la rédaction de courts commentaires sur les forces et faiblesses. Les IRSC leur ont ensuite demandé de classer les demandes en fonction des cotes, après quoi ils ont regroupé tous les classements des évaluateurs en vue d'établir un classement combiné pour chaque demande. Les évaluations ont été menées à distance au moyen d'une plateforme permettant la communication entre évaluateurs dans un espace virtuel. Les PV (PV à l'étape 1) ont supervisé et appuyé le processus d'évaluation de l'étape 1. Dans le cadre de l'EFE, les évaluateurs (évaluateurs à l'EFE) ont participé à une discussion en personne et intégré les résultats des évaluations de l'étape 1. Ils se sont concentrés sur les demandes se trouvant près du seuil de financement (« zone grise ») et dont les évaluations des évaluateurs à l'étape 1 présentaient une grande variabilité. Une fois l'EFE terminée, les évaluateurs ont formulé des recommandations aux IRSC sur les demandes qui devraient être financées. Enfin, un avis de décision définitif incluant les résultats à l'étape 1 et à l'EFE a été remis aux candidats (candidats après la décision).

Méthodologie

Les sondages en ligne ont été élaborés à l'aide de FluidSurveys et envoyés aux candidats, aux évaluateurs, aux administrateurs de recherche et aux PV du concours entre mars et août 2016. Les IRSC ont fait passer les sondages aux répondants et fourni les résultats aux responsables du programme d'application des connaissances de l'Hôpital St. Michael afin qu'ils les analysent entre novembre 2016 et février 2017. Les sondages comprenaient des questions ouvertes et des questions fermées. Nous, responsables du programme d'application des connaissances de l'Hôpital St. Michael, avons analysé ces dernières en tant que proportion des réponses totales reçues pour une question au moyen de SPSS Statistics 20. Le cas échéant, nous avons simplifié les réponses aux échelles de Likert en combinant tous les « d'accord » et « en désaccord » en deux catégories nominales, « accepter » et « rejeter »; le test du chi carré ou la méthode exacte de Fisher ont été appliqués pour déterminer la signification statistique. Nous avons eu recours au test t ou à l'analyse de la variance pour comparer les cotes moyennes des variables continues parmi les sous-groupes dans un environnement informatique R. Quant aux commentaires reçus aux questions ouvertes, nous les avons analysés dans NVivo 11. Les réponses en français ont été traduites en anglais. Deux analystes de données qualitatives ont pris connaissance, de manière indépendante, des données des sondages en passant en revue une partie des réponses afin d'établir une liste initiale de codes, d'idées principales et de thèmes. Ils ont ensuite comparé leur liste initiale de codes potentiels et élaboré un cadre analytique s'appliquant aux données. Les réponses ont été codées et intégrées dans le cadre par un seul analyste, puis le cadre a été peaufiné encore un peu plus et modifié pour mieux correspondre aux données de l'analyste. Un processus itératif d'analyse de données a été utilisé pour adapter le cadre pendant le processus de codage afin de relever les thèmes émergents. Il convient de noter que seules les réponses liées à la question posée ont été codées, et qu'une réponse pouvait être associée à plusieurs thèmes. Les conclusions principales sont présentées dans le corps du rapport, et les réponses à toutes les questions de sondage se trouvent dans les annexes.

Conclusions

Le présent rapport comprend les taux de réponse aux sondages et les critères relatifs aux données démographiques des répondants. Il expose également la rétroaction des répondants sur 19 domaines liés au processus de demande et au processus d'évaluation : perception à l'égard des critères de sélection, pondération des critères, processus de demande, format de la demande, CV, budget, documents de soutien, matériel didactique, RechercheNet, format de l'évaluation, processus d'évaluation, processus de classement, lecture des évaluations, qualité des évaluations, discussion en ligne, rôle du PV, charge de travail perçue, réunion en personne et avis de décision. Dans les dernières sections du rapport, nous présentons les commentaires des participants sur les sondages ainsi que les limites des résultats. Toutes les proportions ont été calculées à partir des réponses valides; les valeurs n associées se trouvent dans les tableaux de métadonnées de l'annexe A. De plus, nous avons regroupé les réponses aux questions ouvertes pour les présenter sous forme de résumés; les valeurs nassociées aux thèmes des réponses se trouvent dans les tableaux de l'annexe B et sont classées par répondants.

1. Taux de réponse aux sondages

Au total, 8 162 personnes ont été invitées à remplir un sondage; 4 031 réponses ont été reçues, dont 69 qui ont été exclues en raison de données manquantes et 3 862 qui ont été incluses dans l'analyse suivante. Les IRSC ont reçu 1 614 réponses de candidats à l'étape 1, 104 d'administrateurs de recherche, 920 d'évaluateurs à l'étape 1, 71 de PV à l'étape 1, 14 d'évaluateurs à l'EFE et 1 239 de candidats après la décision. Le taux moyen de réponse était de 49,3 %. Le taux le plus faible, 38 %, revient aux administrateurs de recherche, et le plus élevé, 61 %, aux PV à l'étape 1 (tableau 1).

2. Données démographiques

La présente section donne un aperçu général du stade de carrière, de la profession, du thème de recherche, de la langue de préférence, du statut de financement et de l'expérience des répondants. Dans les stades de carrière, « début de carrière » signifie moins de 5 ans d'expérience comme chercheur indépendant, « milieu de carrière », de 5 à 10 ans d'expérience et « chercheur chevronné », plus de 10 ans d'expérience. Quant aux thèmes de recherche, ils renvoient aux quatre thèmes de recherche en santé énoncés dans le mandat des IRSC : recherche biomédicale; recherche clinique; recherche sur les services et les systèmes de santé; recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Pour la répartition complète des critères démographiques, consulter les tableaux 2 à 12 de l'annexe A.

2.1 Candidats

Les IRSC ont invité 3 040 candidats à l'étape 1 à remplir un sondage, et 1 640 ont répondu à l'appel, dont des chercheurs en début de carrière (28,2 %), des chercheurs en milieu de carrière (41,1 %), des chercheurs chevronnés (30,4 %) et quelques utilisateurs des connaissances (0,3 %) [tableau 2]. La majorité des candidats à l'étape 1 (61,5 %) étaient des hommes, et 36,5 % étaient des femmes (tableau 4). Les réponses provenaient en grande partie de candidats du domaine de la recherche biomédicale (65,8 %) et, dans une moindre mesure, des domaines de la recherche clinique (14,2 %), de la recherche sur les services et les systèmes de santé (8,6 %) et de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (10,7 %) [tableau 5]. Lorsqu'ils ont été interrogés sur la langue utilisée et la langue de préférence, 82,8 % des candidats à l'étape 1 ont dit utiliser l'anglais comme langue officielle, 97,6 % ont dit avoir utilisé l'anglais pour remplir leur demande, et 95,6 % ont dit s'être senti à l'aise de présenter leur demande dans la langue de leur choix (tableau 6). Un faible pourcentage de répondants (3,9 %) ont indiqué avoir rencontré des problèmes de langue en remplissant leur demande. Les réponses aux questions ouvertes ont fait ressortir que les candidats francophones ont présenté une demande en anglais plutôt que dans leur langue maternelle parce qu'ils avaient l'impression qu'il y avait plus d'évaluateurs anglophones que d'évaluateurs francophones, et qu'une demande présentée en français aurait par conséquent pu être désavantagée. Un candidat à l'étape 1 a d'ailleurs dit : « Je crois que le fait de présenter ma demande en anglais augmente mes chances de recevoir du financement et de voir ma demande évaluée par les évaluateurs les plus compétents dans mon domaine. » Si une faible proportion de candidats à l'étape 1 (9,5 %) n'avaient jamais présenté de demande à un concours des IRSC, la majorité d'entre eux (81 %) l'avaient déjà fait dans le cadre du Programme ouvert de subventions de fonctionnement (POSF) [tableau 7].

2.2 Candidats après la décision

Sur 3 037 candidats après la décision, 1 239 ont répondu au sondage, à savoir des chercheurs en début de carrière (25 %), des chercheurs en milieu de carrière (42 %) et des chercheurs chevronnés (32,9 %) [tableau 2]. Les réponses provenaient en grande partie de candidats du domaine de la recherche biomédicale (68,4 %) et, dans une moindre mesure, des domaines de la recherche clinique (13,4 %), de la recherche sur les services et les systèmes de santé (7,3 %) et de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (10,1 %) [tableau 5]. La majorité des candidats à l'étape 2 (66 %) n'avaient jamais présenté de demande à un concours des IRSC (tableau 7). De plus, parmi les candidats à l'étape 2, 94,7 % ont présenté une nouvelle demande, tandis que 5,3 % ont révisé une demande qu'ils avaient présentée dans le cadre d'un concours antérieur (tableau 8). La majorité des réponses de ces candidats (76,9 %) provenaient de candidats non retenus dans le cadre du concours de subventions Projet de 2016 (tableau 9).

2.3 Administrateurs de recherche

Parmi les 276 administrateurs de recherche invités à remplir un sondage, 104 l'ont fait, et la plupart ont indiqué être des femmes (80,4 %). Si un faible pourcentage (10,6 %) d'administrateurs de recherche n'avaient jamais présenté de demande à un concours des IRSC au nom de leur établissement, la majorité (74 %) l'avait fait dans le cadre du concours précédent du POSF (tableau 7).

2.4 Évaluateurs

Sur les 1 664 évaluateurs à l'étape 1 invités à répondre à un sondage, 920 l'ont fait, dont des chercheurs en milieu de carrière (41,8 %) et des chercheurs chevronnés (41,8 %). En outre, parmi les 29 évaluateurs à l'EFE invités à participer, 14 ont rempli le sondage, dont des chercheurs en milieu de carrière (64,3 %) et des chercheurs chevronnés (64,3 %) [tableau 2]. Une faible proportion des réponses provenaient de chercheurs en début de carrière (10,1 % pour les évaluateurs à l'étape 1) ou d'utilisateurs des connaissances (3,6 % pour les évaluateurs à l'étape 1; 7,1 % pour les évaluateurs à l'EFE). Une grande proportion d'évaluateurs à l'étape 1 et d'évaluateurs à l'EFE œuvraient dans le domaine de la recherche biomédicale (47,1 %; 64,3 %); les pourcentages étaient moindres pour la recherche clinique (26,2 %; 14,3 %), la recherche sur les services et les systèmes de santé (10,9 %; 7,1 %) et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (14,0 %; 14,3 %) [tableau 5]. Moins de la moitié (42,5 %) des évaluateurs à l'étape 1 n'avaient jamais évalué de demandes, tandis que 45,1 % l'avaient déjà fait dans le cadre du POSF (tableau 10). La majorité de ceux qui avaient déjà évalué des demandes pour un concours non pilote ont indiqué avoir agi comme évaluateur (53,9 %), alors que les autres ont dit avoir joué le rôle de président (2,4 %) ou d'agent scientifique (2,1 %) [tableau 11]. En revanche, tous les évaluateurs à l'EFE avaient déjà évalué des demandes pour un concours des IRSC (tableau 10); la majorité d'entre eux avaient agi comme évaluateur (71,4 %) pour un concours non pilote, et les autres, comme président (14,3 %) ou agent scientifique (7,1 %) [tableau 11].

2.5 Présidents virtuels

Au total, 116 PV ont été invités à répondre à un sondage; 71 y ont répondu, dont des chercheurs en milieu de carrière (22,5 %), des chercheurs chevronnés (71,8 %) [tableau 2] et un faible pourcentage d'utilisateurs des connaissances (4,2 %). Une grande proportion de PV à l'étape 1 ont dit travailler dans le domaine de la recherche biomédicale (64,8 %); les pourcentages étaient moindres pour la recherche clinique (15,5 %), la recherche sur les services et les systèmes de santé (2,8 %) et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations (16,9 %) [tableau 5]. La majorité des PV à l'étape 1 avaient déjà évalué des demandes dans le cadre du POSF (91,5 %), et peu d'entre eux n'avaient jamais évalué de demandes pour les IRSC (1,4 %) [tableau 10]. De plus, la majorité des PV à l'étape 1 (62 %) n'avaient jamais joué le rôle de président dans le cadre d'un concours des IRSC (tableau 12).

3. Rétroaction sur les critères et l'échelle de sélection

Dans le cadre des nouveaux processus de demande et d'évaluation, les IRSC ont instauré des critères de sélection à l'étape 1. Ces critères portent sur le concept et la faisabilité du projet et comprennent les éléments suivants : « Qualité de l'idée », « Importance de l'idée », « Approche » et « Expertise, expérience et ressources ». De plus, les candidats présentant une demande axée sur l'application des connaissances intégrée (ACi) devaient pouvoir inclure leurs méthodes d'application des connaissances (AC) dans les différentes sections relatives aux critères de sélection du programme Projet. Une nouvelle échelle de cotation a également été élaborée pour le nouveau concours, et les évaluateurs l'ont utilisée pour coter les demandes selon chacun des critères de sélection (O++, O+, O, E++, E+, E, G, F et P). Dans la présente section, nous racontons sommairement l'expérience des répondants quant à l'utilisation de l'échelle de sélection et faisons part de quelques-uns de leurs commentaires sur les différents critères. Soulignons que les pourcentages indiqués dans la section ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche, des 920 évaluateurs à l'étape 1, des 14 évaluateurs à l'EFE et des 1 239 candidats après la décision; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 13 à 29).

Plus de 80 % des candidats à l'étape 1 et des administrateurs de recherche trouvaient que les critères « Approche » et « Expertise, expérience et ressources » étaient clairs et comprenaient les renseignements à inclure pour chacun (tableau 13). Toutefois, le critère « Qualité de l'idée » était clair pour seulement 47,9 % des candidats à l'étape 1 et 56,9 % des administrateurs de recherche. Pour ce qui est du critère « Importance de l'idée », 52,5 % des candidats à l'étape 1 et 61,1 % des administrateurs de recherche le trouvaient clair. Lorsqu'ils ont été interrogés sur l'utilité du Guide d'interprétation, la moitié des candidats à l'étape 1 (51,1 %) ont indiqué que les critères y étaient clairement décrits et qu'il leur avait permis de présenter adéquatement les renseignements demandés (tableau 14). Ces résultats concordent avec les réponses aux questions ouvertes, où les participants ont dit avoir du mal à faire la différence entre la « qualité de l'idée » et l'« importance de l'idée » d'après les renseignements fournis. Par exemple :

« Il semblait y avoir beaucoup de recoupements entre les critères de qualité de l'idée et d'importance de l'idée, et c'était difficile de déterminer le type de renseignements à inclure dans chaque section sans tomber dans la redondance. »

Candidat à l'étape 1

Les répondants ont indiqué qu'il fallait fournir aux candidats des renseignements utiles leur permettant de bien distinguer ces deux critères. Certains ont d'ailleurs suggéré qu'on fusionne ces critères afin d'éviter toute confusion. Par exemple :

« C'était plutôt difficile de faire la différence entre les critères de qualité et d'importance de l'idée. Je crois qu'il serait judicieux de les fusionner pour les prochains concours (mais il faudrait adapter le nombre de caractères en conséquence). »

Candidat à l'étape 1

Lorsque les administrateurs de recherche et les candidats à l'étape 1 ont été interrogés sur le retrait ou l'ajout de critères de sélection, la majorité a dit ne pas vouloir qu'on en retire (69,5 %; 80,9 %) ou qu'on en ajoute (64,3 %; 70,3 %) [tableau 15]. Ceux qui étaient contre le statu quo ont indiqué, dans les réponses aux questions ouvertes, que les critères « Qualité de l'idée » et « Importance de l'idée » devraient soit être retirés, soit être fusionnés. Les candidats ont également suggéré qu'on abolisse le critère « Expertise, expérience et ressources » ou qu'on en réduise la pondération, étant donné qu'il peut défavoriser les chercheurs en début de carrière ou les petits établissements. Par ailleurs, des répondants ont indiqué que les IRSC devraient envisager d'ajouter comme critère une section où les candidats pourraient décrire le contexte et la raison d'être du projet de recherche. D'autres ont suggéré que les données préliminaires et les recherches antérieures ou l'état des subventions obtenues constituent un critère supplémentaire. Des répondants ont également proposé que les IRSC considèrent la créativité ou l'originalité du projet comme un critère de sélection afin de décourager la recherche différentielle et d'atténuer la possibilité de préjugés contre la recherche véritablement novatrice. De plus, les candidats ont suggéré que les IRSC envisagent d'intégrer le stade de carrière aux critères de sélection afin d'atténuer le préjugé perçu contre les chercheurs en début de carrière.

Les évaluateurs ont également été invités à se prononcer sur les critères de sélection; 36,3 % des évaluateurs à l'étape 1 ont indiqué que la distinction entre la « qualité de l'idée » et l'« importance de l'idée » était claire (tableau 16), et 34,8 % ont jugé valable de garder ces critères séparés. Une minorité d'évaluateurs (31,3 %) trouvaient que les candidats avaient bien compris la différence entre ces deux critères(tableau 17). Certains ont suggéré de les fusionner ou de réduire leur pondération. Par exemple :

« Je crois que les critères de qualité et d'importance de l'idée devraient être regroupés. Malheureusement, en les séparant, on perd l'enchaînement et la logique de la demande. Je n'avais pas l'impression que les candidats étaient en mesure de justifier leur projet de manière cohérente. »

Candidat à l'étape 1

Les évaluateurs ont également expliqué comment ils pensaient que les critères de sélection étaient compris par les candidats. La majorité d'entre eux trouvaient que les candidats avaient bien compris les critères « Approche » (89,8 %) et « Expertise, expérience et ressources » (88,9 %). Cependant, ils étaient moins susceptibles de trouver que les critères « Importance de l'idée » (59,8 %) et « Qualité de l'idée » (50 %) avaient été compris (tableau 17). La majorité des évaluateurs à l'étape 1 (69,5 %) ont laissé entendre que les candidats avaient besoin de renseignements supplémentaires sur les critères de sélection (tableau 18). Concernant le retrait ou l'ajout de critères, la majorité d'entre eux ont dit ne pas vouloir qu'on en retire (63,6 %) ou qu'on en ajoute (68,4 %) [tableau 15]. Ceux qui préféraient que les critères soient modifiés ont fourni leurs suggestions dans les réponses aux questions ouvertes. Les évaluateurs ont proposé que les IRSC envisagent d'ajouter des mesures objectives de productivité pour établir un « dossier » de candidat, perçu comme un bon indicateur de réussite future en recherche. En outre, les évaluateurs et les candidats estimaient qu'il faudrait mettre davantage l'accent sur l'explication de la méthodologie ou de la « science » derrière la proposition de recherche, et de fournir l'espace nécessaire pour le faire adéquatement, surtout en ce qui a trait à la théorie et à la faisabilité du projet. Par exemple :

« On accorde généralement peu d'importance à la méthodologie de l'étude. L'efficacité de la méthodologie peut seulement être évaluée sous un volet de la faisabilité, soit l'approche. C'est l'élément le plus important de tout plan de recherche et pourtant, dans le processus d'évaluation et les rencontres virtuelles, on ne s'y penche pas comme il se doit, fort probablement parce que les critères de sélection ne le mettent pas assez en évidence. »

Évaluateur à l'étape 1

Par ailleurs, les évaluateurs et les candidats ont suggéré que les IRSC songent à ajouter comme critère la collaboration et les lettres d'appui afin que les candidats puissent bien expliquer les rôles et l'expertise de tous les participants ailleurs que dans la section « Expertise, expérience et ressources », où le nombre de caractères est limité.

Au sujet de leur capacité perçue à évaluer : 76,3 % des évaluateurs à l'étape 1 se sont dits aptes à évaluer le critère « Qualité de l'idée » à partir des renseignements fournis par les candidats, 77,7 %, aptes à évaluer le critère « Importance de l'idée », 83,5 %, aptes à évaluer le critère « Approche », et 87,1 %, aptes à évaluer le critère « Expertise, expérience et ressources »(tableau 19). Ces résultats concordent avec leurs commentaires sur la façon d'évaluer chaque critère : 72,8 % savaient comment le faire pour le critère « Qualité de l'idée », 73,6 %, comment le faire pour le critère « Importance de l'idée », 88,1 %, comment le faire pour le critère « Approche », et 87,6 %, comment le faire pour le critère « Expertise, expérience et ressources » (tableau 20). La majorité des évaluateurs (65,6 %) estimaient que les critères de sélection leur avaient permis d'établir des différences dans la qualité et la faisabilité du projet de recherche proposé (tableau 21).

En ce qui concerne l'échelle de sélection, 50,0 % des évaluateurs à l'étape 1 ont souligné qu'elle les avait aidés à mettre en évidence des différences significatives entre les demandes (tableau 22). De plus, 71,7 % des évaluateurs à l'étape 1 ont indiqué que leurs cotes correspondaient aux commentaires fournis, et 66,0 % ont trouvé utile de sous-diviser le haut de l'échelle de cotation. Environ la moitié des évaluateurs à l'étape 1 estimaient que les descripteurs de chaque lettre de l'échelle de sélection étaient compréhensibles (55,1 %), appropriés (53,6 %) et utiles (52,7 %) [tableau 23]. Dans les questions ouvertes, les répondants ont indiqué que la façon d'utiliser l'échelle n'était pas tout à fait claire. Par exemple, les évaluateurs ne savaient pas quelle était la différence entre les classements O+ et O++. Par conséquent, les répondants avaient l'impression que l'utilisation de l'échelle pouvait varier d'un évaluateur à l'autre. Par exemple :

« Les critères des différentes cotes étaient mal définis et ne m'aidaient pas. En fait, ils étaient plutôt ambigus. Et manifestement, aucun ajustement n'était fait entre les évaluateurs. Souvent, mes « O+ » étaient les « E+ » de quelqu'un d'autre (ou l'inverse). Et l'interprétation des différents critères variait grandement entre les évaluateurs. »

Évaluateur à l'étape 1

Les évaluateurs trouvaient que l'échelle n'était pas intuitive et que les attentes sur la façon de s'en servir n'étaient pas claires, ce qui a fait en sorte qu'elle a été mal utilisée . Les évaluateurs et les PV trouvaient également que les cotes des évaluateurs étaient toutes regroupées en haut de l'échelle, ce qui leur donnait l'impression qu'elle ne permettait pas de départager les candidats. Par ailleurs, même si la sous-division de l'échelle visait à aider les évaluateurs à trancher, ceux-ci ont mentionné qu'une réduction du fractionnement leur serait utile dans les prochains concours. Les répondants ont également indiqué qu'il serait possible d'améliorer l'échelle de sélection en revenant à l'échelle numérique qu'on utilisait dans les concours antérieurs pour calculer une moyenne ou une cote globale. Par exemple :

« À mon avis, une échelle numérique (ou de percentiles) serait préférable. Plus facile de faire une synthèse et de classer avec plus de profondeur et de flexibilité. »

Président virtuel à l'étape 1

Lorsqu'ils ont été interrogés sur leur utilisation de l'échelle de sélection, 58,5 % des évaluateurs à l'étape 1 ont indiqué avoir utilisé toute l'étendue de l'échelle (tableau 24). Cependant, la majorité des évaluateurs à l'EFE (85,8 %) n'étaient pas d'accord que les évaluateurs à l'étape 1 avaient utilisé toute l'étendue de l'échelle. Les candidats après la décision ont également été invités à donner leur point de vue sur les critères de sélection – 59,8 % se sont dits insatisfaits de la clarté des critères, tandis que 25,6% se sont dits satisfaits (tableau 25). De même, 68,4 % ont dit être insatisfaits de la clarté du système de cotation, alors que 19,7 % s'en sont dits satisfaits. Les réponses aux questions ouvertes indiquaient que les candidats trouvaient les critères de sélection flous, et parfois même inappropriés. Par exemple :

« Les critères de sélection étaient répétitifs et vagues. À cause des nombreux recoupements dans les critères de qualité et d'importance de l'idée, j'avais l'impression de devoir répéter certaines choses et de sacrifier d'autres éléments importants en raison du manque d'espace. »

Candidat après la décision

Les candidats craignaient également que chaque évaluateur ait interprété les critères à sa façon, et ils ont laissé entendre qu'un ajustement en personne aurait pu améliorer le processus.

3.1 Méthode d'application des connaissances intégrée

Dans le processus de demande, les candidats à l'étape 1 dont le projet comprenait un volet d'application des connaissances devaient communiquer leur méthode d'application des connaissances intégrée (ACi) dans les critères de sélection. Une minorité de candidats à l'étape 1 (36,2 %) ont dit avoir été en mesure de communiquer leur méthode d'ACi dans la demande (tableau 26). Les réponses aux questions ouvertes indiquaient que les candidats n'étaient pas certains de comprendre la terminologie employée et les renseignements à inclure dans cette section. Par exemple :

« Veuillez expliquer avec des termes simples ce que vous entendez par "méthode d'application des connaissances intégrée". Il y a tellement de façons de l'interpréter que ça ne veut plus rien dire. »

Candidat à l'étape 1

En outre, les candidats ont suggéré de retirer le critère d'application des connaissances, comme il pouvait défavoriser ceux qui proposent des travaux de recherche biomédicale ou fondamentale susceptible de ne pas générer de retombées immédiates pour la santé humaine. D'autres ont affirmé que la limite de caractères les avait empêchés de fournir une description complète de leur méthode et donc de bien le mettre en valeur. Des candidats ont par ailleurs proposé d'inclure l'ACi dans une section distincte afin qu'ils puissent décrire adéquatement leur raisonnement et leur approche. De plus, 32,4 % des évaluateurs à l'étape 1 ont indiqué que les renseignements fournis par les candidats leur avaient permis d'évaluer la méthode d'ACi, et 33,7 %, qu'ils avaient suffi pour évaluer la méthode d'ACi (tableaux 27 et 28). Par rapport au dernier concours non pilote des IRSC, 45,6 % des évaluateurs à l'étape 1 n'étaient pas d'accord que les critères de sélection leur avaient permis de mieux évaluer la méthode d'ACI, et 45,9 %, que les renseignements contenus dans la demande structurée leur avaient permis de mieux l'évaluer (tableau 29). Selon les réponses aux questions ouvertes, les évaluateurs ne connaissaient pas suffisamment l'ACi pour bien évaluer ce critère – ou ils croyaient que les candidats ne savaient pas ce que c'était –, et ils ont suggéré que des renseignements supplémentaires soient donnés pour clarifier les attentes à ce sujet. Ils ont également proposé l'ajout d'une section ou d'espace supplémentaire pour relayer l'information adéquatement.

4. Pondération des critères de sélection

La présente section résume le point de vue des répondants sur la pondération des critères de sélection. La pondération à l'étape 1 se répartissait comme suit : 25 % pour « Qualité de l'idée », 25 % pour « Importance de l'idée », 25 % pour « Approche »et 25 % pour « Expertise, expérience et ressources ». Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche et des 920 évaluateurs à l'étape 1; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 30 et 31).

Environ la moitié des candidats à l'étape 1 trouvaient la pondération appropriée pour chaque critère. Plus précisément, 46,1 % des candidats étaient d'accord avec la pondération du critère « Qualité de l'idée », 52,7 %, avec celle du critère « Importance de l'idée », 41,2 %, avec celle du critère « Approche », et 56,6 %, avec celle du critère « Expertise, expérience et ressources » (tableau 30). Les candidats pour qui les pondérations étaient inappropriées ont proposé les pondérations idéales (médianes) suivantes : 15 % pour « Qualité de l'idée » (écart interquartile [EI] = 10-20), 15 % pour « Importance de l'idée » (EI = 10-20), 40 % pour « Approche » (EI = 35-50) et 20 % pour « Expertise, expérience et ressources » (EI = 10-20) [tableau 31].

De même, plus de la moitié des administrateurs de recherche (66,7 %) et des évaluateurs à l'étape 1 (59,2 %) estimaient que la pondération du critère « Expertise, expérience et ressources » était appropriée. Ils étaient toutefois moins susceptibles de trouver que les critères suivants étaient bien pondérés : « Qualité de l'idée »(53,6 % des évaluateurs; 42,8 % des administrateurs), « Importance de l'idée »(52,4 % des évaluateurs; 45,4 % des administrateurs), et « Approche »(48,8 % des évaluateurs; 36,8 % des administrateurs) [tableau 30]. Lorsqu'on leur a demandé de dire ce qui, selon eux, représenterait des pondérations idéales, les administrateurs de recherche ont répondu 15 % pour « Qualité de l'idée »(EI = 10-20), 20 % pour « Importance de l'idée »(EI = 15-20), 35 % pour « Approche »(EI = 20-40) et 20 % pour « Expertise, expérience et ressources »(EI = 15-28,8) [tableau 31]; les évaluateurs à l'étape 1 ont répondu 15 % pour « Qualité de l'idée »(EI = 10-20), 15 % pour « Importance de l'idée »(EI = 10-20), 40 % pour « Approche »(EI = 35-50) et 20 % pour « Expertise, expérience et ressources »(EI = 15-30) [tableau 31]. Dans les questions ouvertes, les répondants ont indiqué que la pondération des critères « Qualité de l'idée » et « Importance de l'idée » était trop élevée, et que les candidats proposant des travaux de recherche fondamentale pouvaient s'en trouver désavantagés. Ils ont donc suggéré de fusionner ces deux critères et d'en réduire la pondération. Ils ont également mentionné que les critères de sélection actuels ne mettaient pas assez l'accent sur l'approche ou la méthodologie proposée, vues comme étant essentielles dans la décision de financement. Par conséquent, ils ont recommandé d'augmenter la pondération du critère « Approche ». Ils ont également proposé de réduire celle du critère « Expertise, expérience et ressources », comme il n'est pas déterminant dans la sélection des candidats et qu'il peut jouer contre les petits établissements de recherche ou les chercheurs en début de carrière. Par exemple :

« Je crois aussi que 25 %, c'est trop élevé pour "Expertise, expérience et ressources" parce que ce critère désavantage les nouveaux chercheurs et ceux des petits établissements, qui sont déjà nettement défavorisés dans le processus. Si on veut assurer l'équité du processus, il faut absolument réduire la pondération des critères qui peuvent avantager certains groupes au détriment d'autres groupes et qui n'ont rien à voir avec la qualité de l'idée ou l'approche. »

Évaluateur à l'étape 1

En outre, les candidats se sont dits préoccupés du manque de correspondance entre la limite de caractères et la pondération des critères. Par exemple, les limites d'une demi-page pour « Qualité de l'idée » et de quatre pages pour « Approche », qui ont pourtant la même pondération, semaient la confusion et l'insatisfaction. Par conséquent, les candidats ont suggéré d'adapter la limite de caractères à l'importance relative de chaque catégorie (c.-à-d. pondération élevée = limite de caractères élevée). Par exemple :

« La pondération devrait se rapprocher de l'espace accordé dans les sections de la demande. »

Candidat à l'étape 1

5. Satisfaction globale à l'égard du processus de demande

La présente section donne un aperçu de l'expérience et de la rétroaction des répondants relativement au processus de demande structurée. Les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche et des 920 évaluateurs à l'étape 1; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 32 à 35).

Au total, moins de la moitié des candidats à l'étape 1 (47,1 %) se sont dits satisfaits du processus de demande structurée (tableau 32). Dans les réponses aux questions ouvertes, ils ont soulevé le manque de convivialité du formulaire en raison des pannes du site Web et des problèmes de mise en forme résultant de copier-coller à partir d'un document Word. Par exemple :

« Le formulaire de demande structurée était très difficile à utiliser. Copier-coller des sections à partir d'un logiciel de traitement de texte modifiait la mise en forme et le nombre de caractères. Le conseil des IRSC de copier-coller de Microsoft à NotePad, puis dans RechercheNet nécessitait qu'on rétablisse toute la mise en forme (gras, italique)… Une vraie perte de temps! »

Candidat à l'étape 1

Les candidats ont également mentionné que le manque de clarté des critères de sélection, en particulier le chevauchement conceptuel perçu entre les critères « Qualité de l'idée » et « Importance de l'idée », les avait laissés perplexes. Par exemple :

« En raison du manque de clarté des critères "Qualité de l'idée" et "Importance de l'idée", il était difficile de déterminer où inscrire les renseignements. Les points de vue à ce sujet variaient d'une personne à l'autre. Il faudrait éliminer cette ambigüité pour éviter qu'il y ait des écarts entre les candidats. »

Candidat à l'étape 1

Lorsque les candidats à l'étape 1 ont été invités à comparer le processus de demande à celui d'un concours non pilote antérieur, 42,2 % ont indiqué que la demande leur avait pris moins de temps à remplir, tandis que 38 % ont répondu qu'elle leur en avait pris plus (tableau 33). Par ailleurs, 37,4 % ont affirmé que le nouveau processus était plus facile à utiliser, tandis que 42,7 % ont dit l'inverse (tableau 34). Enfin, 37,7 % ont indiqué que ce processus demandait moins de travail, alors que 40,6 % ont dit qu'il en demandait plus (tableau 35). La majorité des administrateurs de recherche (61,4 %) et des évaluateurs à l'étape 1 (61,5 %) se sont dits satisfaits du processus de demande structurée. Les administrateurs de recherche ont toutefois souligné qu'il était restrictif et qu'il ne permettait pas aux candidats d'exprimer entièrement leurs idées et leur approche.

6. Rétroaction sur le format de la demande structurée

La présente section résume l'expérience et la rétroaction des répondants relativement au format de la demande structurée, une des nouveautés conceptuelles du programme de subventions Projet. Le format structuré a été conçu de façon à ce que les candidats et les évaluateurs se concentrent sur des critères de sélection bien précis. Les candidats avaient droit à une demi-page pour le critère « Qualité de l'idée », à une page pour « Importance de l'idée », à quatre pages et demie pour « Approche » et à une page pour « Expertise, expérience et ressources ». Soulignons que les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche et des 920 évaluateurs à l'étape 1; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 36 à 43).

La majorité des candidats à l'étape 1 (77,1 %) et des administrateurs de recherche (82,5 %) n'ont pas rencontré de difficultés non techniques en remplissant le formulaire de demande structurée (tableau 36). En outre, plus de la moitié des candidats à l'étape 1 (56,6 %) et la majorité des administrateurs de recherche (70,1 %) étaient d'accord pour dire que le format de la demande structurée était facile à utiliser. Cependant, un plus faible pourcentage de candidats à l'étape 1 (44,4 %) et d'administrateurs de recherche (53,8 %) ont indiqué que le formulaire était intuitif (tableau 37). Les candidats estimaient qu'ils avaient besoin de directives claires pour remplir les sections de la demande et qu'on leur précise si les renseignements du formulaire en ligne devaient aussi être présentés dans le PDF. Par exemple :

« Même si la nouvelle structure a quelques bons côtés, je ne peux pas dire que je l'ai trouvée très intuitive, parce que je n'arrivais pas à trouver les endroits précis où inscrire certains renseignements essentiels. Des instructions sur les renseignements à inclure – et non seulement ce qui sera utilisé pour les évaluer – seraient grandement utiles. »

Candidat à l'étape 1

Par ailleurs, 35,5 % des candidats à l'étape 1 et 45,5 % des administrateurs de recherche ont affirmé qu'ils avaient eu une meilleure expérience avec la demande structurée du concours Projet qu'avec la dernière demande qu'ils avaient présentée aux IRSC; en revanche, 23,8 % des candidats et 30,3 % des administrateurs ont indiqué que leur expérience avait été équivalente, et 39,7 % des candidats et 15,1 % des administrateurs, qu'elle avait été pire (tableau 38). Dans les réponses aux questions ouvertes, les candidats ont souligné que le format était trop restrictif et qu'ils préféraient un format libre, plus long que le format actuel, pour exprimer leurs idées. De plus, comme ils trouvaient que la limite pour les références portait à confusion, ils ont demandé qu'elle soit éliminée. Les candidats et les administrateurs ont également dit souhaiter une augmentation de l'ensemble des limites, et ils ont expressément demandé l'ajout d'une section sur le contexte (renseignements généraux), les données préliminaires et les tableaux. Par exemple :

« La limite de caractères actuelle ne nous laisse pas assez d'espace pour fournir suffisamment de contexte et une description détaillée du projet de recherche. C'est particulièrement problématique parce qu'avec le nouveau système, c'est difficile de connaître le champ d'expertise des évaluateurs de notre demande. »

Candidat à l'étape 1

Lorsqu'on leur a demandé s'ils trouvaient les limites de caractères adéquates, 35,1 % des candidats à l'étape 1 ont répondu que la limite était adéquate pour « Qualité de l'idée », 63,6 %, qu'elle l'était pour « Importance de l'idée », 50,7 %, qu'elle l'était pour « Approche », et 73,6 %, qu'elle l'était pour « Expertise, expérience et ressources »(tableau 39). De même, 38,5 % des administrateurs de recherche ont répondu que la limite de caractères était adéquate pour « Qualité de l'idée », 67,5 %, qu'elle l'était pour « Importance de l'idée », 59,5 %, qu'elle l'était pour « Approche », et 62,0 %, qu'elle l'était pour « Expertise, expérience et ressources ». On a demandé à ceux qui trouvaient les limites inadéquates de dire ce qui, selon eux, représenterait des limites idéales. Pour « Qualité de l'idée », 78,6 % des candidats à l'étape 1 et 80,0 % des administrateurs de recherche ont suggéré une page (tableau 40). Pour « Importance de l'idée », 46,3 % des candidats à l'étape 1 ont suggéré deux pages, et 32,1 % des administrateurs de recherche, une page et demie. Pour « Approche », 23,7 % des candidats à l'étape 1 et 35,5 % des administrateurs de recherche ont suggéré cinq pages. Enfin, pour « Expertise, expérience et ressources », 50,7 % des candidats à l'étape 1 et 63,3 % des administrateurs de recherche ont suggéré deux pages (tableau 40). Dans les réponses aux questions ouvertes, les répondants ont souligné la nécessité d'augmenter l'espace, en particulier pour les figures et les références. Par exemple :

« Il faut augmenter la limite de caractères de la demande. Il faut aussi augmenter le nombre de pages accepté pour les figures. Les données préliminaires sont essentielles pour évaluer une demande. Des candidats ont dû entrer tellement de figures sur deux pages qu'elles avaient au bout du compte la taille d'un timbre postal, ce qui les rendait donc très difficiles à évaluer. »

Évaluateur à l'étape 1

Pour le concours, les candidats pouvaient joindre des figures (maximum de deux pages) à leur demande. Lorsqu'on leur a demandé s'ils en avaient joint, la majorité des candidats à l'étape 1 (95,8 %) ont répondu par l'affirmative (moyenne de deux pièces jointes), et 77 % ont indiqué que les figures s'étaient avérées bénéfiques (tableaux 41 et 42). Les évaluateurs ont aussi été invités à fournir leurs commentaires sur le format de la demande structurée. La majorité des évaluateurs à l'étape 1 (74,7 %) étaient d'avis que le format de la demande structurée leur avait été utile dans leur évaluation, et 74,7 % estimaient qu'il avait permis aux candidats de fournir tous les renseignements nécessaires à la tenue d'une évaluation complète (tableau 43). De plus, les évaluateurs à l'étape 1 (72,6 %) trouvaient le format de la demande structurée de l'étape 1 facile à utiliser (tableau 37). Lorsqu'on leur a demandé s'ils trouvaient les limites de caractères adéquates, les évaluateurs ont répondu oui dans des proportions de 75,3 % pour « Qualité de l'idée », de 83,1 % pour « Importance de l'idée », de 64,7 % pour « Approche » et de 86,5 % pour « Expertise, expérience et ressources »(tableau 40). Parmi les évaluateurs à l'étape 1 qui trouvaient les limites inadéquates, la majorité a recommandé une page pour « Qualité de l'idée » (64,7 %), une page pour « Importance de l'idée » (27,1 %), cinq pages pour « Approche » (87,0 %) et deux pages pour « Expertise, expérience et ressources » (45,1 %) [tableau 35]. Au total, 74,7 % des évaluateurs à l'étape 1 ont indiqué que les candidats avaient fait bon usage de la limite de caractères (c.-à-d. que si le candidat n'avait pas fourni assez de détails, c'est parce qu'il n'avait pas inscrit les « bons » détails, et non parce qu'il manquait d'espace) [tableau 43]. Lorsqu'on leur a demandé quelles instructions supplémentaires ils fourniraient aux candidats pour les aider à faire bon usage de la limite de caractères, les évaluateurs ont mentionné qu'ils leur donneraient des exemples concrets de renseignements appropriés pour chaque section afin d'éviter le dédoublement d'information. Par exemple :

« Peut-être inclure des exemples de ce qu'on cherche comme type d'information dans chaque section. Cela aiderait à éviter les répétitions d'une section à l'autre et pourrait diminuer le nombre de cas où les candidats répondent à un critère dans une autre section parce qu'il y a plus d'espace dans cette section. »

Évaluateur à l'étape 1

7. Perceptions sur la section du CV

La présente section fournit un aperçu de l'expérience et de la rétroaction des répondants concernant la section du CV. Le CV abrégé de Projet comporte les sections suivantes : « Reconnaissances » (les plus pertinentes – maximum de 5), « Emploi » (aucun maximum), « Congés » (aucun maximum), « Financement de recherche » (5 ans), « Publications » (les plus pertinentes – maximum de 10), « Propriété intellectuelle » (droits les plus pertinents – maximum de 5), « Présentations » (les plus pertinentes – maximum de 5), « Activités d'application des connaissances et de la technologie » (les plus pertinentes – maximum de 5) et « Activités d'encadrement » (les plus pertinentes – maximum de 10). Le CV du cocandidat de Projet comporte les sections suivantes : « Expérience professionnelle » (la plus pertinente – une seule), « Publications » (les plus pertinentes – maximum de 5) et « Activités d'application des connaissances et de la technologie » (les plus pertinentes – maximum de 5). Soulignons que les pourcentages indiqués dans la section ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche et des 920 évaluateurs à l'étape 1; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 44 à 51).

Dans l'ensemble, les instructions du CV de Projet ont été jugées claires (66,5 % des candidats à l'étape 1; 66,3 % des administrateurs de recherche) et faciles à suivre (66,4 % des candidats à l'étape 1 et 66,3 % des administrateurs de recherche). Toutefois, seulement 50 % des candidats à l'étape 1 et 44,2% des administrateurs de recherche ont indiqué que le CVC était facile à utiliser (tableau 44). Lorsqu'on leur a demandé de commenter l'utilité du CV, 55,6 % des candidats à l'étape 1 et 68,4 % des administrateurs de recherche ont répondu que le CV abrégé de Projet aiderait les évaluateurs à déterminer le calibre des candidats (tableau 45), et en effet, la majorité des évaluateurs à l'étape 1 (68,4 %) ont affirmé qu'il les aidait à déterminer si les candidats avaient l'expérience et l'expertise nécessaires pour diriger ou effectuer la recherche proposée. De plus, la majorité des candidats à l'étape 1 (74,0 %) ont fait savoir que la section « Contributions les plus importantes » fournissait des renseignements utiles aux évaluateurs (tableau 46).

Chaque section du CV a été évaluée individuellement, et plus de 70 % des candidats à l'étape 1, des administrateurs de recherche et des évaluateurs à l'étape 1 ont indiqué que chacune était pertinente, exception faite des sections « Congés » (65,0 % des candidats à l'étape 1; plus de 70 % pour les autres catégories d'intervenants) et « Propriété intellectuelle » (67,4 % des candidats à l'étape 1; plus de 70 % pour les autres catégories d'intervenants) [tableau 47]. De même, à l'exception des sections « Publications » et « Présentations », plus de 70 % des candidats à l'étape 1, des administrateurs de recherche et des évaluateurs à l'étape 1 ont trouvé la limite de caractères adéquate pour chaque section du CV. Pour la section « Publications », 41,8 % des candidats à l'étape 1, 51,5 % des administrateurs de recherche et 61,5 % des évaluateurs à l'étape 1 ont trouvé la limite adéquate. Quant à la section « Présentations », plus de la moitié des candidats à l'étape 1 et des administrateurs de recherche (respectivement 55,3 % et 57,6 %) l'ont trouvée adéquate (tableau 48). Les répondants ont indiqué que les limites de caractères devraient être augmentées pour toutes les sections du CV, sauf « Emploi » et « Congés ». Ils ont également suggéré que la limite de la section « Activités d'application des connaissances et de la technologie » passe à 10 activités ou plus et que celle de la section « Publications » soit éliminée. Concrètement, les répondants ont dit qu'ils auraient aimé inclure plus de détails concernant leurs publications, comme le type de publication et l'ordre de présentation des auteurs. Ils ont également recommandé de remplacer par une période la limite de 10 activités de la section « Activités d'encadrement ». Dans l'ensemble, ils ont dit préférer le plan du CV abrégé des National Institutes of Health à celui du CVC actuel. Ils ont par ailleurs indiqué que l'interface du CVC aurait besoin d'être améliorée; notamment, les candidats ont soulevé quelques difficultés techniques, dont une interface lente, des pannes du site Web et plusieurs étapes inutiles pour remplir le CV. Par exemple :

« Premièrement, il serait bien que le site du CVC puisse supporter les augmentations prévisibles du trafic qui surviennent juste avant les dates limites d'inscription et de présentation des demandes. Beaucoup de personnes ont perdu des heures et des heures à essayer d'aller sur le site. »

Candidat à l'étape 1

Les répondants ont souligné la nécessité d'inclure des tableaux et des lettres de collaboration. Ils ont également mentionné que les instructions pour remplir le CV étaient souvent inexactes et imprécises, surtout en ce qui a trait aux différents modèles de CV selon les candidats (c.-à-d. cocandidat ou candidat principal). Les candidats ne trouvaient pas utile d'avoir différents modèles; ils auraient préféré que les modèles soient plus uniformes. Lorsqu'on leur a demandé de commenter l'utilité du CV du cocandidat, 52,5 % des candidats à l'étape 1 et 57,2 % des administrateurs de recherche ont répondu qu'il aiderait les évaluateurs à déterminer le calibre des cocandidats (tableau 49), et en effet, la majorité des évaluateurs à l'étape 1 (73,2 %) ont affirmé qu'il contenait suffisamment de renseignements pour les aider à déterminer si les cocandidats avaient l'expérience nécessaire (tableau 49). Chaque section du CV du cocandidat a été évaluée individuellement, et plus de 70 % des candidats à l'étape 1, des administrateurs de recherche et des évaluateurs à l'étape 1 ont indiqué que chacune était pertinente (tableau 50). De même, à l'exception de la section « Publications » (45,3 % des candidats à l'étape 1, 50,8 % des administrateurs de recherche et 67 % des évaluateurs à l'étape 1), plus de 70 % des candidats à l'étape 1, des administrateurs de recherche et des évaluateurs à l'étape 1 ont trouvé la limite de caractères adéquate pour chaque section du CV (tableau 51). Les commentaires des répondants sur le CV du cocandidat indiquent notamment qu'ils trouvaient les limites trop restrictives. De plus, les candidats auraient préféré pouvoir inclure dans leur CV le financement des cocandidats. Ils ont également mentionné que le CV pouvait ressembler au CV abrégé et qu'ils ne comprenaient pas pourquoi les cocandidats devaient remplir une version modifiée.

8. Rétroaction sur le budget

Les candidats ont présenté une demande de budget pour financer le programme de recherche proposé dans leur demande. Les évaluateurs ont été appelés à déterminer si les ressources demandées étaient adéquates pour soutenir financièrement le programme de recherche proposé tel qu'il était décrit dans la demande. De plus, les IRSC ont demandé que le budget concorde avec les antécédents de financement du candidat, comme déterminé dans le budget de base qu'ils ont fourni. La présente section résume l'expérience et la rétroaction des répondants relativement à la section du budget dans la demande. Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1 et des 104 administrateurs de recherche; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 52 et 53).

Dans l'ensemble, la majorité des candidats à l'étape 1 (87,1 %) et des administrateurs de recherche (77,9 %) ont trouvé la section du budget facile à utiliser (tableau 52). De même, 81,4 % des candidats et 79,2 % des administrateurs ont trouvé utile de présenter le budget par catégories (p. ex. « Produits consommables », « Produits non consommables »), et 69,8 % des candidats et 62,4 % des administrateurs ont indiqué que les catégories leur avaient permis de donner un bon aperçu des aspects pertinents de leur budget. De façon générale, les candidats et les administrateurs ont jugé que les instructions fournies dans la section du budget étaient claires (respectivement 82,6 % et 71,5 %) et suffisantes pour comprendre les renseignements à inclure dans chaque section (respectivement 79,0 % et 62,4 %). La majorité des candidats à l'étape 1 (68,8 %) ont dit préférer le budget global à la ventilation annuelle, et 73,5 % ont dit avoir été en mesure de bien justifier leur budget. Les administrateurs de recherche étaient toutefois moins susceptibles (57,2 %) d'avoir indiqué que les candidats avaient bien justifié les fonds demandés et d'avoir dit qu'ils préféraient le budget global à la ventilation annuelle (46,8 %) [tableau 52].

Lorsqu'on leur a demandé ce qu'ils pensaient du format du budget, 56,0 % des candidats à l'étape 1 et 35,1 % des administrateurs de recherche ont répondu que les limites de caractères du budget global étaient adéquates. De façon générale, ils ont toutefois trouvé que l'espace alloué au budget était trop restrictif, qu'ils n'étaient pas suffisamment encadrés et que les définitions des catégories manquaient de clarté. Par exemple :

« Nous ne savions pas exactement quel genre de justification devait être fournie pour le budget. Le guide devrait donner un exemple pour chaque sous-section, de sorte à assurer l'uniformité des demandes. »

Candidat à l'étape 1

Lorsqu'on leur a demandé si les sections du budget étaient appropriées, plus de 70 % des candidats à l'étape 1 étaient d'avis que oui pour les sections « Personnel de recherche », « Stagiaires », « Produits consommables », « Produits non consommables » et « Autres »; cependant, seulement 68 % avaient cette opinion pour la section « Application des connaissances » (tableau 53). Les répondants ont pu commenter chaque section dans les réponses aux questions ouvertes. Ils ont mentionné qu'il était difficile de savoir qui inclure dans « Personnel de recherche », se demandant entre autres si les étudiants bénévoles de premier cycle entraient dans cette catégorie. Par exemple :

« Certains renseignements de base semblaient convenir à deux catégories, ou ne convenir à aucune. Je pense notamment à l'exemple des allocations pour les stagiaires, qui était donné dans "Personnel de recherche" et "Stagiaires". Je trouve aussi que l'exigence de consacrer de l'argent aux incitatifs pour les participants est assez élémentaire et qu'il serait bien de la donner en exemple dans la bonne catégorie. »

Candidat à l'étape 1

Les répondants ont également mentionné que la limite de caractères pour « Personnel de recherche » était trop restrictive et qu'il fallait clarifier quel type d'étudiant (cycles supérieurs, médecine, etc.) allait dans quelle catégorie dans « Stagiaires ». Ils ont suggéré de fusionner ces deux catégories afin d'éviter toute confusion. Par ailleurs, ils ont indiqué que les définitions de « Produits consommables » et de « Produits non consommables » n'étaient pas claires et qu'elles auraient pu être précisées à l'aide d'exemples supplémentaires de ce qu'est – ou n'est pas – un produit consommable. Les répondants ont recommandé d'élargir les critères relatifs aux produits consommables de sorte à inclure les animaux et les services ou les fournitures d'entretien. En outre, ils ont indiqué que la définition de la catégorie « Application des connaissances » n'était pas claire non plus, et ils ont suggéré de fournir un exemple de ce qui entre et n'entre pas dans cette catégorie. Plus précisément, les répondants ont dit ne pas bien comprendre comment cette catégorie s'appliquait à leur domaine, en particulier les candidats proposant des travaux de recherche fondamentale ou biomédicale. Enfin, les répondants ont souligné que la définition de la catégorie « Autres » n'était pas claire et, par conséquent, qu'ils n'étaient pas certains de comprendre ce qu'elle englobait. Ils ont suggéré d'inclure dans « Autres » les souris et autres animaux, les services, les déplacements et les publications.

9. Rétroaction sur les documents de soutien

Plusieurs documents ont été élaborés pour aider les participants aux processus de demande et d'évaluation du concours Projet. La présente section offre un aperçu général de l'utilisation des documents de soutien fournis par les IRSC et de la rétroaction des répondants sur ces documents. Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche, des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1 et des 14 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 54 et 55).

Dans l'ensemble, l'utilisation des documents de soutien fournis par les IRSC était assez variable (tableau 54). Les candidats à l'étape 1 et les administrateurs de recherche étaient généralement plus nombreux que les évaluateurs et les PV à les avoir utilisés. Voici les documents qui ont été les moins utilisés par les répondants, tous groupes confondus : Concours pilotes du volet Projet – Questions et réponses, CV abrégé de Projet – Guide de consultation rapide et CV du cocandidat de Projet – Guide de consultation rapide (tableau 54).

Plus de 70 % des répondants qui avaient utilisé les documents de soutien ont dit qu'ils avaient été utiles, sauf CV abrégé de Projet – Guide de consultation rapide, jugé utile par 62,5 % des PV à l'étape 1, et Volet Projet – Descripteurs et guide d'interprétation des critères de sélection de l'étape 1, jugé utile par 40 % des évaluateurs à l'EFE (tableau 55).

Lorsqu'on leur a demandé leur avis sur les documents de soutien, les répondants ont indiqué qu'il y avait trop de documents différents et trop de dédoublements d'information. Ils ont mentionné qu'il aurait été préférable d'avoir un seul fichier principal ou document contenant les renseignements les plus importants. Par exemple :

« Tous les documents étaient utiles à avoir sous la main, mais il semblait manquer certains détails. De plus, c'était fatigant de toujours devoir se référer à différents documents et difficile de ne pas s'y perdre. Ç'aurait été pratique d'avoir un seul PDF avec une table des matières interactive et des hyperliens dans le document. »

Administrateur de recherche à l'étape 1

Les répondants ont également indiqué que le langage utilisé dans les documents était souvent difficile à comprendre. Ils ont souligné que le recours à un langage simple, plutôt qu'à un jargon juridique et technique, pourrait aider à clarifier l'information. Ils ont en outre soulevé la nécessité d'améliorer l'accessibilité aux documents de soutien et de mieux communiquer l'endroit où ils se trouvent. Par exemple :

« Je ne savais pas que les documents que j'ai indiqué ne pas avoir lus existaient. Ce serait très utile de les rendre plus visibles et plus accessibles sur la page Web de l'évaluation. »

Évaluateur à l'étape 1

Les répondants ont également recommandé d'améliorer la clarté des documents de soutien par l'ajout d'exemples pour certains critères. Lorsqu'on leur a demandé quels autres documents pourraient aider les évaluateurs à s'acquitter de leurs fonctions, les répondants ont indiqué que les webinaires étaient plus utiles que les documents de soutien.

10. Rétroaction sur le matériel didactique

Plusieurs leçons d'apprentissage interactives ont été élaborées pour aider les participants aux processus de demande et d'évaluation du concours Projet. La présente section offre un aperçu général de l'utilisation du matériel didactique fourni par les IRSC et de la rétroaction des répondants sur ce matériel. Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche, des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1 et des 14 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 56 et 57).

Dans l'ensemble, l'utilisation du matériel didactique fourni par les IRSC était assez variable (tableau 56). Voici les documents qui ont été les moins utilisés par les répondants, tous groupes confondus : les webinaires sur le processus de demande à l'étape 1 et les documents créés expressément pour les évaluateurs et les PV à l'étape 1. Plus de 70 % des répondants ayant utilisé le matériel didactique ont indiqué qu'il avait été utile, sauf le webinaire sur le processus de demande à l'étape 1, jugé utile par 68,1 % des candidats à l'étape 1 (tableau 57). Lorsqu'ils ont été invités à fournir leurs commentaires sur le matériel didactique, les répondants ont souligné qu'il reprenait en grande partie les renseignements contenus dans les documents de soutien, ce qui leur a donné l'impression qu'il n'était peut-être pas nécessaire d'à la fois consulter les documents et assister aux webinaires. Par exemple :

« Le contenu du webinaire n'avait presque rien de nouveau et se trouvait presque entièrement sur le site des IRSC. Ce qui me fâche, ce sont les renseignements contradictoires. Je sais pertinemment que d'un webinaire à l'autre, des réponses différentes ont été données aux mêmes questions. »

Candidat à l'étape 1

Les répondants ont également dit avoir éprouvé des difficultés avec l'utilisation de la plateforme en ligne et avec le fait qu'ils devaient tenir des discussions continues avec des personnes d'autres fuseaux horaires. Quand on leur a demandé comment le matériel didactique pourrait être amélioré, les répondants ont mentionné qu'il serait bien de mieux coordonner les webinaires en ce qui a trait au moment et à l'accessibilité. De plus, ils ont suggéré que les documents et les réponses du webinaire de format questions et réponses soient transmis à tous les participants et consultables à tout moment. Par exemple :

« Le webinaire aurait dû aussi être présenté en diffusion YouTube librement accessible. Ça pourrait même aider les candidats potentiels à améliorer leur demande. »

Évaluateur à l'étape 1

Lorsqu'on a demandé aux administrateurs de recherche s'ils avaient élaboré une formation spéciale pour aider leurs chercheurs avec le processus de demande, 45,2 % ont répondu que oui et 54,8 % ont répondu que non (tableau 58). Lorsqu'ils ont été invités à décrire la formation dans les questions ouvertes, ils ont mentionné diverses mesures, comme donner des conseils pour présenter une demande de subvention, fournir des résumés du processus d'évaluation, organiser des ateliers, préparer des fiches de renseignement et offrir un encadrement individuel. Par exemple :

« J'ai préparé un courriel d'instructions sur le processus de demande et je l'ai envoyé à toutes les personnes inscrites et aux administrateurs de leur département. J'ai fourni mes commentaires sur les demandes que j'ai examinées et j'ai offert des conseils individuels – par téléphone ou par courriel – aux candidats qui avaient des questions. Le campus compte également une unité distincte qui a organisé des ateliers et offert d'autres services de révision. »

Administrateur de recherche

11. RechercheNet

La présente section résume l'expérience et la rétroaction des répondants relativement à leur utilisation de RechercheNet, en particulier sa convivialité dans le cadre des processus de demande et d'évaluation. Les résultats sont présentés selon le processus de demande, le processus d'évaluation et la rétroaction sur le service d'aide. Les pourcentages ont été calculés en fonction du nombre de réponses valides des 1 614 candidats à l'étape 1, des 104 administrateurs de recherche, des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1, des 14 évaluateurs à l'EFE et des 1 239 candidats après la décision; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 59 à 65).

11.1 Processus de demande

La majorité des candidats à l'étape 1 (49,5 %) et des administrateurs de recherche (93,4 %) ont indiqué avoir accédé à RechercheNet au moyen d'un appareil fonctionnant sous Windows (tableau 60). Au total, 60,3 % des candidats à l'étape 1 se sont dits satisfaits de l'accès à RechercheNet (tableau 62). Lorsqu'on les a interrogés sur la convivialité générale, les candidats à l'étape 1 (83,2 %) et les administrateurs de recherche (81,5 %) ont mentionné que RechercheNet était facile à utiliser (tableau 63). La majorité des candidats à l'étape 1 (75,4 %) ont dit avoir réussi à y entrer l'information relative à leur demande sans aucune difficulté. Ceux qui ont dit avoir éprouvé des difficultés ont décrit leur expérience dans les réponses aux questions ouvertes. Ils ont notamment soulevé des difficultés techniques liées aux fonctions de mise en forme, en particulier l'exactitude du nombre de caractères. Par exemple :

« Le nombre de caractères ne correspond pas à celui de Word, ce qui nous oblige à apporter des modifications dans RechercheNet. Les fenêtres où entrer les renseignements sont trop petites pour les sections volumineuses (toutes celles de plus d'une demi-page). Toute la mise en forme est perdue ou bousillée. »

Candidat à l'étape 1

Par ailleurs, les candidats ont dit avoir mis du temps à expliquer le processus de demande aux cocandidats qui venaient de l'étranger ou qui ne connaissaient pas le système. Ils ont donc suggéré qu'on permette au candidat principal d'entrer les renseignements des cocandidats afin d'atténuer ce problème. Par exemple :

« Permettez-nous d'entrer les renseignements du CV pour les cocandidats une fois qu'ils ont fourni leurs codes de confirmation. Les saisir à nouveau entre l'inscription et la demande détaillée était pénible, surtout avec les documents supplémentaires requis. »

Candidat à l'étape 1

En ce qui concerne les fonctions de RechercheNet, les répondants ont notamment aimé le fait que toutes les instructions se trouvaient au même endroit et que les administrateurs de recherche pouvaient fixer des échéances internes. Au total, 85,5 % des candidats à l'étape 1 et 75,0 % des administrateurs de recherche ont réussi à soumettre leur demande de manière efficace dans RechercheNet (tableau 63). La majorité des administrateurs (93,4 %) ont indiqué qu'un compte d'essai leur serait utile, et 92,1 % ont dit qu'ils aimeraient avoir accès à un compte d'essai pour tous les programmes ouverts des IRSC (tableau 64).

11.2 Processus d'évaluation

La majorité des évaluateurs à l'étape 1 (46,4 %), des PV à l'étape 1 (46,5 %) et des évaluateurs à l'EFE (64,3 %) ont indiqué avoir accédé à RechercheNet au moyen d'un appareil fonctionnant sous Windows (tableau 60). Lorsqu'on les a interrogés sur la convivialité générale, les évaluateurs à l'étape 1 (88,7 %), les PV à l'étape 1 (84,5 %) et les évaluateurs à l'EFE (75,0 %) ont mentionné que RechercheNet était facile à utiliser. De plus, 79,4 % des évaluateurs à l'étape 1 ont affirmé que l'évaluation structurée était conviviale, et 83,3 % des évaluateurs à l'EFE ont dit la même chose du processus de catégorisation. Au total, 85,1 % des évaluateurs à l'étape 1 et 41,6 % des évaluateurs à l'EFE ont réussi à évaluer les demandes de manière efficace à l'aide de RechercheNet (tableau 63). Dans les réponses aux questions ouvertes, les évaluateurs et les PV ont fait savoir qu'ils aimeraient que le système de notification soit amélioré afin qu'il les avertisse lorsque des demandes leur sont assignées, de nouvelles discussions sont publiées ou les classements ont changé. Par exemple :

« Il y a eu un problème technique avec les nouvelles discussions, qui n'étaient pas marquées comme étant nouvelles. C'était extrêmement frustrant et ça demandait du temps supplémentaire, comme il fallait constamment retenir la dernière discussion consultée, puis essayer de repérer les nouveaux fils de discussion. »

PV à l'étape 1

Les évaluateurs ont également souligné qu'ils n'avaient pas eu assez de temps pour remplir leurs évaluations avant la fermeture de leur session et qu'ils avaient par conséquent dû les entrer plusieurs fois. Pour éviter ce problème, ils ont recommandé l'ajout d'une fonction de sauvegarde automatique. Par exemple :

« Le problème, comme vous l'avez mentionné dans le guide, est que lorsque le délai expire, nous perdons le travail que nous avons fait. Le délai est trop court; c'est pourquoi une fonction de sauvegarde automatique serait une bonne solution à ce problème. »

Évaluateur à l'étape 1

11.3 Rétroaction sur le service d'aide de RechercheNet

Les participants qui ont eu des problèmes avec RechercheNet ont communiqué avec le service d'aide. Les candidats à l'étape 1, les administrateurs de recherche, les évaluateurs à l'étape 1 et les PV se sont dits généralement satisfaits de la rapidité du service (respectivement 71,4 %, 73,5 %, 76,4 % et 75,9 %). Toutefois, les proportions d'évaluateurs à l'EFE et de candidats après la décision se disant satisfaits étaient moindres (respectivement 41,7 % et 31,4 %) [tableau 65]. De même, les candidats à l'étape 1, les administrateurs de recherche et les évaluateurs à l'étape 1 se sont dits généralement satisfaits de l'utilité du service (respectivement 71,7 %, 71,4 %, 77,6 % et 74,9 %); cependant, les évaluateurs à l'EFE (45,5 %) étaient moins susceptibles d'abonder dans le même sens (tableau 65). Une minorité de candidats après la décision (20,9 %) ont indiqué que les réponses des IRSC étaient complètes, cohérentes et exactes, et 49,4 %, que le personnel des IRSC était courtois.

12. Perceptions sur le format de l'évaluation

La présente section fournit un aperçu de l'expérience et de la rétroaction des évaluateurs relativement au format de la feuille de travail de l'évaluation. L'évaluation structurée est l'un des éléments conceptuels du programme Projet. Le format structuré a été conçu de façon à ce que les candidats et les évaluateurs se concentrent sur des critères de sélection bien précis. Les évaluateurs devaient fournir leurs commentaires sur chaque critère de sélection; ils disposaient d'une demi-page pour les forces et d'une demi-page pour les faiblesses. Soulignons que les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1 et des 14 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 66 à 69).

Plus de 70 % des évaluateurs à l'étape 1 trouvaient que les limites de caractères de la feuille de travail de l'évaluation structurée étaient suffisantes pour répondre à chaque critère de sélection (tableau 66). Ceux qui les trouvaient insuffisantes ont suggéré une limite idéale pour chaque critère : une page pour « Qualité de l'idée » (45,2 %), une page pour « Importance de l'idée » (42,6 %), une page pour « Approche » (49,4 %) et une page pour « Expertise, expérience et ressources » (46,2 %) [tableau 67]. Par ailleurs, 22,7 % des évaluateurs à l'étape 1 ont indiqué que la feuille de sélection leur avait permis une meilleure évaluation de la méthode d'ACi (tableau 68). Tous les évaluateurs à l'EFE ont mentionné que les limites de caractères de la feuille de sélection étaient adéquates (tableau 69). Dans leurs réponses aux questions ouvertes, la plupart des évaluateurs ont demandé une augmentation des limites pour chaque critère, à la fois pour les candidats et eux-mêmes. Malgré des commentaires positifs sur la convivialité du formulaire, les évaluateurs ont indiqué qu'ils préfèreraient que les sections des forces et des faiblesses soient fusionnées dans la feuille de travail de l'évaluation.

13. Satisfaction générale à l'égard du processus d'évaluation

La présente section résume l'expérience et la rétroaction des répondants relativement au processus d'évaluation. Les résultats sont présentés selon l'étape (étape 1 ou EFE). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1, des 14 évaluateurs à l'EFE et des 1 239 candidats après la décision; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 70 à 78).

13.1 Étape 1

Dans l'ensemble, les évaluateurs à l'étape 1 étaient partagés quant à leur satisfaction à l'égard du processus d'évaluation. Plus précisément, 42,6 % s'en sont dits satisfaits, et 49,3 % insatisfaits. De plus, 17,2 % des PV à l'étape 1 ont répondu qu'ils étaient satisfaits du processus d'évaluation, alors que 79,7 % s'en sont dits insatisfaits (tableau 70). Dans leurs réponses aux questions ouvertes, les évaluateurs ont indiqué qu'ils n'étaient pas certains de comprendre comment évaluer les sections avec l'échelle de sélection, qu'ils avaient besoin de plus de temps pour terminer leurs évaluations et qu'il fallait accroître la participation des évaluateurs. Par exemple :

« Aucune responsabilisation. Beaucoup d'évaluateurs n'ont pas remis leurs évaluations, et parmi ceux qui l'ont fait, certains n'ont même pas interagi pendant la discussion en ligne. »

Évaluateur à l'étape 1

De plus, les évaluateurs ont soulevé la nécessité d'améliorer la qualité des évaluations, puisque certains évaluateurs n'avaient pas fourni de commentaires ou que ceux qu'ils avaient fournis étaient généralement trop courts pour être utiles aux candidats. Par exemple :

« L'écart entre les cotes pour chaque critère, les cotes globales et le classement global est un problème majeur. De plus, certains évaluateurs ont ajusté leurs cotes à la suite de la discussion, mais pas leurs évaluations. »

Évaluateur à l'étape 1

La majorité des évaluateurs à l'étape 1 ont indiqué que les demandes correspondaient à leur champ d'expertise (78,5 %), qu'ils étaient à l'aise d'évaluer les demandes qui leur avaient été attribuées (80,0 %) et qu'ils avaient été en mesure d'évaluer à la fois le concept et la faisabilité du projet de recherche proposé (70,7 %). Presque tous les évaluateurs à l'étape 1 (96,0 %) ont également affirmé avoir été en mesure de déclarer efficacement leurs conflits d'intérêts (tableaux 71 à 74). En outre, la majorité d'entre eux (74,7 %) ont indiqué que le processus d'évaluation était approprié, et 71,6 % ont affirmé que c'était une façon utile de fournir des commentaires aux candidats; toutefois, ils étaient moins susceptibles (42,8 %) de trouver que le processus avait amélioré la façon de fournir des commentaires aux candidats. Enfin, la majorité des évaluateurs (68,9 %) étaient d'avis que le processus d'évaluation était intuitif, mais à peine plus de la moitié (54,5 %) trouvaient qu'il avait facilité l'évaluation des demandes (tableau 75).

Lorsqu'on leur a demandé ce qu'ils pensaient du processus d'évaluation à l'étape 1, la majorité des candidats après la décision (77,9 %) s'en sont dits insatisfaits (tableau 70). La satisfaction à l'égard du processus était corrélée à la réussite des candidats : les candidats retenus étaient plus susceptibles d'être satisfaits (40,8 %) que les candidats non retenus (8,1 %) [n = 1 139, p < 0,001; tableau 76]. Par ailleurs, la majorité des candidats après la décision (74,7 %) ont indiqué qu'ils trouvaient le processus d'évaluation structurée utile et que le processus d'évaluation des demandes à l'étape 1 était juste et transparent (71,6 %) [tableau 77]. Dans les réponses aux questions ouvertes, les candidats ont mentionné que le processus était utile dans la mesure où les évaluateurs le respectaient et justifiaient clairement leurs cotes. Par exemple :

« Je suis d'accord avec le principe derrière l'idée, mais l'exécution laisse à désirer. Les justifications étaient très positives pour la plupart des candidats non retenus avec lesquels j'ai parlé. Le problème, c'est qu'en classant la plupart des demandes en haut de l'échelle (p. ex. exceptionnel ou excellent), les évaluateurs n'ont pas à signaler les points négatifs, ce qui est nécessaire pour aider les candidats à améliorer leur demande en vue de la présenter à nouveau. »

Candidat après la décision

Toujours dans les réponses aux questions ouvertes, les candidats ont souligné qu'on pourrait améliorer le processus de sélection en dissipant l'impression de manque de responsabilisation des évaluateurs. Ils ont mentionné que le comblement de cette lacune passerait d'abord et avant tout par le rétablissement des comités d'évaluation en personne. Ils ont également suggéré de fournir aux évaluateurs des incitatifs, de dévoiler leur identité, de demander aux PV de réviser les évaluations présentées et de permettre aux candidats de répondre aux évaluations. Les candidats ont aussi indiqué qu'on pourrait améliorer le processus de sélection en réglant le problème de cohérence perçu entre les évaluateurs. Ils ont mentionné que pour corriger cette lacune, il faudrait obliger les évaluateurs à discuter de tout écart entre les cotes. Par exemple :

« Je crois que lorsqu'il y a des écarts importants dans les cotes des évaluateurs, une discussion s'impose pour arriver à un consensus. Il faut se demander par exemple si la demande est tout simplement tombée dans un groupe de demandes cotées très haut ou très bas, ce qui pourrait expliquer l'écart. »

Candidat après la décision

Les candidats ont également suggéré d'assurer l'uniformité du nombre de demandes attribuées (p. ex. cinq demandes par évaluateur) et du contenu des demandes (p. ex. toutes les demandes sont en recherche fondamentale), et qu'un bon moyen d'y parvenir serait d'évaluer les évaluateurs. D'autres mesures ont été proposées : offrir une formation aux PV et aux évaluateurs, retirer la plus faible cote octroyée et permettre aux candidats et/ou aux PV de communiquer avec les évaluateurs, ce qui pourrait avoir une incidence sur la participation de ces derniers à d'autres évaluations. Par exemple :

« Je pense qu'il serait bien d'offrir une formation aux évaluateurs. Par exemple, un de mes évaluateurs m'a demandé pourquoi aucune lettre de collaboration n'était incluse dans la demande (elles ne sont pas permises). C'est important que les évaluateurs sachent ce qui est exigé dans la demande… »

Candidat après la décision

Les candidats ont indiqué que les IRSC pourraient améliorer le processus en faisant en sorte que les demandes soient évaluées par des évaluateurs compétents et qualifiés pour fournir aux candidats des commentaires pertinents. Ils ont également souligné que les évaluateurs devraient être expérimentés, avoir l'expertise nécessaire et ne pas se trouver en conflit d'intérêts. Par exemple :

« Il faut aussi veiller à ce que les évaluateurs connaissent bien le domaine, ou du moins, à ce qu'ils le connaissent assez pour l'évaluer. J'ai parlé à plusieurs évaluateurs œuvrant exclusivement dans le domaine de la recherche clinique à qui l'on avait assigné des demandes en science fondamentale. Ils ont admis qu'ils n'avaient aucune idée de ce qu'ils faisaient. J'imagine que l'inverse est aussi arrivé. »

Candidat après la décision

Pour parvenir à cette fin, les candidats ont proposé que les IRSC obligent les chercheurs financés à agir ultérieurement comme évaluateurs. Ils ont aussi mentionné qu'un moyen d'améliorer les processus de demande et de sélection serait d'en accroître la transparence. Plus précisément, les IRSC doivent communiquer clairement avec les candidats et les évaluateurs pour qu'ils aient tous la même compréhension des différentes exigences. Par ailleurs, en raison des commentaires des évaluateurs et de la pondération des critères, les candidats avaient l'impression que la recherche fondamentale était désavantagée. Ainsi, pour améliorer le processus d'évaluation pour les candidats, les IRSC pourraient déterminer le type de recherche qu'ils souhaitent financer (p. ex. recherche fondamentale ou recherche translationnelle) et les communiquer aux candidats potentiels.

13.2 Étape finale de l'évaluation

Plus de la moitié des évaluateurs à l'EFE (58,3 %) se sont dits insatisfaits de leur partie du processus d'évaluation. De plus, 38,4 % des candidats après la décision à l'étape 2 ont indiqué ne pas être satisfaits du processus de l'EFE (tableau 70). La satisfaction était corrélée à la réussite des candidats à l'EFE : les candidats retenus étaient plus susceptibles d'être satisfaits (30,0 %) que les candidats non retenus (5,5 %) [n = 624, p < 0,0001; tableau 76]. Dans les réponses aux questions ouvertes, les candidats ont précisé qu'ils n'avaient reçu aucune note de l'agent scientifique ni aucun commentaire des évaluateurs. Par exemple :

« Aucune note de l'AS pour ma demande… Il m'est donc difficile de bien comprendre les évaluations, qui manquaient de cohérence entre elles, tout comme les cotes individuelles… C'est pénible de ne recevoir aucune explication, et honnêtement, les opinions totalement opposées des évaluateurs sur un même point ne m'aident en rien et n'aident pas non plus la communauté scientifique. »

Candidat après la décision

Les candidats trouvaient que les classements des évaluateurs étaient très variables et s'interrogeaient sur la clarté du système de cotation. Lorsqu'on leur a demandé de se prononcer sur la cohérence des évaluations, les candidats ont indiqué que leurs cotes ne correspondaient pas à leur classement et qu'il y avait un écart important entre les cotes des évaluateurs. Par exemple :

« J'ai trouvé consternant de recevoir des cotes aussi différentes, sans aucune explication. Les IRSC l'avaient pourtant promis – ma demande aurait dû faire l'objet d'une discussion à l'étape 2. Mais elle ne s'est jamais rendue à l'étape 2… »

Candidat après la décision

Lorsqu'on leur a demandé ce qu'ils pensaient de la justesse du processus d'évaluation, les candidats ont répondu que les évaluateurs ne semblaient pas connaître le domaine assez bien pour évaluer leur demande et qu'ils étaient mécontents qu'une échelle numérique n'ait pas été utilisée pour assurer la transparence. Par exemple :

« Aucun des évaluateurs n'a parlé des défauts de l'approche. Tous les commentaires reposaient sur les "croyances" des évaluateurs, ce qui me laisse croire que certains n'avaient pas l'expertise nécessaire pour évaluer le projet strictement en fonction de son mérite scientifique. »

Candidat après la décision

La majorité des candidats après la décision (92,5 %) ont dit ne pas avoir communiqué avec les IRSC au sujet du processus d'évaluation à l'étape 1 ou à l'étape finale (tableau 78). Les améliorations suggérées comprennent l'assignation des demandes en tenant compte de l'expertise et de l'expérience des évaluateurs dans le champ de recherche et le rétablissement de l'approche en personne pour favoriser la participation et la responsabilisation.

14. Expérience des évaluateurs avec le processus de cotation et de classement

Les évaluateurs à l'étape 1 devaient coter les demandes qui leur avaient été assignées selon chacun des critères de sélection. À partir de ces cotes, les demandes ont été classées par ordre décroissant. Les évaluateurs devaient alors valider le classement et déplacer, si nécessaire, les demandes vers le haut ou le bas de la liste. La présente section donne un aperçu de l'expérience et de la rétroaction des évaluateurs à l'étape 1 relativement au processus de cotation et de classement. Les pourcentages ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 79 à 82).

De façon générale, les évaluateurs à l'étape 1 (82,6 %) étaient d'accord pour dire que les cotes avaient permis de générer une liste de classement allant de la meilleure demande à la pire (tableau 79). La majorité des évaluateurs (70,7 %) trouvaient que l'évaluation de chaque critère était un précieux outil pour les aider à classer leurs demandes et que le classement des demandes était facile (75,4 %) et intuitif (69,4 %) [tableau 80]. De plus, ils étaient d'avis (76,4 %) qu'il était approprié d'ajuster le classement des demandes avant de soumettre leurs décisions aux IRSC, puisque la cote de chaque critère doit servir à éclairer l'établissement du classement global. Pendant le processus d'évaluation de l'étape 1, 68,8 % des évaluateurs ont dû départager des demandes ex æquo (tableau 81). Plus de la moitié des évaluateurs comprenaient le but du bris d'égalité (57,2 %) et trouvaient que le processus de bris d'égalité était clair (62,1 %) et intuitif (58,9 %) [tableau 82]. Les évaluateurs ont généralement dû départager un bon nombre de demandes, ou à l'inverse, aucune. Certains ont indiqué que le but du bris d'égalité et le processus manquaient de clarté. Par exemple :

« Quel est le but de départager les demandes se trouvant au milieu du classement quand nous savons que seules les premières seront retenues? Ou lorsque j'accorde une faible cote à une demande qui a reçu une excellente cote d'un autre évaluateur, mais que nous ne discutons pas de nos impressions divergentes? »

Évaluateur à l'étape 1

Les évaluateurs craignaient que les classements soient artificiels, puisque chaque évaluateur recevait un groupe de demandes différentes et que les cotes n'étaient pas prises en compte dans le classement définitif. Les demandes étaient trop différentes les unes des autres pour permettre une comparaison appropriée entre les évaluateurs. Par exemple :

« Je trouve que le classement de candidats effectué par chaque évaluateur n'est pas du tout pertinent. Comme clinicien-chercheur, j'évaluais des demandes en sciences cliniques et en sciences fondamentales, donc ma liste était extrêmement variée, et beaucoup de demandes n'avaient rien à voir avec les autres. C'est pourquoi le classement de ces demandes était complètement artificiel et inutile. »

Évaluateur à l'étape 1

Des évaluateurs ont admis avoir changé le classement de sorte que les demandes soient placées dans l'ordre qu'ils jugeaient approprié et non selon la cote de chaque critère de sélection. Certains ont également mentionné avoir dû ajuster leurs classements après avoir vu comment les autres avaient utilisé l'échelle. Par exemple :

« J'ai modifié le classement pour que les demandes soient placées dans l'ordre qui semblait le plus approprié, selon celles que je jugeais les meilleures et pas nécessairement selon l'échelle de cotation de chaque critère, donc c'est plutôt subjectif. Peut-être que l'ajout d'une échelle de cotation "globale" serait nécessaire? »

Évaluateur à l'étape 1

15. Expérience avec la lecture des autres évaluations

Vu qu'ils ne pouvaient plus se réunir en personne, les évaluateurs pouvaient lire d'autres évaluations préliminaires afin d'ajuster leurs évaluations et de relever les divergences entre leurs idées et celles des autres. La présente section résume l'expérience des évaluateurs et des PV avec la lecture des autres évaluations. Les résultats sont présentés selon l'étape (étape 1 ou EFE). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1, et des 14 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 84 à 86).

15.1 Étape 1

Les évaluateurs à l'étape 1 (90,3 %) et les PV à l'étape 1 (97,1 %) ont dit avoir lu les évaluations préliminaires des autres évaluateurs (tableau 83). Les PV (92,9 %) ont également indiqué avoir lu les demandes attribuées à leurs évaluateurs. Plus de 80 % des évaluateurs et des PV s'entendaient pour dire que la lecture des autres évaluations était utile et constituait un aspect important du processus d'évaluation. De plus, 76,2 % des évaluateurs ont mentionné qu'elle avait influencé leur propre évaluation d'au moins une demande (tableau 84). Lorsqu'on leur a demandé pourquoi ils avaient lu les évaluations préliminaires, les répondants ont dit que selon eux, c'était leur responsabilité de lire chaque évaluation pour les aider à intégrer des opinions d'experts, à comprendre les écarts et à stimuler la discussion. Ils ont aussi répondu qu'il s'agissait d'un processus utile pour déterminer si les autres évaluateurs avaient une compréhension semblable de la demande, et surtout, pour voir s'ils percevaient les mêmes forces et faiblesses. Par exemple :

« Pour mieux comprendre pourquoi leurs cotes sont différentes des miennes ou voir si des points importants (positifs ou négatifs) m'ont échappé. »

Évaluateur à l'étape 1

Lorsqu'on a demandé aux répondants qui n'avaient pas lu les évaluations préliminaires pourquoi ils ne l'avaient pas fait, ils ont indiqué que les évaluations étaient inutiles si elles n'étaient pas remises à temps, ou que certaines étaient trop brèves ou mal écrites pour être constructives. Par exemple :

« On aurait dit que tout arrivait à l'échéance. J'étais dans une course contre la montre parce que je devais être à l'extérieur pendant des "rencontres virtuelles" et qu'au moment de soumettre mes documents définitifs, peu d'évaluations étaient disponibles pour me permettre de les comparer. »

Évaluateur à l'étape 1

15.2 Étape finale de l'évaluation

Les évaluateurs à l'EFE (92,9 %) ont dit avoir lu les commentaires des autres évaluateurs à l'EFE ainsi que les demandes qui leur avaient été assignées (92,9 %) [tableau 83]. Tous les évaluateurs à l'EFE ont indiqué que la lecture des commentaires était nécessaire pour l'évaluation de l'étape finale; toutefois, seulement 46,2 % ont trouvé que les commentaires des autres évaluateurs à l'EFE les avaient aidés à se préparer à la réunion en personne (tableau 84). Les évaluateurs étaient d'ailleurs partagés lorsqu'on leur a demandé si les commentaires avaient influencé (46,2 %) ou non (53,8 %) leur évaluation de la demande (tableau 85). Ceux qui ont répondu par l'affirmative ont indiqué que cela arrivait « à l'occasion » (66,7 %) [tableau 86]. Lorsqu'on leur a demandé de fournir leurs commentaires au sujet des évaluations de l'étape 1 et de leur utilité pour l'EFE, les répondants ont dit qu'elles n'avaient pas été utiles étant donné que certains évaluateurs avaient reçu des demandes hors de leur champ d'expertise. Par exemple :

« Le problème, c'est que des évaluateurs à l'EFE n'avaient pas l'expertise appropriée pour évaluer la demande. »

Évaluateur à l'EFE

16. Qualité de l'évaluation

La présente section propose un survol de l'expérience et de la rétroaction des répondants relativement à la qualité des évaluations. Pour être de grande qualité, les évaluations doivent décrire clairement les forces et les faiblesses de la demande, fournir des justifications constructives et respectueuses pour chaque cote attribuée et inspirer confiance en la capacité de l'évaluateur à évaluer équitablement la demande. Les résultats sont présentés selon l'étape (étape 1 ou EFE). Les pourcentages ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1, des 14 évaluateurs à l'EFE et des 1 239 candidats après la décision; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 87 à 92).

16.1 Étape 1

La majorité des évaluateurs à l'étape 1 (63,2 %) ont indiqué que la qualité des évaluations était problématique (tableau 87). En moyenne, 30 % des évaluations préliminaires ont été jugées insatisfaisantes. Lorsqu'on a demandé aux évaluateurs à l'étape 1 de se prononcer sur la qualité des évaluations préliminaires, plus de 80 % ont répondu que les commentaires étaient respectueux, ne divulguaient aucun renseignement personnel sur l'évaluateur et ne faisaient aucune référence inappropriée au candidat, à son établissement de recherche ni à son domaine de recherche. Ils étaient toutefois moins susceptibles d'indiquer que les commentaires des autres évaluateurs fournissaient une description suffisamment détaillée des forces et des faiblesses (67,6 %), offraient un juste équilibre entre les forces et les faiblesses permettant d'étayer les cotes attribuées (62 %), étaient centrés sur les critères de sélection (65 %), étaient exempts d'erreur factuelle (63,5 %) et étaient clairs (68 %) [tableau 88]. Lorsqu'on leur a demandé quels étaient les problèmes de qualité des évaluations préliminaires, les répondants ont mentionné la grande variabilité dans les classements, la justification des cotes et les commentaires des évaluateurs. Ils ont également souligné que certaines évaluations étaient trop brèves, que les commentaires étaient inutiles et que certains évaluateurs manquaient d'expertise et n'avaient peut-être pas lu la demande en détail. Par exemple :

« Dans mes évaluations et dans les autres que j'ai lues, il arrive que les commentaires et les cotes ne concordent pas, peut-être en raison du groupe de demandes assignées à l'évaluateur en question et de la correspondance entre son expertise et le domaine de recherche du candidat. »

Évaluateur à l'étape 1

La majorité des PV (92,5 %) trouvaient également que la qualité des évaluations était problématique (tableau 87). En moyenne, 39 % des évaluations ont été jugées insatisfaisantes. Comme les évaluateurs à l'étape 1, plus de 80 % des PV ont indiqué que les commentaires étaient respectueux, ne divulguaient aucun renseignement personnel sur l'évaluateur et ne faisaient aucune référence inappropriée au candidat, à son établissement de recherche ni à son domaine de recherche (tableau 88). Toutefois, environ la moitié d'entre eux ont mentionné que les commentaires des autres évaluateurs fournissaient une description suffisamment détaillée des forces et des faiblesses (43,3 %), offraient un juste équilibre entre les forces et les faiblesses permettant d'étayer les cotes attribuées (40,3 %), étaient centrés sur les critères de sélection (55,3 %), étaient exempts d'erreur factuelle (49,3 %) et étaient clairs (44,8 %). Lorsqu'on leur a demandé de nommer les indicateurs importants pour déterminer la qualité de l'évaluation, plus de 80 % des évaluateurs et des PV à l'étape 1 ont nommé les suivants : une description suffisamment détaillée des forces et des faiblesses; un juste équilibre entre les forces et les faiblesses; des observations centrées sur les critères de sélection; l'absence d'erreur factuelle; des observations claires; des commentaires respectueux; l'absence de référence inappropriée au candidat, à son établissement de recherche et à son domaine de recherche; et l'absence de renseignements personnels sur l'évaluateur (tableau 89).

16.2 Étape finale de l'évaluation

Lorsqu'on leur a demandé de se prononcer sur la qualité des commentaires des évaluateurs à l'étape 1, les évaluateurs à l'EFE ont unanimement répondu qu'ils n'étaient pas clairs et qu'ils ne justifiaient pas adéquatement les cotes attribuées. De plus, tous les évaluateurs à l'EFE s'entendaient pour dire que les évaluateurs à l'étape 1 n'avaient pas fourni de justifications claires pour appuyer leurs cotes (tableau 90). Lorsqu'on leur a demandé de commenter la qualité des évaluations reçues, ils ont indiqué que la qualité insatisfaisante pouvait s'expliquer par un manque de responsabilisation. Par exemple :

« De nombreux évaluateurs à l'EFE n'ont pas fourni beaucoup de commentaires pour justifier leur décision. »

Évaluateur à l'EFE

Il a été avancé que la meilleure solution serait d'organiser des réunions en personne. Après la présentation des conclusions de l'EFE, les candidats après la décision ont été invités à dire ce qu'ils pensaient de la qualité des évaluations reçues. Une minorité d'entre eux se sont dits satisfaits de l'uniformité des conclusions de l'évaluation par les pairs (19,6 %), de la qualité des conclusions de l'évaluation par les pairs (23,1 %) et de la qualité des observations dans les notes de l'agent scientifique (9,9 %) [tableau 91]. En moyenne, 50 % des évaluations reçues par les candidats ont été jugées insatisfaisantes. Par ailleurs, moins de 40 % des candidats ont indiqué que les commentaires des évaluateurs à l'étape 1 fournissaient une description suffisamment détaillée des forces et des faiblesses, offraient un juste équilibre entre les forces et les faiblesses permettant d'étayer les cotes attribuées, étaient centrés sur les critères de sélection, étaient exempts d'erreur factuelle et étaient clairs. Toutefois, la majorité d'entre eux ont convenu que les commentaires étaient respectueux (60,6 %), ne divulguaient aucun renseignement personnel sur l'évaluateur (70,9 %) et ne faisaient aucune référence inappropriée au candidat, à son établissement de recherche ni à son domaine de recherche (59,6 %) [tableau 88]. De plus, 30,1 % ont indiqué que les évaluations étaient cohérentes puisque les justifications écrites (forces et faiblesses) concordaient avec les cotes respectives, et 30,1 % ont reconnu que les évaluations contenaient des renseignements utiles qui "les aideraient à affiner leur demande pour un concours futur (tableau 92). Des candidats ont en outre fait savoir que les commentaires étaient trop courts et que la justification des cotes était insuffisante pour les aider à améliorer leur demande.

Lorsqu'on leur a demandé de nommer les indicateurs importants pour déterminer la qualité de l'évaluation, plus de 70 % des candidats après la décision ont répondu une description suffisamment détaillée des forces et des faiblesses; un juste équilibre entre les forces et les faiblesses permettant d'étayer les cotes attribuées; des observations centrées sur les critères de sélection; l'absence d'erreur factuelle; des observations claires; des commentaires respectueux; et l'absence de référence inappropriée au candidat, à son établissement de recherche et à son domaine de recherche. Ils étaient toutefois moins susceptibles (65,9 %) de juger importante la non-divulgation de renseignements personnels sur l'évaluateur (tableau 89). Lorsqu'on leur a demandé de nommer d'autres indicateurs (ou éléments) importants pour déterminer la qualité de l'évaluation, les répondants ont indiqué que les évaluateurs devraient être des experts de contenu pour donner de la rétroaction de qualité. Par exemple :

« Les évaluateurs doivent avoir des connaissances et une expertise liées aux demandes qu'ils évaluent et justifier de façon adéquate et appropriée leurs classements avec des commentaires constructifs. »

Candidat après la décision

Lorsqu'on leur a demandé de proposer d'autres indicateurs de qualité, les répondants ont suggéré que la participation, les commentaires et la justification détaillée des cotes soient obligatoires. Les réunions en personne étaient également perçues comme essentielles à la tenue de discussions efficaces, qui font défaut dans l'approche virtuelle.

17. Expérience avec les discussions en ligne

La discussion en ligne visait à permettre aux évaluateurs à l'étape 1 d'ajuster leurs évaluations et de discuter des divergences entre leurs idées et celles des autres en l'absence d'une réunion en personne du comité. La présente section brosse un portrait de l'expérience et de la rétroaction des évaluateurs et des PV relativement à l'outil de discussion en ligne et à la participation aux discussions en ligne. Les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1 et des 14 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 93 à 98).

La majorité des évaluateurs à l'étape 1 avaient consulté des discussions en ligne (94 %) et participé à une discussion en ligne (87,7 %) [tableau 93]. En moyenne, ils avaient consulté la discussion en ligne de huit demandes et participé à la discussion en ligne de six demandes. Les raisons les plus courantes de participer étaient pour comprendre l'écart entre leurs cotes et celles d'un autre évaluateur (59,1 %) et répondre à l'invitation du président virtuel (56,2 %) [tableau 94]. Dans les questions ouvertes, les répondants ont dit avoir participé à la discussion parce qu'ils estimaient qu'il leur incombait de le faire. Par exemple :

« Parce que c'est le devoir de l'évaluateur. Par contre, beaucoup n'y ont pas participé – même si le président virtuel et moi-même le leur avons demandé. »

Évaluateur à l'étape 1

Les évaluateurs ont également mentionné avoir participé à une discussion en ligne afin d'obtenir des clarifications d'autres évaluateurs, surtout des experts de contenu. Ils trouvaient important d'avoir la possibilité de discuter pour connaître la réflexion des autres, encourager les échanges et obtenir des précisions sur le budget. Toutefois, ils estimaient que la participation était seulement utile dans la mesure où les autres évaluateurs prenaient aussi part à la discussion et contribuaient à enrichir le débat, ce qui, d'après les commentaires, n'était pas toujours le cas. Par exemple :

« Ça devrait être un effort collectif. Avec ce système défaillant, c'était la seule façon de discuter des demandes. Malheureusement, certains évaluateurs ont choisi de ne pas participer, ce qui est consternant. »

Évaluateur à l'étape 1

La majorité des évaluateurs à l'étape 1 ont indiqué que l'outil de discussion en ligne était facile à utiliser (74,6 %) et intuitif (71,4 %) [tableau 95]. De plus, les évaluateurs ont souligné que la discussion en ligne était un aspect important du processus d'évaluation (70 %), les avait aidés à faire leur évaluation (66,8 %), devrait être obligatoire pour les évaluateurs qui ont des opinions divergentes au sujet d'une même demande (80,3 %) et avait influencé leur évaluation de la demande (73,7 %). Les évaluateurs étaient toutefois susceptibles d'avoir indiqué que les autres évaluateurs avaient tenu compte de leurs commentaires (57 %). En revanche, lorsqu'on a demandé aux PV de commenter la discussion en ligne, environ la moitié (51,5 %) ont dit qu'elle leur avait été utile, mais seulement 26,5 % ont dit que les évaluateurs y avaient participé activement (tableau 95). En moyenne, les PV à l'étape 1 ont répondu que 58 % de leurs évaluateurs ont eu besoin d'être incités à prendre part à une discussion en ligne. La majorité des PV ont convenu que la discussion en ligne était un aspect important du processus d'évaluation à l'étape 1 (70,6 %) et qu'elle devrait être obligatoire pour les évaluateurs qui ont des opinions divergentes au sujet d'une même demande (89,7 %) [tableau 95]. Les PV ont indiqué dans les réponses aux questions ouvertes que la qualité et le degré de participation des évaluateurs aux discussions en ligne étaient variables. Lorsqu'on leur a demandé qui devrait décider quand une discussion en ligne doit avoir lieu, la majorité des évaluateurs (67,6 %) et des PV à l'étape 1 (88,8 %) ont répondu les PV (tableau 96). En outre, les évaluateurs (71,4 %) et les PV (87,3 %) ont indiqué qu'un écart dans les cotes devrait justifier la tenue d'une discussion en ligne (tableau 97). Les PV ont trouvé utiles le tableur (69,1 %) et l'information (54,4 %) fournis par les IRSC pour déterminer quelles demandes devraient faire l'objet d'une discussion (tableau 98).

18. Rétroaction sur les présidents virtuels

La présente section fournit un aperçu de la rétroaction des répondants sur le rôle des PV. À l'étape 1, leur rôle consistait à confirmer l'attribution des demandes aux évaluateurs, à veiller à ce que les évaluations présentées soient de bonne qualité, à signaler les demandes devant faire l'objet d'une discussion par les évaluateurs, à surveiller ou à susciter les discussions en ligne, et à communiquer avec le personnel des IRSC, au besoin. Les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1 et des 71 PV à l'étape 1; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 99 à 102).

La majorité des évaluateurs à l'étape 1 (63,1 %) ont trouvé que la participation de leur PV avait été bénéfique pour eux pendant la période de discussion en ligne (tableau 99). Lorsqu'on les a interrogés sur leur expérience, 17,1 % des PV à l'étape 1 ont dit avoir été en mesure de jumeler la bonne expertise aux demandes (tableau 100). Les réponses aux questions ouvertes montrent que les PV ne savaient pas qu'ils pouvaient assigner des demandes aux évaluateurs, et qu'ils auraient aimé le faire. Par exemple :

« Je n'avais pas compris que je devais assigner les demandes aux évaluateurs. C'est le personnel des IRSC qui s'en est chargé. Je pense que la plupart des évaluateurs avaient l'expertise appropriée, mais le jugement ou les compétences de certains m'ont semblé discutables. »

PV à l'étape 1

Les évaluateurs avaient également l'impression d'avoir passé trop de temps à tenter de susciter et de surveiller les discussions. Les PV ont indiqué que le processus d'évaluation nécessitait que les cotes soient remises d'avance; cependant, certains évaluateurs ont présenté leurs évaluations à la toute dernière minute – si ce n'est pas en retard – pour la discussion en ligne. Par exemple :

« Certains étaient bons, mais d'autres ne participaient pas vraiment. C'est simple : la discussion en ligne ne fonctionne pas. Elle ne peut pas se rapprocher le moindrement d'une discussion en personne, parce que taper à l'ordinateur, c'est laborieux, et parce que le délai entre les commentaires est trop long… »

PV à l'étape 1

Les PV ont recommandé de rétablir l'approche des réunions en personne à l'étape 1 pour accroître la responsabilisation des évaluateurs. La majorité des PV à l'étape 1 (65,6 %) se sont dits insatisfaits de leur rôle (tableau 101), et leurs commentaires indiquent qu'ils avaient l'impression de passer trop de temps à courir après les commentaires des évaluateurs et de ne pas vraiment avoir leur mot à dire dans la sélection des évaluateurs. Environ la moitié (48,4 %) des PV ont reçu des questions des évaluateurs sur le nouveau processus d'évaluation (tableau 102). Les questions qui leur ont été les plus souvent posées portent notamment sur le fonctionnement de l'échelle de cotation, les échéanciers de la discussion et de la présentation et la façon de modifier les cotes préliminaires.

19. Charge de travail perçue

Le nouveau processus d'évaluation vise notamment à réduire le fardeau imposé aux évaluateurs et la quantité de travail nécessaire pour mener les évaluations. La présente section résume la perception que les évaluateurs et les PV ont de leur charge de travail. Les pourcentages figurant dans cette section ont été calculés en fonction du nombre de réponses valides des 920 évaluateurs à l'étape 1, des 71 PV à l'étape 1 et des 14 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 103 à 111).

19.1 Étape 1

De façon générale, les évaluateurs à l'étape 1 ont indiqué que leur charge de travail était « de gérable à un peu lourde » (33,3 %) ou « lourde »(32,1 %) [tableau 103]. Les évaluateurs ont en moyenne reçu 10 demandes. Par rapport au dernier concours non pilote des IRSC, 30,8 % des évaluateurs ont indiqué que leur charge de travail était inférieure, 15,1 %, qu'elle était équivalente, et 48,6 %, qu'elle était supérieure (tableau 104). Lorsqu'on leur a demandé de comparer la charge de travail associée à chaque activité d'évaluation à celle du dernier concours, 20,0 % des évaluateurs ont dit que la lecture d'une demande représentait plus de travail, 30,8 %, que la recherche d'autres renseignements liés à une demande représentait plus de travail, et 26,1 %, que la rédaction de l'évaluation d'une demande représentait plus de travail (tableau 105). En moyenne, les évaluateurs à l'étape 1 ont mis deux heures à lire une seule demande, deux heures à chercher d'autres renseignements, une heure et demie à rédiger l'évaluation d'une seule demande, une heure et demie à lire d'autres évaluations, deux heures à participer à des discussions en ligne et une heure et demie à classer les demandes qui leur avaient été attribuées (tableau 106). Les réponses aux questions ouvertes indiquaient en général que les évaluateurs manquaient de temps pour effectuer leurs évaluations et que les modifications d'échéance à la dernière minute n'aidaient en rien. Le temps consacré à la recherche de renseignements supplémentaires dépendait du degré de connaissance de l'évaluateur sur le sujet. Par exemple :

« Selon la demande et ma connaissance du sujet, la lecture et la cotation des demandes pouvaient me prendre au moins une à deux heures. »

Évaluateur à l'étape 1

Le fait de ne pas savoir quand les commentaires des évaluateurs seraient publiés s'est avéré problématique. En effet, cette situation a alourdi la charge de travail des évaluateurs en les obligeant à se connecter souvent au système pour vérifier si de nouveaux commentaires avaient été publiés. Un autre élément ayant contribué à augmenter leur charge de travail a été la période limitée des discussions. De plus, la modification de l'échéancier a fait en sorte que certains évaluateurs n'étaient plus disponibles, réduisant ainsi le niveau de participation des évaluateurs.

La majorité des PV à l'étape 1 (88,6 %) ont indiqué que la quantité de demandes qui leur avaient été attribuées était acceptable (tableau 107), et 84,4 %, que leur charge de travail était gérable (tableau 108). Comparativement au dernier concours pour lequel ils avaient agi comme président, 25,7 % des PV ont dit que leur charge de travail était supérieure, 28,6 %, qu'elle était équivalente, et 45,7 %, qu'elle était inférieure (tableau 109). Les PV ont en moyenne reçu 30 demandes. Ils ont cependant précisé que le nombre idéal serait de 25 demandes. En moyenne, ils ont mis une heure et demie à confirmer l'attribution des demandes aux évaluateurs, huit heures à lire les demandes assignées à leurs évaluateurs, huit heures à lire les évaluations préliminaires produites par leurs évaluateurs, cinq heures à assurer la qualité des évaluations fournies par leurs évaluateurs, quatre heures et demie à amorcer les discussions en ligne, trois heures et demie à inciter les évaluateurs à participer à une discussion en ligne ou à le leur rappeler, cinq heures à participer à des discussions en ligne et une heure et demie à faire part de toute question, préoccupation ou rétroaction aux IRSC (tableau 106). Les réponses des PV aux questions ouvertes indiquent qu'ils ont été déçus du manque d'expertise des présidents et du mauvais jumelage évaluateur-demande. Dans l'ensemble, ils trouvaient le nombre de demandes approprié; toutefois, ils se sont dits préoccupés par la modification des échéanciers et le degré de participation des évaluateurs. Par exemple :

« La date de l'évaluation asynchrone a été modifiée deux semaines avant l'évaluation. J'avais prévu du temps pour la gestion du processus d'évaluation, mais j'ai dû tenter de réaménager mon horaire à la dernière minute, ce qui n'a pas été tout à fait possible (je devais faire une présentation dans le cadre d'une conférence qui avait lieu en même temps que la période d'évaluation). Le changement de dernière minute a vraiment compliqué les choses pour moi. »

PV à l'étape 1

Les PV ont dit avoir lu les demandes ayant un écart entre les cotes; cependant, il fallait d'abord que les évaluateurs aient soumis leurs cotes à temps. Par exemple :

« La lecture des évaluations était essentielle. Toutefois, l'accès aux évaluations préliminaires n'a servi à rien. Toutes les évaluations auraient dû être disponibles au début du processus du comité. Je n'ai jamais présidé un comité aux IRSC où il manquait autant d'évaluations. Comment voulez-vous arriver à un consensus quand les évaluations continuent de rentrer alors que les discussions initiales sont amorcées? »

PV à l'étape 1

Les PV ont dit avoir passé beaucoup de temps à pousser les évaluateurs à remettre leurs évaluations et ont suggéré de prévoir une période tampon pour les évaluations tardives. De plus, ils ont suggéré de mettre en évidence les évaluations ayant été modifiées, et ce, pour alléger le fardeau perçu et faciliter la communication directe avec les évaluateurs.

19.2 Étape finale de l'évaluation

De façon générale, les évaluateurs à l'EFE ont indiqué que leur charge de travail était « tout à fait appropriée » (30,8 %), « de gérable à un peu lourde »(23,1 %) ou « lourde »(23,1 %) [tableau 103]. Ils ont en outre indiqué qu'ils avaient eu suffisamment de temps pour mener les activités préalables à la réunion (83,3 %) [tableau 110] et qu'ils avaient passé une à deux heures à lire les commentaires des autres évaluateurs (53,8 %) [tableau 111]. Comparativement à la charge de travail du dernier concours non pilote des IRSC, 23,1 % des évaluateurs ont dit que celle du présent concours était inférieure, 61,6 %, qu'elle était supérieure, et 33,3 %, qu'elle était équivalente (tableau 104). En moyenne, les évaluateurs ont reçu 10 demandes et ont mis une heure et demie à lire les évaluations de l'étape 1 d'une seule demande, deux heures et demie à consulter les demandes de subvention de l'étape 1 pour une seule demande, une heure à chercher en ligne d'autres renseignements liés à la demande, une heure et demie à accepter ou refuser les demandes de subvention et à rédiger des commentaires à l'appui de l'évaluation, une heure à lire les commentaires des autres évaluateurs à l'EFE à l'aide de la tâche « En réunion » dans RechercheNet et une heure à revoir le classement de l'EFE en prévision de la réunion du comité à l'EFE (tableau 106). Dans leurs commentaires, les évaluateurs ont notamment mentionné que l'attribution des demandes a été effectuée tardivement et que les échéanciers n'ont pas été ajustés en conséquence. Ils estimaient en général qu'ils n'avaient pas eu assez de temps pour évaluer toutes les demandes reçues et que la charge de travail dépendait de la qualité des évaluations de l'étape 1, du nombre d'évaluations et de la correspondance des demandes avec leur champ d'expertise. Par exemple :

« […] Nous avions un délai restreint pour faire ce que nous avions à faire. Six jours, c'était nettement insuffisant pour bien évaluer 10 demandes. »

Évaluateur à l'EFE

20. Réunion en personne

La présente section fournit un aperçu de l'expérience des répondants avec les réunions en personne. Avant cette réunion, chaque évaluateur a reçu un sous-ensemble de demandes, chacune assignée à trois évaluateurs. Pour chaque demande, l'évaluateur avait accès aux renseignements de l'étape 1, y compris les évaluations, les classements combinés, les écarts-types et les demandes complètes. Au moyen d'un système de catégorisation, les évaluateurs devaient classer les demandes dans la catégorie « oui » (financer) ou dans la catégorie « non » (ne pas financer). Chaque évaluateur recevait un nombre minimum de demandes pouvant être classées dans les catégories « oui » et « non » et devait soumettre ses recommandations aux IRSC avant la réunion. En fonction des recommandations (oui/non) faites par les évaluateurs dans le cadre des activités préalables à la réunion, les IRSC ont classé toutes les demandes arrivées à l'étape finale de l'évaluation par ordre décroissant. Lors de la réunion, les demandes ont été placées dans l'un des trois groupes suivants : groupe A (demandes à financer), groupe B (demandes dont il faut discuter à la réunion) ou groupe C (demandes à ne pas financer). Les demandes du groupe B ont fait l'objet d'une discussion pendant la réunion. Soulignons que les pourcentages indiqués dans les lignes qui suivent ont été calculés en fonction du nombre de réponses valides des 14 évaluateurs à l'EFE; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 112 et 113).

Moins de la moitié des évaluateurs à l'EFE (42,9 %) ont indiqué que le nombre de demandes acceptées ou refusées (« oui/non ») pour le processus de catégorisation était approprié (tableau 112). Dans les réponses aux questions ouvertes, les évaluateurs se sont dits préoccupés par le fait que les évaluations de l'étape 1 n'avaient pas été effectuées correctement et que seule une fraction des demandes avaient véritablement fait l'objet d'une discussion. Par exemple :

« Les demandes doivent d'abord faire l'objet d'une discussion entre des évaluateurs compétents; leur issue ne doit pas être déterminée par des évaluations futiles d'évaluateurs à l'étape 1 – qui n'ont pas toujours l'expertise appropriée – choisis par un système numérique. »

Évaluateur à l'EFE

La majorité des évaluateurs à l'EFE étaient d'accord avec les énoncés suivants concernant les réunions en personne : les instructions fournies à la réunion étaient claires et faciles à suivre (77,0 %), il était approprié de créer les groupes A, B et C et de concentrer la discussion du comité sur les demandes du groupe B (61,6 %), le processus de transfert de demandes des groupes A et C au groupe B était clair et simple (69,3 %), les conflits ont été gérés de façon appropriée durant la réunion (77,0 %), l'outil de vote était facile à utiliser (77,0 %), le processus de vote était efficace (69,3 %), les directives du processus de vote étaient faciles à suivre (76,9 %) et la réunion en personne est nécessaire pour décider des demandes qui doivent être financées (100 %) [tableau 113]. Toutefois, seulement 46,2 % des évaluateurs à l'EFE ont indiqué que le processus de transfert de demandes entre les groupes était efficace et que le seuil de financement avait aidé à orienter la discussion durant la réunion.

21. Avis de décision

La présente section résume la rétroaction des candidats après la décision sur le document d'avis de décision, un nouvel élément conceptuel instauré par les IRSC pour indiquer aux candidats si leur demande a été retenue ou non. Seuls les candidats après la décision ont été invités à fournir leur point de vue sur l'avis de décision. Dans cette section, les pourcentages ont été calculés en fonction du nombre de réponses valides des 1 239 candidats après la décision; le total de réponses correspondant à chaque pourcentage se trouve à l'annexe A (tableaux 114 et 115).

Environ la moitié des candidats après la décision (51,7 %) ont indiqué que l'avis de décision expliquait clairement les résultats de leur demande à l'étape 1 et à l'EFE, et 47,3 %, que le document les avait aidés à interpréter leurs résultats (tableau 114). De plus, 58,5 % des candidats après la décision ont dit avoir utilisé le document d'information sur les avis de décision pour interpréter les résultats (tableau 115). Dans les réponses aux questions ouvertes, les candidats ont mentionné qu'ils n'étaient pas certains de comprendre comment étaient calculés le classement définitif et les écarts-types. Ils ont également indiqué avoir eu du mal à trouver les renseignements dans le document ou même à trouver le document sur le site Web. Par exemple :

« Je n'ai pas compris ce qui s'est passé. J'ai essayé d'utiliser le document, mais bien franchement, je l'ai trouvé difficile à interpréter, et je n'ai pas trouvé les documents qui expliquaient clairement la signification du classement combiné ou de la répartition en pourcentages des classements des évaluateurs. J'imagine que plus c'est faible, plus c'est mauvais, mais ce n'est vraiment pas clair. »

Candidat après la décision

Dans l'ensemble, tous s'entendaient pour dire que les évaluateurs n'avaient pas fourni assez de justifications, d'où la perception que le document était inutile. Les candidats ont également mentionné qu'ils auraient aimé connaître le seuil de financement et leur position sur l'échelle.

22. Rétroaction sur les sondages

La présente section propose un survol de l'expérience des répondants avec les sondages. Les IRSC leur ont demandé de faire part de leur impression générale sur le processus et les questions de sondage. Il en ressort que les répondants ont, entre autres, trouvé le sondage trop long, mis plus de temps à le remplir que le temps indiqué, jugé les questions répétitives et mentionné que le temps à consacrer au sondage pourrait les dissuader de participer à un autre sondage. De plus, ils ont souligné que certaines questions étaient trop restrictives (p. ex. réponses « oui » ou « non ») et ne laissaient pas vraiment de place à la nuance. En général, les répondants étaient contents de pouvoir donner leur avis et espéraient que les IRSC en tiennent compte. Ils ont notamment suggéré que les IRSC leur donnent accès aux sondages plus rapidement après la présentation des demandes ou des évaluations afin qu'ils puissent fournir des réponses plus précises, et ont demandé l'ajout d'une option « S.O. » ou « Sauter la question ».

Limites

Voici les limites du rapport : a) comme les réponses aux sondages en ligne ont été recueillies de façon anonyme et indépendante d'une étape à l'autre du concours, nous ne pouvons pas confirmer qu'une seule et même personne n'a pas pu répondre à plus d'un sondage; b) il se peut que la taille des échantillons ne soit pas représentative des chercheurs du Canada étant donné que les données provinciales n'ont pas été recueillies; c) comme le taux de réponse moyen était de 49,3 %, il se peut que le présent rapport ne reflète pas l'opinion de tous les répondants possibles, puisque les personnes n'ayant pas participé auraient pu présenter différentes caractéristiques et avoir des opinions différentes; d) les réponses aux questions ouvertes ont été codées par une seule personne, alors les résultats pourraient être teintés d'une certaine subjectivité; e) la taille de certains échantillons était petite (soulignons que le plus petit groupe de répondants était celui des évaluateurs à l'EFE). Il est important de tenir compte de ces limites lorsque vous consultez ou mentionnez ce rapport pour résumer l'opinion des répondants sur le processus de demande.

Date de modification :