Rapport sur le concours pilote du volet Fondation de 2014

Table des matières

Résumé

Le concours pilote du volet Fondation de 2014 constitue une étape cruciale dans la transition vers les nouveaux programmes de recherche libre et processus d’évaluation par les pairs. Les IRSC ont adopté une approche mesurée pour l’essai des nouveaux programmes de financement, processus d’évaluation par les pairs et systèmes habilitants pour s’assurer de pouvoir faire le suivi des résultats d’une façon qui soit fondée sur les données probantes et corriger ou perfectionner le concept, au besoin.

Le présent rapport offre une vue d’ensemble des résultats du concours pilote du volet Fondation de 2014, résume les commentaires reçus des chercheurs, des pairs évaluateurs, des présidents virtuels et des administrateurs de la recherche, et confirme les améliorations apportées au concours pilote du volet Fondation de 2015.

Dans l’ensemble, les commentaires étaient positifs en ce qui a trait à l’efficacité du processus de demande structurée, à la clarté des critères et de l’échelle de sélection, et à l’utilité du processus d’évaluation structurée. Plusieurs points à améliorer ont été relevés, et il a été déterminé qu’il faudrait poursuivre la surveillance, pour veiller à ce que les objectifs du Programme de subventions Fondation soient atteints. Les IRSC s’affairent à mettre en œuvre des améliorations au concours pilote du volet Fondation de 2015 à la lumière des commentaires reçus, comme le montre le tableau 1.

Tableau 1. Améliorations apportées au concours pilote du volet Fondation de 2015

Commentaires reçus Changements apportés
Étape 1
  • Une majorité des évaluateurs ont trouvé difficile d’appliquer les critères de sélection et de coter les demandes à tous les stades de carrière.
  • Une minorité d’évaluateurs ont convenu que les nouveaux chercheurs et les chercheurs en début de carrière devraient être classés séparément et qu’un volet distinct devrait être prévu pour eux dans le concours.
  • Le guide d’interprétation des critères de sélection de l’étape 1 du volet Fondation a été révisé afin que le sous-critère Leadership s’applique à tous les stades de carrière.
  • Des changements opérationnels ont été apportés afin que les nouveaux chercheurs et les chercheurs en début de carrière soient évalués séparément à chaque étape du concours.

Une faible minorité de candidats et évaluateurs ont mentionné :

  • des chevauchements importants entre les sections Productivité et Importance des contributions;
  • un manque de clarté quant aux renseignements à fournir dans la section Vision et direction du programme.
  • Le guide d’interprétation des critères de sélection de l’étape 1 a été révisé afin de donner des précisions aux évaluateurs quant à l’application des critères de sélection et de mieux aider les candidats à structurer leurs demandes.
  • Les candidats et les évaluateurs ont suggéré que certaines limites soient augmentées et que des sections soient ajoutées dans le CV du volet Fondation.
  • Le CV du volet Fondation a été modifié :
    • Augmentation des limites – Publications, Présentations, Reconnaissances et Activités d’encadrement;
    • Ajout de nouvelles sections – Évaluateurs et Activités d’évaluation, et Composition.
Étape 2
  • Une minorité de candidats et d’évaluateurs ont mentionné un manque de clarté quant à l’information à fournir pour répondre à chaque critère de sélection.
  • Le guide d’interprétation des critères de sélection de l’étape 2 du volet Fondation a été révisé afin que l’objectif de chaque critère de sélection soit plus clair et mieux expliqué.
  • Une majorité de candidats ont recommandé que les limites de caractères dans la section Approche de recherche soient augmentées.
  • La longueur de la section Approche de recherche est maintenant de trois pages (ajout d’une page).

Une majorité de candidats et d’évaluateurs ont recommandé que la pondération des sous-critères soit ajustée comme suit :

  • Augmentation – Idée de recherche et Approche de recherche;
  • Diminution – Mentorat et formation et Qualité de l’environnement de soutien.

La pondération des sous-critères a été ajustée :

  • Idée de recherche : 25 % (augmentation de 5 %)
  • Approche de recherche : 25 % (augmentation de 5 %)
  • Expertise : 20 % (aucun changement)
  • Mentorat et formation : 20 % (aucun changement)
  • Qualité de l’environnement de soutien : 10 % (diminution de 10 %)
  • Une minorité d’évaluateurs ont indiqué que le processus d’évaluation du budget n’était pas clair.
  • La longueur de la justification budgétaire est maintenant d’une page complète (ajout d’une demi-page).
  • Des instructions plus claires ont été rédigées au sujet des renseignements à fournir dans la justification budgétaire.
  • On a fourni aux candidats les montants de base à l’étape 2.
  • Les évaluateurs ont reçu une formation pour évaluer si le budget proposé convient.
Étape finale de l’évaluation
  • La majorité des évaluateurs à l’EFE ont indiqué ne pas être satisfaits du processus d’évaluation structurée.

Des changements opérationnels visant à améliorer le processus d’évaluation à l’EFE sont actuellement envisagés, notamment :

  • clarifier le rôle des évaluateurs à l’EFE, y compris l’expertise nécessaire;
  • préparer des formations supplémentaires.
Assurer la qualité des évaluations

Une faible minorité des évaluateurs ont suggéré ce qui suit :

  • discussions en ligne synchrones;
  • alertes pour aviser les évaluateurs de la tenue de discussions sur des demandes qui leur ont été assignées;
  • discussions en ligne obligatoires en cas d’écarts dans les cotes.
  • Un outil a été mis au point pour permettre aux présidents virtuels de produire des rapports les aidant à cibler les demandes qui doivent faire l’objet d’une discussion (p. ex. celles dont les évaluations divergent).
  • La possibilité de signaler les demandes devant faire l’objet d’une discussion a été intégrée au système.
  • Par souci de continuité, on aura recours aux mêmes présidents virtuels aux étapes 1 et 2, dans la mesure du possible.
  • Les avantages et les exigences opérationnelles liés à la tenue de discussions synchrones à l’étape 2 sont actuellement à l’étude.
  • Les discussions en ligne et le travail des présidents virtuels feront l’objet d’un suivi afin que des stratégies efficaces continuent d’être mises en place pour assurer la tenue de discussions utiles.
  • Une faible minorité des candidats et des présidents virtuels, et une majorité des évaluateurs ont indiqué que la qualité des évaluations de certaines demandes était inférieure à celle attendue.
  • Un moyen de communication direct entre les présidents virtuels et les évaluateurs a été mis en place afin de permettre aux présidents virtuels d’inciter les évaluateurs à réviser leurs évaluations ou à les étoffer, au besoin.
  • D’autres ressources de formation sur la qualité des évaluations ainsi que des mécanismes visant à s’assurer que ces ressources sont consultées par tous les évaluateurs ont été élaborés.

Les IRSC évalueront plus en profondeur certains éléments de la conception au cours de plusieurs cycles des concours des volets Fondation et Projet pour déterminer si d’autres changements doivent être apportés aux programmes de financement, aux processus d’évaluation par les pairs et aux systèmes habilitants. Les IRSC ont l’intention de tenir le milieu de la recherche au courant de tout autre changement apporté aux nouveaux programmes de financement ou aux processus d’évaluation par les pairs au fil des concours pilotes. Nous reconnaissons l’importance des commentaires du milieu de la recherche et le remercions de ses précieuses suggestions.

1. Introduction

Les IRSC ont entrepris une restructuration de leur série de programmes ouverts (désormais appelés les programmes de recherche libre) dans le but de créer un système souple et durable permettant de soutenir la recherche de pointe en santé. Par leurs nouveaux programmes de recherche libre et processus d’évaluation par les pairs, les IRSC souhaitent répondre aux besoins de chercheurs d’horizons plus diversifiés dans le cadre du mandat de l’organisation, tout en allégeant le fardeau imposé aux candidats et aux évaluateurs et en améliorant l’équité et la qualité de l’évaluation par les pairs. Pour ce faire, la série initiale de mécanismes de financement de la recherche libre a été reconstituée en deux nouveaux programmes : le Programme de subventions Fondation et le Programme de subventions Projet. Alors que le volet Projet vise à appuyer les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats cliniques, le volet Fondation est conçu pour contribuer à l’édification d’une assise durable formée de chefs de file de la recherche en santé en offrant du soutien à long terme pour entreprendre des programmes de recherche novateurs et porteurs.

Le concours pilote du volet Fondation de 2014 est le premier concours de subventions Fondation des IRSC. À diverses étapes du concours, les IRSC ont sondé les chercheurs, les administrateurs de la recherche, les évaluateurs et les présidents virtuels pour obtenir leurs commentaires sur les processus de demande et d’évaluation par les pairs et mettre en évidence les points à améliorer. Les commentaires obtenus par l’entremise des sondages sont précieux pour orienter les nouveaux programmes de recherche libre et processus d’évaluation par les pairs et en améliorer la mise en œuvre.

Le présent rapport expose les résultats de ces sondages et du concours par une analyse des données démographiques. Nous demeurons déterminés à faire participer le milieu de la recherche et les autres intervenants et à les tenir au courant.

2. Aperçu du concours

Le Programme de subventions Fondation permettra :

  • de financer un vaste bassin de chefs de file en recherche œuvrant dans tous les domaines et toutes les disciplines en lien avec la santé;
  • de développer et de soutenir la capacité de recherche en santé et dans les domaines connexes au Canada;
  • d’offrir aux chefs de file en recherche la latitude voulue pour explorer des pistes de recherche novatrices;
  • de contribuer à la création et à l’utilisation de connaissances liées à la santé au moyen d’une vaste gamme d’activités de recherche ou d’application des connaissances, y compris des collaborations pertinentes.

Pour atteindre l’objectif du programme – une assise durable formée de chefs de file dans le domaine de la recherche en santé – il faudrait un niveau de recrutement annuel de nouveaux chercheurs dans le volet Fondation. Dans le cadre de ce premier concours, un taux de recrutement minimum de 15 % a été établi.

Processus d’évaluation et de concours en plusieurs étapes

Le concours pilote du volet Fondation de 2014 comportait trois étapes de concours et d’évaluation (comme l’illustre la figure 1).

L’étape 1 était axée sur le calibre du candidat et la vision et la direction du programme, et l’étape 2, sur la qualité du programme de recherche proposé et la qualité de l’expertise, de l’expérience et des ressources. Les critères de sélection et la pondération pour les étapes 1 et 2 appliqués lors du concours pilote du volet Fondation de 2014 sont décrits ci-dessous (tableau 2).

Tableau 2. Critères de sélection pour le concours pilote du volet Fondation de 2014

Étape Critères de sélection Pondération
1 Critère 1 – Calibre du candidat
  • Leadership
  • Importance des contributions
  • Productivité
75 %
Critère 2 : Vision et direction du programme 25 %
2 Critère 1 : Qualité du programme
  • Idée de recherche
  • Approche de recherche
40 %
Critère 2 : Qualité de l’expertise, de l’expérience et des ressources
  • Expertise
  • Mentorat et formation
  • Qualité de l’environnement de soutien
60 %

Les étapes 1 et 2 de l’évaluation ont été effectuées à distance par les évaluateurs experts à l’aide d’une plateforme Web leur permettant de communiquer dans le cadre d’une discussion en ligne asynchrone. Chaque demande a été assignée à un maximum de cinq évaluateurs, en fonction d’un appariement entre le contenu de la demande et l’expertise de l’évaluateur, et les évaluateurs ont évalué de 10 à 18 demandes chacun. Les évaluateurs ont déclaré eux-mêmes leur capacité d’évaluer chaque demande en fonction d’un résumé du projet de recherche. Les présidents virtuels ont aidé les IRSC à valider l’assignation des demandes aux évaluateurs. Aux étapes 1 et 2, les évaluateurs disposaient de cinq semaines pour effectuer leur évaluation, soit quatre semaines pour l’évaluation des demandes et une semaine pour les discussions en ligne.

Les évaluateurs ont fourni une évaluation structurée des demandes qui leur avaient été assignées, ce qui consistait à attribuer une cote à chaque sous-critère et à commenter brièvement les forces et les faiblesses dans chaque section. À l’étape 2, les évaluateurs ont évalué le budget demandé et la justification pour déterminer si celui-ci convenait au programme de recherche proposé. L’évaluation scientifique de la demande ne devait pas tenir compte du budget. Après chaque évaluation, un classement initial de l’ensemble des demandes assignées à l’évaluateur était automatiquement effectué en fonction des cotes. Une fois la cotation initiale terminée, les évaluateurs avaient accès aux évaluations préliminaires des autres évaluateurs à qui la même demande avait été attribuée afin de susciter des discussions au besoin.

Dans le cadre de la discussion en ligne asynchrone, un président virtuel était affecté à la demande pour animer la discussion. Les présidents virtuels devaient s’assurer que les discussions nécessaires avaient lieu, et pouvaient inciter les évaluateurs à échanger. Au terme des discussions, les évaluateurs pouvaient modifier leurs évaluations au besoin, à savoir changer leurs cotes, leur classement ou leurs commentaires. En cas d’égalité dans le classement, les évaluateurs devaient départager les demandes en les déplaçant dans le classement. Les évaluateurs devaient confirmer le classement des demandes qui leur avaient été assignées avant de soumettre le classement définitif aux IRSC.

Chaque demande a reçu un classement exprimé en pourcentage en fonction du classement fourni par chaque évaluateur. La moyenne de tous ces classements pour une demande donnée constituait un classement combiné exprimé en pourcentage. L’écart-type du classement combiné indiquait la variabilité entre les classements des évaluateurs. Un classement général pour le concours a été obtenu à partir des classements combinés en pourcentage. Il est à noter que le classement en pourcentage a été utilisé pour choisir les demandes qui passeraient à l’étape suivante.

Les demandes passaient à l’étape 2 si elles respectaient l’un des critères suivants :

  • elles ont obtenu un classement combiné minimal en pourcentage de plus de 65;
  • elles ont été classées au-dessus du 78e percentile par au moins deux évaluateurs à l’étape 1.

Les demandes passaient à l’étape finale de l’évaluation (EFE) si elles respectaient l’un des critères suivants :

Pour les chercheurs en milieu de carrièreNote en bas de page 1 et les chercheurs établisNote en bas de page 2 :

  • elles ont obtenu un classement combiné minimal en pourcentage de plus de 65;
  • elles ont été classées au-dessus du 70e percentile par au moins trois évaluateurs à l’étape 2;
  • elles ont été classées  au-dessus du 70e percentile par au moins deux évaluateurs à l’étape  2 ET elles ont obtenu un classement combiné minimal en pourcentage de plus de 56.

Pour les nouveaux chercheurs et les chercheurs en début de carrièreNote en bas de page 3 :

  • elles ont obtenu un classement combiné minimal en pourcentage de plus de 50;
  • elles ont été classées au-dessus du 70e percentile par au moins deux évaluateurs à l’étape 2 ET elles ont obtenu un classement combiné minimal en pourcentage de plus de 40.

À l’EFE, les résultats des évaluations de l’étape 2 ont été évalués. Les demandes auxquelles au moins quatre évaluateurs avaient donné un classement en pourcentage au-dessus du 90e percentile ont été placées dans la « zone verte », et leur financement a été recommandé sans plus de discussion. Toutes les autres demandes qui sont passées à l’EFE ont été placées dans la « zone grise » et évaluées par les évaluateurs à l’EFE avant la réunion en personne du comité interdisciplinaire.

On a eu recours à un système de catégorisation pour aider les membres du comité à départager les demandes de la « zone grise ». Les évaluateurs devaient classer les demandes dans la catégorie « oui » (susceptible d’être financée) ou dans la catégorie « non » (non susceptible d’être financée). Un nombre minimum de demandes pouvant être classées dans les catégories « oui » et « non » était alloué à chaque évaluateur. Ce nombre était déterminé en fonction du nombre de demandes attribuées à chaque évaluateur et du nombre prévu de demandes qui seraient financées. Les évaluateurs disposaient de deux semaines pour évaluer les demandes de la « zone grise » et les évaluations à l’étape 2 associées, et devaient soumettre les résultats de la catégorisation aux IRSC avant la rencontre.

Les résultats de la catégorisation ont servi à orienter la répartition des demandes de la « zone grise » en trois groupes :

  1. Groupe A (demandes que la majorité des membres du comité responsable recommande de financer)
  2. Groupe B (demandes qui feront l'objet de discussions à la réunion)
  3. Groupe C (demandes que la majorité des membres du comité responsable recommande de ne pas financer)

Durant la rencontre, les membres du comité ont d’abord validé la répartition des demandes dans les trois groupes. Pour ce faire, ils devaient indiquer s’ils pensaient que certaines demandes devaient être changées de groupe. Une fois le comité satisfait des groupes, le financement des demandes du groupe A a été recommandé sans plus de discussion. Les demandes du groupe B ont fait l’objet d’une discussion. Un seuil de financement estimatif était affiché dans la liste de demandes du groupe B pour faciliter la discussion. Une fois que le comité s’est penché sur toutes les demandes du groupe B, les membres ont voté. Les membres se sont vu attribuer un nombre maximum de votes « oui » (susceptible d’être financée), en fonction du nombre de demandes dans le groupe B et du seuil de financement estimatif. Les recommandations du comité relatives au financement ont été présentées aux IRSC pour procéder à l’examen final des budgets et prendre les décisions relatives au financement.

Considérations particulières pour le concours pilote du volet Fondation de 2014

Admissibilité restreinte : L’admissibilité au concours pilote du volet Fondation de 2014 a été restreinte afin de gérer le volume de demandes. Pour être admissible, un des directeurs du programme devait répondre à l’un des trois critères suivants :

  • Au 30 juillet 2013, le directeur de programme était le candidat principal désigné ou le cocandidat principal dans un projet financé par une subvention d’un programme ouvert des IRSC dont la date d’échéance se situait entre le 1er octobre 2014 et le 30 septembre 2015. Les programmes ouverts des IRSC comprennent :
    • Programme ouvert de subventions de fonctionnement (POSF)
    • Partenariats pour l’amélioration du système de santé (PASS)
    • Synthèse des connaissances (KRS)
    • Des connaissances à la pratique (KAL)
    • Programme de démonstration des principes – phases I et II (PDP I et PDP II)
    • Programme de recherche en collaboration avec l’industrie (PRCI)
  • Le directeur de programme est considéré comme un nouveau chercheur ou un chercheur en début de carrière à la date limite de présentation des demandes pour l'étape 1.
  • Au 30 juillet 2013, le directeur de programme n’avait jamais reçu de financement dans le cadre d’un programme ouvert des IRSC à titre de chercheur principal désigné ou de cochercheur principal.

Les candidats invités ayant reçu du financement des IRSC dans le cadre d’un programme ouvert sont reconnus comme étant des chercheurs de haut calibre, ce qui a contribué à créer une forte compétitivité.

Nouveaux chercheurs/chercheurs en début de carrière : La réussite des nouveaux chercheurs et des chercheurs en début de carrière a été activement surveillée tout au long du concours pilote du volet Fondation de 2014. Afin de soutenir l’objectif du programme – une assise durable formée de chefs de file en recherche en santé –, au minimum 15 % des subventions étaient destinées aux nouveaux chercheurs et aux chercheurs en début de carrière. Dans le concours pilote du volet Fondation de 2014, pour les étapes 1 et 2, toutes les demandes avaient été évaluées ensemble, quel que soit le stade de carrière, et tous les évaluateurs avaient reçu la consigne de tenir compte du stade de carrière, du domaine de recherche et de l’établissement des candidats dans l’évaluation de chaque critère. À l’EFE, cependant, les nouveaux chercheurs et les chercheurs en début de carrière étaient seulement classés par rapport aux autres nouveaux chercheurs et chercheurs en début de carrière.

3. Méthodes

3.1 Conception des concours

Depuis 2013, les IRSC ont mené une série d’essais dans le contexte des programmes ouverts existants pour orienter la transition vers les nouveaux programmes de recherche libre et processus d’évaluation par les pairs. La mise à l’essai du concours et des éléments conceptuels de l’évaluation par les pairs permet aux IRSC de surveiller, d’ajuster et de peaufiner les systèmes et les processus afin de faciliter la tâche aux candidats et aux évaluateurs. Les essais contribueront au corpus d’articles sur la conception de programmes et de l’évaluation par les pairs. Les éléments conceptuels mis à l’essai sont présentés dans le tableau 3.

Tableau 3. Éléments conceptuels de l’évaluation par les pairs mis à l’essai dans le concours pilote du volet Fondation de 2014

Éléments conceptuels de l’évaluation par les pairs Description de l’essai
Demande et évaluation structurées
  • La demande de subvention Fondation a été structurée de sorte qu’elle corresponde aux critères de sélection.
  • Les candidats ont répondu à chacun des critères de sélection dans une section précise de la demande ayant une limite de caractères.
  • Pour chaque critère de sélection, les évaluateurs ont attribué une cote et fait une évaluation écrite pour, en fin de compte, classer les demandes qui leur avaient été attribuées.
Processus d’évaluation en plusieurs étapes
  • Les évaluateurs aux étapes 1 et 2 ont effectué des évaluations préliminaires, discuté du mérite des demandes au moyen d’un outil en ligne et classé les demandes qui leur avaient été attribuées.
  • La majorité des évaluateurs à l’étape 1 se sont fait attribuer entre 13 et 18 demandes.
  • La majorité des évaluateurs à l’étape 2 se sont fait attribuer entre 10 et 15 demandes.
  • Étape finale de l’évaluation : un comité multidisciplinaire se réunissant en personne a recommandé le financement d’un ensemble de demandes.
Évaluation à distance et discussion en ligne
  • Les évaluateurs ont livré leurs évaluations préliminaires; ils ont ensuite eu accès aux cotes, aux évaluations écrites et au classement des autres évaluateurs.
  • Les évaluateurs ont pu discuter des demandes et des évaluations au moyen d’un outil de discussion en ligne asynchrone.
  • À la fin de la période de discussion, les évaluateurs pouvaient modifier leurs évaluations.
  • Le processus d’évaluation de chaque demande a été surveillé par un président virtuel désigné.
Échelle de cotation et système de classement
  • Une échelle de sélection avec cinq descripteurs (exceptionnel, excellent, bon, passable, médiocre) a été utilisée pour évaluer chaque sous-critère, avec des détails intégrés aux descripteurs supérieurs de l’échelle.
  • Une fois les évaluations terminées, les évaluateurs devaient confirmer ou modifier leur classement définitif.
Réunion en personne
  • Les membres d’un comité multidisciplinaire d’évaluateurs différents des évaluateurs aux étapes 1 et 2 ont reçu chacun un échantillon de demandes.
  • La grande majorité des évaluateurs à l’EFE se sont fait attribuer 16 demandes.
  • Avant la réunion, les évaluateurs devaient classer dans la catégorie « oui » ou « non » chacune des demandes leur ayant été attribuées, en vue de recommander ou non leur financement.
  • Les membres du comité ont discuté des demandes se trouvant près du seuil de financement pour formuler les recommandations finales quant aux demandes qui seraient financées.

3.2 Méthode de sondage

Les sondages visaient à évaluer la perception et l’expérience des participants relativement au processus de demande et d’évaluation par les pairs en ce qui concerne les éléments conceptuels mis à l’essai. Ils ont été conçus à l’aide du logiciel en ligne FluidSurveys; onze sondages correspondant à chacune des étapes du concours pilote ont été créés. Aux fins de la présente analyse, ils ont été divisés selon les étapes décrites dans le tableau 4. Les données présentées dans ce rapport comprennent les réponses de l’ensemble des sondages soumis, entièrement ou partiellement remplis.

Tableau 4. Méthode de sondage pour le concours pilote du volet Fondation de 2014

Étape du sondage Participants sondés Objectif du sondage
Présentation des demandes à l’étape 1

Candidats à l’étape 1

Administrateurs de la recherche

  • Processus de demande structurée
  • Formulaire de demande structurée
  • Critères de sélection
Évaluation à l’étape 1 Évaluateurs à l’étape 1
  • Processus d’évaluation structurée à l’étape 1
  • Charge de travail des évaluateurs
  • Formulaire de demande structurée
  • Critères de sélection
  • Divers éléments du processus d’évaluation à l’étape 1 (y compris l’échelle de sélection, le processus de cotation et de classement, la discussion en ligne et le rôle du président virtuel)
  Présidents virtuels à l’étape 1
  • Processus d’évaluation structurée à l’étape 1
  • Rôle du président virtuel
  • Charge de travail du président virtuel
  • Divers éléments du processus d’évaluation à l’étape 1 (y compris l’attribution des demandes, la lecture des évaluations préliminaires et la discussion en ligne)
Réception des résultats du concours à l’étape 1 Candidats à l’étape 1
  • Processus d’évaluation structurée
  • Qualité des évaluations reçues
  • Satisfaction globale à l’égard du processus d’évaluation
Présentation des demandes à l’étape 2 Candidats à l’étape 2
  • Processus de demande structurée
  • Formulaire de demande structurée
  • Critères de sélection
Évaluation à l’étape 2 Évaluateurs à l'étape 2
  • Processus d’évaluation structurée à l’étape 2
  • Charge de travail des évaluateurs
  • Formulaire de demande structurée
  • Critères de sélection
  • Divers éléments du processus d’évaluation à l’étape 2 (y compris l’échelle de sélection, le processus de cotation et de classement, la discussion en ligne et le rôle du président virtuel)
  Présidents virtuels à l’étape 2
  • Processus d’évaluation structurée à l’étape 2
  • Rôle du président virtuel
  • Charge de travail du président virtuel
  • Divers éléments du processus d’évaluation à l’étape 2 (y compris l’attribution des demandes, la lecture des évaluations préliminaires et la discussion en ligne)
Étape finale de l’évaluation Évaluateurs à l’EFE
  • Processus d’évaluation à l’EFE
  • Charge de travail des évaluateurs
  • Qualité des évaluations à l’étape 2
  • Activités préalables à la réunion (y compris la lecture des commentaires des évaluateurs préalables à la réunion et le processus de catégorisation)
  • Divers aspects de la réunion en personne (y compris la validation de la catégorisation des demandes et le processus de vote)
Réception des résultats du concours à l’étape 2 et à l’étape finale de l’évaluation

Candidats à l’étape 2 retenus pour l’étape finale de l’évaluation

Candidats à l’étape 2 non retenus pour l’étape finale de l’évaluation

  • Processus d’évaluation structurée à l’étape 2
  • Qualité des évaluations à l’étape 2 reçues
  • Satisfaction globale à l’égard du processus d’évaluation à l’étape 2

3.3 Analyse des données recueillies

Les résultats du sondage reçus pour les questions dont la réponse était « oui » ou « non » et les échelles de Likert en sept points ont été analysés de manière quantitative et sont présentés sous forme graphique à l’annexe 1 selon le nombre de réponses et la proportion des réponses totales reçues pour chaque question. L’échelle de Likert en sept points a été utilisée pour encourager la distribution des réponses du sondage vers un degré d’accord ou de désaccord. Les réponses dans les deux fourchettes ont été rapportées comme étant d’accord ou en désaccord.

Comme les questions ouvertes étaient facultatives, seul un sous-groupe de personnes y a répondu. Les commentaires reçus pour ces questions ont été analysés qualitativement. Pour chaque question ouverte, un sous-ensemble de réponses a été utilisé pour mettre en évidence des thèmes. Toutes les réponses ont ensuite été codées en fonction de ces thèmes. La proportion des commentaires reçus a été calculée comme étant le nombre de réponses appartenant à un thème donné divisé par le nombre total de réponses reçues pour cette question. Il est à noter que seules les réponses pertinentes par rapport à la question posée ont été comptées et qu’un commentaire pouvait être associé à plusieurs thèmes. La proportion des répondants au sondage a été calculée comme étant le nombre de réponses appartenant à un thème donné pour une question, divisé par le nombre total de répondants au sondage (présenté à l’annexe 1) et représente la proportion des répondants qui ont donné une réponse dans chaque thème. Les thèmes mentionnés par au moins 5 % des répondants figurent dans les tableaux de l’annexe 1.

Pour chacun des éléments conceptuels, les idées couramment exprimées ont été rassemblées et classées comme étant favorables ou défavorables. Les considérations et suggestions récurrentes et uniques ont également été consignées pour chaque élément. L’échelle utilisée pour décrire le pourcentage de répondants d’accord avec un énoncé particulier est décrite dans le tableau 5.

Tableau 5. Échelle utilisée pour rapporter les réponses au sondage reçues pour les questions ouvertes et fermées

Échelle
Faible minorité Au moins 5 %, mais moins de 25 % des répondants
Minorité Au moins 25 %, mais moins de 50 % des répondants
Majorité De 50 % à 75 % des répondants
Grande majorité Plus de 75 %, mais moins de 100 % des répondants
Tous Échantillon complet

Limites du sondage et de l’analyse des données

La taille de l’échantillon étant limitée, les conclusions d’un concours pilote donné doivent être interprétées prudemment. Avec le temps, et les concours multiples, un échantillon beaucoup plus vaste pourra être utilisé.

La subvention Fondation est l’un des deux seuls mécanismes de financement qui composent les nouveaux programmes de recherche libre des IRSC. Contrairement au Programme ouvert de subventions de fonctionnement, le Programme de subventions Fondation soutient seulement les programmes de recherche à long terme. Une comparaison détaillée entre les anciens et les nouveaux programmes de recherche libre des IRSC ne sera possible qu’une fois les données sur les subventions Fondation et Projet disponibles.

4. Résumé des résultats du concours

Les résultats globaux de ce concours pilote seront résumés dans les prochaines sections en fonction des paramètres suivants :

  • Thème
  • Stade de carrière
  • Groupe admissible
  • Sexe
  • Langue
  • Région
  • Institut principal des IRSC
  • Taille de l’établissement

4.1 Résultats globaux du concours

À l’étape 1, 1 366 demandes ont été jugées admissibles et ont été évaluées par 443 évaluateurs; plus de 98 % des demandes ont été évaluées par cinq évaluateurs. Au total, les auteurs de 468 demandes ont été invités à passer à l’étape 2, et 445 demandes admissibles ont été reçues. Les demandes à l’étape 2 ont été évaluées par 217 évaluateurs; plus de 90 % des demandes ont été évaluées par cinq évaluateurs. Au total, 150 demandes ont été financées dans ce concours (figure 1).

4.2 Demandes par étape de concours et par thème

Le lien à un thème était déterminé par les candidats dans leur demande. Les candidats n’ayant pas sélectionné de thème principal ont été exclus des résultats présentés dans cette section. Aucun thème principal n’avait été sélectionné dans 6 des 1 366 demandes admissibles soumises à l’étape 1.

Au total, 63 % des demandes financées appartenaient au domaine de la recherche biomédicale, 13 %, à celui de la recherche clinique et à celui de la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations respectivement, et 11 % à celui de la recherche sur les systèmes et les services de santé. D’une étape du concours à l’autre, la proportion de demandes est demeurée relativement constante pour la recherche sur les systèmes et les services de santé et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. De l’étape 1 à l’étape finale de l’évaluation, la proportion de demandes en recherche biomédicale a augmenté de 9 %, tandis que la proportion de demandes en recherche clinique a diminué de 7 % (figure 2).

4.3 Demandes par étape de concours et par stade de carrière

Le stade de carrière a été déterminé selon la date de la première nomination professorale des candidats, d’après une évaluation de leur CV. Les demandes ont été divisées en trois groupes : demandes de nouveaux chercheurs et de chercheurs en début de carrière, demandes de chercheurs en milieu de carrière et demandes de chercheurs établis.

À l’étape 1, 41 % des demandes provenaient de nouveaux chercheurs ou des chercheurs en début de carrière, 32 % de chercheurs en milieu de carrière, et 27 % de chercheurs établis. La distribution des candidats selon le stade de carrière a changé au fil du concours. La proportion de demandes provenant de nouveaux chercheurs et de chercheurs en début de carrière a diminué à 19 % à l’étape 2, et elles représentaient 15 % des demandes financées. Les demandes de chercheurs en milieu de carrière représentaient 31 % des demandes à l’étape 2 et 25 % des demandes financées. Enfin, la proportion de demandes de chercheurs établis a augmenté au fil des étapes du concours, représentant 50 % des demandes passant à l’étape 2 et 59 % des demandes financées (figure 3).

4.4 Demandes par étape de concours et par groupe admissible

Comme il a été mentionné dans la section Aperçu du concours, des contraintes d’admissibilité ont été établies pour le concours pilote du volet Fondation de 2014. Les demandes ont été divisées en trois groupes : Nouveaux chercheurs/chercheurs en début de carrière; Jamais reçu de financement d’un programme ouvert des IRSC; et Détiennent des fonds d’un programme ouvert des IRSC. Il est à noter que le groupe des nouveaux chercheurs et des chercheurs en début de carrière est identique à celui de la section 4.3 ci-dessus. Aux fins de cette analyse, ces catégories sont mutuellement exclusives (les nouveaux chercheurs et les chercheurs en début de carrière ont été retirés des autres groupes et peuvent détenir ou non des fonds d’un programme ouvert des IRSC).

Les résultats du groupe des nouveaux chercheurs et des chercheurs en début de carrière reflètent ceux de la répartition selon le stade de carrière. Les groupes d’admissibilité Nouveaux chercheurs/chercheurs en début de carrière et Détiennent des fonds d’un programme ouvert des IRSC ont soumis respectivement 41 % et 39 % du nombre total des demandes présentées à l’étape 1, alors que 20 % des demandes provenaient du groupe Jamais reçu de financement d’un programme ouvert des IRSC. La majorité des demandes qui sont passées à l’étape 2 (67 %) et la grande majorité des demandes financées (79 %) faisaient partie du groupe Détiennent des fonds d’un programme ouvert des IRSC, par rapport à 15 % pour le groupe Nouveaux chercheurs/chercheurs en début de carrière et 5 % pour le groupe Jamais reçu de financement d’un programme ouvert des IRSC (figure 4).

4.5 Demandes par étape de concours et par sexe

À toutes les étapes du concours, les hommes représentaient la majorité des auteurs de demandes. À l’étape 1, 63 % des demandes ont été soumises par des hommes, et 37 % par des femmes. La proportion des demandes soumises par des femmes a ensuite diminué à 29 % à l’étape 2, puis à 27 % à la dernière étape, 73 % des demandes financées ayant été soumises par des hommes (figure 5).

4.6 Demandes par étape de concours et par langue

La grande majorité des demandes soumises à l’étape 1 (95 %), qui sont passées à l’étape 2 (97 %) et qui ont été financées (97 %) ont été présentées en anglais (figure 6).

4.7 Demandes par étape de concours et par région

La plus grande proportion des demandes soumises à l’étape 1 qui ont été financées provenaient de l’Ontario (47 % des demandes soumises à l’étape 1; 43 % des demandes financées), et du Québec (26 % des demandes soumises à l’étape 1; 27 % des demandes financées). Environ le quart des demandes à l’étape 1 provenaient de l’ouest du Canada (11 % de la Colombie-Britannique, 10 % de l’Alberta, 2 % du Manitoba et 1 % de la Saskatchewan). De ces demandes qui ont ensuite été financées, 16 % provenaient de la Colombie-Britannique, 11 %, de l’Alberta, et 2 %, du Manitoba. Peu de demandes soumises à l’étape 1 provenaient du Canada atlantique (moins de 5 % en combinant la Nouvelle-Écosse, Terre-Neuve-et-Labrador, le Nouveau-Brunswick et l’Île-du-Prince-Édouard). La Nouvelle-Écosse a été la seule province de l’Atlantique à recevoir une subvention du volet Fondation. Aucune demande reçue à l’étape 1 ne provenait des territoires (figure 7 et tableau 6).

4.8 Demandes par étape de concours et par institut principal des IRSC

Les données sur l’institut principal des IRSCNote en bas de page 4 étaient indiquées par le candidat lui-même au moment de présenter sa demande.

La répartition des demandes est restée relativement stable de l’étape 1 au financement pour les 13 instituts, les proportions n’ayant en majorité changé que de 1 à 2 %. Les demandes affiliées à l’Institut du vieillissement ont connu la plus forte diminution : de 5 % à l’étape 1 à 2 % au financement (figure 8).

Les proportions des demandes affiliées à chaque institut principal variaient considérablement d’un institut à l’autre pour les demandes soumises à l’étape 1, qui sont passées à l’étape 2 et qui ont été financées. Les demandes affiliées à l’Institut des neurosciences, de la santé mentale et des toxicomanies représentaient la proportion la plus élevée à l’étape 1 (16 %) et à celle du financement (17 %). Les demandes affiliées à l’Institut du cancer et à l’Institut de la santé circulatoire et respiratoire sont arrivées aux deuxième et troisième rangs avec respectivement 13 % et 12 % des demandes financées. Les demandes affiliées à l’Institut de la santé des Autochtones et à l’Institut du vieillissement ont obtenu les plus faibles proportions du financement, avec respectivement 1 % et 2 %. Le seul institut qui n’a été désigné comme institut principal dans aucune demande financée est l’Institut de la santé des femmes et des hommes (figure 8).

4.9 Demandes par étape de concours et par taille d’établissement

Aux fins de cette analyse, la taille de l’établissement a été définie à l’aide du système de catégorisation des établissements postsecondaires canadiens du magazine Maclean’sNote en bas de page 5, qui répartit les universités dans trois catégories, selon les différences entre les types d’établissements, les niveaux de financement de la recherche, la diversité de l’offre et l’étendue des programmes des cycles supérieurs et de formation professionnelle (tableau 7).

Tableau 7. Taille de l’établissement et système de catégorisation des établissements postsecondaires canadiens du magazine Maclean’s

Taille de l’établissement Système de catégorisation du magazine Maclean’s
Grand
  • Médecine et doctorat – vaste gamme de programmes de doctorat et de recherche, ainsi qu’une école de médecine
Moyen
  • Complet – quantité importante d’activités de recherche et vaste gamme de programmes de premier cycle et des cycles supérieurs, y compris des diplômes professionnels
Petit
  • Principalement de premier cycle – accent important sur l’enseignement au premier cycle; moins de programmes d’études supérieures et d’étudiants des cycles supérieurs
Autre
  • Établissement ne correspondant pas au système de catégorisation du magazine Maclean’s

Parmi toutes les demandes soumises à l’étape 1, 89 % provenaient de grands établissements, 8 % d’établissements moyens, et les 3 % restants, d’établissements petits ou autres. Aux étapes suivantes, la grande majorité des demandes financées provenaient de grands établissements, soit 99 % des demandes financées (figure 9).

5. Résumé des résultats du sondage

Les résultats du sondage sur ce concours pilote sont résumés dans les prochaines sections, qui traitent des aspects suivants :

  1. Efficacité du processus de demande structurée
  2. Clarté des critères et de l’échelle de sélection
  3. Impact sur la charge de travail des évaluateurs
  4. Efficacité du processus d’évaluation structurée

La description des participants (données démographiques sur les participants au sondage) figure à l’annexe 2. Les résultats détaillés du sondage sont présentés à l’annexe 1.

5.1 Efficacité du processus de demande structurée

La présente section porte sur l’expérience des candidats, des administrateurs de la recherche et des évaluateurs quant au nouveau processus de demande structurée et aux éléments conceptuels de la subvention Fondation.

Impression globale du processus de demande structurée

Dans l’ensemble, à l’étape 1, la grande majorité des administrateurs de la recherche et la majorité des candidats ont trouvé le format de la demande structurée facile à utiliser et intuitif, et ont indiqué en être satisfaits (figure 10). De même, la majorité des candidats à l’étape 2 ont convenu que le format de la demande structurée était facile à utiliser et intuitif, et se sont dits généralement satisfaits du processus (figure 11).

La majorité des candidats à l’étape 1 ont indiqué que le formulaire de demande structurée leur a pris moins de temps à remplir, et environ la moitié a indiqué qu’il était plus facile à utiliser que pour la dernière demande qu’ils avaient présentée aux IRSC (figure 12).

La grande majorité des évaluateurs à l’étape 1 et à l’étape 2 étaient d’avis que le format de la demande structurée leur avait été utile dans leur évaluation. De plus, la majorité des évaluateurs à l’étape 1 et à l’étape 2 ont convenu que les candidats ont été capables de communiquer les renseignements nécessaires pour mener une évaluation complète grâce au format de la demande structurée (figures 13 et 14).

Une faible minorité des évaluateurs à l’étape 1 ont mentionné que les candidats avaient mal compris ou mal interprété les critères de sélection, que les limites de caractères étaient trop restrictives et que les renseignements donnés dans diverses sections de la demande étaient redondants (tableau 8).

Une faible minorité des évaluateurs à l’étape 2 ont commenté que le format de la demande structurée a été utile et a permis de réduire le fardeau des évaluateurs. Cependant, un autre petit nombre ont répondu qu’ils n’ont pas trouvé le format approprié, et ont indiqué que les candidats n’ont pas donné assez de détails et n’ont pas réussi à décrire un programme de recherche (tableau 9).

Limites de caractères dans le formulaire de demande structurée

Étape 1

La majorité des candidats à l’étape 1 ont indiqué que les limites de caractères étaient appropriées pour les sections Leadership, Productivité et Vision et direction du programme. Cependant, environ la moitié des candidats à l’étape 1 n’ont pas trouvé appropriée la limite de caractères imposée à la section Importance des contributions. En revanche, la majorité des évaluateurs et des administrateurs de la recherche à l’étape 1 ont indiqué que les limites de caractères pour tous les critères de sélection étaient appropriées (figure 15), et la majorité des évaluateurs à l’étape 1 ont indiqué que les candidats en avaient fait bon usage (figure 16).

Étape 2

La majorité des candidats et des évaluateurs à l’étape 2 ont trouvé les limites de caractères appropriées pour chaque critère de sélection, sauf la section Approche de recherche (figure 17). Lorsqu’on leur a demandé quelle serait la limite idéale, les candidats et les évaluateurs à l’étape 2 ont proposé de faire passer la limite de la section Approche de recherche de 7 000 caractères, ou 2 pages, à 10 500-12 250 caractères, ou 3 à 3,5 pages (figure 18).

Utilité du CV du volet Fondation

Les candidats directeurs de programme devaient remplir un nouveau modèle de CV conçu spécialement pour le concours de subventions Fondation. Des commentaires sur l’utilité et la valeur de ce nouveau CV du volet Fondation ont été recueillis dans le cadre du sondage.

La majorité des candidats et des évaluateurs à l’étape 1 ont indiqué que le CV avait été utile pour déterminer le calibre du candidat (figure 19). De même, la majorité des candidats et des évaluateurs à l’étape 2 ont convenu que le CV du volet Fondation a été utile pour déterminer la qualité de l’expertise, de l’expérience et des ressources des candidats à l’étape 2 (figure 20).

Les candidats et les évaluateurs à l’étape 1 et à l’étape 2 ont indiqué que toutes les sections du CV étaient pertinentes. Les candidats et les évaluateurs ont trouvé les limites de la section Publications du CV du volet Fondation les moins appropriées, suivies de celles des sections Présentations, Reconnaissances et Expérience d’encadrement (figures 21-24). Les limites idéales suivantes ont été suggérées par les candidats et les évaluateurs qui n’ont pas trouvé les limites appropriées : la majorité des candidats et des évaluateurs ont demandé que la limite de Publications soit augmentée au-dessus de 25, que la limite des Présentations soit augmentée de 10 à 20 ou plus, que la limite des Reconnaissances soit augmentée de 5 à 10, et qu’aucune limite ne soit imposée pour l’Expérience d’encadrement (tableaux 10 et 11).

Lorsqu’on leur a demandé ce qu’ils pensaient de l’utilité du tableau des contributions professionnelles, la majorité des candidats et des évaluateurs ont convenu que le tableau fournissait des renseignements utiles aux évaluateurs aux étapes 1 et 2 (figures 25 et 26).

Lorsqu’on leur a demandé quels autres renseignements les candidats auraient aimé communiquer aux évaluateurs dans leur CV, une faible minorité des candidats à l’étape 1 ont indiqué vouloir inclure leurs Activités d’évaluation et de révision (tableau 12). Une faible minorité des évaluateurs ont indiqué que des mesures relatives aux publications supplémentaires auraient été utiles pour l’évaluation à l’étape 1 (tableau 13).

Utilité des documents de soutien des candidats

Les IRSC ont préparé divers documents pour aider les candidats à effectuer les tâches requises aux étapes 1 et 2 du processus de demande.

Pendant le sondage, les commentaires concernant l’utilisation des documents de soutien et leur degré d’utilité ont été recueillis. Bien qu’il y ait eu une variation dans l’utilisation de chaque document, la majorité des candidats à l’étape 1 et à l’étape 2 ont trouvé les documents utiles (figures 27 et 28).

De même, tout au long du processus de sondage, les commentaires sur les taux d’utilisation des webinaires et des séances d’apprentissage interactives et leur degré d’utilité ont été recueillis. Les candidats aux étapes 1 et 2 ont participé davantage aux webinaires qu’aux leçons interactives, alors que le nombre de participants aux webinaires a augmenté à l’étape 2. Bien qu’à l’étape 1, la majorité des candidats n’aient pas trouvé les leçons interactives ou les webinaires utiles, à l’étape 2, la majorité des candidats ont indiqué que les leçons interactives étaient utiles, et la grande majorité ont indiqué que les webinaires l’étaient (figure 29).

5.2 Clarté des critères et de l’échelle de sélection

La présente section porte sur l’expérience des candidats, des administrateurs de la recherche et des évaluateurs quant aux critères de sélection, et sur l’expérience des évaluateurs quant à l’échelle de sélection.

Critères de sélection à l’étape 1

La grande majorité des candidats et des administrateurs de la recherche à l’étape 1 ont trouvé les critères de sélection clairs (figure 30). Une faible minorité des candidats à l’étape 1 ont signalé un chevauchement important entre les sous-critères Productivité et Importance des contributions; un manque de clarté concernant les renseignements à fournir dans les sections Leadership et Vision et direction du programme; une difficulté à appliquer les critères de sélection à tous les stades de carrière; et des limites de caractères insuffisantes pour les critères de sélection (tableau 14).

Dans l’ensemble, la majorité des évaluateurs à l’étape 1 ont facilement déterminé ce qui devait être évalué pour chaque critère (figure 31A). En outre, la majorité des évaluateurs à l’étape 1 ont jugé que les candidats comprenaient ce qu’ils devaient inclure dans chaque section de la demande, et ont indiqué qu’ils étaient en mesure d’évaluer chaque critère de sélection à l’aide des renseignements fournis par les candidats (figures 31B et 32).

La majorité des évaluateurs à l’étape 1 ont convenu que les critères de sélection étaient appropriés, puisqu’ils ont pu évaluer le calibre des candidats en fonction de ces critères (figure 33A). De même, les évaluateurs ont indiqué que les critères de sélection leur ont permis de discerner des différences significatives de calibre entre les candidats (figure 33B). Cependant, une minorité a commenté qu’il y avait un manque de clarté quant à l’évaluation des critères de sélection à tous les stades de carrière, et une faible minorité était d’avis que les critères d’évaluation du Leadership chez les nouveaux chercheurs et les chercheurs en début de carrière manquaient particulièrement de clarté (tableau 15). Une majorité a indiqué que les candidats auraient besoin d’une aide supplémentaire pour déterminer les renseignements à fournir pour répondre aux divers critères de sélection (figure 34).

La majorité des candidats et des évaluateurs à l’étape 1 ne croyaient pas nécessaire d’ajouter ou de retirer des critères de sélection (figure 35). Actuellement, les critères de sélection à l’étape 1 sont pondérés de façon égale à 25 % par critère. La majorité des candidats et des évaluateurs à l’étape 1 ont trouvé la pondération des critères de sélection appropriée (figure 36).

Critères de sélection à l’étape 2

Pour la grande majorité des candidats à l’étape 2, les renseignements à inclure dans chaque section de la demande étaient clairs, à l’exception de la section Approche de recherche, pour laquelle seulement la majorité des candidats ont convenu que les renseignements à inclure étaient clairs (figure 37A). De même, la majorité des évaluateurs à l’étape 2 étaient d’avis que les candidats avaient compris quels renseignements inclure dans chaque section de leur demande (figure 37B), et la majorité des évaluateurs à l’étape 2 avaient compris clairement ce qu’ils devaient évaluer pour chaque critère de sélection (figure 37C). Par conséquent, la majorité des évaluateurs ont indiqué avoir pu évaluer chaque critère de sélection à l’aide des renseignements fournis par les candidats (figure 38).

Une minorité des évaluateurs à l’étape 2 ont commenté que les renseignements fournis par les candidats pour le sous-critère Mentorat et formation n’étaient pas constants, et qu’ils n’étaient pas certains de la façon d’évaluer cette section. De plus, une faible minorité des évaluateurs ont signalé que des renseignements fondamentaux étaient absents des sections Idée de recherche et Approche de recherche, et qu’il y avait un manque de clarté quant à l’endroit où les candidats devaient présenter les renseignements sur l’innovation et à la façon dont les évaluateurs devaient évaluer cet aspect (tableau 16). Parallèlement, la majorité des évaluateurs à l’étape 2 étaient d’avis que les candidats auraient besoin d’une aide supplémentaire pour déterminer les renseignements à fournir pour répondre aux divers critères de sélection (figure 39). La majorité des candidats et des évaluateurs à l’étape 2 ont indiqué qu’ils ne pensaient pas que des critères de sélection devaient être ajoutés, alors qu’environ la moitié des évaluateurs à l’étape 2 ont indiqué que des critères de sélection devraient être retirés (figure 40).

Actuellement, les critères de sélection de l’étape 2 sont pondérés de façon égale à 20 % par critère. Dans le sondage, les candidats et les évaluateurs devaient indiquer si la pondération des critères de sélection était appropriée. La majorité des candidats et des évaluateurs à l’étape 2 ont indiqué que seule la pondération du critère Expertise était appropriée (figure 41). La majorité des candidats et des évaluateurs ont indiqué que la pondération idéale de l’Idée de recherche et de l’Approche de recherche serait de 21 à 30 %, et que celle des critères Mentorat et formation et Qualité de l’environnement de soutien serait de 0 à 10 % (figure 42).

Échelle de sélection

Cote

La majorité des évaluateurs aux étapes 1 et 2 ont indiqué que les descripteurs de l’échelle de sélection étaient compréhensibles et utiles (figure 43). De plus, selon eux, l’échelle de sélection était suffisamment large pour que des différences significatives soient mises en évidence entre les demandes (figure 44). La majorité des évaluateurs aux étapes 1 et 2 ont indiqué avoir eu recours à tous les critères de sélection, et la grande majorité des évaluateurs à l’étape 1 ont aussi indiqué avoir trouvé la cotation des demandes utile pour leur classement (figure 44).

La grande majorité des évaluateurs aux étapes 1 et 2 ont indiqué que la cote (O++, O+, O, E++, E+, E, G, F, P) choisie pour chaque critère de sélection correspondait à leurs commentaires pour chaque section (figure 45). De plus, la grande majorité des évaluateurs aux étapes 1 et 2 ont trouvé utile de sous-diviser le haut de l’échelle de cotation (p. ex. O++, O+, O) afin d’exprimer de fines différences entre des demandes hautement concurrentielles (figure 46).

Lorsqu’on leur a demandé ce qu’ils pensaient du processus de cotation, la grande majorité des évaluateurs à l’étape 1 et la majorité de ceux à l’étape 2 convenaient que la cotation de chaque critère de sélection était un bon outil pour aider les évaluateurs à classer les demandes (figure 47).

Classement

Selon la majorité des évaluateurs à l’étape 1 et la grande majorité de ceux à l’étape 2, le processus de classement était intuitif, et la grande majorité des évaluateurs à l’étape 1 ont aussi trouvé le processus de classement facile à utiliser (figure 48). La cotation de chaque critère de sélection se veut un outil pour éclairer les décisions de classement global, et la grande majorité des évaluateurs aux étapes 1 et 2 ont convenu qu’il était approprié de modifier le classement des demandes avant de soumettre leurs décisions aux IRSC (figure 49).

La grande majorité des évaluateurs à l’étape 1 et la majorité des évaluateurs à l’étape 2 ont dû départager des demandes dans le cadre de leur processus d’évaluation. En moyenne, les évaluateurs à l’étape 1 ont dû le faire deux ou trois fois, alors que les évaluateurs à l’étape 2 l’ont fait d’une à trois fois (figure 50). Pour la majorité des évaluateurs aux étapes 1 et 2, l’objectif du départage et le processus associé étaient clairs (figures 51 et 52). La grande majorité des évaluateurs aux étapes 1 et 2 convenaient que les cotes (O++, O+, O, E++, E+, E, G, F, P) attribuées aux critères de sélection ont permis de produire une liste de classement des demandes allant plus ou moins de la meilleure à la pire demande (figure 53).

Lorsqu’on leur a demandé de commenter le processus de classement à l’étape 1 et la façon de l’améliorer pour les prochains concours, une minorité d’évaluateurs à l’étape 1 a suggéré que les demandes des nouveaux chercheurs et des chercheurs en début de carrière soient classées séparément (tableau 17).

Évaluation des demandes à tous les stades de carrière

La grande majorité des évaluateurs à l’étape 1 ne pensaient pas que les critères de sélection pouvaient être facilement appliqués à tous les stades de carrière (figure 54A). De même, la majorité des évaluateurs à l’étape 2 n’étaient pas d’avis que les critères de sélection de l’étape 2, qui se concentraient sur l’évaluation de la Qualité du programme de recherche proposé et de la Qualité de l’expertise, de l’expérience et des ressources pouvaient être appliqués à tous les stades de carrière (figure 54B).

La majorité des évaluateurs à l’étape 1 ont indiqué qu’ils n’ont pas pu coter les demandes avec efficacité pour tous les stades de carrière (figure 55). Une faible minorité des évaluateurs à l’étape 1 ont signalé que les nouveaux chercheurs et les chercheurs en début de carrière n’avaient pas fourni suffisamment de données pour le critère Calibre du candidat, ce qui a compliqué la cotation et le classement des demandes à tous les stades de carrière (tableau 18). Une faible minorité des évaluateurs à l’étape 1 a aussi commenté que les critères Leadership et Importance des contributions avaient influencé le classement des nouveaux chercheurs, des chercheurs en début de carrière et des chercheurs en milieu de carrière (tableau 19).

Environ le même nombre d’évaluateurs à l’étape 2 étaient d’accord et en désaccord avec la possibilité de coter et de classer les demandes efficacement pour tous les stades de carrière à l’étape 2 (figure 56). Une faible minorité des évaluateurs à l’étape 2 a commenté que les critères de sélection favorisaient les chercheurs établis et qu’ils préfèreraient évaluer les demandes par stade de carrière pour assurer une évaluation équitable (tableau 20).

5.3 Impact sur la charge de travail des évaluateurs

Dans cette section, il sera question de l’expérience des évaluateurs concernant la charge de travail à l’étape 1, à l’étape 2 et à l’étape finale de l’évaluation.

Charge de travail des évaluateurs à l’étape 1

Les réponses des évaluateurs à l’étape 1 concernant leur charge de travail perçue étaient partagées. Environ un tiers des évaluateurs ont indiqué que leur charge de travail perçue était appropriée, un peu plus d’un tiers ont indiqué qu’elle était gérable ou difficile à gérer, et environ un quart ont indiqué qu’elle était difficile à gérer (figure 57A).

La majorité des évaluateurs à l’étape 1 se sont fait attribuer entre 13 et 18 demandes (figure 57B). Par rapport à la dernière fois où ils avaient évalué des demandes pour un concours des IRSC, la majorité des évaluateurs à l’étape 1 ont indiqué que la charge de travail était inférieure (figure 57C).

Les évaluateurs à l’étape 1 ont dû comparer la charge de travail nécessaire pour chacune des activités suivantes à celle de la dernière fois où ils avaient évalué des demandes pour un concours des IRSC : lecture d’une seule demande; recherche en ligne d’autres renseignements liés à une demande; et rédaction de l’évaluation d’une seule demande. La grande majorité des évaluateurs ont indiqué que la lecture d’une seule demande et la rédaction de l’évaluation d’une seule demande nécessitaient moins de travail (figure 58). Les réponses étaient partagées parmi les évaluateurs à l’étape 1 quant à la charge de travail associée à la recherche en ligne de renseignements supplémentaires par rapport à une demande : environ un tiers a indiqué qu’elle demandait moins de travail, un tiers, plus de travail, et le dernier tiers est resté neutre (figure 58).

Les évaluateurs ont aussi dû estimer le temps consacré à diverses activités d’évaluation. La grande majorité des évaluateurs ont indiqué que chaque activité leur a demandé deux heures ou moins, qu’il s’agisse de lire une seule demande, de rechercher d’autres renseignements liés à une demande, de rédiger l’évaluation d’une seule demande, de lire les évaluations préliminaires des autres évaluateurs, de participer aux discussions en ligne ou d’effectuer le classement des demandes assignées (figure 59).

Charge de travail des évaluateurs à l’étape 2

Comme les évaluateurs à l’étape 1, les évaluateurs à l’étape 2 ont donné des commentaires partagés sur la charge de travail perçue. Environ un quart des évaluateurs ont indiqué que leur charge de travail perçue était appropriée, un peu moins de la moitié ont indiqué qu’elle était gérable ou difficile à gérer, et environ un quart ont indiqué qu’elle était difficile à gérer ou excessive (figure 60A).

La majorité des évaluateurs à l’étape 2 se sont fait attribuer entre 8 et 13 demandes (figure 60B). Lorsqu’on a demandé aux évaluateurs à l’étape 2 de comparer leur charge de travail actuelle avec la dernière fois qu’ils avaient évalué des demandes pour un concours du Programme ouvert de subventions de fonctionnement (POSF), on a obtenu des commentaires partagés. Environ 40 % des évaluateurs ont indiqué que la charge de travail était inférieure, une proportion similaire a indiqué qu’elle était supérieure, et les autres ont donné une réponse neutre (figure 60C).

Les évaluateurs à l’étape 2 devaient comparer la charge de travail nécessaire pour chacune des activités suivantes à celle de la dernière fois où ils avaient évalué des demandes pour un concours du POSF : lecture d’une seule demande; recherche en ligne d’autres renseignements liés à une demande; et rédaction de l’évaluation d’une seule demande. La majorité des évaluateurs ont indiqué que la lecture d’une seule demande et la rédaction de l’évaluation d’une seule demande nécessitaient moins de travail (figure 61). Comme ce fut le cas pour les évaluateurs à l’étape 1, les réponses étaient partagées parmi les évaluateurs à l’étape 2 quant à la charge de travail associée à la recherche en ligne d’autres renseignements liés à une demande : environ un tiers a indiqué qu’elle demandait moins de travail, un tiers, plus de travail, et le dernier tiers est resté neutre (figure 61).

Les évaluateurs à l’étape 2 devaient estimer le temps consacré à diverses activités d’évaluation. Comme pour les évaluateurs à l’étape 1, la grande majorité des évaluateurs à l’étape 2 ont indiqué que chaque activité leur a demandé deux heures ou moins, qu’il s’agisse de rechercher d’autres renseignements liés à une demande, de rédiger l’évaluation d’une seule demande, de lire les évaluations préliminaires des autres évaluateurs, de participer aux discussions en ligne ou d’effectuer le classement des demandes assignées. La majorité des évaluateurs à l’étape 2 ont indiqué que la lecture d’une demande leur a pris moins de deux heures (figure 62).

Charge de travail des évaluateurs de l’EFE

Environ la moitié des évaluateurs de l’EFE ont indiqué que leur charge de travail perçue était gérable ou difficile à gérer, environ un quart ont indiqué qu’elle était appropriée, et le dernier quart, qu’elle était difficile à gérer (figure 63A).

La grande majorité des évaluateurs de l’EFE se sont fait attribuer 16 demandes (figure 63B). Par rapport à la dernière fois qu’ils avaient évalué des demandes pour un concours du POSF, un peu moins de la moitié des évaluateurs ont indiqué que la charge de travail qu’on leur avait attribuée dans le présent concours était inférieure, environ un tiers ont indiqué qu’elle était supérieure, et les autres ont donné une réponse neutre (figure 63C).

Utilité des documents de soutien des évaluateurs

Les IRSC ont créé plusieurs documents de soutien pour aider les évaluateurs à effectuer leurs tâches d’évaluation à l’étape 1, à l’étape 2 et à l’EFE.

Des commentaires sur l’utilisation de ces documents, des webinaires et des séances d’apprentissage interactives, ainsi que sur leur degré d’utilité ont été recueillis tout au long du processus de sondage. Les documents, les leçons et les webinaires utilisés n’étaient pas les mêmes d’une personne à l’autre, mais la grande majorité des évaluateurs qui les ont consultés les ont trouvés utiles (figures 64-69).

5.4 Efficacité du processus d’évaluation structurée

La présente section porte sur l’efficacité du nouveau processus d’évaluation structurée et la satisfaction globale des évaluateurs (étape 1, étape 2 et EFE) à son égard.

Étape 1 et étape 2 du processus d’évaluation

Satisfaction globale à l’égard du processus d’évaluation à l’étape 1

Environ la moitié des évaluateurs à l’étape 1 ont indiqué au moins une certaine satisfaction à l’égard du processus d’évaluation structurée (figure 70A). La majorité des évaluateurs à l’étape 1 étaient d’avis que le processus d’évaluation structurée était approprié, intuitif et facile à utiliser et était une bonne façon d’offrir de la rétroaction aux candidats (figure 70B).

Après avoir reçu leur avis de décision, les candidats à l’étape 1 devaient déterminer leur degré de satisfaction globale à l’égard du processus de sélection. La majorité de ceux qui ont réussi l’étape 1 étaient satisfaits du processus de sélection, alors que la majorité de ceux qui n’ont pas réussi n’étaient pas satisfaits du processus de sélection. Cependant, la grande majorité des candidats retenus à l’étape 1 et la majorité des candidats n’ayant pas réussi cette étape ont convenu que le processus d’évaluation structurée était utile (figure 71).

Lorsqu’on leur a demandé de commenter la cohérence des évaluations reçues, une faible minorité des candidats à l’étape 1 ont noté que : les cotes des évaluateurs ne concordaient pas forcément avec le classement; les commentaires des évaluateurs n’étaient pas uniformes, ou les cotes ne correspondaient pas aux commentaires; et il n’était pas clair comment les évaluateurs avaient tenu compte du stade de carrière (tableau 21).

Lorsqu’on leur a demandé comment les IRSC pourraient améliorer l’expérience d’évaluation, une faible minorité des candidats à l’étape 1 ont suggéré que les IRSC : modifient le processus d’évaluation pour davantage tenir compte du stade de carrière; encouragent les discussions entre évaluateurs; ajoutent des renseignements supplémentaires aux évaluations (p. ex. classement de chaque évaluateur; description de la cote alphabétique); et surveillent les commentaires des évaluateurs (tableau 22).

Satisfaction globale à l’égard du processus d’évaluation à l’étape 2

La grande majorité des évaluateurs à l’étape 2 ont indiqué que le processus d’évaluation structurée leur a été utile (figure 72A). Cependant, seule une minorité des évaluateurs à l’étape 2 ont indiqué être généralement satisfaits du processus d’évaluation structurée (figure 72B). En comparaison avec la dernière fois où les évaluateurs à l’étape 2 avaient évalué des demandes pour un concours non pilote des IRSC, la majorité ont convenu que le processus d’évaluation structurée avait simplifié l’évaluation. Toutefois, moins de la moitié des répondants ont indiqué qu’il s’agissait d’une meilleure façon d’offrir de la rétroaction aux candidats (figure 72C).

Après avoir reçu leur avis de décision à l’étape 2 ou à l’EFE, les candidats ont été invités à indiquer leur degré de satisfaction globale à l’égard du processus de sélection. La grande majorité des candidats qui n’étaient pas passés à l’EFE n’étaient pas satisfaits du processus de sélection à l’étape 2, alors que la grande majorité des candidats financés étaient satisfaits. Parmi ceux qui sont passés à l’EFE, mais qui n’ont pas été financés, environ le même nombre étaient satisfaits et insatisfaits du processus de sélection à l’étape 2 (figure 73A). La majorité des candidats financés et des candidats qui sont passés à l’EFE, mais qui n’ont pas été financés ont convenu que le processus d’évaluation structurée était utile; et moins de la moitié des candidats non financés étaient d’accord (figure 73B). Plus de la moitié des candidats financés ont convenu que le processus d’évaluation à l’étape 2 était juste et transparent, alors que moins de la moitié des candidats qui sont passés à l’EFE, mais qui n’ont pas été financés et seule une faible proportion (environ 10 %) des candidats n’étant pas passés à l’EFE étaient d’accord (figure 73C).

Lorsqu’on les a interrogés sur la qualité des évaluations par les pairs à l’étape 2, la majorité des candidats financés et des candidats qui sont passés à l’EFE, mais qui n’ont pas été financés se sont montrés satisfaits de la qualité, alors que la grande majorité des candidats non financés n’étaient pas satisfaits (figure 74A). La grande majorité des candidats financés et la majorité des candidats qui sont passés à l’EFE, mais qui n’ont pas été financés ont convenu que les évaluations à l’étape 2 concordaient avec les justifications écrites associées à leurs cotes, tandis que la grande majorité des candidats non financés n’étaient pas d’accord (figure 74B).

Après les décisions à l’étape 2, les candidats devaient commenter la cohérence des évaluations reçues. Une minorité des candidats ont rapporté que les cotes et les commentaires des différents évaluateurs se contredisaient beaucoup, et une minorité a déclaré que les cotes attribuées ne correspondaient pas aux commentaires formulés. Une faible minorité des candidats ont noté que les commentaires étaient courts, inutiles, non pertinents, voire erronés (tableau 23).

Lorsqu’on leur a demandé comment les IRSC pouvaient améliorer l’expérience d’évaluation, une faible minorité des candidats ont suggéré : d’assurer une meilleure correspondance entre les demandes à évaluer et l’expertise des évaluateurs; de réinstaurer les réunions de comité en personne; de préciser la quantité de détails attendue dans les demandes; et d’effectuer le processus de sélection par stade de carrière. En outre, une faible minorité des candidats ont suggéré d’encourager les évaluateurs à mieux harmoniser leurs évaluations et d’écarter les évaluations discordantes (tableau 24).

Lecture des évaluations préliminaires

La grande majorité des évaluateurs aux étapes 1 et 2 ont indiqué qu’ils avaient lu les évaluations préliminaires des autres évaluateurs (figure 75). Aux étapes 1 et 2, la grande majorité des évaluateurs ont trouvé utile de pouvoir lire les évaluations de leurs pairs (figure 76). La grande majorité des évaluateurs à l’étape 1 ont indiqué que cette composante du processus d’évaluation à l’étape 1 était importante, et qu’elle avait influencé leur évaluation d’au moins une demande (figure 76A). De même, la majorité des évaluateurs à l’étape 2 ont indiqué que l’accès aux évaluations de leurs pairs avait influencé leur évaluation d’au moins d’une demande (figure 76B).

Lorsqu’on leur a demandé pourquoi ils avaient lu les évaluations préliminaires, une minorité des évaluateurs aux étapes 1 et 2 ont répondu qu’ils voulaient ajuster leurs évaluations en fonction d’un cadre de référence, alors qu’une faible minorité a répondu souhaiter résoudre les divergences et prendre part à des discussions en ligne (tableaux 25 et 26).

Discussions en ligne

À l’étape 1, 66 % des demandes (899 sur 1 366) ont fait l’objet d’une discussion en ligne par 42 % des évaluateurs à l’étape 1 (188 sur 443). À l’étape 2, 83 % des demandes (370 sur 445) ont fait l’objet d’une discussion en ligne par 95 % des évaluateurs à l’étape 2 (207 sur 217). La grande majorité des évaluateurs aux étapes 1 et 2 ont indiqué qu’ils avaient lu les discussions en ligne et y avaient participé (figure 77) et qu’ils avaient trouvé l’outil de discussion facile à utiliser (figure 78). La majorité des évaluateurs aux étapes 1 et 2 ont aussi indiqué que la participation à une discussion en ligne avait été utile dans leur processus d’évaluation, avait influencé leur évaluation d’une demande et avait influencé les évaluations d’autres évaluateurs (figure 79).

La grande majorité des évaluateurs à l’étape 1 ont convenu que la discussion en ligne est un élément important du processus d’évaluation à l’étape 1 et qu’elle devrait être obligatoire pour les évaluateurs qui ont des opinions divergentes de la même demande (figures 80A et 80B). La grande majorité des évaluateurs à l’étape 2 ont convenu que la discussion en ligne devrait être obligatoire pour les évaluateurs qui ont des opinions divergentes de la même demande (figure 80C). Lorsqu’on leur a demandé comment l’outil de discussion en ligne pouvait être amélioré pour les prochains concours, une faible minorité des évaluateurs aux étapes 1 et 2 ont suggéré : de faire en sorte que les discussions en ligne soient synchrones ou qu’elles aient lieu en temps réel ou de réinstaurer les réunions en personne; et de faire de la discussion en ligne un élément obligatoire de l’évaluation à l’étape 1, surtout en cas de divergences entre les cotes attribuées par les évaluateurs (tableau 27).

Rôle du président virtuel

Dans cette section, les évaluateurs aux étapes 1 et 2 devaient formuler des commentaires sur le rôle du président virtuel.

Selon la majorité des évaluateurs aux étapes 1 et 2, le rôle du président virtuel était approprié et utile, et a fait en sorte que les discussions en ligne nécessaires aient lieu (figure 81). De plus, la majorité des évaluateurs à l’étape 1 ont convenu qu’il était utile d’avoir un président virtuel pour lancer les discussions entre les évaluateurs au besoin (p. ex. écarts dans les cotes) (figure 82). Lorsqu’on leur a demandé qui devrait amorcer les discussions en ligne, la majorité des évaluateurs aux étapes 1 et 2 ont indiqué que c’était la responsabilité du président virtuel (figure 83). Les évaluateurs devaient aussi dire quels critères devraient servir à déterminer si une discussion en ligne s’impose, et la majorité des évaluateurs aux étapes 1 et 2 ont indiqué que les discussions devraient être entamées pour résoudre les divergences entre les cotes (figure 84).

Évaluation du budget

La présente section porte sur l’expérience des évaluateurs à l’étape 2 quant à l’évaluation du budget.

Moins de la moitié des évaluateurs étaient d’avis que le processus d’évaluation du budget était clair (figure 85A). Par conséquent, moins de la moitié des évaluateurs ont pu déterminer avec efficacité si les demandes de budget devaient être acceptées telles quelles ou modifiées, ou ont pu évaluer efficacement les demandes de budget pour tous les stades de carrière (figures 85B et 85C).

Moins de la moitié des évaluateurs à l’étape 2 ont indiqué que les catégories budgétaires étaient appropriées pour évaluer la ventilation des demandes de budget (figure 86A). Bien que la majorité des évaluateurs à l’étape 2 aient convenu que les candidats ont présenté clairement leurs antécédents de financement, des proportions égales des évaluateurs étaient d’accord et en désaccord lorsqu’on leur a demandé si les candidats avaient fourni les renseignements nécessaires dans chaque catégorie budgétaire pour que les évaluateurs puissent évaluer si les demandes de budget étaient adéquates (figures 86B et 86C).

Un peu plus de la moitié des évaluateurs à l’étape 2 ont convenu que les limites de caractères étaient suffisantes pour que les candidats justifient le montant demandé dans chaque catégorie budgétaire et si les fonds demandés étaient appropriés pour soutenir le programme de recherche proposé (figure 87). Cependant, seul un tiers environ des évaluateurs ont indiqué que les candidats avaient justifié clairement la pertinence des fonds demandés pour soutenir le programme de recherche proposé (figure 88A). De même, seule une minorité des évaluateurs ont indiqué que les candidats ont fourni une justification acceptable lorsque le budget demandé excédait leur montant de base (figure 88B).

Parmi les évaluateurs à l’étape 2 qui ont formulé des commentaires sur l’évaluation du budget, une faible minorité a indiqué que les justifications fournies pour les demandes de budget étaient limitées, ce qui en compliquait l’évaluation; que les demandes de budget dépassaient considérablement les montants de base alloués dans le passé; et qu’il était difficile d’interpréter les antécédents de financement (tableau 28).

Processus d’évaluation à l’EFE

La présente section porte sur l’efficacité du nouveau processus d’évaluation structurée et la satisfaction globale des évaluateurs à l’EFE à cet égard.

Satisfaction globale à l’égard du processus d’évaluation à l’EFE

Dans l’ensemble, la majorité des évaluateurs à l’EFE se sont dits insatisfaits du processus d’évaluation structurée (figure 89A). Comme le montre le tableau 29, une minorité des évaluateurs à l’EFE ont commenté que leur rôle n’était pas clair et ont exprimé des réserves quant aux différences dans les approches d’évaluation, à savoir qu’une faible minorité des évaluateurs à l’EFE ont seulement utilisé les évaluations à l’étape 2, alors que les autres ont aussi consulté les demandes de subvention (voir la section Évaluation des évaluations à l’étape 2 ci-dessous). Une faible minorité des évaluateurs ont commenté que les évaluateurs à l’EFE n’avaient pas assez de temps pour évaluer les demandes qui leur avaient été attribuées et que les demandes attribuées n’étaient pas nécessairement dans leur domaine d’expertise (tableau 29). Cependant, tous les évaluateurs à l’EFE ont convenu qu’il était approprié d’assigner chaque demande à trois évaluateurs à l’EFE (figure 89B).

Examen des évaluations à l’étape 2

En ce qui concerne l’évaluation des demandes dans la « zone grise », la grande majorité des évaluateurs à l’EFE ont répondu que les évaluateurs à l’étape 2 n’avaient pas utilisé toute l’échelle de sélection, et la majorité des évaluateurs à l’EFE ont indiqué que les commentaires des évaluateurs à l’étape 2 n’étaient ni clairs ni suffisants pour appuyer leurs cotes (figure 90).

La grande majorité des évaluateurs à l’EFE ont consulté les demandes de subvention en plus des évaluations à l’étape 2, et la grande majorité des évaluateurs à l’EFE ont convenu que la lecture des demandes et des évaluations à l’étape 2 était utile et nécessaire à l’EFE (figure 91).

La majorité des évaluateurs à l’EFE ont commenté que les évaluations à l’étape 2 fournies étaient de qualité variable et ont suggéré que les cotes attribuées dans les évaluations à l’étape 2 n’étaient pas suffisamment justifiées. Une minorité des évaluateurs ont indiqué qu’ils n’avaient pas confiance en la qualité des évaluations à l’étape 2 et qu’ils avaient eu besoin de consulter les demandes de subvention en plus des évaluations à l’étape 2. Une faible minorité des évaluateurs à l’EFE ont commenté qu’ils n’ont pas confirmé ou remis en question les évaluations à l’étape 2 parce que leurs directives indiquaient de ne pas consulter la demande. Une faible minorité des évaluateurs à l’EFE ont indiqué que les évaluations à l’étape 2 étaient utiles lorsque le domaine de recherche ne correspondait pas à leur domaine d’expertise (tableau 30).

Processus de catégorisation

La grande majorité des évaluateurs à l’EFE ont lu les commentaires des autres évaluateurs à l’EFE (figure 92A). Lorsqu’on leur a demandé combien de temps ils avaient passé au total à lire les commentaires de leurs pairs, environ la moitié des évaluateurs à l’EFE ont indiqué y avoir consacré moins d’une heure, et la grande majorité a indiqué y avoir consacré moins de deux heures (figure 92B). Environ un quart des évaluateurs à l’EFE ont indiqué que la lecture des commentaires et des décisions (« oui/non ») des autres évaluateurs avait influencé leur évaluation (figure 92C).

Selon la majorité des évaluateurs à l’EFE, le nombre de demandes acceptées ou refusées (« oui/non ») pour le processus de catégorisation n’était pas approprié (figure 93). Lorsqu’on a demandé aux évaluateurs à l’EFE de proposer un nombre idéal de demandes acceptées ou refusées (« oui/non ») pour le processus de catégorisation, une faible minorité des évaluateurs à l’EFE ont indiqué qu’ils préfèreraient ne pas avoir de quota, et une faible minorité ont indiqué qu’ils aimeraient avoir une catégorie « neutre/peut-être » (tableau 31).

Commentaires des évaluateurs préalables à la réunion

Environ la moitié des évaluateurs à l’EFE ont trouvé utiles les commentaires des autres évaluateurs à l’EFE pour se préparer à la réunion en personne (figure 94).

Lorsqu’on leur a demandé ce qu’ils pensaient des commentaires des évaluateurs à l’EFE, une faible minorité des évaluateurs à l’EFE ont indiqué que les autres évaluateurs à l’EFE n’avaient pas fourni de commentaires ou qu’ils ne savaient pas quoi inclure dans leurs commentaires. Une autre faible minorité a noté que, dans l’ensemble, les commentaires n’étaient pas utiles (tableau 32).

Réunion en personne

Tous les évaluateurs à l’EFE ont convenu qu’une rencontre en personne était nécessaire pour déterminer quelles demandes de la « zone grise » devraient être financées (figure 95). La majorité des évaluateurs ont convenu qu’il était approprié de concentrer la discussion sur les demandes du groupe B, que le processus de transfert de demandes des groupes A et C au groupe B était clair et simple, et que le processus de transfert de demandes entre les groupes était efficace (figure 96).

Les évaluateurs ont utilisé un outil de vote pour indiquer s’ils croyaient que les demandes devaient être retenues pour du financement. Tous les évaluateurs à l’EFE ont convenu que l’outil de vote était facile à utiliser (figure 97). La grande majorité des évaluateurs ont convenu que les directives du processus de vote étaient faciles à suivre, et la majorité a convenu que le processus de vote était efficace (figure 97).

Pour aider les évaluateurs à orienter leurs discussions, un seuil de financement a été ajouté à la liste de demandes. Les évaluateurs à l’EFE ont fourni des réponses partagées lorsqu’on leur a demandé si le seuil de financement avait aidé à orienter la discussion durant la réunion : presque autant d’évaluateurs étaient d’accord et en désaccord concernant l’utilité du seuil (figure 98).

Lorsqu’on leur a demandé de formuler des commentaires sur la réunion en personne, une faible minorité des évaluateurs ont indiqué qu’ils auraient aimé être informés avant la réunion sur les quotas de demandes acceptées ou refusées (« oui/non ») qui seraient accordés, et une faible minorité des évaluateurs ont trouvé que les instructions n’étaient pas claires. Une minorité des évaluateurs ont affirmé que la réunion en personne est très utile pour discuter des demandes (tableau 33).

6. Conclusions et facteurs à prendre en considération pour les orientations futures

Le concours pilote du volet Fondation de 2014 a permis aux IRSC d’évaluer les nouveaux processus et systèmes et de solliciter les commentaires des candidats, des administrateurs de la recherche, des évaluateurs et des présidents virtuels.

Dans l’ensemble, les candidats et les évaluateurs ont trouvé un bon nombre des nouveaux éléments conceptuels utiles pour leurs demandes et leurs évaluations. Il y a également plusieurs domaines qui nécessiteront des améliorations et une surveillance continue pour assurer l’atteinte des objectifs du Programme de subventions Fondation. D’après les commentaires reçus, les IRSC ont apporté au concours pilote du volet Fondation de 2015 plusieurs améliorations qui sont résumées dans le tableau 1.

Éléments évalués plus en profondeur dans le concours pilote du volet Fondation de 2015

D’après les résultats de ce concours pilote, les commentaires sur des éléments particuliers seront évalués plus en profondeur durant le concours pilote du volet Fondation de 2015 pour déterminer si des changements supplémentaires s’imposent. Plus précisément, les IRSC évalueront le besoin de clarifier certains éléments, de modifier les limites de caractères et de fusionner des sections de la demande qui se chevauchent. De plus, ils détermineront si les résultats à l’étape 1 doivent être pris en considération à l’étape 2 ou à l’EFE et, si oui, dans quelle mesure. Pour le concours de 2015, on prévoit améliorer la continuité entre les étapes 1 et 2 en demandant au même président virtuel de superviser chaque ensemble de demandes aux deux étapes, si possible.

Les IRSC évalueront plus en profondeur certains éléments conceptuels durant plusieurs concours de subventions Projet et Fondation. Les candidats et les évaluateurs pourraient avoir besoin d’une période d’adaptation aux nouveaux éléments conceptuels, et l’expérience gagnée au fil des concours pourrait aider à résoudre certains problèmes signalés lors du premier concours pilote.

Analyses futures

Les IRSC ont l’intention de mener d’autres analyses afin de garantir la fiabilité, la cohérence et l’équité des nouveaux programmes de recherche libre et des processus d’évaluation par les pairs. Les résultats de ces analyses seront diffusés au fur et à mesure qu’elles seront terminées.

En particulier, les IRSC ont appliqué les leçons tirées du concours pilote du volet Fondation de 2014 pour orienter la formation des évaluateurs et les futures stratégies de gestion du rendement, et ils travaillent à définir la qualité des évaluations et à établir un ensemble d’indicateurs mesurables qui seront surveillés dans des concours pilots subséquents. De plus, les IRSC évalueront et valideront la distribution du financement du volet Fondation dans certains domaines prioritaires, comme la santé des Autochtones, l’éthique, la santé mondiale, le vieillissement et le sexe. Les résultats des concours seront aussi analysés pour déterminer si le processus affiche des partis pris potentiels qui désavantagent des groupes particuliers, comme les nouveaux chercheurs et les chercheurs en début de carrière, les chercheurs en milieu de carrière ou les chercheurs cliniques. Une évaluation globale de la répartition démographique des candidats et des titulaires de subvention sera comparée aux données des concours antérieurs du Programme ouvert de subventions de fonctionnement une fois que plusieurs cycles des concours de subventions Fondation et Projet auront eu lieu.

Date de modification :