Projet pilote de participation de boursiers postdoctoraux à l’évaluation par les pairs

Les IRSC sont déterminés à accélérer l’autonomie et le leadership scientifiques de leurs boursiers postdoctoraux. Pour atteindre cet objectif, ils ont fait appel, à titre expérimental, à des boursiers postdoctoraux comme évaluateurs au concours de bourses de recherche au doctorat de 2016 2017. Le but du projet pilote était : a) de permettre aux boursiers postdoctoraux d’acquérir les compétences en évaluation essentielles comme chercheur; b) de déterminer la faisabilité d’intégrer une expérience pratique de l’évaluation par les pairs comme exigence de formation pour tous les boursiers postdoctoraux des IRSC.

Le premier projet pilote permet d’obtenir des données préliminaires sur le recours aux boursiers postdoctoraux comme évaluateurs pour les concours de bourses de recherche au doctorat. Selon le sondage de suivi, les boursiers ont trouvé utile leur expérience de l’évaluation par les pairs. Le lien ci-dessous donne accès aux résultats détaillés.

Résultats du premier projet pilote de participation de boursiers postdoctoraux à l’évaluation par les pairs


Premier projet pilote de participation de boursiers postdoctoraux à l’évaluation par les pairs

Contexte

Les boursiers postdoctoraux Banting ont été invités à participer en tant qu’évaluateurs au concours de bourses de recherche au doctorat de 2016 2017. Le but du projet pilote était de permettre aux boursiers postdoctoraux d’acquérir les compétences en évaluation et de déterminer la faisabilité d’intégrer une expérience pratique de l’évaluation par les pairs comme exigence de formation pour tous les boursiers postdoctoraux des IRSC.

Dans l’ensemble, les résultats du projet pilote indiquent que notre approche de formation en évaluation fait des boursiers postdoctoraux de bons évaluateurs et que ces boursiers pensent que l’expérience de l’évaluation leur sera bénéfique dans leur future carrière en recherche.

Méthodes

Un total de 47 boursiers postdoctoraux Banting ont été recrutés, puis formés comme évaluateurs habituels. Chaque demande a été évaluée par deux évaluateurs, selon le processus d'évaluation du concours de bourses de recherche au doctorat. Chaque demande a été confiée à un maximum d’un évaluateur boursier postdoctoral. Les évaluateurs boursiers postdoctoraux ont été encouragés à s’adresser à leurs mentors désignés (possédant au moins deux années d’expérience comme évaluateur pour les bourses de recherche au doctorat) et/ou aux IRSC s’ils avaient des questions. Un sondage a été envoyé aux évaluateurs boursiers postdoctoraux et aux évaluateurs habituels après la période d’évaluation pour évaluer l’expérience globale. Les évaluateurs habituels ont reçu en moyenne 9,9 demandes, et les évaluateurs boursiers postdoctoraux, en moyenne 10,5 demandes.

Résultats

Les IRSC ont analysé les données du concours pour comparer le comportement d'évaluation des évaluateurs habituels à celui des évaluateurs boursiers postdoctoraux. L'analyse a été effectuée à chacune des trois étapes de l'évaluation :

Le tableau 1 présente une comparaison globale des deux groupes d'évaluateurs à chaque étape de l'évaluation :

  Groupe d’évaluateurs habituels-habituels Groupe d’évaluateurs habituels-boursiers postdoctoraux (pilote)
% des demandes dont le financement est approuvé 12,8 % 12,6 %
% des demandes pour lesquelles une réévaluation est demandée 6 % 5 %
% des demandes pour lesquelles une troisième évaluation est demandée 1,8 % 2,6 %

La figure 1 montre les notes moyennes accordées aux demandes par les évaluateurs habituels et les évaluateurs boursiers postdoctoraux (BPD).

Figure 1: Comparaison des notes pondérées moyennes des évaluateurs habituels et des évaluateurs boursiers postdoctoraux par groupe d’évaluateurs

Description détaillée de la figure 1
  Score moyen pondéré L’écart-type
Évaluateurs boursiers Banting (492 demandes) 3,97 0,457
Évaluateurs habituels (1857 demandes) 4,09 0,384

Figure 2: Comparaison des notes des évaluateurs à chaque étape du processus d’évaluation (évaluation initiale, réévaluation et 3e évaluation) dans chaque groupe d’évaluateurs.

Description détaillée de la figure 2
Habituel-habituel (n=12)
  Score moyen pondéré L’écart-type
Évaluateur 1 – habituel (note initiale) 4,64 0,157
Évaluateur 1 – habituel (note de la réévaluation) 4,60 0,151
Évaluateur 2 – habituel (note initiale) 3,86 0,395
Évaluateur 2 – habituel (note de la réévaluation) 3,89 0,393
Note du 3e évaluateur 4,19 0,162
Habituel-BPD (n=13)
  Score moyen pondéré L’écart-type
Évaluateur 1 – habituel (note initiale) 4,49 0,335
Évaluateur 1 – habituel (note de la réévaluation) 4,48 0,277
Évaluateur 2 – BPD (note initiale) 4,01 0,429
Évaluateur 2 – BPD (note de la réévaluation) 4,11 0,316
Note du 3e évaluateur 4,19 0,19

Les évaluateurs boursiers postdoctoraux ont été sondés au sujet de leur expérience comme pair évaluateur :

« Cette expérience d’évaluation par les pairs m’a aidé dans ma carrière comme chercheur (p. ex. préparation de demandes de subvention). »

Description détaillée de la figure 3

Réponse en pourcentage à la question d’opinion après le projet pilote d’évaluation par les pairs : « Dans quelle mesure êtes-vous d’accord avec l’affirmation suivante? Cette expérience d’évaluation par les pairs m’a aidé dans ma carrière comme chercheur (p. ex. préparation de demandes de subvention). » Cent pour cent des répondants étaient d’accord avec l’énoncé, et plus de la moitié (56 %) étaient entièrement d’accord.

« Si l’on m’en donnait l’occasion, j’aimerais agir comme évaluateur à un concours des IRSC. »

Description détaillée de la figure 4

Réponse en pourcentage à la question d’opinion après le projet pilote d’évaluation par les pairs : « Dans quelle mesure êtes-vous d’accord avec l’affirmation suivante? Si l’on m’en donnait l’occasion, j’aimerais agir comme évaluateur à un concours des IRSC. » Dans l’ensemble, 96 % des répondants étaient d’accord avec l’énoncé, et 76 % d’entre eux étaient entièrement d’accord.

Date de modification :