Guide de l'évaluateur pour les bourses de recherche au doctorat des IRSC

Table des matières

Introduction

Au nom des IRSC, nous remercions les évaluateurs d'avoir accepté de siéger à un comité d'évaluation par les pairs. Le succès du processus d'évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir des instructions sur le processus d'évaluation par les pairs qui est spécifique aux programmes de bourse d'études supérieures du Canada Frederick-Banting et Charles-Best – bourses au doctorat (BESC-D) et de bourse d’études doctorales à l’étranger (BEDE).

Résumé du processus d'évaluation par les pairs

Un processus d'évaluation individuel structuré au moyen de la plateforme web RechercheNet est utilisé. Le processus d'évaluation comporte une étape, qui consiste à évaluer individuellement et à noter les demandes assignées (il n'y a pas de réunion du comité). Toutes les demandes admissibles reçues seront assignées à deux (2) évaluateurs.

Ce programme compte deux (2) comités d'évaluation par les pairs. Chaque demande reçue sera assignée au comité dont le domaine scientifique se rapproche le plus aux activités de recherche proposées par le candidat. Le lien pour accéder aux mandats des différents comités figure dans la section « Lire les documents pertinents ».

On demande aux évaluateurs de suivre les instructions suivantes étape par étape afin de bien effectuer chacune des tâches associées à l'évaluation par les pairs.

Étape 1 : Lire les documents pertinents
Étape 2 : Signaler les conflits d'intérêts
Étape 3 : Analyser attentivement les demandes assignées
Étape 4 : Soumettre les évaluations et les cotes via RechercheNet
Étape 5 : Être prêt à procéder à une réévaluation

Instructions étape par étape

Étape 1 : Lire les documents pertinents

Le présent document détaille le processus d'évaluation par les pairs. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il est également important de prendre connaissance des documents suivants :

Étape 2 : Signaler les conflits d'intérêts

Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d'intérêts :

  • Ouvrir une session dans RechercheNet.
  • Sur la page d'accueil, cliquer sur le lien du comité attitré pour ouvrir la liste de tâches principale.
  • Effectuer la tâche Examiner Lignes directrices sur la confidentialité et les conflits d'intérêts (lorsque cette tâche sera terminée, les autres tâches s'ouvriront).
  • Ouvrir la tâche Gestion des conflits d'intérêts.
  • Consulter les renseignements fournis pour chacune des demandes assignées afin d’indiquer l'aptitude à évaluer la demande ou s'il y a une situation de conflit d'intérêts. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.
    • Remarque : Les autres évaluateurs du comité déclareront également leurs conflits d’intérêts. Il est donc probable que des demandes additionnelles vous soient assignées. La charge de travail sera répartie adéquatement pour assurer un processus d’évaluation par les pairs équitable.

Étape 3 : Analyser attentivement les demandes assignées

Lorsque les conflits d'intérêts auront été déclarés, les évaluateurs pourront accéder à l'intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci-dessous.

3.1 Examiner les critères d’évaluation

Les évaluateurs doivent tout d'abord se familiariser avec les critères de sélection. Ceux-ci se trouvent dans l'annexe A à la fin du présent document.

3.2 Lire les demandes assignées

Les évaluateurs sont conseillés de lire attentivement toutes les demandes qui leur sont assignées avant de leur attribuer une cote et de prendre en note leurs commentaires.

Il importe de noter que de nombreux candidats mèneront probablement des recherches en dehors de la spécialité scientifique de l'évaluateur. Ce dernier doit donc étudier la demande du point de vue d'un généraliste et évaluer la qualité globale de la recherche proposée par le candidat à l'aide des critères d’évaluation appropriés.

Pour s'assurer que toutes les demandes reçoivent le même traitement, on demande aux évaluateurs de fonder leur évaluation seulement sur le contenu de la demande, et de ne pas faire d'autres recherches sur le candidat ou l'établissement proposé (p. ex. vérifier des publications au moyen de PubMed).

3.3 Préjugés inconscients

En lisant les demandes, les évaluateurs doivent porter attention aux préjugés inconscients liés au sexe, à la culture (incluant les préjugés en lien avec la culture autochtone et le lieu géographique), l’âge, la langue (incluant les préjugés en lien avec les langues officielles et les communautés minoritaires) et les établissements. Il faut se rappeler que :

  • les interruptions de carrière en raison d'une grossesse et de l'éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
  • des disciplines et des environnements différents offrent diverses occasions de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche;
  • la réputation des établissements ne doit pas avoir d'effet sur l'opinion que les évaluateurs ont des candidats ou de leur milieu de formation en recherche;
  • il est important pour les évaluateurs de prendre des mesures afin d'atténuer les préjugés inconscients, soit par un processus de réflexion sur les différences de culture (par exemple les peuples autochtones du Canada);
  • Les évaluateurs doivent s’assurer de respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche sur les communautés francophones en situation minoritaire.

Pour en apprendre davantage au sujet des préjugés inconscients, les évaluateurs sont encouragés à suivre le module d’apprentissage correspondant.

3.4 Attribuer une cote aux demandes assignées

On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères d’évaluation décrits à l'annexe A, en utilisant l'échelle de cotation habituelle des IRSC (ci-dessous). Il est essentiel d'utiliser toute l'échelle.

Descripteur Intervalle Résultat
Exceptionnel 4.5 – 4.9 Subventionnable
Excellent 4.0 – 4.4
Très bon 3.5 – 3.9
Bon 3.0 – 3.4 Non subventionnable
Moyen 2.0 – 2.9
Sous la moyenne 1.0 – 1.9
Inacceptable 0.0 – 0.9

Les demandes dont la cote globale pondérée est inférieure à 3.5 ne sont pas admissibles au financement des IRSC, y compris celles provenant de programmes de partenariat ou d'annonces de priorités.

3.5 Rédiger une évaluation pour chaque demande assignée

On demande aux évaluateurs de rédiger une courte évaluation venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées afin de fournir des remarques constructives au candidat pour l'aider à améliorer la qualité et l'efficacité de la formation proposée.

Les commentaires devraient être axés sur les forces et les faiblesses liées à chaque critère d’évaluation. Il est recommandé de :

  • Privilégier la simplicité;
  • Utiliser des descripteurs connus, tel que ceux de l’échelle de cotation des IRSC qui correspondent à l'évaluation;
  • Fournir une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant;
  • Être clair et concis;
  • Formuler des opinions complètes et s'assurer de fournir suffisamment de renseignements pour éclairer le lecteur, même si la concision est acceptable (p. ex. listes à puces);
  • Utiliser un langage objectif et non incisif;
  • Éviter soigneusement toute formulation qui pourrait être considérée comme sarcastique, irrévérencieuse, arrogante ou inappropriée de quelque façon que ce soit.

Le candidat recevra l'évaluation telle qu'elle est présentée par l'évaluateur. C'est pourquoi les évaluateurs doivent s'abstenir d'indiquer les cotes dans les commentaires et d'inscrire leur nom afin de préserver la confidentialité du processus d'évaluation. Pour d’autres directives sur la réalisation d’évaluations de qualité, voir les attentes quant à la qualité de l’évaluation des IRSC et le module Effectuer des évaluations de qualité.

3.6 Relever toute question devant être portée à l'attention des IRSC

Toute préoccupation liée, entre autres, à l'admissibilité, à l'éthique et aux cellules souches humaines devrait immédiatement être portée à l'attention du personnel des IRSC à des fins de suivi, et ne devrait pas faire l'objet de commentaires écrits, sauf s'ils peuvent avoir un impact sur la qualité scientifique de la demande. Pour obtenir la liste complète des questions possibles, veuillez consulter le Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC.

De même, si vous croyez qu'il peut y avoir une fausse déclaration de renseignements dans une demande ou toute autre violation de la politique de l’Organisme, veuillez nous en informer pour que nous puissions déterminer si le problème doit être traité par le biais du processus de conduite responsable de la recherche (CRR).

Étape 4 : Soumettre les évaluations et les cotes via RechercheNet

Au fil de leur travail, les évaluateurs pourront enregistrer des ébauches de leurs évaluations en sélectionnant Sauvegarder une version préliminaire dans RechercheNet, ce qui leur permettra d'apporter des changements ultérieurement. Toutefois, au moment de soumettre leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l'évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.

Les évaluateurs doivent respecter l'échéance qui leur est fournie et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC. Tout retard dans le processus d'évaluation par les pairs pourrait empêcher les IRSC de rendre leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu'il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Étape 5 : Être prêt à procéder à une réévaluation

Une fois que toutes les cotes globales pondérées seront soumises, les IRSC évalueront l'écart entre celles-ci en calculant le résultat final de chaque demande. Les IRSC détermineront ensuite les demandes qui risquent d'être l'objet d'une décision injuste à cause de l'importance de l'écart entre les cotes globales des deux évaluateurs. Les IRSC demanderont alors aux deux évaluateurs de revoir leur évaluation initiale et de présenter de nouvelles cotes. Pour y arriver, on leur demandera d'en discuter ensemble. Cette deuxième évaluation ramène habituellement l'écart entre les cotes globales à un niveau acceptable. Si l'écart persiste, les IRSC exigeront une troisième évaluation (à moins que la divergence qui persiste n'ait aucune incidence sur les demandes s’ayant le mieux classées).

C'est pourquoi on recommande aux évaluateurs de conserver leurs notes de travail dans leurs dossiers jusqu'à quelques semaines après que les résultats du concours aient été annoncés.

Classement des demandes

Au terme de l'évaluation par les pairs, les IRSC établiront une liste de classement des demandes. Il arrive souvent que des demandes obtiennent la même cote globale parmi la liste de classement final. Si plus de demandes sont admissibles au financement que ne le permet le budget du concours, les IRSC procéderont à un bris d’égalité en comparant les cotes globales allouées pour les critères d’évaluation, dans l’ordre suivant :

  1. Expérience et réalisations pertinentes au sein et à l’extérieur du milieu universitaire
  2. Aptitudes et potentiel en recherche

Rétroaction

Un élément important de toute évaluation par les pairs est l'examen final de l'efficacité de l'évaluation et du fonctionnement du comité, ainsi que les commentaires sur les questions de politique soulevées au cours du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d'évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d'évaluation par les pairs efficace et de grande qualité.

Puisqu’aucune réunion en personne ou par téléconférence n’est tenue, les évaluateurs peuvent envoyer leur rétroaction au coordonnateur du comité par courriel.

Annexe A – Critères d’évaluation

Les critères suivants doivent être utilisés pour évaluer les demandes :

Description Source d’information Notes/conseils aux évaluateurs
Aptitudes et potentiel en recherche (pondération dans la cote globale : 50 %)

Indicateurs des aptitudes et du potentiel en recherche :

  • Qualité de la proposition de recherche
    • des questions et des objectifs de recherche précis, bien définis et réalistes
    • une description claire et détaillée de la méthodologie proposée
    • l’importance des travaux et des contributions prévues à la recherche
  • Formation pertinente, par exemple formation universitaire, expérience vécue et enseignement traditionnel
  • Expérience en recherche et réalisations par rapport au niveau d’études, à l’expérience vécue et aux systèmes de connaissances du candidat
  • Qualité des contributions – publications, brevets, rapports, affiches, résumés, monographies, présentations, travaux de création, produits issus de l’application des connaissances, produits communautaires, etc. – et dans quelle mesure elles font progresser le domaine de recherche
  • Exercice d’un bon jugement et esprit critique
  • Conduite responsable et éthique de la recherche, notamment : études honnêtes et sérieuses; analyse rigoureuse; engagement en matière de sécurité et de diffusion des résultats de la recherche; et respect de normes professionnelles
  • Enthousiasme pour la recherche, originalité, esprit d’initiative, autonomie ainsi que participation et sensibilisation appropriées de la collectivité
  • Capacité ou potentiel de communiquer clairement et logiquement, par écrit et oralement, des concepts théoriques, techniques ou scientifiques
  • Attentes en matière de formation
  • Résumé du projet de recherche
  • CV commun
  • Pièce jointe “Liste des publications”, si fourni
  • Évaluations des répondants (tenir compte du fait que les candidats n’ont pas la possibilité de justifier le choix de leurs répondants dans leur demande)
  • Section du CV commun “Congés et impact sur la recherche”, si fourni
  • La plupart des candidats mèneront des recherches en dehors de votre spécialité scientifique. Du point de vue d'un non-spécialiste, évaluez le défi intellectuel que représente la recherche à laquelle participera le candidat et l'enthousiasme qu'elle suscite.
  • Examinez les attentes en matière de formation et le résumé du projet de recherche, ainsi que les expériences et les réalisations en recherche.
  • Examinez la liste des articles, présentations et autres publications du candidat, et évaluez ces éléments par rapport à vos attentes à l’égard d’une personne possédant une telle expérience universitaire.
  • Considérez l’ampleur des sujets scientifiques traités et la fréquence des publications. Gardez à l'esprit que la production en matière de publication varie d'une discipline de la santé à l'autre.
  • En examinant l'apport du candidat aux publications, tenez compte du nombre de coauteurs de chaque article et de la proéminence du nom du candidat dans la liste des auteurs. Ne tenez pas compte des publications à l’état « Soumis », à moins qu’elles ne soient accessibles dans un système d’archivage public reconnu.
  • Examinez les évaluations du répondant, en tenant compte du fait que les commentaires positifs sont courants, contrairement aux commentaires négatifs. Donnez une cote selon votre impression globale (p. ex. adéquation entre les cotes dans les cases et les commentaires narratifs, temps depuis lequel le répondant connaît le candidat, relation du répondant avec le candidat, etc.).
Expérience et réalisations pertinentes au sein et à l’extérieur du milieu universitaire (pondération dans la cote globale : 50 %)

Indicateurs d’une expérience et de réalisations pertinentes au sein et à l’extérieur du milieu universitaire :

  • Bourses et autres appuis reçus (concurrence, montant, durée et prestige)
  • Dossier universitaire :
    • les relevés de notes
    • la durée des études antérieures du candidat
    • les exigences des programmes et les cours suivis
    • la charge de cours
    • le classement relatif dans le programme (si cette information est connue)
  • Activités professionnelles, scolaires et parascolaires et collaborations avec des superviseurs, des collègues, des pairs, des étudiants et des membres de la communauté, par exemple :
    • l’enseignement, le mentorat, la supervision ou l’accompagnement
    • la gestion de projets
    • la participation à des activités de promotion des sciences ou de la recherche
    • la sensibilisation communautaire, le bénévolat ou l’engagement citoyen
    • la présidence de comités et l’organisation de réunions et de conférences
    • la participation aux activités d’un club, d’une société, d’une association ou d’une organisation au sein d’un établissement ou d’un département.
  • CV commun
  • Relevés de notes
  • Attentes en matière de formation
  • Évaluations des répondants (tenir compte du fait que les candidats n’ont pas la possibilité de justifier le choix de leurs répondants dans leur demande)
  • Section du CV commun “Congés et impact sur la recherche”, si fourni
  • Examinez les renseignements au sujet des présentations, des prix de recherche et des autres indicateurs de la productivité en recherche du candidat.
  • Examinez les relevés de notes du premier cycle et des cycles supérieurs.
  • Évaluez les autres activités de recherche du candidat par rapport à vos attentes pour quelqu’un qui possède une telle expérience universitaire.
  • Évaluez les activités professionnelles, scolaires et parascolaires  par rapport à vos attentes à l’égard d’une personne possédant une telle  expérience.
  • Considérez l'ampleur des sujets scientifiques traités, l'importance des réunions concernées et le nombre de participants, la fréquence des communications à des conférences et les distinctions ou prix en recherche, en gardant à l’esprit que ces éléments peuvent varier d’une discipline des sciences de la santé à l’autre.
Date de modification :