Guide de l'évaluateur pour les bourses de recherche au doctorat des IRSC

Table des matières

Introduction

Au nom des IRSC, nous remercions les évaluateurs d'avoir accepté de siéger à un comité d'évaluation par les pairs. Le succès du processus d'évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir des instructions sur le processus d'évaluation par les pairs propre au programme de bourses de recherche au doctorat (PBRD) des IRSC.

L'évaluation par les pairs aux IRSC

Le Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC contient des renseignements sur les objectifs, la gouvernance et les politiques des IRSC et décrit les rôles et les responsabilités des membres des comités d'évaluation par les pairs de même que les politiques, les principes et les procédures d'évaluation par les pairs. Il est important que les évaluateurs se familiarisent avec ce guide, de même qu'avec le présent document, avant le début des évaluations.

Résumé du processus d'évaluation par les pairs

Le PBRD des IRSC a recours à un processus d'évaluation individuel structuré au moyen de la plateforme web RechercheNet. Le processus d'évaluation comporte une étape, qui consiste à évaluer individuellement et à noter les demandes assignées (il n'y a pas de réunion du comité). Toutes les demandes admissibles reçues seront assignées à deux (2) évaluateurs.

Ce programme compte deux (2) comités d'évaluation par les pairs. Chaque demande reçue sera assignée au comité dont le mandat se rapproche le plus du thème des activités de recherche proposées par le candidat. Le lien pour accéder aux mandats des différents comités figure dans la section « Lire les documents pertinents ».

On demande aux évaluateurs de suivre les instructions suivantes étape par étape afin de bien effectuer chacune des tâches associées à l'évaluation par les pairs.

Étape 1 : Lire les documents pertinents
Étape 2 : Signaler les conflits d'intérêts
Étape 3 : Analyser attentivement les demandes
Étape 4 : Soumettre les évaluations et les cotes via RechercheNet
Étape 5 : Être prêt à procéder à une nouvelle évaluation au besoin

Instructions étape par étape

Étape 1 : Lire les documents pertinents

Le présent document détaille le processus d'évaluation par les pairs de ce programme. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il est également important de prendre connaissance des documents suivants :

Étape 2 : Signaler les conflits d'intérêts

Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d'intérêts :

  • Ouvrir une session dans RechercheNet.
  • Sur la page d'accueil, cliquer sur le lien du comité attitré pour ouvrir la liste de tâches principale.
  • Effectuer la tâche Examiner Lignes directrices sur la confidentialité et les conflits d'intérêts (lorsque cette tâche sera terminée, les autres tâches s'ouvriront).
  • Ouvrir la tâche Gestion des conflits d'intérêts.
  • Consulter les renseignements fournis avec chacune des demandes assignées pour indiquer l'aptitude à évaluer la demande ou s'il y a une situation de conflit d'intérêts. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.

Étape 3 : Analyser attentivement les demandes assignées

Lorsque les conflits d'intérêts auront été déclarés, les évaluateurs pourront accéder à l'intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci-dessous.

3.1 Examiner les critères de sélection

Les évaluateurs doivent tout d'abord se familiariser avec les critères de sélection associés à cette possibilité de financement. Ceux-ci se trouvent dans l'annexe A à la fin du présent document, qui fournit une interprétation des critères et énumère les éléments à évaluer pour chacun d'entre eux.

3.2 Lire les demandes assignées

Les évaluateurs sont conseillés de lire attentivement toutes les demandes qui leur sont assignées avant de leur attribuer une cote et de prendre en note leurs commentaires. À cette fin, la Feuille de travail de l'évaluateur pour les bourses de recherche au doctorat des IRSC, est fourni comme modèle à l'annexe B. Ce document est réservé à un usage personnel et ne sera pas soumis aux IRSC.

Il importe de noter que de nombreux candidats mèneront probablement des recherches en dehors de la spécialité scientifique de l'évaluateur. Ce dernier doit donc étudier la demande du point de vue d'un généraliste et évaluer la qualité globale de la recherche proposée par le candidat à l'aide des critères de sélection appropriés.

Pour s'assurer que toutes les demandes reçoivent le même traitement, on demande aux évaluateurs de fonder leur évaluation seulement sur le contenu de la demande, et de ne pas faire d'autres recherches sur le candidat ou l'établissement de recherche proposé (p. ex. vérifier des publications au moyen de PubMed).

3.3 Préjugés inconscients

En lisant les demandes, les évaluateurs doivent porter attention aux préjugés inconscients liés au sexe, à la culture (incluant les préjugés en lien avec la culture autochtone et le lieu géographique), l’âge, la langue (incluant les préjugés en lien avec les langues officielles et les communautés minoritaires) et les établissements. Il faut se rappeler que :

  • les interruptions de carrière en raison d'une grossesse et de l'éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
  • des disciplines et des environnements différents offrent diverses occasions de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche;
  • la réputation des établissements ne doit pas avoir d'effet sur l'opinion que les évaluateurs ont des candidats ou de leur milieu de formation en recherche;
  • il est important pour les évaluateurs de prendre des mesures afin d'atténuer les préjugés inconscients, soit par un processus de réflexion sur les différences de culture (par exemple les peuples autochtones du Canada);
  • Les évaluateurs doivent s’assurer de respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche sur les communautés francophones en situation minoritaire.

Pour en apprendre davantage au sujet des préjugés inconscients, les évaluateurs sont encouragés à suivre le module d’apprentissage correspondant.

3.4 Attribuer une cote aux demandes assignées

On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères de sélection décrits à l'annexe A, en utilisant l'échelle de cotation habituelle des IRSC (ci-dessous). Il est essentiel d'utiliser toute l'échelle.

Descripteur Intervalle Résultat

Exceptionnel

4.5 – 4.9 Subventionnable
Excellent 4.0 – 4.4
Très bon 3.5 – 3.9
Good 3.0 – 3.4 Non subventionnable
Moyen 2.0 – 2.9
Sous la moyenne 1.0 – 1.9
Inacceptable 0.0 – 0.9

Seules les demandes cotées 3.5 et plus sont admissibles au financement des IRSC. Les demandes dont la cote est inférieure à 3.5 ne sont donc pas admissibles au financement des IRSC, que ce soit dans le cadre de programmes de partenariat ou d'annonces de priorités.

3.5 Rédiger une évaluation pour chaque demande assignée

On demande aux évaluateurs de rédiger une courte évaluation venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées afin de fournir des remarques constructives au candidat pour l'aider à améliorer la qualité et l'efficacité de la formation proposée.

Les commentaires devraient être axés sur les forces et les faiblesses liées à chaque critère de sélection. Il est recommandé de :

  • Privilégier la simplicité;
  • Utiliser des descripteurs connus qui correspondront à l'évaluation;
  • Fournir une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant;
  • Être clair et concis;
  • Même si la concision est acceptable (p. ex. listes à puces), formuler des opinions complètes et s'assurer de fournir suffisamment de renseignements pour éclairer les lecteurs;
  • Utiliser un langage objectif et non incisif;
  • Éviter soigneusement toute formulation qui pourrait être considérée comme sarcastique, irrévérencieuse, arrogante ou inappropriée de quelque façon que ce soit.

Le candidat recevra l'évaluation telle qu'elle est présentée par l'évaluateur. C'est pourquoi les évaluateurs doivent s'abstenir d'indiquer les cotes dans les commentaires et d'inscrire leur nom afin de préserver la confidentialité du processus d'évaluation.

3.6 Relever toute question devant être portée à l'attention des IRSC

Toute préoccupation liée, entre autres, à l'admissibilité, à l'éthique et aux cellules souches humaines devrait immédiatement être portée à l'attention du personnel des IRSC à des fins de suivi, et ne devrait pas faire l'objet de commentaires écrits. Pour obtenir la liste complète des questions possibles, veuillez consulter le Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC. Les préoccupations peuvent être signalées aux IRSC par courriel à l’adresse PeerReview.Recruitment@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d’évaluation par les pairs).

Ces points ne doivent pas être considérés comme des critères d'évaluation, sauf qu'ils peuvent avoir un impact sur la qualité scientifique de la demande. Pour connaître le détail des règles pertinentes, les évaluateurs sont invités à consulter le Guide de subventions et bourses.

Étape 4 : Soumettre les évaluations et les cotes via RechercheNet

Au fil de leur travail, les évaluateurs pourront enregistrer des ébauches de leurs évaluations en sélectionnant Sauvegarder une version préliminaire dans RechercheNet, ce qui leur permettra d'apporter des changements ultérieurement. Toutefois, au moment de soumettre leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l'évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.

Les évaluateurs doivent respecter l'échéance qui leur est fournie et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC responsable de ce programme. Tout retard dans le processus d'évaluation par les pairs pourrait empêcher les IRSC de rendre leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu'il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Étape 5 : Être prêt à procéder à une nouvelle évaluation au besoin

Une fois que toutes les cotes seront soumises, les IRSC évalueront l'écart entre celles-ci en calculant le résultat final de chaque demande. Les IRSC détermineront ensuite les demandes qui risquent d'être l'objet d'une décision injuste à cause de l'importance de l'écart entre les cotes de deux évaluateurs. Les IRSC demanderont alors aux deux évaluateurs de revoir leur évaluation initiale et de présenter de nouvelles cotes. Pour y arriver, on leur demandera d'en discuter ensemble. Cette deuxième évaluation ramène habituellement l'écart entre les cotes à un niveau acceptable. Si l'écart persiste, les IRSC exigeront une troisième évaluation.

C'est pourquoi on recommande aux évaluateurs de conserver leurs notes de travail dans leurs dossiers jusqu'à quelques semaines après que les résultats du concours aient été annoncés.

Rétroaction

Un élément important de toute évaluation par les pairs est l'examen final de l'efficacité de l'évaluation et du fonctionnement du comité, ainsi que les commentaires sur les questions de politique soulevées au cours du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d'évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d'évaluation par les pairs efficace et de grande qualité.

Puisqu’aucune réunion en personne ou par téléconférence n’est tenue, les évaluateurs peuvent envoyer leur rétroaction au coordonnateur du comité, à l’adresse PeerReview.Recruitment@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d’évaluation par les pairs).

Annexe A – Critères de sélection pour les bourses de recherche au doctorat des IRSC

Les critères suivants doivent être utilisés pour évaluer les demandes de bourses de recherche au doctorat :

Critère

Source d'information

Notes/conseils aux évaluateurs pour l'évaluation

1. Réalisations et activités du candidat (pondération dans la cote globale : 35%)
  1. Publications

CV commun rempli par le candidat

Pièce jointe « Liste de Publication », si fournie par le candidat

Pondération de ce sous-critère dans la cote globale : 10 %

  • Examinez la liste des articles et des autres publications dont le candidat est l'auteur. Tenez compte de la présentation des autres activités de recherche (voir ci-dessous).
  • Évaluez la production du candidat en matière de publications par rapport à vos attentes pour quelqu'un qui possède une telle expérience universitaire.
  • Considérez l’ampleur des sujets scientifiques traités et la fréquence des publications.
  • En examinant l'apport du candidat aux publications, tenez compte du nombre de coauteurs de chaque article et de la proéminence du nom du candidat dans la liste des auteurs.
  • Gardez à l’esprit que la production en matière de publication varie d’une discipline de la santé à l’autre.
  1. Autres activités de recherche

CV commun rempli par le candidat

Pondération de ce sous-critère dans la cote globale : 10%

  • Examinez les renseignements au sujet des présentations, des prix de recherche et des autres indicateurs de la productivité en recherche du candidat.
  • Évaluez les autres activités de recherche du candidat par rapport à vos attentes pour quelqu'un qui possède une telle expérience universitaire.
  • Considérez l'ampleur des sujets scientifiques traités, l'importance des réunions concernées et le nombre de participants, la fréquence des communications à des conférences et les distinctions ou prix en recherche.
  1. Rendement universitaire

Relevés de notes du candidat

Pondération de ce sous-critère dans la cote globale : 15%

  • Examinez les relevés de notes du premier cycle, et ceux des études supérieures s'ils sont disponibles.
  • Considérez :
    • le genre de programme et de cours suivis
    • la charge de cours
    • les notes obtenues
    • le classement relatif (s'il y a lieu)
    • la moyenne générale
    • la tendance (reconnaissez un rendement qui s'améliore constamment ou un bon rendement qui se maintient)
  1. Caractéristiques et aptitudes du candidat
  • Pensée critique
  • Autonomie
  • Persévérance
  • Originalité
  • Sens de l'organisation
  • Intérêt pour la découverte
  • Aptitudes pour la recherche
  • Leadership

Évaluations des répondants

Pondération de ce sous-critère dans la cote globale : 40%

  • Tenez compte du fait que les candidats n'ont pas la possibilité de justifier leur choix de répondants dans leur demande.
  • Analyser les évaluations en tenant compte du fait que les commentaires positifs sont courants, tandis que les commentaires négatifs ne le sont pas.
  • Donnez une cote selon votre impression globale. Considérez :
    • dans quelle mesure les cotes dans la case concordent avec les rapports narratifs.
    • Si les formulaires proviennent de répondants qui ont dirigé le candidat en formation et/ou qui ont eu l’occasion d’évaluer son potentiel pour la recherche.
    • Depuis combien de temps le répondant connaît le candidat.
    • Quel est le lien entre le répondant et le candidat.
  1. Milieu de formation en recherche (pondération dans la cote globale : 25%)
  1. Programme de formation du candidat

Détails concernant l'application pour la demande (y compris Attentes du candidat en matière de formation et Résumé du projet de recherche) et Renseignements sur les locaux, les installations et le personnel de soutien, remplis par le candidat ou son directeur de recherche

Pondération de ce sous-critère dans la cote globale : 10%

  • Examinez les attentes du candidat en matière de formation et le programme de recherche au doctorat proposé, y compris le projet, les ressources disponibles et les activités prévues en dehors de la recherche.
  • La plupart des candidats mèneront des recherches en dehors de votre spécialité scientifique. Du point de vue d'un non-spécialiste, évaluez le défi intellectuel que représente la recherche à laquelle participera le candidat et l'enthousiasme qu'elle suscite.
  • Examinez dans quelle mesure le programme de formation semble correspondre aux attentes du candidat en matière de formation et aux ressources disponibles pour son projet.
  1. Activité scientifique

CV commun rempli par les directeurs de recherche

Pondération de ce sous-critère dans la cote globale : 5%

  • Examinez le dossier de publication des directeurs de recherche, leurs importantes contributions à la recherche, et leurs distinctions ou prix.
  • En évaluant si le milieu scientifique inspirera et stimulera l'étudiant au doctorat, concentrez-vous sur la productivité scientifique et l'influence du directeur de recherche, d'après ses publications, ses communications et ses distinctions ou prix en recherche.
  • Gardez à l'esprit que la production en matière de publication varie d'une discipline de la santé à l'autre.
  1. Ressources de recherche

CV commun rempli par les directeurs de recherche

Pondération de ce sous-critère dans la cote globale : 5%

  • Examinez les ressources de recherche disponibles dans le laboratoire où le candidat suivra sa formation.
  • En évaluant dans quelle mesure le niveau des ressources de recherche dans le milieu de formation favorisera le développement scientifique du candidat, concentrez-vous sur la suffisance des fonds pour des recherches soumises à l'examen des pairs obtenus par le directeur de recherche.
  • Gardez à l'esprit que la disponibilité des fonds varie d'une discipline de la santé à l'autre.
  1. Dossier de formation

CV commun rempli par les directeurs de recherche

Pondération de ce sous-critère dans la cote globale : 5%

  • Examinez l'expérience de supervision du chercheur sous la direction duquel le candidat se propose de poursuivre des études de doctorat.
  • Tenez compte du nombre d'étudiants à la maîtrise, d'étudiants au doctorat et de stagiaires postdoctoraux que le directeur de recherche a formés ou est en train de former.
  • En évaluant la probabilité que des étudiants soient incités à continuer en recherche, tenez compte de toute information quant aux postes occupés ultérieurement par les personnes formées par le directeur de recherche.
  • Gardez à l'esprit que la possibilité de former des étudiants variera en fonction de la période de temps qui s'est écoulée depuis que le directeur de recherche a terminé son propre programme de formation.

Annexe B – Feuille de travail de l'évaluateur pour les bourses de recherche au doctorat des IRSC

Le tableau suivant servira de guide à l'évaluateur pour l'évaluation de la demande. Il ne devrait être utilisé que pour les notes de travail et ne sera pas soumis aux IRSC.

Nom du candidat : ___________________________________________ No demande :__________________

Critère et pondération

Notes aux évaluateurs

Commentaires de l'évaluateur

  1. Réalisations et activités du candidat
  1. Publications (10%)
  • Liste des articles et des autres publications dont le candidat est l'auteur.
  • Production du candidat en matière de publications par rapport à vos attentes pour quelqu'un qui possède une telle expérience universitaire.
  • Ampleur des sujets scientifiques traités et fréquence des publications.
  • Nombre de coauteurs de chaque article et proéminence du nom du candidat dans la liste des auteurs.

Forces :

Faiblesses :

  1. Autres activités de recherche (10%)
  • Présentations, prix de recherche et autres indicateurs de la productivité en recherche du candidat.
  • Autres activités de recherche du candidat par rapport à vos attentes pour quelqu'un qui possède une telle expérience universitaire.
  • Ampleur des sujets scientifiques traités, importance des réunions concernées et nombre de participants, fréquence des communications à des conférences et distinctions ou prix en recherche.

Forces :

Faiblesses :

  1. Rendement universitaire
    (15%)
  • Relevés de notes du premier cycle, et ceux des études supérieures s'ils sont disponibles.
  • Considérez le genre de programme et de cours suivis, la charge de cours, les notes obtenues, le classement relatif (s'il y a lieu), la moyenne générale et la tendance (reconnaissez un rendement qui s'améliore constamment ou un bon rendement qui se maintient).

Forces :

Faiblesses :

  1. Caractéristiques et aptitudes du candidat (40%)

Exemples : pensée critique, autonomie, persévérance, originalité, sens de l'organisation, intérêt pour la découverte, aptitudes pour la recherche et leadership

  • Tenez compte du fait que les candidats n'ont pas la possibilité de justifier leur choix de répondants dans leur demande.
  • Donnez une cote selon votre impression globale.
  • Déterminez dans quelle mesure les cotes dans la case concordent avec les rapports narratifs, en tenant compte du fait que les commentaires positifs sont courants, tandis que les commentaires négatifs ne le sont pas.
  • Déterminez si les formulaires proviennent de répondants qui ont dirigé le candidat en formation et/ou qui ont eu l’occasion d’évaluer son potentiel pour la recherche.
  • Déterminez depuis combien de temps le répondant connaît le candidat.
  • Déterminez quel est le lien entre le répondant et le candidat.

Forces :

Faiblesses :

  1. Milieu de formation en recherche
  1. Programme de formation du candidat (10%)
  • Attentes du candidat en matière de formation et programme de recherche au doctorat proposé, y compris le projet, les ressources disponibles et les activités prévues en dehors de la recherche.
  • Défi intellectuel que représente la recherche à laquelle participera le candidat et enthousiasme qu'elle suscite.
  • Le programme de formation correspond aux attentes du candidat en matière de formation et aux ressources disponibles pour son projet.

Forces :

Faiblesses :

  1. Activité scientifique (5%)
  • Dossier de publication des directeurs de recherche, leurs importantes contributions à la recherche, et leurs distinctions ou prix.
  • Productivité scientifique et influence du directeur de recherche, d'après ses publications, ses communications et ses distinctions ou prix en recherche.
  • Gardez à l'esprit que la production en matière de publication varie d'une discipline de la santé à l'autre.

Forces :

Faiblesses :

  1. Ressources de recherche
    (5%)
  • Ressources de recherche disponibles dans le laboratoire où le candidat suivra sa formation.
  • Suffisance des fonds pour des recherches soumises à l'évaluation des pairs obtenus par le directeur de recherche
  • Gardez à l'esprit que la disponibilité des fonds varie d'une discipline de la santé à l'autre.

Forces :

Faiblesses :

  1. Dossier de formation (5%)
  • Expérience de la supervision de recherche en tant que directeur de recherche.
  • Nombre d'étudiants à la maîtrise, d'étudiants au doctorat et de stagiaires postdoctoraux que le directeur de recherche a formés ou est en train de former.
  • Information quant aux postes occupés ultérieurement par les personnes formées par le directeur de recherche.
  • Gardez à l'esprit que la possibilité de former des étudiants variera en fonction de la période qui s'est écoulée depuis que le directeur de recherche a terminé son propre programme de formation.

Forces :

Faiblesses :

Note :

Date de modification :