Guide de l’évaluateur pour les bourses Des Sciences aux affaires des IRSC

Table des matières

Introduction

Au nom des IRSC, nous remercions les évaluateurs d’avoir accepté d’agir à titre de membres du comité d’évaluation par les pairs. Le succès du processus d’évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir des instructions sur le processus d’évaluation par les pairs propre au programme de bourses Des sciences aux affaires des IRSC.

L’évaluation par les pairs aux IRSC

Le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC contient des renseignements sur les objectifs, la gouvernance et les politiques des IRSC et décrit les rôles et les responsabilités des membres des comités d’évaluation par les pairs de même que les politiques, les principes et les procédures d’évaluation par les pairs. Il est important que les évaluateurs se familiarisent avec ce guide, de même qu’avec le présent document, avant le début des évaluations.

Résumé du processus d’évaluation par les pairs

Le programme de bourses Des sciences aux affaires des IRSC a recours à un processus d’évaluation non structurée au moyen de la plateforme web RechercheNet. Ce processus se déroule en deux (2) phases. Dans un premier temps, chaque évaluateur se penche sur les demandes qui lui ont été assignées; ensuite, les membres du comité se réunissent par téléconférence. Le comité est composé d’un président, d’un agent scientifique et d’évaluateurs. Le nombre d’évaluateurs internes est en fonction du nombre de demandes reçues.

On demande aux évaluateurs de suivre les instructions suivantes étape par étape afin de bien effectuer chacune des tâches associées à l’évaluation par les pairs.

  • Phase 1 : Évaluation individuelle
    • Étape 1 : Lire les documents pertinents
    • Étape 2 : Déterminer la capacité d’évaluation et signaler les conflits
    • Étape 3 : Effectuer les évaluations préliminaires
    • Étape 4 : Soumettre les évaluations initiales et les cotes via RechercheNet
  • Phase 2 : Évaluation par un comité
    • Étape 1 : Se familiariser avec toutes les demandes
    • Étape 2 : Participer à la réunion du comité

Phase 1 : Évaluation individuelle

Étape 1 : Lire les documents pertinents

Le présent document détaille le processus d’évaluation par les pairs de ce programme. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il est également important de prendre connaissance des documents suivants :

Étape 2 : Déterminer la capacité d’évaluation et signaler les conflits

Voici les étapes que les évaluateurs doivent suivre pour déterminer la capacité à évaluer les demandes et cerner les conflits :

  • Ouvrir une session dans RechercheNet.
  • Sur la page d’accueil, cliquer sur le lien du comité attitré pour ouvrir la liste de tâches principale.
  • Effectuer la tâche Examiner Lignes directrices sur la confidentialité et les conflits d’intérêts (lorsque cette tâche sera terminée, les autres tâches s’ouvriront).
  • Ouvrir la tâche Gérer les conflits/Capacité d’examen.
  • Consulter les renseignements fournis avec chacune des demandes assignées afin d’estimer la capacité d’évaluation (élevée, moyenne ou faible) et de déterminer s’il y a situation de conflit d’intérêts ou de méconnaissance de la langue. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.

Assignation des demandes

À partir des renseignements sur la capacité d’évaluation et les situations de conflits susmentionnées, les IRSC, en collaboration avec le président et l’agent scientifique du comité, assigneront les demandes aux évaluateurs. Des efforts seront déployés pour équilibrer la charge de travail en tenant compte des conflits d’intérêts potentiels, des compétences linguistiques et des domaines d’expertise. Les décisions définitives concernant l’assignation des demandes sont du ressort des IRSC.

Chaque demande sera assignée à trois (3) évaluateurs.

Étape 3 : Effectuer les évaluations préliminaires

Une fois les demandes assignées, les évaluateurs pourront accéder à l’intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci dessous.

3.1 Examiner les critères de sélection

Les évaluateurs doivent tout d’abord se familiariser avec les critères de sélection associés à cette possibilité de financement. Ceux-ci se trouvent à la fin du présent document dans l’annexe A, qui fournit une interprétation des critères et énumère les éléments à évaluer pour chacun d’entre eux.

3.2 Lire les demandes assignées

Les évaluateurs sont conseillés de lire attentivement toutes les demandes qui leur sont assignées avant de leur attribuer une cote et de prendre en note leurs commentaires. À cette fin, la Feuille de travail de l’évaluateur pour les bourses Des sciences aux affaires des IRSC est fournie comme modèle à l’annexe B. Ce document est réservé à un usage personnel et ne sera pas soumis aux IRSC.

Pour s’assurer que toutes les demandes reçoivent le même traitement, on demande aux évaluateurs de fonder leur évaluation seulement sur le contenu de la demande, et de ne pas faire d’autres recherches (vérifier des publications au moyen de PubMed, etc.). Cependant, les évaluateurs sont libres de consulter des listes publiées des facteurs d’impact des revues lorsqu’ils évaluent les réalisations d’un candidat dans le domaine de la recherche. Veuillez noter que les facteurs d’impact des revues varient selon la discipline et qu’ils ne sont pas nécessairement révélateurs de la qualité de chaque article.

Les évaluateurs doivent aussi faire attention aux préjugés inconscients liés au sexe, à la discipline ou à la situation géographique, tels que décrits dans le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC.

3.3 Attribuer une cote aux demandes assignées

On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères de sélection décrits à l’annexe A, en utilisant l’échelle de cotation habituelle des IRSC (ci-dessous). Il est essentiel d’utiliser toute l’échelle.

Les évaluateurs ne sont pas obligés de s’en tenir à cette cote initiale et peuvent la changer à la réunion du comité.

Descripteur Intervalle Résultat
Exceptionnel 4,5 – 4,9 Subventionnable
Excellent 4,0 – 4,4
Très bon 3,5 – 3,9
Bon 3,0 – 3,4 Non subventionnable
Moyen 2,0 – 2,9
Sous la moyenne 1,0 – 1,9
Inacceptable 0,0 – 0,9

Pour de plus amples renseignements sur l’échelle de cotation des IRSC, consultez la page web intitulée Signification et utilisation de l’échelle de classement et de cotation.

Seules les demandes cotées 3.5 et plus sont admissibles au financement des IRSC. Les demandes dont la cote est inférieure à 3.5 ne sont donc pas admissibles au financement des IRSC, que ce soit dans le cadre de programmes de partenariat ou d’annonces de priorités.

3.4 Rédiger une évaluation pour chaque demande assignée

On demande aux évaluateurs de rédiger une courte évaluation venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées. Les évaluations écrites serviront à amorcer la discussion sur les demandes avec les autres évaluateurs. Elles fournissent aussi des remarques constructives au candidat pour l’aider à améliorer la qualité et l’efficacité de la formation proposée.

Les commentaires devraient être axés sur les forces et les faiblesses liées à chaque critère de sélection. Il est recommandé de :

  • Privilégier la simplicité;
  • Utiliser des descripteurs connus qui correspondront à l’évaluation;
  • Fournir une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant;
  • Être clair et concis;
  • Même si la concision est acceptable (p. ex. listes à puces), formuler des opinions complètes et s’assurer de fournir suffisamment de renseignements pour éclairer les lecteurs;
  • Utiliser un langage objectif et non incisif;
  • Éviter soigneusement toute formulation qui pourrait être considérée comme sarcastique, irrévérencieuse, arrogante ou inappropriée de quelque façon que ce soit.

Le candidat recevra l’évaluation telle qu’elle est présentée par l’évaluateur. C’est pourquoi les évaluateurs doivent s’abstenir d’indiquer les cotes dans les commentaires et d’inscrire leur nom afin de préserver la confidentialité du processus d’évaluation.

3.5 Relever toute question devant être portée à l’attention des IRSC

Toute préoccupation liée, entre autres, à l’admissibilité, à l’éthique et aux cellules souches humaines doit immédiatement être portée à l’attention du personnel des IRSC à des fins de suivi, et ne devrait pas faire l’objet de commentaires écrits. Pour obtenir la liste complète des questions possibles, veuillez consulter le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC. Les préoccupations peuvent être signalées par courriel au coordonnateur du comité ou par l’intermédiaire du Formulaire pour les questions portées à l’attention des IRSC.

Ces points ne devraient pas être considérés comme des critères d’évaluation, sauf qu’ils peuvent avoir un impact sur la qualité scientifique de la demande. Pour connaître le détail des règles pertinentes, les évaluateurs devraient consulter le Guide de subventions et bourses.

Étape 4 : Soumettre les évaluations initiales et les cotes via RechercheNet

Au fil de leur travail, les évaluateurs pourront enregistrer des ébauches de leurs évaluations en sélectionnant Sauvegarder une version préliminaire dans RechercheNet, ce qui leur permettra d’apporter des changements ultérieurement. Toutefois, au moment de soumettre leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l’évaluation finale. Ils ne pourront plus y apporter de modifications avant la réunion. Après la réunion du comité, ils disposeront d’une semaine pour revoir leurs commentaires écrits uniquement.

Les évaluateurs doivent respecter l’échéance qui leur est fournie et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC responsable de ce programme. Tout retard dans le processus d’évaluation par les pairs pourrait empêcher les IRSC de rendre leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu’il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Phase 2 : Évaluation par un comité

La deuxième phase consiste en une réunion par téléconférence des membres de comité d’évaluation par les pairs. La réunion a pour objet de discuter des demandes et de les coter afin de les classer selon l’excellence pour que les IRSC puissent produire une liste de classement prioritaire et prendre les décisions relatives au financement.

Étape 1 : Se familiariser avec toutes les demandes

Les évaluateurs ont la responsabilité de se familiariser avant la réunion avec le contenu de toutes les demandes qui seront évaluées par le comité afin de faciliter la discussion.

Étape 2 : Participer à la réunion

Durant la téléconférence, les membres du comité qui sont en conflit d’intérêts relativement à une demande ne peuvent pas participer à l’évaluation de cette demande et seront priés de sortir de la téléconférence pour toute la durée de l’évaluation. Le président et le personnel des IRSC ont la responsabilité de surveiller les conflits d’intérêts et de résoudre les cas douteux.

Les échanges sur chaque demande se feront comme suit :

  1. Les trois évaluateurs affectés à la demande annoncent leurs cotes initiales à une décimale.
  2. Les demandes sont rationalisées (ne font pas l’objet de discussions par le comité) si :
    • la moyenne des cotes initiales des évaluateurs internes est inférieure à 3.5;
    • tous les membres du comité conviennent qu’une discussion au sujet de la demande n’est pas nécessaire1.

Si la demande n’est pas écartée par rationalisation, la discussion à son sujet se poursuivra comme suit :

  1. Le premier évaluateur affecté à la demande résume sa propre évaluation, en soulignant les forces et les faiblesses de la demande.
  2. Ensuite, le second évaluateur s’attarde sur les points où il est en accord et en désaccord, et discute aussi des points qui n’ont pas été abordés par le premier évaluateur.
  3. Enfin, le troisième évaluateur s’attarde sur les points où il est en accord et en désaccord, et discute aussi des points qui n’ont pas été abordés par les premier et deuxième évaluateurs.
  4. Le président dirige la discussion des membres du comité au sujet de la demande.
  5. L’agent scientifique lit ses notes, qui représentent les principaux éléments de la discussion à prendre en considération pour coter la demande.
  6. Le président cherche ensuite à obtenir une cote consensuelle des trois évaluateurs assignés à la demande. Les évaluateurs internes peuvent modifier leurs cotes initiales s’ils jugent qu’il y a lieu de le faire. S’il est impossible d’en arriver à un consensus, la valeur moyenne des cotes des trois évaluateurs internes est utilisée (arrondie, si nécessaire, à une décimale près).
  7. Tous les membres du comité, y compris les trois évaluateurs et le lecteur, mais à l’exclusion du président et de l’agent scientifique, attribuent par vote secret une cote qui ne s’éloigne pas de plus de ±0.5 de la cote consensuelle (ils ne sont pas obligés de s’en tenir à la cote consensuelle). La cote finale qui sera attribuée à la demande correspondra à la moyenne des cotes données par vote secret. On procède au vote même si la cote obtenue par consensus est inférieure à 3.5 (c. à-d. dans la catégorie des demandes non subventionnables). Après la réunion, les feuilles de cotation des membres du comité doivent être retournées sans délai aux IRSC.

À la fin de la réunion, si le comité d’évaluation par les pairs juge qu’une demande a été traitée de façon différente, il est permis d’évaluer de nouveau une demande ou un petit nombre de demandes. Tout membre du comité ayant un conflit d’intérêts doit quitter la téléconférence. Après la discussion, la cote consensuelle est établie par les trois évaluateurs et le vote se poursuit comme précédemment. Le comité n’examine pas les cotes globales de toutes les demandes à la fin de la réunion, puisque les personnes qui sont en conflit d’intérêts seraient inévitablement présentes.

Après la réunion du comité, les évaluateurs disposeront d’une semaine pour revoir, s’ils le désirent, leurs commentaires écrits uniquement.

Rétroaction

Un élément important du processus d’évaluation par les pairs est l’examen final de l’efficacité et du fonctionnement du comité, ainsi que les commentaires sur les questions de politique soulevées au cours du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d’évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d’évaluation par les pairs efficace et de grande qualité.

Cette discussion aura lieu à la fin de la réunion. Les commentaires peuvent aussi être envoyés au coordonnateur du comité par courriel.

Annexe A – Critères de sélection pour les bourses Des sciences aux affaires des IRSC

Les demandes seront évaluées selon les critères ci-dessous. De plus, les candidats doivent démontrer que le thème central de leur doctorat se situe dans un domaine de la recherche en santé pertinent par rapport au mandat des IRSC.

Critère Pondération dans la cote globale Notes et conseils pour les évaluateurs pour l’évaluation
1. Réalisations et activités du candidat
  1. Publications
  2. Autres activités de recherche
  3. Rendement universitaire
25 %
  • Évaluer la production du candidat en matière de publications par rapport à vos attentes pour quelqu’un qui possède une telle expérience universitaire. Considérer l’ampleur des sujets scientifiques traités, la fréquence des publications et l’impact scientifique des revues concernées. Durant l’examen de l’apport du candidat aux publications, tenir compte du nombre de coauteurs de chaque article et de la proéminence du nom du candidat dans la liste des auteurs.
  • Évaluer les autres activités de recherche du candidat par rapport à vos attentes pour quelqu’un qui possède une telle expérience universitaire. Considérer l’ampleur des sujets scientifiques traités, l’importance des réunions concernées et le nombre de participants, la fréquence des communications à des conférences et les distinctions ou prix en recherche.
  • Considérer le genre de programme et de cours suivis, la charge de cours, les grades obtenus, le classement relatif (s’il y a lieu), la moyenne générale et la tendance (reconnaître un rendement qui s’améliore constamment ou un bon rendement qui se maintient).
2. Caractéristiques et aptitudes du candidat 25 %
  • À l’aide des évaluations des répondants, en plus de votre évaluation de la demande, fournir une note selon votre impression globale. Votre évaluation devrait tenir compte des éléments dans les lettres des répondants démontrant les caractéristiques et les aptitudes des candidats, telles que la pensée critique, l’autonomie, la persévérance, l’originalité, le sens de l’organisation, l’intérêt pour la découverte, les aptitudes pour la recherche et le leadership.

Pour appuyer les objectifs stratégiques visés par cette possibilité de financement, on tiendra compte des facteurs suivants en plus des critères d’évaluation standards :

Critère Pondération dans la cote globale Notes et conseils pour les évaluateurs pour l’évaluation
3. Capacité et expérience manifestes en entrepreneuriat 25 %
  • Évaluer la capacité et l’expérience d’entrepreneuriat du candidat (dans le domaine des affaires, des politiques, de la gestion, de l’industrie, de la commercialisation ou de l’innovation), comme démontré dans sa demande, par rapport à vos attentes pour quelqu’un à cette étape de la vie professionnelle.
4. Capacité manifeste d’atteindre les objectifs du programme SA2 25 %
  • Évaluer ce critère selon le lien entre le profil du candidat, le programme de MBA ciblé et ses objectifs de carrière.

Annexe B – Feuille de travail de l’évaluateur pour les bourses Des sciences aux affaires des IRSC

Le tableau suivant servira de guide pour l’évaluation de la demande. Il ne devrait être utilisé que pour les notes de travail et ne sera pas soumis aux IRSC.

Nom du candidat : __________________________ No demande : _______________________

Critère Commentaires de l’évaluateur
1. Réalisations et activités du candidat (25 %)
  1. Publications
  2. Autres activités de recherche
  3. Rendement universitaire
Forces :
Faiblesses :
2. Caractéristiques et aptitudes du candidat (25 %) Forces :
Faiblesses :
3. Capacité et expérience manifestes en entrepreneuriat (25 %) Forces :
Faiblesses :
4. Capacité manifeste d’atteindre les objectifs du programme SA2 (25 %) Forces :
Faiblesses :
Cote :

Notes en bas de page

Note en bas de page 1

Lorsqu’une demande ne fait pas l’objet d’une discussion, le candidat recevra une copie de tous les rapports d’évaluation internes, et les notes de l’agent scientifique n’indiqueront que la décision de rationalisation. La cote n’est pas déterminée par le vote des membres du comité, elle est calculée en faisant la moyenne des cotes attribuées par les trois évaluateurs internes.

1