Finaliser les évaluations et les cotes en tant que comité

Les comités d'évaluation par les pairs (CEP) sont responsables :

  • d'évaluer les demandes;
  • d'attribuer une cote aux demandes pour qu'on puisse les classer en ordre de priorité en vue du financement par les IRSC;
  • de recommander un budget pour soutenir le projet de recherche proposé dans l'éventualité où la demande serait acceptée.

Pour certains programmes, les membres des CEP tiennent des réunions en face à face (en personne ou par téléconférence) pour discuter des demandes concurrentielles en vue de finaliser les évaluations et les cotes en tant que comité. Pour d'autres programmes, les évaluations et les cotes des évaluateurs individuels sont compilées par le personnel des IRSC et utilisées pour produire une liste de toutes les demandes dans le comité classées dans l'ordre sans qu'il y ait réunion réelle des membres du CEP (ce qu'on appelle le processus d’évaluation structurée à distance).

Réunions

Dans le cas des programmes et des possibilités de financement pour lesquels les CEP tiennent des réunions (soit en personne ou par téléconférence) :

  • Les membres concernés par un conflit d'intérêts quittent la salle (ou se retirent de la téléconférence).
  • Les évaluateurs désignés annoncent leur cote initiale.
  • Les demandes insatisfaisantes ne font pas l'objet d'une discussion, selon les critères de rationalisation (lorsqu'il y a unanimité parmi les évaluateurs).
  • Les évaluateurs désignés présentent leurs évaluations.
  • Le cas échéant, on prend connaissance des évaluations des évaluateurs externes.
  • Le lecteur fait des commentaires et signale les problèmes qu'il constate.
  • Le président dirige la discussion des membres du comité.
  • L'agent scientifique lit les notes qu'il a prises sur la discussion.
  • Le président essaie d'obtenir le consensus des deux évaluateurs désignés sur la cote à attribuer; si c'est impossible, on utilise la moyenne des deux cotes attribuées par les évaluateurs désignés.
  • Les membres du comité (sauf le président et l'agent scientifique) votent de manière confidentielle sur la cote à attribuer (qui doit se situer à ± 0,5 point de la cote consensuelle).
  • L'évaluateur de la collectivité (le cas échéant) présente son Évaluation des résumés non scientifiques.
  • On discute de la pertinence du budget et de la durée de l'aide.
  • On formule des recommandations quant au budget et à la durée.
  • On signale certains points relatifs aux subventions, s'il y a lieu, en ce qui concerne :
    • l'admissibilité du candidat;
    • l'éthique;
    • la recherche sur les cellules souches pluripotentes humaines;
    • la justification du budget.
  • Les essais contrôlés randomisées (ECR) peuvent à l'occasion être marqués comme étant « encore à l'étude » lorsque les comités d'évaluation par les pairs ont besoin de plus de précisions sur des aspects particuliers avant qu'une cote finale ne puisse être attribuée.
  • Si le CEP considère qu'une demande a été évaluée incorrectement, on procède à une Évaluation à la fin de la réunion pour évaluer de nouveau les demandes. Cette procédure comporte :
    • une discussion;
    • l'attribution d'une cote consensuelle;
    • un vote.

Pour assurer l'efficacité et la qualité du système d'évaluation par les pairs, tous les membres du comité participent à une évaluation finale du processus pour discuter des points suivants :

  • efficacité et fonctionnement du comité;
  • questions de politiques;
  • toute autre préoccupation des membres.

Le personnel des IRSC prend note de la rétroaction.

Pour en savoir plus, voir la section Procédure d'évaluation des demandes de subvention : Au cours de la réunion du Guide d'évaluation par les pairs des IRSC pour les demandes de subventions.

Pour en savoir plus sur les rôles et responsabilités des membres du comité consultez le Rôle des membres des comités d'évaluation par les pairs.

Évaluation structurée à distance

Pour certains programmes, notamment les programmes de bourse de recherche, de maîtrise et de bourses de recherche au doctorat, on utilise un processus structuré d’évaluation à distance qui ne nécessite pas de réunion en face à face des membres des CEP. Dans le cas des programmes et des possibilités de financement pour lesquels les CEP utilisent le processus de réunion « virtuelle » :

  • le personnel des IRSC assigne chaque demande aux évaluateurs;
  • les évaluateurs présentent leurs cotes et évaluations aux IRSC au moyen de RechercheNet;
  • le personnel des IRSC compile les cotes et les écarts dans les cotes;
  • les évaluateurs évaluent de nouveau les demandes où il y a des écarts dans les cotes;
  • s'il subsiste des écarts après la deuxième évaluation, on fait évaluer la demande par un troisième évaluateur.