Instructions des IRSC pour les membres du comité - évaluation structurée / évaluation à distance

[ PDF (28 Ko) ]

Dans une évaluation structurée, le processus se déroule de façon entièrement électronique, d'où l'expression courante évaluation virtuelle. Les évaluateurs examinent les demandes à distance et soumettent leur rapport par RechercheNet. Les demandes sont assignées à deux évaluateurs qui attribuent chacun une note ayant toutes deux le même poids, puis une moyenne est calculée. Dans les cas d'écarts1 entre les notes, un processus de réévaluation a lieu. Les deux évaluateurs d'une demande communiquent l'un avec l'autre et sont invités à reconsidérer leur première évaluation et à soumettre à nouveau une note. Si le processus de réévaluation ne permet pas de résoudre l'écart entre les notes des deux évaluateurs, on demande à un troisième évaluateur d'évaluer la demande. La cotation finale est déterminée en faisant la moyenne des trois résultats.

Cette évaluation structurée est principalement utilisée dans le cadre du Programme de subventions pour réunions, planification et dissémination (RPD) et des programmes de bourses de formation. Les évaluateurs des demandes de subvention pour RPD doivent fournir un rapport sur la possibilité de communication du projet de recherche en santé. Quant aux évaluateurs des demandes de bourses de formation, ils doivent soumettre aux IRSC un rapport sur chaque candidat et tenir compte de leur potentiel de perfectionnement, du milieu de formation proposé ainsi que des aptitudes, compétences et expériences nécessaires à la réussite future de la recherche et à la productivité.

Critères préalables à l'évaluation des demandes de financement

  • Les évaluateurs doivent se conformer à la politique des IRSC sur les conflits d'intérêts et la confidentialité (PCIC) dans RechercheNet.
  • Après l'affectation, les évaluateurs doivent déclarer tout conflit d'intérêts avec les demandes dans RechercheNet. Cette tâche doit être accomplie en temps opportun. Si vous avez des doutes quant à un possible conflit d'intérêts ou à votre degré d'aisance concernant une demande, veuillez en discuter avec le coordonnateur de l'exécution des programmes dès que possible.
  • Selon le nombre de conflits déclarés par les membres, les évaluateurs pourraient être invités à examiner quelques demandes supplémentaires.
  • L'outil principal et le plus sécuritaire pour effectuer l'évaluation par les pairs est RechercheNet. Des copies papier des demandes ne sont plus fournies.
  • Les demandes doivent être considérées comme des documents protégés. Vous ne devez pas divulguer leur contenu ni utiliser les renseignements fournis pour une autre fin que l'évaluation par les pairs.
  • Veuillez vous référer au Guide sur le traitement des documents utilisés dans le cadre de l'évaluation par les pairs pour la manipulation et la suppression sécuritaires des documents.
  • Familiarisez-vous avec les politiques et les procédures des IRSC affichées dans RechercheNet et dans Internet. Il est aussi important de se familiariser avec les objectifs des possibilités de financement (voir Trouver du financement).
  • Les évaluateurs doivent attribuer une note aux demandes selon les critères présentés dans la section Processus d'examen et évaluation propre à la possibilité de financement, et ils sont encouragés à inscrire des commentaires dans leur rapport d'évaluation (comme il est décrit ci-dessous).
  • Les évaluateurs doivent soumettre leurs notes et leurs rapports dans RechercheNet dans les délais prévus. Les instructions détaillées pour soumettre les rapports se trouvent dans RechercheNet, à la page Familiarisez-vous avec la tâche « Effectuer des évaluations » des membres du comité de la tâche Effectuer des évaluations.

Rapport d'évaluation

Il est important de noter que, bien que ce ne soit pas obligatoire, nous vous recommandons fortement de prendre le temps de faire des commentaires au candidat. Ces commentaires sont appréciés par les candidats, puisqu'ils leur permettent d'améliorer leurs demandes pour de prochains concours. De plus, ils réduisent le nombre de plaintes.

  • Veuillez vous référer au guide des évaluateurs propre à votre comité d'évaluation par les pairs avant de rédiger votre rapport (p. ex. Guide des évaluateurs - Bourses de recherche au doctorat des IRSC, Guide des évaluateurs - Bourse de recherche des IRSC).
    • L'évaluation vise à fournir une évaluation décisive de la demande et des commentaires constructifs au candidat basés sur les objectifs et les critères d'évaluation propres à la possibilité de financement.
    • Le rapport d'évaluation doit être clair et concis.
    • Le candidat recevra la version du rapport que vous aurez soumise. Vous ne devez pas y inclure la note que vous avez attribuée ni votre nom.
    • Gardez à l'esprit qu'on peut être sensible au ton, etc.
    • Faites attention lorsque vous faites directement référence au candidat (p. ex. utilisation du masculin ou du féminin).

Questions à porter à l'attention des IRSC

Les questions liées à l'éthique, à l'admissibilité, aux recherches sur les cellules souches pluripotentes humaines et à d'autres préoccupations doivent être signalées à l'attention des IRSC. Ces facteurs ne doivent pas influer sur les notes attribuées. Les demandes qui ont été portées à l'attention des IRSC seront considérées comme « en attente » jusqu'à ce qu'on communique avec le candidat pour obtenir d'autres renseignements ou jusqu'à ce que la demande soit évaluée par le comité approprié des IRSC. Veuillez remplir le formulaire pour les questions portées à l'attention des IRSC, dont vous trouverez le lien à la fin du guide des évaluateurs, et communiquer avec votre coordonnateur de comité.

Après le processus d'évaluation

  1. Fournir des commentaires au coordonnateur de l'exécution des programmes en ce qui a trait à l'efficacité et au fonctionnement des politiques et du processus d'évaluation par les pairs.
  2. Les IRSC détermineront les demandes qui risquent d'être l'objet d'une décision injuste à cause de l'importance de l'écart entre les notes des deux évaluateurs. Dans les cas où réduire l'écart entre les notes des deux évaluateurs peut influer sur la décision de financement, les IRSC demanderont aux deux évaluateurs de revoir leur évaluation initiale et de présenter de nouvelles notes.
  3. Si l'écart entre les deux évaluateurs persiste après la réévaluation, on pourrait vous demander d'agir comme troisième évaluateur pour des demandes assignées à d'autres membres du comité.
  4. Conservez les demandes et vos documents de travail dans vos dossiers jusqu'à un mois après l'annonce des résultats de la compétition, au cas où des candidats auraient des questions.
  5. Un mois après l'annonce des résultats, veuillez détruire tous les documents de l'évaluation par les pairs, y compris les copies des demandes, les cédéroms et les documents électroniques sur votre ordinateur.

Références

  1. Après avoir reçu toutes les notes initiales, les IRSC calculent une moyenne pour chaque candidat fondée sur les notes pondérées des deux évaluateurs, et non sur chaque critère spécifique. Les IRSC déterminent ensuite les demandes qui risquent d'être l'objet d'une décision injuste à cause de l'importance de l'écart entre les cotes des deux évaluateurs (la « plage acceptable » est déterminée selon le niveau de variation de toutes les notes reçues). Dans les cas où réduire l'écart entre les cotes des deux évaluateurs peut influer sur la décision de financement, les IRSC demanderont aux deux évaluateurs de revoir leur évaluation initiale et de présenter de nouvelles notes.