Processus d’assurance de la qualité des évaluateurs

Le processus d’assurance de la qualité des évaluateurs (AQE) sert à évaluer et à vérifier la participation des évaluateurs de même que leur rendement lors de l’évaluation par les pairs. Le processus est conçu pour favoriser et soutenir des évaluations de qualité élevée ainsi que pour mettre en lumière le rendement des évaluateurs. Sont offerts des documents d’apprentissage, un aide-mémoire pour assurer la qualité des évaluations ainsi que des stratégies de soutien pour faire connaître les responsabilités des évaluateurs et offrir des possibilités d’apprentissage et de mentorat, lesquelles visent à parfaire les compétences des évaluateurs et la qualité des évaluations.

Le personnel, des IRSC et les membres cadres des comités d’évaluation, fourniront une rétroaction sur le rendement des évaluateurs en vue de favoriser l’excellence du système d’évaluation par les pairs. La collecte et l’analyse des données sur le rendement serviront de base aux pratiques en matière de reconnaissance ou d’application d’interventions de soutien, au besoin. Parmi les interventions de soutien, mentionnons les mesures de sensibilisation des évaluateurs aux attentes relatives au rendement ainsi que des possibilités d’apprentissage et de mentorat dans une optique d’amélioration continue. De plus, le processus d’AQE permettra d’éclairer les décisions et les pratiques du Collège concernant le recrutement et la progression des membres, de même que le renouvellement de leur mandat.

Attentes en matière de rôles et de responsabilités concernant l’évaluation par les pairs

Les normes de pratique des IRSC en matière d’évaluation par les pairs (NPEP) ont été établies afin de promouvoir la transparence et de soutenir l’excellence du rendement des évaluateurs, en énonçant clairement les responsabilités de ces derniers. On demandera aux présidents de concours, aux agents scientifiques et aux évaluateurs d’adhérer aux normes de pratique des IRSC relatives à l’entente sur l’évaluation par les pairs avant de participer à une évaluation. Comme pour ce qui est de l’Accord sur les conflits d’intérêts et la confidentialité, les membres des comités qui n’accordent pas leur consentement ne pourront pas participer à l’évaluation par les pairs dans le cadre du concours visé.

Formulaire de rétroaction sur la qualité de l’évaluateur

Le personnel des IRSC, les présidents et les agents scientifiques des comités se serviront du formulaire de rétroaction sur la qualité de l’évaluateur pour éclairer le rendement des évaluateurs tout au long du processus d’évaluation, mettre en lumière les évaluateurs exceptionnels et cibler ceux qui ont besoin d’aide. Une copie du formulaire de rétroaction sur la qualité de l’évaluateur est fournie à titre informatif seulement. Si vous êtes président ou présidente ou agent ou agente scientifique, vous recevrez des renseignements sur la façon de remplir et de soumettre l’information.

Aux IRSC, on évalue le rendement en déterminant dans quelle mesure la participation et les efforts de l’évaluateur répondent aux critères ci-dessous :

Qualité de l’évaluation
  • Les évaluations écrites ont été jugées exceptionnelles ou parce qu’elles présentent des lacunes sur le plan de la rigueur, de l’utilité ou du caractère approprié.
  • Les évaluations ont été signalées lorsque leur formulation était inappropriée.
Participation
(à la réunion)
Exceptionnelle Amélioration nécessaire
  • L’évaluateur a participé de manière constructive aux discussions sur les demandes qui ne lui étaient PAS attribuées
  • L’évaluateur a accepté d’assumer des tâches supplémentaires à court préavis.
  • Manque de professionnalisme
  • Difficile d’approche lors de la réunion
  • Graves lacunes en matière de présentation
  • Faible participation
Réactivité Amélioration nécessaire
  • Avant et après la réunion : suivi nécessaire pour soumettre les notes et les évaluations
  • Une révision a été demandée pour une évaluation soumise
Autres considérations : Démontre un potentiel pour devenir président, agent scientifique ou mentor auprès de pairs évaluateurs

Résultats

Le Collège mettra en place diverses mesures pour veiller à ce que tous les évaluateurs comprennent les normes de pratique des IRSC en matière d’évaluation par les pairs et qu’ils soient en mesure de les respecter. Ces mesures pourraient comprendre des messages généraux ou des rappels à tous les membres des comités au sujet des pratiques exemplaires en matière de qualité des évaluations, une communication directe aux évaluateurs qui auraient besoin d’une forme de mentorat ou de sensibilisation accrue aux enjeux précis de l’évaluation. Dans le cadre du processus, les IRSC offriront aux évaluateurs l’occasion de répondre à la rétroaction reçue et de collaborer à la promotion et au maintien de l’excellence en évaluation par les pairs. De plus, nous commencerons à mettre en œuvre des stratégies de reconnaissance des évaluateurs pour ceux dont le rendement est jugé exceptionnel. Ces stratégies comprendront la reconnaissance par l’établissement, des lettres de reconnaissance ou la promotion publique dans les profils Web.

Coordonnées

Si vous avez des questions, des commentaires ou des préoccupations au sujet du processus d’assurance de la qualité des évaluateurs, veuillez communiquer avec le Collège des évaluateurs : college@cihr-irsc.gc.ca.

Date de modification :