Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC

Table des matières

Introduction

Au nom des IRSC, nous remercions les évaluateurs d'avoir accepté d'être membre d'un comité d'évaluation par les pairs. Le succès du processus d'évaluation par les pairs est rendu possible grâce à des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent guide a pour but de fournir de l'information sur les objectifs, la gouvernance et les politiques des IRSC, d'exposer les rôles et les responsabilités des membres des comités d'évaluation par les pairs, et de définir les politiques, principes et procédures de l'évaluation par les pairs pour les demandes de bourses de formation et d'appui salarial.

Il est important de noter que certaines politiques ne s'appliqueront pas à tous les programmes de bourses de formation et d'appui salarial. Les évaluateurs sont donc invités à consulter le Guide de l'évaluateur pour leur programme ou communiquez avec le coordonnateur de leur comité pour de plus amples renseignements.

En plus de lire le présent guide, les évaluateurs doivent se familiariser avec la documentation pertinente associée au programme pour lequel ils évaluent des demandes et ce, avant de commencer leur évaluation. Cela inclut :

L'évaluation par les pairs aux IRSC

Le mandat des IRSC est d'« exceller, selon les normes internationales reconnues d'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé et de renforcer le système de santé au Canada ».

Le but de l'évaluation par les pairs est d'assurer l'excellence dans la recherche financée par les IRSC. Le système d'évaluation par les pairs assure également la reddition de comptes non seulement au gouvernement du Canada et aux contribuables canadiens – la source des fonds des IRSC – mais aussi à l'ensemble du milieu de la recherche. L'évaluation par les pairs est réalisée par des comités d'experts qui recoupent les quatre grands axes de la recherche en santé : la recherche biomédicale, la recherche clinique, la recherche sur les systèmes et services de santé, et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations.

L'évaluation par les pairs est supervisée par le conseil scientifique (CS) des IRSC, qui régit tous les aspects de la prise de décision concernant la recherche. Le CS exerce une direction scientifique et donne des avis au conseil d'administration (CA) sur les priorités et stratégies en matière de recherche en santé et d'application des connaissances (AC), et recommande des investissements stratégiques conformément à la Loi sur les IRSC et aux grandes orientations stratégiques définies par le conseil d'administration. L'approbation du financement pour toutes les initiatives de recherche et d'application des connaissances fait partie intégrante des responsabilités du CS.

Principes de l'évaluation par les pairs

L'ensemble du processus d'évaluation par les pairs dépend de principes et de politiques bien établis qui visent à assurer l'équité et l'efficacité de l'évaluation et appuient les objectifs des IRSC et leurs cibles de financement stratégiques.

Les principes guidant l'évaluation par les pairs sont :

  • l'absence de conflit d'intérêts;
  • la confidentialité;
  • l'équité.

Politique sur les conflits d'intérêts et la confidentialité (PCIC)

Les IRSC doivent satisfaire aux normes les plus élevées en matière d'éthique et d'intégrité dans toutes leurs activités afin de continuer à mériter la confiance du milieu de la recherche, du gouvernement et du public. Les membres de comité d'évaluation des IRSC, les évaluateurs externes et les observateurs doivent satisfaire aux normes les plus élevées en matière de comportement éthique afin de conserver et d'accroître la confiance du public dans la capacité des IRSC à agir dans l'intérêt public à long terme. Lorsqu'un conflit entre des intérêts privés et des intérêts publics survient, les membres de comité d'évaluation, les évaluateurs externes et les observateurs doivent prendre les mesures nécessaires pour protéger l'intérêt public1.

Les renseignements fournis par les candidats dans leurs demandes sont protégés par Loi sur la protection des renseignements personnels et sont mis à la disposition des évaluateurs externes seulement à des fins d'évaluation. Les renseignements contenus dans les demandes et les rapports des évaluateurs, de même que les noms des évaluateurs et le contenu des discussions des comités sont donc strictement confidentiels. L'utilisation de ces renseignements à d'autres fins que celles précisées ici constitue une infraction à la Loi sur la protection des renseignements personnels et pourrait donner lieu à une enquête des IRSC et/ou à un rapport au Commissariat à la protection de la vie privée fédéral.

Tous les membres de comité doivent lire la PCIC et accepter d'y souscrire avant de regarder le contenu d'une demande.

Pour obtenir la définition la plus récente de « conflit d'intérêts » et de « confidentialité », consultez l'Accord sur les conflits d'intérêts et la confidentialité pour les membres de comité d'évaluation, les évaluateurs externes et les observateurs.

Équité

Le succès du système d'évaluation par les pairs dépend essentiellement de la volonté et de la capacité de tous les membres des comités :

  • d'être justes et raisonnables;
  • de faire preuve d'un jugement scientifique rigoureux;
  • de comprendre et de soupeser adéquatement le contexte particulier de chaque demande.

Pour les programmes où les évaluations écrites sont obligatoires, les évaluations sont remises aux candidats sans que le personnel des IRSC ne les modifie, et les IRSC n'assument pas la responsabilité de leur contenu. Un candidat ne considérera pas impartiale l'évaluation si elle contient des commentaires qui pourraient être interprétés de quelque façon comme étant sarcastiques, irrévérencieux, arrogants ou inappropriés. Par ailleurs, une évaluation constructive qui aide le candidat en soulignant les faiblesses qu'il pourra corriger en présentant à nouveau sa demande, permettra de convaincre un candidat déçu que l'évaluateur a fait une évaluation impartiale de la proposition.

Politiques ayant une incidence sur l'évaluation par les pairs

Les politiques qui portent sur les sujets suivants sont celles qui ont une incidence sur le processus d'évaluation par les pairs :

  • collaborations internationales;
  • application des connaissances;
  • Politique des trois organismes sur le libre accès aux publications;
  • genre, sexe et recherche en santé;
  • langues officielles.

Pour obtenir la description complète et à jour de chacune de ces politiques, consultez le site web des IRSC.

Logistique de l'évaluation par les pairs

Types d'évaluation et format des réunions

Les IRSC ont recours généralement à deux grands types d'évaluation par les pairs : les évaluations structurées ou les évaluations non structurées. Par contre, dans certains cas, d'autres processus d'évaluation peuvent être employés. Les réunions peuvent prendre la forme de réunion en personne, de téléconférence et/ou de réunion virtuelle (évaluation à domicile), en utilisant la plateforme web RechercheNet.

Quel que soit le type d'évaluation, l'objectif demeure le même : soutenir l'excellence. Voici les principaux facteurs qui déterminent le type d'évaluation et le format de la réunion utilisés pour une possibilité de financement :

  1. objectifs du programme;
  2. nombre de demandes prévu;
  3. longueur des demandes;
  4. nature de l'évaluation requise (c.-à-d. par critères pondérés, consensus, classement).

Tous les détails sur les types d'évaluation et les formats des réunions se trouvent à la page web Types d'évaluation aux IRSC.

Les évaluateurs sont invités à consulter le Guide de l'évaluateur du programme concerné afin de connaître le type d'évaluation qui sera utilisé pour leur comité ainsi que les instructions détaillées du processus à suivre.

Les membres de comité

La composition des comités d'évaluation par les pairs varie selon le type d'évaluation. Tous les membres des comités sont choisis pour leur excellence comme chercheurs, attestée par leur capacité d'obtenir de façon continue des fonds de sources externes à la suite d'une évaluation par les pairs, ainsi que par l'étendue de leurs connaissances et la maturité de leur jugement. En tant que groupe, les comités doivent également couvrir l'éventail des domaines de recherche dont ils sont responsables, représenter comme il se doit le milieu canadien de la recherche en santé, effectuer des évaluations dans les deux langues officielles, et tenir compte de la logistique imposée par les conflits d'intérêts et le roulement des membres des comités.

Pour de plus amples renseignements sur un des sujets ci-dessous, consultez le lien approprié :

Processus d'évaluation

Toutes les demandes reçues au plus tard à la date limite sont évaluées pour leur admissibilité et leur conformité par le personnel des IRSC. Toutes celles qui sont jugées non admissibles sont retirées du concours.

Étape 1 : Participation à la séance d'orientation

L'objectif de la séance d'orientation est d'aider les évaluateurs à se familiariser avec le programme, de présenter le processus d'évaluation et de fournir les détails sur le processus d'évaluation.

Étape 2 : Déclaration des conflits et assignation des demandes

Les évaluateurs ne peuvent pas évaluer des demandes s'ils sont en conflit d'intérêts par rapport à celles ci.

Selon le type d'évaluation utilisé pour le comité, les évaluateurs auront accès aux demandes pour déclarer des conflits d'intérêts et indiquer leur niveau d'expertise (s'il y a lieu) soit avant ou après l'assignation des demandes. Les présidents, les agents scientifiques et/ou le personnel des IRSC assigneront les demandes aux membres des comités. Des évaluateurs externes peuvent aussi être sollicités au besoin. Par contre, les décisions définitives concernant l'assignation des demandes sont du ressort des IRSC.

Étape 3 : Évaluation des demandes

Toutes les demandes présentées dans le cadre d'une possibilité de financement sont traitées de la même façon lors de l'évaluation : les mêmes critères et seuils de financement sont appliqués. Les évaluateurs étudient les demandes en fonction des critères de sélection propres à chaque programme. Ces critères sont décrits dans la possibilité de financement ainsi que dans le Guide de l'évaluateur propre au programme.

Les responsabilités premières d'un comité d'évaluation par les pairs sont : 1) d'évaluer les demandes présentées à un concours particulier et 2) de les coter ou classer selon l'excellence à l'aide de l'échelle de cotation appropriée. Il est important que les comités suivent la procédure établie afin de fonctionner de manière uniforme.

Selon le programme (et donc le type d'évaluation utilisé), l'évaluation des demandes peut être effectuée en plusieurs étapes.

Les instructions sur l'évaluation des demandes pour une possibilité de financement spécifique se trouvent dans le Guide de l'évaluateur propre au programme.

Préjugés inconscients

En lisant les demandes, les évaluateurs doivent porter attention aux préjugés inconscients liés au sexe, à la culture (incluant les préjugés en lien avec la culture autochtone et le lieu géographique), l’âge, la langue (incluant les préjugés en lien avec les langues officielles et les communautés minoritaires) et les établissements. Il faut se rappeler que :

  • les interruptions de carrière en raison d'une grossesse et de l'éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
  • des disciplines et des environnements différents offrent diverses occasions de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche;
  • la réputation des établissements ne doit pas avoir d'effet sur l'opinion que les évaluateurs ont des candidats ou de leur milieu de formation en recherche;
  • Il est important pour les évaluateurs de prendre des mesures afin d’atténuer  les préjugés inconscients, soit par un processus de réflexion sur les différences de culture (par exemple les peuples autochtones du Canada);
  • Les évaluateurs doivent s’assurer de respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche sur les communautés francophones en situation minoritaire.

Pour en apprendre davantage au sujet des préjugés et le processus d’évaluation par les pairs, les évaluateurs sont encouragés à suivre le module de d'apprentissage correspondant.

Publications et productivité

L'excellence du dossier des candidats constitue un critère d'évaluation important pour la majorité des programmes de financement de bourses de formation et d'appui salarial. Un facteur principal dans l'évaluation de ce critère est la productivité des candidats, déterminée par la qualité et l'impact des contributions des candidats dans le domaine. Lorsqu'ils évaluent les publications, les comités d'évaluation par les pairs devraient se concentrer sur la qualité du contenu des publications. Dans le cas des publications où il y a plusieurs auteurs ou des travaux en collaboration, on conseille aux candidats de décrire leur contribution, et les évaluateurs devraient évaluer la contribution particulière du candidat aux travaux.

Les IRSC financent la recherche dans de nombreux domaines de la santé, et les formes de publications de recherche peuvent varier énormément d'une discipline à l'autre. En plus de publier dans les revues à comité de lecture traditionnelles, les chercheurs en santé publient dans les livres, les monographies, les mémoires ou articles spéciaux, les articles de rétrospective, les comptes rendus de conférences ou de colloques et les résumés scientifiques, les publications gouvernementales, etc. Dans certains domaines de recherche qui évoluent rapidement, tels que certaines disciplines de l'informatique, de la génétique ou de la microélectronique, on a recours à des moyens spéciaux en vue d'atteindre l'auditoire cible rapidement. Les communications, les imprimés minute de rapports, les lettres et la distribution électronique des tirages préliminaires constituent d'importants véhicules de dissémination des résultats de recherche. Toutes ces contributions devraient être traitées sur le même pied quand on évalue la qualité et l'impact, et les évaluateurs ne devraient pas considérer certaines d'entre elles comme des publications de deuxième ordre ou de la « littérature grise ».

Quand ils évaluent la productivité, les évaluateurs devraient aussi tenir compte des retards légitimes dans la recherche et la dissémination des résultats de recherche. Il peut arriver dans certaines circonstances qu'un chercheur ne soit pas en mesure ou ne souhaite pas publier ses résultats de recherche avant de faire une demande de financement auprès des IRSC. Par exemple, le temps nécessaire pour terminer une monographie peut excéder l'intervalle de temps entre deux demandes, ou la protection de la propriété intellectuelle peut occasionner un retard dans la publication. La productivité peut aussi varier pour des raisons personnelles, comme la maternité ou les soins aux jeunes enfants, un détachement administratif, une incapacité, les soins aux personnes âgées, etc., qu'un congé officiel ait été pris ou non. On conseille aux candidats d'expliquer clairement et en détail dans leur demande toutes les circonstances qui ont une influence sur la dissémination des résultats de recherche. Les comités d'évaluation par les pairs doivent tenir compte de l'effet de telles circonstances sur la productivité tout en s'assurant que la' qualité de la recherche n'en souffre pas.

Étape 4 : Rationalisation

Pour de nombreux programmes, moins du tiers des demandes sont financées; il est donc important que les comités consacrent leur temps et leurs efforts aux demandes les plus concurrentielles pour faire en sorte qu'une liste de classement précise soit produite. C'est pourquoi il est possible que certains programmes utilisent une procédure de rationalisation pour éliminer les demandes non concurrentielles, ce qui permet aux évaluateurs de consacrer plus de temps à juger et à classer les demandes qui pourraient être retenues et de s'assurer que les demandes les plus méritoires sont financées.

Étape 5 : Considérations spéciales

Budget et durée

Le budget et la durée des bourses de formation et d'appui salarial sont prédéterminés et indiqués dans la possibilité de financement. Néanmoins, étant donné que tous les programmes ont des objectifs différents, on peut demander aux évaluateurs de certains comités de commenter ces aspects des demandes. Les questions sur le budget demandé ne devraient pas influencer la cote de la demande, à moins qu'elles ne portent directement sur le mérite scientifique. Pour de plus amples renseignements, consultez les détails sur le budget et la durée dans la possibilité de financement, au début du processus d'évaluation par les pairs.

Signaler un problème nécessitant une attention particulière

Toute préoccupation en ce qui a trait aux points suivants devrait être portée à l'attention des IRSC pour un suivi, et ne pas être mentionnée à l’intérieur des rétroactions écrites pour les candidats. Veuillez noter que certains des points ci-dessous ne s'appliquent pas nécessairement à tous les programmes de bourses de formation et d'appui salarial. Communiquez avec le coordonnateur de votre comité pour plus d'information.

Ces points ne doivent pas être considérés comme des critères d'évaluation, sauf s’ils peuvent avoir une incidence sur la qualité scientifique de la demande, comme détaillé ci-dessous.

  1. Admissibilité : Les évaluateurs devraient soulever tout doute quant à l'admissibilité du chercheur principal ou des chercheurs principaux (ainsi que des établissements auxquels ils sont affiliés) aux fonds des IRSC, selon les critères précisés dans la possibilité de financement.
  2. Éthique : La responsabilité de voir à ce que toute la recherche réponde aux normes éthiques est déléguée à l'établissement local par les IRSC. Les IRSC n'exigent pas de formulaires d'éthique en tant que tels avec la demande. Toutefois, l'évaluateur peut commenter des aspects particuliers, comme l'utilisation de sujets humains, d'animaux, de tissus humains ou de matières dangereuses, ou la recherche qui semble supposer la participation de populations autochtones, s'il estime qu'ils n'ont pas été traités comme il se doit.
  3. Recherche sur les cellules souches pluripotentes humaines : Les demandes qui prévoient l'utilisation de cellules souches humaines et sont susceptibles d'être financées seront également évaluées par le Comité de surveillance de la recherche sur les cellules souches (CSRCS). On demande aux candidats de cocher la case appropriée dans la section « Attestations de conformité », mais il est essentiel que cela soit vérifié par les membres du comité.
  4. Justification du budget : Si le comité d'évaluation par les pairs ne peut pas évaluer comme il se doit la demande de budget parce que celle-ci n'est pas clairement justifiée par le participant, la question doit être portée à l'attention du personnel des IRSC, qui fera le suivi nécessaire avant que les fonds ne soient débloqués, si la demande est financée.
  5. Article 56 de la Loi réglementant certaines drogues et autres substances : Toutes les propositions de recherche assujetties à l'article 56 de la Loi réglementant certaines drogues et autres substances doivent avoir une exemption de Santé Canada. Les membres de comité doivent porter, lors de la réunion, de telles demandes à l'attention du personnel des IRSC, qui fera le suivi nécessaire avant que les fonds ne soient débloqués, si la demande est financée.

Commentaires

Un élément important de toute évaluation par les pairs est l'examen final de l'efficacité et du fonctionnement du comité, ainsi que des commentaires sur les questions de politique soulevées au cours du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d'évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d'évaluation par les pairs efficace et de grande qualité.

Pour les réunions en personne et par téléconférence, cela se produit à la fin des délibérations; toutefois, pour les réunions virtuelles, la rétroaction devrait être communiquée au coordonnateur du comité par courriel.

Décisions relatives au financement

Après l'évaluation par les pairs, le personnel des IRSC prépare une liste de classement en fonction des recommandations du comité, laquelle sera soumise à l'examen du chef des affaires scientifiques (CAS) et du dirigeant principal des finances (DPF). Les demandes seront financées à partir de celles qui sont le mieux classées en descendant, jusqu'à épuisement du budget. Le CAS et le DPF étudieront les recommandations relatives au financement à la lumière des critères établis par le conseil scientifique (CS), auquel ils soumettront leurs recommandations aux fins d'approbation finale. La liste des candidats retenus est affichée sur la page web Notifications de décisions de financement dès qu'elle est disponible.

Les candidats sont informés des résultats du concours par RechercheNet une fois que le CS a approuvé la liste des candidats qui seront financés. Tous les candidats reçoivent une notification de décision, indiquant si leur demande a été approuvée ou non. Ils recevront aussi une copie de toutes les évaluations, des notes des agents scientifiques (le cas échéant) et une offre de bourse qui fournit les détails sur le budget, la durée de la bourse et les conditions de financement.

Les demandes qui ont été signalées pour qu'on leur porte une attention particulière et dont le suivi est assuré par le personnel des IRSC sont mises « en suspens ». Le candidat sera informé si de plus amples renseignements sont requis. Les renseignements additionnels peuvent être examinés par le personnel des IRSC et les membres du comité d'évaluation par les pairs au besoin avant qu'une décision définitive au sujet du financement ne soit prise.

Les IRSC ne remettront pas en cause les évaluations scientifiques faites au mieux des connaissances des membres de comité d’évaluation par les pairs. C’est la politique des IRSC de procéder à une révision d’une décision de comité que dans la situation où une erreur procédurale se serait produite lors du processus d’évaluation par les pairs.

Date de modification :