Guide d'évaluation par les pairs – Fondation

Avis

Dernière mise à jour : 28 novembre 2016

En raison du faible nombre de demandes dans la cohorte Nouveaux chercheurs et chercheurs en début de carrière, il a été établi que ces demandes ne pourraient pas être évaluées adéquatement si elles faisaient partie d’une cohorte distincte. En effet, pour assurer la qualité de l’évaluation par les pairs, les évaluateurs doivent disposer d’un nombre suffisant de demandes (8 à 12), ce qui leur permet de les classer les unes par rapport aux autres et de dresser un classement utile. Certains chercheurs en début de carrière pourraient être désavantagés par un trop faible nombre de demandes à classer les unes par rapport aux autres. Ce changement assurera un processus plus juste où chaque demande est classée par rapport à un nombre suffisant d’autres demandes.

Pour veiller à ce que les chercheurs en début de carrière soient traités équitablement, les IRSC s’engagent : 1) à accorder un minimum de 15 % des subventions à des chercheurs en début de carrière, comme prévu; 2) à faire en sorte qu’environ 50 % des demandes provenant de la cohorte Nouveaux chercheurs et chercheurs en début de carrière passent de l’étape 1 à l’étape 2. De plus, indépendamment du stade de la carrière, la proportion de candidates passant à l’étape 2 sera corrigée pour correspondre à la proportion de candidates au concours, au besoin. (Par exemple, si les demandes présentées par des directrices de programme représentent 30 % des demandes à l’étape 1, elles devraient également représenter environ 30 % des demandes passant à l’étape 2.)

Sommaire


Veuillez noter que, dans le contexte de ce document, l’emploi du terme « le candidat » peut faire référence à un seul directeur de programme ou à de multiples co-directeurs de programme.

Remarque : Dans le présent texte, la forme masculine a valeur de genre neutre et désigne aussi bien les hommes que les femmes.

Aperçu du programme

Le Programme de subventions Fondation est conçu pour contribuer à l'édification d'une assise durable formée de chefs de file dans le domaine de la recherche en santé en garantissant un soutien à long terme pour entreprendre des programmes de recherche novateurs qui produiront un impact important. Les programmes de recherche sont censés inclure des éléments de recherche, d'application des connaissances, de mentorat et de formation qui sont intégrés et associés à des thèmes.

Les subventions Fondation visent à soutenir des chefs de file de la recherche à n'importe quel stade de leur carrière dans la création et la mise en œuvre de programmes de recherche en santé liés au mandat des IRSC. Les candidats admissibles comprennent les nouveaux chercheurs/chercheurs en début de carrière, les chercheurs en milieu de carrière et les chercheurs chevronnés, qui sont tous des chercheurs indépendants, dont les preuves ne sont plus à faire en ce qui concerne l'excellence de leur travail ou l'incidence qu'ils ont eue dans leur discipline.

Bien que le formulaire de demande et les critères de sélection soient les mêmes pour tous les candidats, les critères doivent s'appliquer dans le contexte du stade de leur carrière.

Le Programme de subventions Fondation repose sur un processus de concours et d'évaluation en trois étapes dans le cadre duquel lesfévaluateurs tiennent compte de critères d'évaluation structurée précis à l'étape 1 et à l'étape 2.

Évaluation par les pairs - rôles

Évaluateurs (étape 1 et étape 2)

La plupart des participants au processus d’évaluation sont des évaluateurs dont le rôle consiste à évaluer les demandes soumises au concours. Les évaluateurs doivent examiner et évaluer les demandes en fonction des critères d’évaluation, et participer aux discussions en ligne concernant les demandes sur lesquelles l’opinion des évaluateurs est divisée. Au terme de la période de discussion, les évaluateurs confirment le classement de leurs demandes pour ensuite soumettre leur évaluation finale aux IRSC.

Principales tâches :

  • Terminer la déclaration sur les conflits d’intérêts et la capacité d’évaluer;
  • Évaluer/coter les demandes;
  • Participer à la discussion en ligne sur les demandes, au besoin;
  • Classer les demandes;
  • Soumettre les évaluations finales;
  • Formuler des commentaires aux IRSC concernant le processus d’évaluation.

Le succès du système d'évaluation par les pairs dépend essentiellement de la volonté et de la capacité de tous les évaluateurs de faire preuve d'un jugement scientifique rigoureux, d'être justes et raisonnables et de comprendre le contexte particulier de chaque demande en y tenant compte de façon équilibrée. Les commentaires exprimés dans les évaluations sont ceux des évaluateurs et ils sont présentés aux candidats sans avoir été préalablement édités par le personnel des IRSC. Dans certaines situations où le président de concours ou le personnel des IRSC estiment que les commentaires pourraient être interprétés de quelque façon comme étant sarcastiques, irrévérencieux, arrogants ou inopportuns ou témoigne de renseignement fautifs en ce qui a trait aux politiques des IRSC, les IRSC se réservent le droit d’éliminer ces renseignements de l’évaluation. Une évaluation constructive et de qualité qui souligne les faiblesses et les points forts aide le candidat à corriger sa demande et permettra de convaincre ce dernier que vous avez fait une évaluation impartiale de sa proposition.

Présidents de concours (étape 1 et étape 2)

Dans le cadre du Programme de subventions Fondation, les présidents de concours sont chargés de superviser et de soutenir le processus d’évaluation à distance à l’étape 1 et à l’étape 2 :

  • en aidant les IRSC à recruter des évaluateurs pour combler les lacunes cernées sur le plan de l’expertise;
  • en validant l’attribution des demandes aux évaluateurs;
  • en supervisant et en animant les discussions en ligne;
  • en signalant les évaluations qui nécessitent des révisions et en les communiquant aux IRSC;
  • en formulant des commentaires aux IRSC concernant le processus d’évaluation.

Les présidents de concours peuvent :

  • signaler dans RechercheNet les demandes à soumettre à la discussion, par exemple lorsqu’il y a des écarts dans les évaluations. À l’étape 2, les présidents de concours doivent aussi signaler les demandes faisant l’objet de recommandations budgétaires divergentes et guider la discussion en ligne pour en arriver à un consensus, si possible. Les évaluateurs recevront alors un courriel précisant que la demande concernée doit faire l’objet d’une discussion;
  • envoyer des courriels privés directement aux évaluateurs, en dehors de la discussion en ligne, au moyen de la fonction de messagerie privée, au besoin, par exemple dans le cas d’évaluations dont le contenu est insuffisant ou inadéquat.

L’un des rôles les plus importants du président de concours est de surveiller la qualité des évaluations. Les évaluations de l’étape 1 seront transmises aux candidats. Les évaluations de l’étape 2 seront elles aussi communiquées aux candidats de même qu’aux membres du comité de l’étape finale de l’évaluation, qui se fonderont sur ces évaluations pour formuler leurs recommandations en matière de financement. Voilà pourquoi l’information qui suit doit être incluse dans les évaluations de l’étape 1 et de l’étape 2 :

  • Contexte : les évaluateurs doivent fournir un contexte dans leur évaluation de chacun des critères de sélection puisque les évaluateurs à l’étape finale de l’évaluation n’auront pas lu les demandes.
  • Information suffisante : les évaluateurs doivent fournir des renseignements pertinents et substantiels pour éclairer la prise de décisions et la recommandation de financement.
  • Justification des cotes : on demande aux évaluateurs de fournir suffisamment d’information dans le corps de leur évaluation pour expliquer leur cote.

Pendant qu’il surveille les discussions en ligne pour s’assurer que tous les commentaires sont adéquats, chaque président de concours veille à ce que l’information suivante soit donnée :

  • l’information au sujet de l’évaluateur;
  • l’utilisation d’informations de sources externes;
  • les divergences entre les commentaires et les cotes attribuées.

Les délais à respecter varieront selon :

  • le nombre total de demandes attribuées au président de concours;
  • le nombre de demandes dont il faudra discuter.

Évaluateurs (étape finale de l’évaluation - EFE)

Les présidents de concours qui ont pris part à l’étape 2 seront invités à siéger à la réunion en personne du comité multidisciplinaire, laquelle couvre tous les domaines de recherche en santé. À cette étape, et ce, tout en respectant l’accord sur les conflits d’intérêts, les évaluateurs discutent des demandes se trouvant dans la « zone grise », en particulier celles dont le classement par chaque évaluateur indépendant présente une variation. Cette dernière étape repose donc sur l’étape 2 où les demandes ont été évaluées avec soin et professionnalisme. Les recommandations du comité de l’étape finale de l’évaluation seront résumées et présentées aux IRSC pour prendre la décision de financement finale. Les membres du comité recevront les évaluations de l’étape 2. Voici certaines des fonctions des évaluateurs à l’EFE :

  • Termine la déclaration sur les conflits d’intérêts et la capacité d’évaluer;
  • Examine les évaluations de l’étape 2;
  • Procède à l’exercice de catégorisation;
  • Se prépare pour la réunion de l’EFE;
  • Participe à la réunion de l’EFE;
  • Formuler des commentaires aux IRSC concernant le processus d’évaluation.

Pour chaque demande qui leur est attribuée, les membres ont accès à ce qui suit :

  • Évaluation écrite de chacun des évaluateurs à l’étape 2;
  • Cotes et classement des évaluateurs à l’étape 2;
  • Classement combiné de l’étape 2;
  • Demande détaillée.

Président et agent scientifique (étape finale de l’évaluation)

Siègent également au comité de l’étape finale de l’évaluation un président et un agent scientifique (AS).

Le président assure le fonctionnement harmonieux, efficace et objectif du comité d’évaluation par les pairs, conformément aux politiques et aux procédures des IRSC. Entre autre, le président :

  • agit à titre de modérateur afin d’instaurer un climat positif, constructif et équitable durant les échanges sur les projets de recherche;
  • joue un rôle de supervision;
  • travaille avec l’AS pour résumer les échanges au sujet de chaque demande avant le vote, au besoin.

Voici certaines des fonctions de l’agent scientifique :

  • prendre des notes durant les délibérations sur chaque demande, qui seront envoyées aux candidats avec le document d’évaluation;
  • s’assurer que les questions en matière d’éthique ou autres soulevées lors de la discussion de chaque demande sont portées à l’attention des IRSC et sont consignées;
  • appuyer le président dans ses fonctions durant la réunion du comité d’évaluation par les pairs.

Le président et l’agent scientifique ne participent pas à la cotation des demandes et ne votent pas lors des réunions du comité.

Équité dans le processus d'évaluation par les pairs

L'évaluation par les pairs est par définition un processus subjectif. Un préjugé peut être manifeste, peu importe qu'il repose sur une école de pensée, la nature fondamentale vs appliquée ou translationnelle de la recherche, les domaines de recherche ou les approches (émergentes notamment), l'envergure ou la réputation d'un établissement participant, l'âge, la langue, des facteurs personnels ou le sexe du candidat. Pour qu'ils soient sensibilisés aux préjugés inconscients, les évaluateurs seront mis en garde contre tout jugement d'une demande basée sur les facteurs susmentionnés et priés de faire constamment attention au danger de préjugé implicite pouvant influencer le processus décisionnel.

Assurer l'égalité entre les sexes et réduire les préjugés sexistes

Les IRSC s'emploient activement à accroitre l'égalité entre les sexes dans leurs processus d'évaluation afin d'éliminer certaines des inégalités qu'ils ont observées à cet égard dans les récents concours de financement.

Voici quelques conseils à l'intention des évaluateurs :

  1. Avant de vous engager dans l'évaluation par les pairs, pensez au penchant de tous les humains pour la partialité dans le jugement. Les ressources suivantes peuvent vous être utiles :
  2. Donnez-vous suffisamment de temps pour ne pas avoir à faire plusieurs choses à la fois quand vous évaluez une demande. Vous pourrez ainsi mieux corriger vous-même toute tendance partiale.
  3. Passez en revue les critères d'évaluation avant de passer à l'évaluation des demandes.
  4. Demandez-vous si votre évaluation changerait selon le sexe du candidat?
  5. Faites attention pour ne pas accorder trop d'importance à un élément d'information seulement ou à une première impression.
  6. Lorsque vous rédigez ou présentez votre évaluation :
    • évitez d'utiliser des attributs stéréotypés ou interpersonnels pour décrire le caractère et les aptitudes (p. ex. des mots comme aimable, travaillant, consciencieux, fiable, diligent, gentil, agréable, sympathique, compatissant, altruiste, généreux, attentionné, chaleureux, bienveillant, maternelle, etc.);
    • concentrez-vous plutôt sur les compétences et les réalisations scientifiques à l'aide de mots qui traduisent l'excellence du candidat comme chercheur (p. ex. inspirant, innovant, original, rigoureux, minutieux, influent);
    • songez à utiliser, s'il y a lieu, des adjectifs qui montrent que la personne (homme ou femme) se démarque (p. ex. superbe, excellent, extraordinaire, confiant, accompli, ambitieux, connaisseur, intellectuel, etc.);
    • utilisez le titre officiel et le nom de famille du candidat plutôt que son prénom et évitez d'évaluer la contribution d'un candidat à un travail selon l'ordre des auteurs, toutes les disciplines ne suivant pas une seule et même convention;
    • demandez-vous si votre commentaire soulève des doutes sans que ce soit votre intention (formulation négative, bémols, commentaires inexpliqués, faux compliments et remarques non pertinentes [p. ex. « pourrait faire un excellent leader » vs « est un leader reconnu »]).

Comment ce guide est organisé

Le guide est composé de trois sections qui correspondent aux trois étapes du processus de sélection comme l’illustre la Figure 1.

Figure 1. Aperçu du processus de sélection Fondation

La figure ci-dessus illustre le processus de sélection en trois étapes du Programme de subventions Fondation.

  • L’étape 1 sert à évaluer le calibre du candidat ainsi que la vision et la direction du programme. La demande soumise par les candidats à l’étape 1 est attribuée à un maximum de cinq évaluateurs experts. Les évaluateurs effectuent l’évaluation de l’étape 1 à distance puis soumettent leurs résultats aux IRSC. Les candidats retenus sont invités à présenter une demande à l’étape 2.
  • L’étape 2 sert à évaluer la qualité du programme ainsi que la qualité de l’expertise, de l’expérience et des ressources. Les évaluateurs effectuent l’évaluation à distance de l’étape 2 et présentent leurs résultats aux IRSC.
  • L’étape finale de l’évaluation consiste en une réunion en personne du comité. Le comité formulera des recommandations quant aux demandes à financer.

La Section 1 explique le processus de sélection de l’étape 1 du concours. Elle décrit les responsabilités des évaluateurs qui prennent part à cette étape, et notamment aux activités qui suivent : 1) l’évaluation préliminaire des demandes, 2) la discussion en ligne et 3) la présentation de la liste de classement finale aux IRSC.

La Section 2 explique le processus de sélection de l’étape 2 du concours. Elle décrit les responsabilités des évaluateurs qui prennent part à cette étape, et notamment aux activités qui suivent : 1) l’évaluation préliminaire des demandes, 2) l’évaluation du budget, 3) la discussion en ligne et 4) la présentation de la liste de classement finale aux IRSC.

La Section 3 explique le processus de sélection de l’étape finale du concours. Elle décrit les responsabilités des évaluateurs qui prennent part à cette étape, et notamment aux activités qui suivent : 1) les activités préalables à la réunion et 2) la réunion en personne du comité.

Certains évaluateurs pourraient être invités à participer aux étapes 1 et 2, au besoin. Le comité de l’étape finale de l’évaluation sera composé des présidents de concours de l’étape 2.

En plus de prendre connaissance des renseignements contenus dans le présent guide, les pairs évaluateurs doivent se familiariser avec la possibilité de financement Subvention Fondation : 2016. On s’attend aussi à ce que tous les pairs évaluateurs des IRSC :

Pour connaître les règles détaillées qui s’appliquent à tous les aspects des programmes de financement des IRSC, consultez le Guide de subventions et bourses des IRSC.

Section 1 – Processus de sélection de l’étape 1

L’étape 1 porte sur le calibre des candidats ainsi que sur la vision et la direction du programme.

1.1 Évaluation préliminaire des demandes

Chaque demande sera attribuée à un maximum de cinq évaluateurs, en fonction du meilleur appariement possible entre le contenu de la demande et l’expertise de l’évaluateur. Chaque évaluateur recevra de 10 à 16 demandes. Les évaluateurs accéderont aux demandes qui leur sont assignées dans RechercheNet et procéderont aux évaluations à distance. Chaque évaluation devrait prendre d’une à trois heures.

La demande est structurée de façon à correspondre aux critères de sélection énoncés dans ce guide. Les évaluateurs doivent consulter la section Descripteurs et guide d’interprétation des critères de sélection de l’étape 1 pour comprendre comment appliquer les critères de sélection. Les évaluateurs devront en outre examiner le CV du candidat. Les candidats mettront en valeur leur notoriété, leur dossier de financement, les activités et les contributions qui démontrent le mieux leur leadership ainsi que leurs contributions importantes et leur productivité dans leurs domaines de recherche respectifs.

Les évaluateurs seront invités à fournir une cote et à la justifier en décrivant les forces et les faiblesses pour chaque sous-critère énoncé dans le tableau ci-dessous. Les champs servant à décrire les forces et les faiblesses dans RechercheNet sont obligatoires. Il est important qu’ils expriment clairement les forces et les faiblesses puisqu’elles rempliront deux fonctions : 1) fournir de la rétroaction aux candidats et 2) offrir aux autres évaluateurs affectés à l’évaluation de la demande une justification pour les cotes et le classement final accordés à la demande.

Dans certains cas, il pourrait y avoir plusieurs directeurs de programmes pour une seule subvention Fondation. Ces candidats devront démontrer leur synergie et leur expérience à diriger ensemble des programmes de recherche. L’évaluation de chaque critère de sélection tiendra alors compte à la fois des contributions individuelles et conjointes en recherche des co-directeurs de programmes.

Les évaluateurs doivent tenir compte du stade de la carrière, du domaine de recherche et de l’établissement des candidats lorsqu’ils évaluent chaque critère. Les nouveaux chercheurs/chercheurs en début de carrière peuvent démontrer leur leadership, leurs contributions et leur productivité différemment des chercheurs établis. La démonstration devrait être manifeste par rapport à leurs pairs dans des domaines et à des stades de carrière similaires.

Par souci d’uniformité, les évaluateurs doivent utiliser une échelle de sélection commune. Veuillez noter que nous avons intégré plusieurs niveaux aux descripteurs supérieurs de l’échelle pour tenir compte du fait que de nombreuses demandes risquent de se retrouver dans chaque catégorie de l’échelle. Les évaluateurs sont invités à utiliser l’échelle au complet, et notamment les divers niveaux des descripteurs supérieurs, pour exprimer les différences à l’intérieur de ces catégories. L’échelle qui suit fournit les descripteurs et leurs définitions.

Descripteur Abréviation Définition

Remarquable

O++

Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de la plupart ou de la totalité des aspects pertinents. Il peut y avoir des lacunes minimes.

O+

O

Excellent

E++

Pour ce sous-critère, la demande fait preuve d'excellence à l'égard d'une bonne partie des aspects pertinents, et se révèle acceptable à l'égard de tous les autres. Des améliorations sont possibles.

E+

E

Bon

G

Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de quelques aspects pertinents et se révèle acceptable à l'égard de tous les autres. Des améliorations s'imposent.

Passable

F

Pour ce sous-critère, la demande traite de tous les aspects pertinents d'une manière générale. Des améliorations importantes s'imposent.

Médiocre

P

Pour ce sous-critère, la demande ne présente pas d'arguments suffisamment convaincants ou présente des lacunes ou des failles importantes.

À mesure que les évaluations sont terminées, RechercheNet génère automatiquement une liste de classement pour l’ensemble des demandes attribuées à chaque évaluateur selon un ordre descendant. Les évaluateurs peuvent modifier leurs cotes jusqu’à ce qu’ils en soient satisfaits. Toutefois, ils n’ont pas à départager les demandes ex aequo à cette étape du processus de sélection. Au final, c’est le rang de la demande qui déterminera son classement dans le concours, lequel servira à prendre les décisions en matière de financement.

Les évaluateurs devront ensuite soumettre leurs évaluations préliminaires aux IRSC afin de passer à l’étape suivante.

1.2 Descripteurs et guide d’interprétation des critères de sélection de l’étape 1

L’étape 1 porte sur le calibre du candidat, en tenant compte des qualités jugées essentielles pour atteindre les objectifs du Programme de subventions Fondation. Ces qualités sont le leadership, la capacité d’apporter des contributions importantes et la productivité. Cette étape évalue aussi l’aptitude à définir et à énoncer une vision et une direction claires et convaincantes pour le programme. Veuillez prendre note que les évaluateurs seront sélectionnés en fonction de leur expertise dans le domaine de recherche du candidat.

Dans certains cas, il pourrait y avoir plusieurs directeurs de programme pour une seule subvention Fondation. Ces candidats devront démontrer leur synergie et leur expérience à diriger ensemble des programmes de recherche. L’évaluation de chaque critère de sélection tiendra alors compte à la fois des contributions individuelles et conjointes en recherche des codirecteurs de programme.

Les sections qui suivent décrivent plus en détail les sous-critères liés aux critères « Calibre du candidat » et « Vision et direction du programme ». On rappellera aux évaluateurs ce que le candidat était tenu de fournir dans la demande pour le sous-critère de même que les questions d’évaluation particulières définies pour chacun des sous-critères. Le tableau donne également un résumé des lignes directrices et des considérations pour l’interprétation de chaque sous-critère. Ces renseignements sont fournis à titre indicatif pour aider à l’évaluation de chaque section de la demande.

Étape 1 – Critère 1 : Calibre du candidat

Remarque : Pour chacun des sous-critères de « Calibre du candidat », les évaluateurs doivent tenir compte des facteurs suivants :

  • l’expérience et les contributions récentes du candidat, en tenant compte de ses réalisations tout au long de sa carrière;
  • la nature, l’étendue et la somme d’expérience et de contributions du candidat, en fonction du stade de sa carrière;
  • la nature, l’étendue et la somme d’expérience et de contributions du candidat, en fonction de son domaine de recherche;
  • des changements dans la situation personnelle du candidat ayant entraîné une interruption de carrière pour des motifs valables, tels qu’un congé prolongé ou une productivité réduite pour des raisons liées à la santé, à la famille ou autre. Veuillez noter que le candidat est encouragé à expliquer toute situation personnelle, le cas échéant, afin d’assurer une évaluation équitable de ses réalisations. De plus, la demande peut inclure un document PDF qui complètera l’information liée aux publications incluse dans le CVC du candidat.

Sous-critère à évaluer dans le cadre de ce critère :

1.2.1 Leadership (25%)

Ce sous-critère vise à déterminer la mesure dans laquelle le candidat a influencé et inspiré d’autres personnes dans son domaine de recherche, ainsi que sa capacité à diriger efficacement un programme de recherche.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra mettre en évidence son expérience en leadership. Pour ce faire, il fournira une description qui illustre son leadership dans son domaine de recherche et stade de carrière respectifs ainsi que des exemples récents et pertinents de vastes projets ou programmes de recherche qu’il a menés et qui démontrent un leadership efficace. Il devra au besoin citer des exemples récents et pertinents tirés de son CV.
  • Éléments que les évaluateurs doivent prendre en compte
    • Le candidat est-il renommé dans son domaine, comme en font foi les rôles influents qu’il a occupés, les personnes qu’il a inspirées, ses activités de mobilisation communautaire et ses contributions au progrès dans un domaine?
    • Le candidat démontre-t-il une capacité à mettre sur pied et à diriger des programmes de recherche et à obtenir des ressources pour ceux-ci (obtenir les ressources nécessaires, assurer des collaborations efficaces ou intégrer des stratégies d’application des connaissances)?
  • Guide d’interprétation
    • Le candidat doit être reconnu et respecté dans son domaine de recherche. Pour le démontrer, il peut décrire sa sphère d’influence jusqu’à présent au sein de son domaine de recherche, de son établissement, de sa communauté de recherche et de la société en général. Le candidat doit également posséder une expérience de l’établissement ou de la mobilisation de réseaux et/ou de communautés.
    • Le candidat doit montrer qu’il est capable de diriger efficacement un programme de recherche. Un directeur de programme doit démontrer qu’il est en mesure :
      • de traiter de questions de recherche importantes;
      • de développer et de diriger d’importants projets ou programmes de recherche qui peuvent comporter des réseaux nationaux ou internationaux, s’il y a lieu;
      • de trouver des ressources pour un programme de recherche – y compris assurer le financement de projets de recherche, attirer et retenir le personnel de recherche, acquérir les infrastructures appropriées, etc.;
      • de mettre en place et de gérer des collaborations;
      • d’intégrer des stratégies et des activités d’application des connaissances dans un programme de recherche, y compris diffuser, appliquer ou exploiter les conclusions des recherches.
  • Considérations
    Le potentiel de leadership doit être pris en considération pour les nouveaux chercheurs ou chercheurs en début de carrière.

1.2.2 Importance des contributions (25%)

Ce sous-critère vise à déterminer dans quelle mesure les contributions faites par le candidat jusqu’à présent ont produit un impact (un avantage tangible ou une influence positive) sur la santé, les soins de santé, le système de santé ou la recherche en santé. Ces contributions pourraient inclure des avancements dans différents domaines liés à la recherche et à la santé, et avoir permis de maintenir une base durable de chercheurs en santé. La nature et la somme de ces avancements peuvent dépendre du domaine de recherche et du stade de la carrière du candidat.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra mettre en évidence l’impact de ses contributions sur la santé et sur la recherche en santé. Le candidat devra aussi mettre en évidence et décrire les retombées concrètes ou les effets positifs de ses contributions pour la santé, les soins de santé, le système de santé ou la recherche en santé. Il devra au besoin citer des exemples récents et pertinents tirés de son CV.
  • Éléments que les évaluateurs doivent prendre en compte
    • Le candidat a-t-il suscité des progrès importants sur le plan de la création de connaissances ou de l’amélioration de la santé, des soins de santé ou des systèmes de santé?
    • Le candidat a-t-il permis la participation, assuré la formation ou lancé la carrière de personnes à l’avenir prometteur en recherche ou dans d’autres domaines non universitaires liés à la santé?
  • Guide d’interprétation
    • Le candidat doit démontrer l’impact qu’il a produit sur l’avancement des connaissances issues de la recherche ou l’amélioration des pratiques de recherche dans son domaine. En outre, le candidat doit démontrer comment il a contribué à l’avancement des soins de santé, des systèmes de santé, des résultats sur le plan de la santé et de la prospérité économique, le cas échéant. Pour évaluer les contributions, il faut prendre en compte ce qui suit :
      • Les contributions à l’avancement des connaissances (santé ou autres domaines) comprennent les avancements ou les améliorations à l’état actuel de la réflexion dans le domaine de recherche soutenu.
      • Les contributions à la recherche (santé ou autres domaines) comprennent les changements à grande échelle ou transformateurs apportés aux pratiques et aux approches actuelles de la recherche.
      • Les contributions aux soins de santé comprennent les améliorations du diagnostic, du traitement et de la prévention des maladies, des affections, des invalidités, des blessures et des autres déficiences physiques et cognitives.
      • Les contributions au système de santé comprennent les améliorations de l’organisation des personnes, des établissements, des renseignements en santé, des politiques de santé, et des ressources humaines et financières pour offrir des services de soins de santé.
      • Les contributions aux résultats sur le plan de la santé comprennent les améliorations de la santé ou de la qualité de vie des personnes ou des populations.
      • Les contributions à la prospérité économique comprennent les débouchés économiques découlant de l’application ou de la commercialisation de la recherche en santé.
    • Le candidat doit démontrer qu’il a déjà contribué à l’avancement de la capacité de recherche.
      • Les contributions à une assise durable pour la recherche en santé et l’application des connaissances (santé ou autres domaines) comprennent le soutien du mentorat et de la formation, l’avancement professionnel et le recrutement ou le maintien en poste d’employés hautement qualifiés dans des domaines universitaires et non universitaires rattachés à la santé.
      • Les contributions de nouveaux chercheurs ou chercheurs en début de carrière à une assise durable de recherche en santé peuvent être différentes de celles des chercheurs établis et pourraient être davantage centrées sur les efforts pour acquérir des capacités (p. ex. aptitude à attirer des étudiants, des stagiaires ou des boursiers émergents, et à développer et à mettre en œuvre des occasions de mentorat ou de formation novatrices).

1.2.3 Productivité (25%)

Ce sous-critère vise à évaluer la qualité et la somme des résultats de recherche obtenus par le candidat.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra mettre en évidence sa productivité tant récente qu’au cours de sa carrière, en insistant à la fois sur les aspects qualitatifs et quantitatifs de leurs résultats de recherche. Il devra au besoin citer des exemples récents et pertinents tirés de son CV.
  • Éléments que les évaluateurs doivent prendre en compte
    • D’après ses travaux antérieurs, le candidat a-t-il démontré un excellent niveau (quantité) de résultats de recherche dans son domaine?
    • Les travaux antérieurs du candidat ont-ils produit des résultats de recherche de grande qualité?
  • Guide d’interprétation
    • Le candidat doit démontrer un excellent niveau de résultats de recherche comparativement à ses pairs dans un domaine et à un stade de carrière similaires.
    • Par ses travaux antérieurs, le candidat doit avoir produit des contributions reconnues comme étant de grande qualité dans son domaine de recherche.

Étape 1 – Critère 2 : Vision et direction du programme

1.2.4 Vision et direction du programme (25%)

Ce sous-critère vise à évaluer l’aptitude du candidat à définir et à énoncer une vision claire, convaincante et globale de son programme de recherche. L’évaluation de la qualité de la vision devrait tenir compte des caractéristiques suivantes :

  • Ce qu’on a demandé aux candidats de fournir

    Le candidat devra exprimer une vision de haut niveau et indiquer une direction mobilisatrice pour son programme de recherche. Il devra notamment mettre en évidence le but, les objectifs généraux, les contributions/résultats attendus et l’importance du programme proposé si les objectifs sont atteints.

    Les subventions Fondation se veulent souples pour donner l’occasion aux directeurs de programme d’innover ou d’explorer de nouvelles pistes de recherche. Les renseignements demandés dans la présente section ne visent pas à obtenir des précisions sur chacun des projets portant sur des thèmes connexes.

    Si la demande est retenue à l’étape 1, le candidat devra détailler son programme de recherche à l’étape 2.

  • Éléments que les évaluateurs doivent prendre en compte
    • La vision, le but, les objectifs généraux et les contributions potentielles de la proposition de recherche proposée sont-ils bien définis et énoncés dans le contexte d’un cheminement de carrière logique pour les directeurs de programme?
    • La vision est-elle orientée vers l’avenir, créative et suffisamment ambitieuse?
    • La vision a-t-elle pour objectif de susciter des progrès importants sur le plan de la création de connaissances ou de l’amélioration de la santé, des soins de santé ou des systèmes de santé?
  • Guide d’interprétation
    • La vision devrait donner un aperçu de l’orientation du programme envisagée pour la durée de la subvention, d’une manière cohérente et claire, en soulignant les principaux éléments synergiques du programme de recherche.
    • Une vision avant-gardiste est tournée vers l’avenir et décrit les contributions que propose le programme de recherche (c.-à-d. ce que le programme compte réaliser à court et à long terme). Une vision créative décrit le potentiel qu’a le programme de favoriser des approches novatrices ou des extrants, des résultats et des impacts novateurs. Une vision suffisamment ambitieuse est envisageable et réaliste (p. ex. elle donne au programme de recherche une envergure appropriée). Elle tient compte des principaux éléments requis pour la réussite du programme de recherche et fixe l’orientation de la planification du programme grâce à un but et à des objectifs de soutien clairement définis.
    • La vision du programme de recherche devrait chercher à améliorer considérablement les connaissances liées à la santé, la recherche en santé, les soins de santé, les systèmes de santé ou les résultats sur le plan de la santé. Cela pourrait être défini par l’importance du programme (p. ex. d’après une évaluation des avantages déclarés et leur rapport avec des enjeux, des lacunes et des débouchés existants) et des résultats de recherche à court et à long terme.

1.3 Discussion en ligne

Une fois que les évaluations préliminaires auront été soumises, toutes seront accessibles à l’ensemble des évaluateurs. Les évaluateurs pourront discuter de chacune des demandes qui leur ont été attribuées avec les autres évaluateurs chargés des mêmes demandes. Un outil de discussion en ligne a été mis au point pour permettre aux évaluateurs d’échanger afin de comparer leurs points de vue d’experts et discuter des divergences.

La discussion aura pour objectif de faire la lumière sur les divergences dans les évaluations. Nul besoin d’arriver à un consensus. Le nom de chaque évaluateur ainsi que son évaluation préliminaire (cotes, commentaires écrits et classement) seront affichés pour chaque demande. Si les divergences dans les évaluations sont limitées, la discussion peut ne pas être nécessaire.

La période de discussion sera de 72 heures. Les évaluateurs seront informés à l’avance du moment où la période de discussion pour le concours aura lieu. Les évaluateurs pourront se connecter n’importe quand durant la période de discussion et ne seront pas tenus de participer aux discussions en ligne simultanément.

Les évaluateurs chargés d’une même demande pourront participer à la discussion aussitôt que toutes les évaluations de la demande seront soumises. La discussion débutera à la date prévue; il est donc important de respecter les échéances établies.

Les évaluateurs qui n’auront pas soumis leur évaluation préliminaire à temps ne pourront pas participer à la discussion, et cela sera signalé dans leur statut en ligne.

Un président de concours sera affecté à chaque demande pour animer la discussion. Sa tâche consistera à s’assurer qu’une discussion a lieu, si nécessaire, et à inciter les évaluateurs à lancer la discussion. Le personnel des IRSC peut également lancer une discussion ou fournir des commentaires au besoin pour assurer le respect des politiques et procédures des IRSC.

Une fois la discussion terminée pour chaque demande, on donnera aux évaluateurs l’occasion d’apporter des modifications à leurs évaluations au besoin. Ils pourront, par exemple, modifier leurs commentaires, changer leurs cotes et/ou leur classement. Il convient de noter que :

  1. Chaque évaluateur pourra démarrer un fil de discussion en ligne. Tous les évaluateurs affectés à une même demande pourront voir les commentaires affichés. Une fois affichés, les commentaires ne pourront plus être supprimés ou modifiés par les évaluateurs.
  2. Les évaluateurs pourront afficher des commentaires destinés au personnel des IRSC. Par contre, les autres évaluateurs pourront voir ces commentaires.
  3. Un courriel sera envoyé chaque jour pour informer les évaluateurs de nouveaux messages affichés.
  4. Pendant la discussion, les évaluateurs pourront sentir le besoin de mettre à jour leurs cotes et évaluations préliminaires. Cela peut survenir n'importe quand, tant pendant qu'après la période de discussion. Comme elles sont mises à jour de façon dynamique, ces modifications seront visibles par les autres évaluateurs.
  5. Aucune transcription du contenu de la discussion en ligne ne sera donnée aux candidats. Toutefois, le contenu des discussions sera sauvegardé par les IRSC dans le dossier de la demande. Ce dossier est assujetti à la Loi sur l'accès à l'information et à la Loi sur la protection des renseignements personnels du gouvernement du Canada.

1.4 Présentation de la liste de classement finale aux IRSC

Une fois la discussion terminée, les évaluateurs devront finaliser leurs évaluations et leur liste de classement individuelle. À cette étape, les évaluateurs doivent départager les demandes ex æquo dans leur liste de classement individuelle. Cela fait, ils peuvent modifier l’ordre de classement des demandes qui leur sont confiées en déplaçant les demandes vers le haut ou vers le bas de la liste. Le classement original restera visible comme point de référence. Une fois satisfaits de l’ordre de classement des demandes qui leur sont confiées, les évaluateurs devront soumettre leurs listes de classement finales aux IRSC. Veuillez noter que les évaluateurs verront les listes de classement finales des autres évaluateurs. Le processus de sélection de l’étape 1 est maintenant terminé.

Lorsqu’ils auront reçu tous les classements, les IRSC produiront un classement combiné pour chaque demande et trieront les demandes par ordre décroissant. Chaque demande recevra jusqu’à un maximum de cinq évaluations, un classement par évaluateur, un classement combiné et un écart-type. Les IRSC détermineront quels candidats seront invités à soumettre une demande à l’étape 2 à partir du nombre de demandes, du classement combiné, de l’écart-type et des fonds disponibles pour le concours.

La figure 2 donne un aperçu du processus de sélection de l’étape 1.

Figure 2. Aperçu de l’étape 1

Évaluation préliminaire des demandes assignées

Les évaluateurs seront invités à fournir une cote pour chaque critère de sélection puis à justifier celle-ci en formulant des commentaires sur les forces et les faiblesses. Par souci d'uniformité, les évaluateurs doivent utiliser une échelle de sélection commune. Veuillez noter que nous avons intégré plusieurs niveaux aux descripteurs supérieurs de l'échelle pour permettre aux évaluateurs d'indiquer les différences subtiles entre les demandes de grande qualité.

Voici les critères de sélection :

Critère 1 : Calibre du candidat

  • Leadership (25 %)
  • Importance de la contribution (25 %)
  • Productivité (25 %)

Critère 2 – Vision et direction du programme (25 %)

Discussion en ligne

Une fois que les évaluations préliminaires auront été soumises, leur contenu (cotes et commentaires) sera accessible à l'ensemble des évaluateurs affectés aux mêmes demandes. Les évaluateurs pourront lire les évaluations préliminaires et discuter de chacune des demandes qui leur ont été assignées avec les autres évaluateurs affectés aux mêmes demandes. C'est l'occasion pour les évaluateurs de comparer leurs points de vue d'experts et de discuter des écarts entre les cotes dans un environnement virtuel.

Le président de concours ou le personnel des IRSC peut amorcer des discussions en cas d'écarts importants entre les cotes.

Une fois la discussion terminée pour chaque demande, on donnera aux évaluateurs l'occasion d'apporter des modifications à leurs évaluations au besoin. Ils pourront, par exemple, modifier leurs commentaires, changer leurs cotes et/ou leur classement.

Présentation de la liste de classement finale aux IRSC

Les demandes de chaque évaluateur seront classées en ordre décroissant selon les cotes qu'il leur aura attribuées.

À cette étape, certaines demandes pourraient arriver à égalité (c.-à-d. occuper le même rang). L'évaluateur devra alors briser l'égalité et faire passer une demande devant l'autre.

Lorsque l'évaluateur sera satisfait du classement des demandes, il le soumettra aux IRSC. Une fois qu'ils auront reçu les cotes pour toutes les demandes, les IRSC trieront les demandes en ordre décroissant.

Le nombre de demandes, le classement combiné, l'écart-type et les fonds disponibles pour le concours détermineront quels candidats seront invités à remplir une demande à l'étape 2.

Section 2 – Processus de sélection de l’étape 2

L’étape 2 porte sur la qualité du programme ainsi que sur la qualité de l’expertise, de l’expérience et des ressources et est distincte de la demande pour l’étape 1.

2.1 Évaluation préliminaire des demandes

Chaque demande sera attribuée à un maximum de cinq évaluateurs, en fonction du meilleur appariement possible entre le contenu de la demande et l’expertise de l’évaluateur. L’appariement et l’attribution se feront en fonction de la déclaration des évaluateurs quant à leur capacité d’évaluer ainsi qu’avec l’aide et sous la supervision des présidents de concours. Les évaluateurs accéderont aux demandes qui leur sont attribuées dans RechercheNet et procéderont aux évaluations à distance. Les évaluateurs de l’étape 2 n’auront pas accès aux documents et aux évaluations de l’étape 1.

La demande est structurée de façon à correspondre aux critères de sélection énoncés dans ce guide. Les évaluateurs doivent consulter la section Descripteurs et guide d’interprétation des critères de sélection de l’étape2 pour des orientations sur l’application des critères de sélection.

Les évaluateurs seront invités à fournir une cote et à justifier celle-ci en décrivant les forces et les faiblesses pour chaque sous-critère énoncé dans le tableau ci-dessous. Les champs servant à décrire les forces et les faiblesses dans RechercheNet sont obligatoires. Il est important de bien décrire les forces et les faiblesses, car elles serviront : 1) à fournir aux évaluateurs à l’étape finale une justification pour les cotes et le classement final accordés à chaque demande, 2) à offrir aux autres évaluateurs chargés de la demande une justification pour les cotes et le classement accordés à chaque demande et 3) à fournir de la rétroaction aux candidats.

Les évaluateurs doivent tenir compte du stade de la carrière, du domaine de recherche et de l’établissement des candidats lorsqu’ils évaluent chaque critère.

Par souci d’uniformité, les évaluateurs doivent utiliser une échelle de sélection commune. Veuillez noter que nous avons intégré plusieurs niveaux aux descripteurs supérieurs de l’échelle pour tenir compte du fait que de nombreuses demandes risquent de se retrouver dans chaque catégorie de l’échelle. Les évaluateurs sont invités à utiliser l’échelle au complet, et notamment les divers niveaux des descripteurs supérieurs, pour exprimer les différences à l’intérieur de ces catégories. L’échelle qui suit fournit les descripteurs et leurs définitions.

Descripteur Abréviation Définition

Remarquable

O++

Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de la plupart ou de la totalité des aspects pertinents. Il peut y avoir des lacunes minimes.

O+

O

Excellent

E++

Pour ce sous-critère, la demande fait preuve d'excellence à l'égard d'une bonne partie des aspects pertinents, et se révèle acceptable à l'égard de tous les autres. Des améliorations sont possibles.

E+

E

Bon

G

Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de quelques aspects pertinents et se révèle acceptable à l'égard de tous les autres. Des améliorations s'imposent.

Passable

F

Pour ce sous-critère, la demande traite de tous les aspects pertinents d'une manière générale. Des améliorations importantes s'imposent.

Médiocre

P

Pour ce sous-critère, la demande ne présente pas d'arguments suffisamment convaincants ou présente des lacunes ou des failles importantes.

À mesure que les évaluations sont terminées, RechercheNet génère automatiquement une liste de classement pour l’ensemble des demandes attribuées à chaque évaluateur selon un ordre descendant. Les évaluateurs peuvent modifier leurs cotes jusqu’à ce qu’ils soient satisfaits du classement. Toutefois, ils n’ont pas à départager les demandes ex aequo à cette étape du processus de sélection.

On demandera aussi aux évaluateurs de signaler dans RechercheNet les demandes préoccupantes par rapport aux points ci-dessous. Ces points ne doivent pas être considérés comme des critères de sélection, sauf s’ils ont un impact sur la qualité scientifique de la demande. Pour plus d’information sur la question, consultez l’Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains.

  1. Éthique et autres exigences stratégiques : La responsabilité de veiller à ce que toute la recherche réponde aux normes éthiques est déléguée à l’établissement local par les IRSC. Les IRSC n’exigent pas de formulaires d’éthique en tant que tels avec la demande. Toutefois, l’évaluateur peut signaler des aspects particuliers, comme l’utilisation de sujets humains, d’animaux, de tissus humains ou de matériels dangereux, ou la recherche qui semble supposer la participation de populations autochtones, s’il estime qu’ils n’ont pas été traités comme il se doit.
  2. Recherche sur les cellules souches pluripotentes humaines (RCSPH) : Les demandes qui prévoient l’utilisation de cellules souches humaines et qui seront financées seront également évaluées par le Comité de surveillance de la recherche sur les cellules souches (CSRCS). On demande aux candidats de cocher la case appropriée dans la section « Attestations de conformité », mais il est essentiel que cela soit vérifié par les évaluateurs. Si la case n’est pas cochée par le candidat et que le travail proposé utilise des cellules souches pluripotentes humaines, il est essentiel que les évaluateurs l’indiquent.

2.2 Descripteurs et guide d’interprétation des critères de sélection de l’étape 2

L’étape 2 porte sur la qualité du programme de recherche proposé, notamment l’idée de recherche, l’approche de recherche, l’expertise et l’acquisition de capacités, ainsi que l’environnement de soutien pour le programme de recherche proposé.

Les évaluateurs seront sélectionnés en fonction de leur expertise pour évaluer l’idée et l’approche de recherche pour chaque demande. Les candidats invités à soumettre une demande à l’étape 2 du concours de subventions Fondation ont été sélectionnés en fonction des réussites passées à la direction de programmes de recherche. Ils ont démontré qu’ils étaient capables de concevoir et de mettre en œuvre des méthodes et des techniques détaillées pour mener à bien des projets de recherche, tout en mobilisant et en obtenant l’expertise voulue pour apporter des contributions importantes. C’est pourquoi l’information fournie par les candidats pour répondre au programme de recherche proposé à l’étape 2 doit être générale et ne donnera pas de détails sur les projets spécifiques faisant partie du programme de recherche. Les subventions Fondation se veulent souples pour donner l’occasion aux directeurs de programme d’innover ou d’explorer de nouvelles pistes de recherche. Les évaluateurs seront sélectionnés en fonction de l’expertise déclarée dans le champ de recherche du candidat.

Les sections qui suivent décrivent plus en détail les sous-critères liés aux critères « Qualité du programme » et « Qualité de l’expertise, de l’expérience et des ressources ». On rappellera aux évaluateurs ce que les candidats étaient tenus de fournir dans la demande pour le sous-critère de même que les questions d’évaluation particulières définies pour chacun des sous-critères. Le tableau donne également un résumé des lignes directrices et des considérations pour l’interprétation de chaque sous-critère. Ces renseignements sont fournis à titre indicatif pour aider à l’évaluation de chaque section de la demande.

Étape 2 - Critère 1 : Qualité du programme

Sous-critères à évaluer dans le cadre de ce critère :

2.2.1 Idée de recherche (25 %)

Ce sous-critère vise à évaluer l’élément de recherche du programme et l’importance des résultats prévus.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra exposer clairement le programme de recherche proposé en présentant son but, ses objectifs et, à un niveau élevé, les éléments du programme de recherche, ainsi que les impacts potentiels à court et à long termes du programme proposé.
  • Éléments que les évaluateurs doivent prendre en compte
    • Les buts et les objectifs du programme proposé, sont-ils bien énoncés et bien définis?
    • Y a-t-il une cohérence conceptuelle dans le programme de recherche?
    • Les résultats potentiels du programme à court et à long termes sont-ils importants? Sont-ils susceptibles de faire avancer considérablement les connaissances liées à la santé ou leur application pour améliorer les soins de santé, les systèmes de santé ou les résultats sur le plan de la santé?
  • Guide d’interprétation
    • Le but et les objectifs du programme devraient être bien définis et appropriés, compte tenu de la nature et de la portée du programme de recherche. Il devrait y avoir une justification raisonnable et conceptuelle des éléments, fondée sur de la littérature pertinente ou des résultats antérieurs (le cas échéant).
    • Les éléments du programme de recherche (y compris tout élément pertinent de l’application des connaissances) devraient être alignés sur le but et les objectifs globaux du programme, et intégrer les éléments conceptuels.
    • L’importance et l’innovation du programme de recherche proposé devrait être évaluée en fonction d’autres recherches dans le domaine et du besoin relatif des extrants et des résultats du programme de recherche. Les évaluateurs doivent également mesurer l’importance des résultats prévus à court et à long terme, car elle est liée à la probabilité de faire avancer considérablement les connaissances en matière de santé, les approches/méthodologies, les soins de santé, le système de santé ou les résultats sur le plan de la santé.
  • Autres considérations (s’il y a lieu)
  • Considérations internationales
    Notons que les IRSC contribuent et apportent leur soutien à des projets de recherche et à des collaborations d’envergure internationale qui portent sur différents domaines de recherche, par exemple les questions touchant la recherche en santé mondiale, et au développement de la capacité de recherche en santé, à l’échelle internationale et nationale. Pour ces types de programmes, la démonstration de l’importance devrait consister avant tout à montrer que les composantes internationales cadrent avec les buts et les objectifs du programme de recherche et que la collaboration a le potentiel d’améliorer les résultats liés à la santé dans la grande communauté mondiale.

2.2.2 Approche de recherche (25 %)

Ce sous-critère vise à évaluer la qualité de l’approche du programme de recherche proposé.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra exposer clairement son programme de recherche (c.-à-d. comment il atteindra les objectifs du programme de recherche), notamment :
    • les problèmes potentiels de l’approche;
    • les stratégies d’atténuation qui seront employées pour résoudre ces problèmes;
    • la façon dont les progrès et la réussite du programme de recherche qu’ils proposent seront mesurés par rapport aux principales réalisations.

    Le candidat n’aura pas à expliquer dans le détail les méthodologies établies; cependant, il devra décrire les approches innovatrices de manière appropriée.

    Les subventions Fondation se veulent souples pour donner l’occasion aux directeurs de programme d’innover et d’explorer de nouvelles pistes de recherche. Le candidat n’aura pas à fournir un plan de recherche détaillé ni un plan de projet pour chacun des projets portant sur des thèmes connexes.

  • Éléments que les évaluateurs doivent prendre en compte
    • L’approche de la recherche convient-elle pour atteindre les objectifs du programme proposé?
    • L’approche prévoit-elle une certaine flexibilité d’orientation au fil de l’évolution du programme?
    • L’approche inclut-elle une description détaillée de la façon dont les progrès et la réussite seront mesurés?
    • L’approche comprend-elle un plan pour repérer les problèmes potentiels et appliquer les stratégies d’atténuation appropriées?
  • Guide d’interprétation
    • L’approche de recherche comprend un certain nombre d’éléments qui la soutiennent. Ces éléments doivent être bien planifiés et appropriés, et atteindre les objectifs du programme de recherche. Le candidat n’aura pas à fournir un plan de recherche détaillé ni un plan de projet pour chacun des projets portant sur des thèmes connexes.
    • L’approche doit :
      • être suffisamment souple pour explorer de nouvelles voies de recherche et,
      • permettre de maximiser les contributions grâce à une collaboration et à une application des connaissances appropriées.
    • Un plan approprié pour mesurer les progrès par rapport aux principaux jalons devrait être en place.
    • Un plan général pour relever et aborder les défis ou les risques fondamentaux liés aux éléments du programme en matière de recherche et d’application des connaissances doit être mis en place. Une liste exhaustive n’est pas requise.
  • Considérations
    Le caractère approprié des stratégies d’application des connaissances variera selon le domaine de recherche. Toutes les stratégies d’application des connaissances devraient être pertinentes au contexte du programme de recherche proposé.
  • Exigences obligatoires (le cas échéant)
    Les données probantes montrent que les différences biologiques, économiques et sociales entre les femmes et les hommes contribuent aux différences dans les risques liés à la santé, l’utilisation des services de santé, l’interaction avec le système de santé et les résultats sur le plan de la santé. Ainsi, tous les candidats des IRSC sont censés intégrer, lorsque c’est approprié, les considérations liées au genre et au sexe dans la conception de leur recherche, afin d’accroître la pertinence et l’application des résultats de la recherche en santé aux hommes et aux femmes.

Étape 2 – Critère 2 : Qualité de l’expertise, de l’expérience et des ressources

2.2.3 Expertise (20 %)

Ce sous-critère vise à évaluer l’expertise et l’expérience des directeurs de programme ainsi que des experts de programme proposés (voir la définition ci-dessous) pour atteindre collectivement les objectifs du programme proposé. Il incombe aux directeurs de programme de s’assurer que le programme de recherche proposé est voué à la réussite.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra présenter de façon générale l’expertise collective, l’expérience et les ressources réunies et expliquer en quoi elles sont appropriées pour assurer l’atteinte des objectifs du programme de recherche proposé. Il devra traiter notamment :
    • de l’expertise et de l’expérience (disciplinaire, professionnelle ou méthodologique) des directeurs de programme proposés, de même que de celles des experts de programme (chercheurs, techniciens, utilisateurs des connaissances, partenaires, patients, stagiaires, etc.);
    • du degré d’engagement (p. ex. temps consacré et contribution) des directeurs de programme, le cas échéant;
    • de l’engagement (en espèces ou en nature) de la part des utilisateurs des connaissances intéressés ou engagés et/ou partenaire candidat;
    • des rôles du directeur de programme et des experts de programme dans la surveillance et la gestion du programme de recherche;
    • d’un plan pour trouver de l’expertise (nouveaux experts de programme) basé sur les besoins futurs prévus du programme de recherche, puisque, selon les besoins du programme proposé, les IRSC s’attendent à ce que les experts de programme changent pendant la subvention.
  • Éléments que les évaluateurs doivent prendre en compte
    • Compte tenu des objectifs et de la portée du programme de recherche proposé, le candidat possède-t-il l’expertise appropriée et l’expérience pertinente pour diriger et gérer le programme?
    • La combinaison et le degré de participation ou d’engagement des principaux experts de programme et (s’il y a lieu) des partenaires candidats sont-ils appropriés?
  • Guide d’interprétation
    • Les rôles et les responsabilités des directeurs de programme doivent être clairement décrits et associés aux objectifs du programme de recherche et renvoyer au curriculum vitæ des directeurs de programme, au besoin. Veuillez prendre note qu’en cas d’interruption de carrière du directeur de programme, ce dernier peut inclure un document PDF expliquant les rôles et les responsabilités inclus dans son CVC.
      • On doit présenter un aperçu de l’autre groupe d’experts rassemblé pour entreprendre le programme de recherche (c.-à-d. les « experts de programme ») et un plan pour trouver de l’expertise (nouveaux experts de programme) basé sur les besoins futurs prévus du programme de recherche. Veuillez noter que les experts de programme ne soumettront pas de CV avec la demande de l’étape 2.
      • Le degré d’engagement (p. ex. temps consacré et contribution) des directeurs de programme devrait être approprié par rapport aux rôles et responsabilités décrits. La coordination des directeurs de programme et des experts de programme dans la surveillance et la gestion du programme de recherche devrait être clairement décrite. Il ne devrait pas y avoir de lacunes au niveau de l’expertise ou de la capacité de diriger et d’atteindre les objectifs du programme proposé.
    • Les directeurs de programmes devraient démontrer qu’ils sont capables de planifier l’avenir en obtenant des experts de programme désignés et/ou des partenaires candidats des engagements de temps (p. ex. participation au programme de recherche décrit), de ressources (p. ex. accès à de l’équipement) ou de fonds (en espèces ou en nature).
  • Considérations

    Pour toute approche concernant l’application des connaissances, le candidat devrait identifier les utilisateurs des connaissances pertinents. Dans certains cas, les utilisateurs des connaissances appropriés sont essentiels pour que le programme de recherche ait l’impact voulu et pour sa réussite; une approche intégrée de l’application des connaissances peut donc être pertinente. Une telle approche obligerait à s’engager à avoir une relation véritable avec les utilisateurs des connaissances en question. Les utilisateurs des connaissances peuvent être tenus responsables, et imputables, de l’application des résultats du programme.

    Il n’est pas impératif d’avoir un engagement (en espèces ou en nature) de la part des utilisateurs des connaissances intéressés ou engagés et/ou partenaire candidat, mais on peut raisonnablement s’y attendre compte tenu de la nature et du type d’utilisateur de connaissances. Dans certains cas, l’engagement financier peut soutenir une démarche essentielle en vue d’appliquer les résultats du programme.

2.2.4 Mentorat et formation (20 %)

Ce sous-critère vise à évaluer la qualité du plan de mentorat et de formation à partir de l’engagement démontré ou du niveau d’engagement du candidat à façonner l’avenir de ses étudiants, stagiaires, boursiers émergents, nouveaux chercheurs ou chercheurs en début de carrière, ainsi que d’autres personnes dans des domaines non universitaires liés à la santé.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra exposer un plan de mentorat et de formation décrivant :
    • les objectifs de formation, les occasions d’apprentissage et les principales activités;
    • des méthodes de mentorat/formation adaptées au domaine de recherche et au programme de recherche proposé;
    • les fondements de l’approche de formation proposée;
    • les problèmes potentiels du plan de mentorat et de formation, ainsi qu’une stratégie d’identification et d’atténuation de ces problèmes;
    • la façon dont les progrès et la réussite seront mesurés.
  • Éléments que les évaluateurs doivent prendre en compte
    • Le programme de recherche comporte-t-il un plan de mentorat et de formation détaillé visant à renforcer les capacités des étudiants, des stagiaires, des utilisateurs des connaissances, des boursiers émergents et/ou des nouveaux chercheurs ou chercheurs en début de carrière et à les mettre en position favorable pour mener des carrières en recherche fructueuses et/ou emprunter d’autres parcours professionnels dans des domaines non universitaires liés à la santé?
    • Par rapport au programme et au domaine de recherche, le plan proposé adopte-t-il une approche pertinente pour l’atteinte des objectifs?
    • Le plan comprend-il une stratégie pour cerner et atténuer les problèmes potentiels?
  • Guide d’interprétation
    • Un plan de mentorat et de formation exhaustif comprend une combinaison d’études et de méthodes informelles de mentorat et de formation. Le plan devrait être présenté d’une façon cohérente, et énoncer clairement les objectifs de formation, les occasions d’apprentissage et les principales activités. Les activités de mentorat et de formation devraient mettre l’accent sur :
      • le perfectionnement des compétences (p. ex. compétences techniques, méthodologiques, orales et écrites; enseignement; gestion des subventions; préparation des budgets; valeurs et éthique de la recherche; au besoin, gestion de laboratoire);
      • le perfectionnement professionnel (p. ex. préparation pour des carrières en recherche ou d’autres domaines non universitaires).
    • Le plan de mentorat et de formation devrait être adapté au domaine, au stade de la carrière du directeur de programme ainsi qu’à la nature et à la portée du programme de recherche et aux niveaux de formation particuliers (p. ex. étudiants de cycles supérieurs, stagiaires, boursiers émergents, nouveaux chercheurs ou chercheurs en début de carrière, ou professionnels de la santé). Les avantages des activités de formation et de mentorat pour le public cible devraient être clairs. Les directeurs de programme sont censés prendre part directement aux activités de mentorat et de formation.
    • La stratégie de gestion des risques pour la composante de mentorat et de formation du programme devrait décrire les défis potentiels que pose le fait de recruter, de retenir ou d’encadrer et de former des étudiants de cycles supérieurs, des stagiaires, des boursiers émergents, des nouveaux chercheurs ou chercheurs en début de carrière, ou des professionnels de la santé (le cas échéant). Un plan général approprié pour relever les défis potentiels liés à la composante de mentorat ou de formation du programme devrait être en place.
  • Considérations
    On accorde beaucoup d’importance aux activités et à la collaboration avec des personnes appartenant à des milieux non universitaires. Les professionnels non universitaires profitent des interactions et de l’accès aux ressources en recherche et à la formation sur l’utilisation de ces ressources. L’inverse est également vrai.

2.2.5 Qualité de l’environnement de soutien (10%)

Ce critère vise à déterminer si le candidat dispose de toutes les ressources voulues pour atteindre les objectifs du programme à court et à long terme.

  • Ce qu’on a demandé aux candidats de fournir
    Le candidat devra décrire les ressources dont il dispose actuellement afin d’atteindre pleinement les objectifs du programme de recherche, notamment :
    • l’infrastructure matérielle (et/ou d’autres types d’infrastructure, p. ex. les consortiums ou les réseaux de professionnels)
    • le personnel de soutien
    • l’équipement
    • les installations spécialisées
    • les fournitures
  • Éléments que les évaluateurs doivent prendre en compte
    • Les environnements décrits dans la demande permettront-ils de mener le programme de recherche proposé et de gérer et d’atteindre les objectifs et les principaux éléments de ce programme – p. ex. recherche, application des connaissances, mentorat/formation – en fournissant les infrastructures requises?
  • Guide d’interprétation
    • Selon la nature du programme, il peut être essentiel d’avoir accès à des milieux dans d’autres organisations pour atteindre les objectifs du programme. Les évaluateurs doivent tenir compte du fait que des cadres de soutien appropriés peuvent être trouvés au sein d’un établissement ou être créés grâce à des « réseaux » ou des plateformes en dehors de l’établissement d’accueil.
    Voici d’autres exemples d’environnements (liste non exhaustive) : hôpitaux, centres de soins de longue durée, centres expérimentaux (p. ex. Centre canadien de rayonnement synchrotron, Conseil Européen pour la Recherche Nucléaire (CERN), écoles, communautés autochtones, laboratoires de l’industrie, prisons, autorités ou lieux à l’étranger, communautés et bases de données spécialisées.

2.3 Évaluation du budget

Les évaluateurs devront examiner le budget demandé et la justification afférente. Les candidats seront priés de soumettre leur budget à l’aide d’un modèle modulaire, tenant compte des augmentations budgétaires. On fournira aux évaluateurs les montants du financement de base des candidats, financement calculé par les IRSC et soumis au préalable aux candidats, c’est-à-dire avant qu’ils ne présentent leur demande à l’étape 2.

Les contributions des partenaires (le cas échéant) doivent être prises en compte lors de l’examen du soutien du programme de recherche proposé. Ces contributions seront décrites dans les lettres d’appui et dans le module de budget du partenaire dans RechercheNet.

Veuillez noter que l’évaluation scientifique ne tiendra pas compte de l’évaluation du budget.

Pendant la discussion en ligne, les évaluateurs de l’étape 2 doivent débattre de leurs divergences en matière de recommandations budgétaires. Le président de concours peut communiquer avec les évaluateurs de l’étape 2 s’il doit obtenir des éclaircissements. Si un désaccord subsiste, le budget fera l’objet d’un rapprochement à la fin de l’étape finale de l’évaluation par le sous-comité du budget.

Recommandation budgétaire des évaluateurs de l’étape 2
La recommandation budgétaire et les commentaires écrits visent à aider les IRSC à établir les niveaux de financement appropriés aux programmes de recherche individuels.

  • Ce qu’on a demandé aux candidats de fournir

    Le candidat devra fournir des renseignements concernant le budget demandé pour soutenir la composante centrale du programme de recherche proposé, y compris les sommes totales et annuelles demandées.

    Le candidat devra démontrer que la somme demandée est appropriée pour soutenir la composante centrale du programme de recherche proposé compte tenu du contexte de leur financement de base. Toute somme supérieure au montant de base calculé devra être justifiée par le candidat.

  • Éléments que les évaluateurs doivent prendre en compte
    • Le budget demandé est-il approprié pour soutenir la composante centrale du programme de recherche proposé? Est-il réaliste et bien justifié dans le contexte du financement de base des candidats?
    • Si la demande est beaucoup plus élevée que les niveaux de financement antérieurs du candidat, est-ce que cela est bien justifié?
  • Guide d’interprétation
    • Une planification financière générale appropriée devrait être démontrée, et les ressources demandées et existantes devraient être adéquates pour soutenir financièrement toute l’étendue du programme de recherche. Le candidat doit justifier la pertinence de sa demande dans le contexte du programme de recherche proposé en donnant le total de leurs besoins financiers pour la durée de la subvention (5 ou 7 ans) et la somme pour chacune des catégories définies par les IRSC, accompagnés d’une courte justification. Aucune évaluation précise des postes dans la justification budgétaire n’est attendue ou exigée du candidat. En outre, aucune ventilation annuelle des fonds ne sera fournie.
    • Le candidat qui détient déjà du financement des IRSC doit justifier solidement toute demande qui dépasse de beaucoup ses niveaux de financement antérieurs.
      • Le candidat n’ayant jamais détenu de financement des IRSC doit justifier la pertinence de sa demande dans le contexte de son dossier de financement antérieur.
      • On ne s’attend pas nécessairement à ce que les nouveaux chercheurs/chercheurs en début de carrière justifient leur demande par rapport à leur financement antérieur (puisque cela pourrait ne pas suffire à financer le programme proposé). Ils auront droit à une certaine latitude pendant la mise en œuvre de leur programme.
      • Faire valoir que le financement des IRSC remplacera le financement d’autres sources (p. ex. organisme caritatif, organisme de financement provincial) n’est pas une justification acceptable.
  • Considérations
    Les évaluateurs sont invités à tenir compte du concept du programme proposé et à recommander, en la justifiant, l’affectation financière qui devrait convenir :
    • recommande le budget proposé comme décrit par le candidat ou les candidat(s) ;
    • recommande que le budget total proposé soit réduit de ________ $.

    On a fourni aux candidats le montant de leur financement de base (calculé par les IRSC) dans leur demande :

    • Pour ce qui est des candidats qui ont des antécédents de financement auprès des IRSC, ce montant est généré automatiquement en tenant compte de leurs antécédents de financement admissibles.
    • Les candidats qui n’ont pas d’antécédents de financement auprès des IRSC ont été informés de ce qu’ils doivent présenter pour le calcul de leur montant de base.

Pour de plus amples renseignements sur la façon de calculer le budget de base, reportez-vous à la section intitulée « Insérer l'information sur le budget » de la page Web Subvention Fondation – Présentation d’une demande à l’étape 2 et les Instructions sur le calcul du budget de base.

2.4 Discussion en ligne

Une fois que les évaluations préliminaires auront été soumises, toutes seront accessibles à l’ensemble des évaluateurs dans RechercheNet. Les évaluateurs pourront discuter de chacune des demandes qui leur ont été assignées avec les autres évaluateurs affectés aux mêmes demandes. Un outil de discussion en ligne a été mis au point pour permettre aux évaluateurs d’échanger afin de comparer leurs points de vue d’experts et discuter des divergences.

La discussion aura pour objectif de faire la lumière sur les divergences dans les évaluations et sur les recommandations budgétaires. Nul besoin d’arriver à un consensus durant la discussion scientifique. Par contre, si possible, on demande aux évaluateurs de parvenir à un consensus pour ce qui est des recommandations pour le budget proposé. Le nom de chaque évaluateur ainsi que son évaluation préliminaire (cotes, commentaires écrits, recommandation budgétaire et classement) seront affichés pour chaque demande. Si un des évaluateurs propose un changement au budget, cela doit faire l’objet d’une discussion. Si les divergences dans les évaluations sont limitées, la discussion peut ne pas être nécessaire.

La période de discussion sera de 72 heures. À chaque concours, tout sera mis en œuvre pour que les évaluateurs sachent bien à l’avance quand la période de discussion aura lieu. Les évaluateurs pourront se connecter n’importe quand durant la période de discussion et ne seront pas tenus de participer aux discussions en ligne simultanément.

Les évaluateurs affectés à une même demande pourront participer à la discussion aussitôt que toutes les évaluations de la demande seront soumises. La discussion débutera à la date prévue; il est donc important de respecter les échéances établies. Les évaluateurs qui n’auront pas soumis leur évaluation préliminaire à temps ne pourront pas participer à la discussion, et cela sera signalé dans leur statut en ligne.

Un président de concours sera affecté à chaque demande pour animer la discussion. Sa tâche consistera à s’assurer qu’une discussion a lieu, si nécessaire, et à inciter les évaluateurs à discuter d’une demande ou encore à revoir ou à pousser leur évaluation. Le personnel des IRSC pourra également lancer une discussion, ou fournir des commentaires au besoin pour assurer le respect des politiques et procédures des IRSC.

Une fois la discussion terminée pour chaque demande, on donnera aux évaluateurs l’occasion d’apporter des modifications à leurs évaluations au besoin. Ils pourront, par exemple, modifier leurs commentaires, changer leurs cotes et/ou leur classement.

Il convient de noter que :

  1. Chaque évaluateur pourra démarrer un fil de discussion en ligne. Tous les évaluateurs affectés à une même demande pourront voir les commentaires affichés. Une fois affichés, les commentaires ne pourront plus être supprimés ou modifiés par les évaluateurs.
  2. Les évaluateurs pourront afficher des commentaires destinés au personnel des IRSC. Les autres évaluateurs pourront voir ces commentaires.
  3. Un courriel sera envoyé chaque jour pour informer les évaluateurs des nouveaux messages affichés.
  4. Pendant la discussion, les évaluateurs pourront sentir le besoin de mettre à jour leurs cotes et évaluations préliminaires. Cela peut survenir n'importe quand, tant pendant qu'après la période de discussion. Comme elles sont mises à jour de façon dynamique, ces modifications seront visibles par les autres évaluateurs.
  5. Aucune transcription du contenu de la discussion en ligne ne sera donnée aux candidats. Toutefois, le contenu des discussions sera sauvegardé par les IRSC dans le dossier de la demande. Ce dossier est assujetti à la Loi sur l'accès à l'information et à la Loi sur la protection des renseignements personnels du gouvernement du Canada.

2.5 Présentation de la liste de classement finale aux IRSC

Une fois la discussion terminée, les évaluateurs devront finaliser leurs évaluations et leur liste de classement individuelle. À cette étape, les évaluateurs doivent départager les demandes ex æquo dans leur liste de classement individuelle. Cela fait, ils peuvent modifier l’ordre de classement des demandes qui leur sont assignées en déplaçant les demandes vers le haut ou vers le bas de la liste. Le classement original restera visible comme point de référence. Une fois satisfaits de l’ordre de classement des demandes qui leur sont attribuées, les évaluateurs devront soumettre leurs listes de classement finales aux IRSC. Veuillez noter que les évaluateurs verront les listes de classement finales des autres évaluateurs. Le processus de sélection de l’étape 2 est maintenant terminé.

Lorsqu’ils auront reçu tous les classements, les IRSC produiront un classement combiné pour chaque demande et trieront les demandes par ordre décroissant. À l’étape 2, chaque demande recevra jusqu’à un maximum de cinq évaluations, un classement combiné et un écart-type.

Les IRSC détermineront quelles demandes feront l’objet de discussions à l’étape finale de l’évaluation en se fondant sur le nombre de demandes, le classement combiné, l’écart-type et les fonds disponibles pour le concours. À partir des résultats de l’étape 2, les IRSC décideront des demandes à financer parmi celles qui se trouvent au haut du classement. Ces demandes, qui se trouvent dans la « zone verte », ne nécessiteront pas d’autres discussions.

Un deuxième ensemble de demandes passera à l’étape finale de l’évaluation, ce sont les demandes dans la « zone grise ». Il s’agit des demandes parmi les mieux classées, mais qui comportent un écart-type important en raison de divergences dans le classement des évaluateurs.

Les demandes au bas du classement seront rejetées et ne seront pas financées. Après l’étape finale de l’évaluation, tous les candidats recevront un avis de décision.

La figure 3 donne un aperçu du processus de sélection de l’étape 2.

Figure 3. Aperçu de l’étape 2

Évaluation préliminaire des demandes assignées

Les évaluateurs seront invités à fournir une cote pour chaque critère de sélection puis à justifier celle-ci en formulant des commentaires sur les forces et les faiblesses. Par souci d'uniformité, les évaluateurs doivent utiliser une échelle de sélection commune. Veuillez noter que nous avons intégré plusieurs niveaux aux descripteurs supérieurs de l'échelle pour permettre aux évaluateurs d'indiquer les différences subtiles entre les demandes de grande qualité.

Voici les critères de sélection :

Critère 1 : Qualité du programme

  • Idée de recherche (25 %)
  • Approche de la recherche (25 %)

Critère 2 : Qualité de l'expertise, de l'expérience et des ressources

  • Expertise (20 %)
  • Mentorat et formation (20 %)
  • Qualité de l'environnement de soutien (10 %)

Évaluation du budget

Les évaluateurs devront examiner le budget demandé et la justification afférente. On fournira aux évaluateurs certaines données historiques au sujet du financement antérieur accordé dans le cadre des programmes ouverts des IRSC. Les évaluateurs devront déterminer si le budget demandé est appropriée pour soutenir la composante centrale du programme de recherche proposé et s'il est réaliste et bien justifié.

La contribution du partenaire (le cas échéant) doit être prise en compte lors de l’examen du soutien du programme de recherche proposé.

Veuillez noter que l'évaluation scientifique ne tiendra pas compte de l'évaluation du budget. Les évaluateurs pourront recommander que le budget demandé reste inchangé ou qu'il soit rectifié en précisant le montant. Si le budget est rectifié par l'évaluateur, ce dernier devra fournir des commentaires pour appuyer ses recommandations.

Discussion en ligne

Une fois que les évaluations préliminaires auront été soumises, leur contenu (cotes et commentaires) sera accessible dans RechercheNet par l'ensemble des évaluateurs affectés aux mêmes demandes. Les évaluateurs pourront lire les évaluations préliminaires et discuter de chacune des demandes qui leur ont été assignées avec les autres évaluateurs affectés aux mêmes demandes. C'est l'occasion pour les évaluateurs de comparer leurs points de vue d'experts et de discuter des écarts entre les cotes dans un environnement virtuel.

Les évaluateurs devront débattre de leurs divergences en matière de recommandations budgétaires. Si un désaccord subsiste, le budget fera l'objet d'un rapprochement à la fin de l'étape 2. Ce rapprochement sera effectué par le personnel des IRSC et le président de concours. Ce dernier communiquera avec les évaluateurs de l'étape 2 s'il doit obtenir des éclaircissements.

Une fois la discussion terminée pour chaque demande, on donnera aux évaluateurs l'occasion d'apporter des modifications à leurs évaluations au besoin. Ils pourront, par exemple, modifier leurs commentaires, changer leurs cotes et/ou leur classement.

Présentation de la liste de classement finale aux IRSC

Les demandes de chaque évaluateur seront classées en ordre décroissant selon les cotes qu'il leur aura attribuées.

À cette étape, certaines demandes pourraient arriver à égalité (c.-à-d. occuper le même rang). L'évaluateur devra alors briser l'égalité et faire passer une demande devant l'autre.

Lorsque l'évaluateur sera satisfait du classement des demandes, il le soumettra aux IRSC. Une fois qu'ils auront reçu les cotes pour toutes les demandes, les IRSC trieront les demandes en ordre décroissant.

Le nombre de demandes, le classement combiné, l'écart-type et les fonds disponibles pour le concours détermineront quelles demandes feront l'objet de discussions à l’étape d’évaluation finale.

Section 3 – Processus de sélection de l’étape finale de l’évaluation

Les présidents de concours qui ont pris part à l’étape 2 seront invités à siéger à la réunion en personne du comité multidisciplinaire, laquelle couvre tous les domaines de recherche en santé. Ce comité, qui comprendra un président et un agent scientifique (AS), sera chargé d’intégrer les résultats des évaluations de l’étape 2 et de formuler des recommandations quant au financement des demandes situées dans la « zone grise ».

3.1 Activités préalables à la réunion

Avant la réunion en personne, on attribuera à chaque membre du comité un sous-ensemble de demandes, chacune des demandes étant assignée à trois membres du comité. Pour chaque demande, les membres du comité auront accès aux données de l’étape 2, dont les évaluations, les classements combinés, les écarts-types et la demande détaillée.

  • Classement combiné

    Le classement combiné (ou rang centile consolidé) représente la moyenne arithmétique (ou moyenne) des classements individuels de tous les évaluateurs pour une demande (c.-à-d. la somme des rangs centiles des évaluateurs divisée par le nombre d’évaluateurs), exprimée en rang centile. Autrement dit, le classement combiné représente la moyenne des classements individuels en rang centile de tous les évaluateurs pour une demande donnée.

    Les évaluateurs attribueront un classement exprimé en centile à chaque demande en fonction de l’ordre de classement de la liste de demandes qui leur sont attribuées. La demande classée au premier rang dans la liste de demandes d’un évaluateur obtient un rang centile de 100 %. Inversement, celle classée au dernier rang obtient 0 %.

  • Écart-type

    L’écart-type indique les divergences dans le classement des évaluateurs. Chaque évaluateur accorde un rang centile à chaque demande. Selon le nombre d’évaluateurs à qui une demande est attribuée, une demande peut obtenir 3, 4 ou 5 rangs centiles dont on tient compte dans le rang centile combiné.

    Pour mettre en contexte la moyenne (ou le rang centile combiné), il est important de fournir l’écart-type pour cet ensemble de données, une mesure statistique de la proximité des points de données par rapport à la moyenne. Si l’écart-type est calculé à 0, cela signifie que tous les points de données sont les mêmes (donc consensus complet des évaluateurs). Ainsi, plus l’écart-type est élevé, plus les points de données sont étalés sur une vaste gamme de valeurs.

On aura recours à un système de catégorisation pour aider les membres du comité à départager les demandes. Les évaluateurs devront classer les demandes dans la catégorie « Oui » (financer) ou dans la catégorie « Non » (ne pas financer). Un nombre minimum de demandes pouvant être classées dans les catégories « oui » et « non » sera alloué à chaque évaluateur. Ce nombre dépend de la disponibilité des fonds pour un concours donné. On demandera aux membres du comité de présenter leurs recommandations aux IRSC avant la réunion.

En fonction des recommandations (oui/non) faites par les évaluateurs dans le cadre des activités préalables à la réunion, les IRSC classeront toutes les demandes arrivées à l’étape finale de l’évaluation par ordre décroissant. Le principal critère de tri sera le nombre de « oui » reçus, et le critère secondaire se fondera sur les résultats de l’étape 2.

Le président du comité aura l’occasion de revoir les recommandations des membres du comité avant la réunion. Le personnel des IRSC préparera un calendrier pour la réunion en personne du comité en consultation avec le président et l’AS. Le processus est illustré à la figure 4.

Figure 4. Aperçu des activités préalables à la réunion

Un sous-ensemble de demandes est assigné à l'évaluateur.

L'évaluateur lira les évaluations de l'étape 2 pour les demandes qui lui sont assignées, et aussi les demandes détaillées de l’étape 2, au besoin.

En fonction des évaluations, l'évaluateur de l’étape d’évaluation finale devra choisir les demandes qui devraient être financées. Il indiquera ses choix en votant « oui » (financer) ou « non » (ne pas financer). Le nombre minimal de demandes pouvant être financées sera prédéterminé par les IRSC.

En fonction des recommandations (oui/non) faites par les évaluateurs dans le cadre des activités préalables à la réunion, les IRSC classeront les demandes de l’étape d’évaluation finale par ordre décroissant. Le principal critère de tri sera le nombre de « oui » reçus, et le critère secondaire se fondera sur les résultats de classement après l'étape 2.

3.2 Réunion en personne du comité

Le comité multidisciplinaire sera invité à formuler des recommandations au sujet des demandes dans la « zone grise » qui devraient être prises en compte pour du financement.

À la réunion, les évaluateurs verront les demandes de subvention classées en ordre décroissant selon une combinaison des recommandations de la réunion préalable (réponses « oui » ou « non ») et des résultats de l’étape 2. À la lumière de ces résultats, les IRSC répartiront les demandes dans trois groupes :

  1. Groupe A (les demandes que les membres du comité responsable recommandent de financer)
  2. Groupe B (les demandes qui feront l'objet de discussions à la réunion)
  3. Groupe C (les demandes que les membres du comité responsable recommandent de ne pas financer)

Le président du comité commencera la réunion en demandant aux membres du comité de valider les regroupements de demandes. Pour ce faire, le président du comité demandera aux membres du comité si l’un d’entre eux souhaite déplacer certaines demandes proposées pour le groupe A ou le groupe C dans le groupe B afin d’en discuter en comité. Lorsque le comité est satisfait des regroupements, les demandes du groupe A et du groupe C seront verrouillées et ne feront plus l’objet de discussions à la réunion.

Le président animera les discussions sur toutes les demandes du groupe B, et l’AS préparera les notes qui résumeront les points importants de chaque demande faisant l’objet de discussions.

Voici le processus qui sera utilisé pour chaque demande faisant l’objet de discussions :

  1. Si une demande place un membre de comité en situation de conflit d’intérêts, le membre sera invité à quitter la pièce.
  2. Le président invitera les trois évaluateurs de la demande à indiquer s’ils ont voté « oui » (financer) ou « non » (ne pas financer) durant les activités préalables à la réunion.
  3. Le président demandera au membre désigné qui était le président de concours à l'étape 2 de commencer la discussion puis aux membres ayant classé la même demande de poursuivre la discussion. Cette discussion portera sur les raisons ayant amené les membres à voter « oui » ou « non ».
  4. Les membres du comité qui ne sont pas chargés de la demande peuvent participer à la conversation en posant des questions et en donnant leur opinion ou des conseils, ou en offrant leur expertise pour clarifier les points de divergence.
  5. L’agent scientifique lira ses notes, qui représenteront les principaux éléments de la discussion, devant le comité, aux fins d’approbation.

Lorsque toutes les demandes du groupe B auront fait l’objet de discussions, les membres seront appelés à voter sur ces demandes. Les membres se verront attribuer un nombre maximum de votes « oui » (à financer) avant le début de la discussion. Ce maximum se fondera sur le nombre de demandes dans le groupe B et le seuil de financement estimatif.

Le président du comité passera en revue les demandes du groupe B une à une en appelant les membres à voter pour chacune de ces demandes. Les membres du comité voteront électroniquement par un « oui » ou un « non » pour chacune des demandes avec lesquelles ils ne sont pas en conflit d’intérêts. Le président et l’AS ne seront pas autorisés à voter.

Les membres des comités devront se conformer à la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche. Même si les membres du comité ne seront pas présents lors de la discussion sur les demandes avec lesquelles ils sont en situation de conflit, ils n’auront pas à quitter la pièce pendant le vote. Ils ne pourront pas voter pour les demandes où il y avait conflit.

Le comité clora ses travaux une fois que tous les membres se seront mis d’accord sur les demandes dont ils recommandent le financement. Ces recommandations seront résumées et présentées aux IRSC pour procéder à l’examen final des budgets et prendre les décisions de financement. Les candidats seront informés des résultats du concours une fois que le président des IRSC aura approuvé les subventions qui seront financées. Passée cette étape, tous les candidats recevront un avis de décision.

Un élément important de la réunion de tout comité d’évaluation par les pairs est l’évaluation finale de l’efficacité et du fonctionnement du comité, ainsi que des questions de politique qui peuvent avoir été soulevées au cours des délibérations. Cet échange est important puisqu’il permet au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus de sélection.

Les candidats, les administrateurs de la recherche et les évaluateurs devront remplir des sondages après chaque étape pour fournir de la rétroaction. La rétroaction obtenue pendant la discussion et au moyen des sondages contribueront à l’amélioration continue du Programme de subventions Fondation.

ANNEXES

Guide d’interprétation : Exemples d’indicateurs des critères de sélection Fondation

Durant la préparation du Guide d’interprétation des critères de sélection du Programme de subventions Fondation, les IRSC ont mené de nombreuses consultations auprès des chercheurs de tous les grands thèmes de recherche des IRSC. Des groupes de travail formés de représentants des différents thèmes ont dressé une liste d’exemples d’indicateurs pour chacun des critères de sélection qui suivent : leadership, grandes contributions et productivité.

Les indicateurs donnés ci-dessous sont fournis à titre d’exemple et ne forment absolument pas une liste exhaustive. Veuillez noter également ce qui suit :

  1. La liste donne une gamme d’exemples dans tous les grands thèmes de recherche des IRSC. De ce fait, une partie seulement des éléments de la liste sera applicable à chacun des candidats.
  2. La liste pourra être mise à jour pour tenir compte de la rétroaction du milieu de la recherche.
  3. Les évaluateurs seront choisis en fonction de leur expertise dans le domaine de recherche du candidat. Les IRSC comptent sur l’expertise des évaluateurs pour déterminer si le candidat a utilisé les indicateurs pertinents pour chacun des critères de sélection. Ils devront aussi tenir compte du stade de la carrière du candidat, du domaine de recherche et d’autres facteurs conceptuels pertinents.

Annexe A - Exemples d’indicateurs de leadership

  • Conseiller dans le cadre de collaborations interdisciplinaires ou interorganisationnelles
  • Expérience en rédaction
  • Innovation dans des domaines de recherche existants ou émergents
  • Directeur de recherche ayant un impact majeur
  • Responsable de collaborations, de sociétés ou d'associations provinciales, nationales et internationales, etc. à l'intérieur et en dehors du milieu de la recherche
  • Responsable d'initiatives de recherche ou d'application des connaissances dans la communauté
  • Nombre et type de prix, récompenses et distinctions (varient selon le domaine de recherche)
  • Nombre et type de rôles et de nominations à des postes de responsabilité (p. ex. premier conférencier, comité, groupe consultatif, réseau, témoin expert, conseiller pour des appels, etc.)
  • Nombre, type et valeur des subventions obtenues précédemment
  • Nombre et valeur des bourses salariales reçues
  • Participation à des comités d'évaluation par les pairs

Autres exemples possibles d’indicateurs spécifiques de démonstration précoce de compétences en leadership chez les nouveaux chercheurs ou les chercheurs en début de carrière :

  • Démonstration d’un profil d’innovation émergent (p. ex. développement de nouvelles méthodes de recherche);
  • Mise en candidature pour des prix, des titres honorifiques ou des distinctions;
  • Participation à des groupes consultatifs dans le cadre de collaborations interdisciplinaires ou interorganisationnelles;
  • Rôle déterminant dans des recherches importantes;
  • Grande participation au sein de comités importants, de collaborations, sociétés et associations locales, nationales, internationales, etc.

Remarque : D’autres indicateurs de leadership sont cités en exemple dans le Guide de présentation des demandes du Programme de bourses postdoctorales Banting, sous Importance des contributions démontrant le leadership, ainsi que dans le Guide à l’intention des comités de sélection du Programme de bourses d’études supérieures du Canada Vanier, sous Compétences en leadership (potentielles et manifestes).

Annexe B - Exemples d’indicateurs de contributions importantes

Remarque : Les types de contributions figurant dans la liste peuvent varier selon le domaine de recherche. Veuillez noter que, pour les demandes de l’étape 1, le candidat a été invité à décrire ses contributions en fonction des rubriques suivantes :

Contributions à l’avancement des connaissances (santé ou autres domaines)

  • Avancements importants sur le plan de la compréhension (p. ex. information sur les controverses, examen des hypothèses, avancement des théories éducatives, amélioration de la compréhension théorique dans la recherche intégrative);
  • Avancements considérables sur le plan des connaissances (p. ex. pathogénèse, différenciation cellulaire, voie biologique, imagerie médicale, évaluation des fonctions cognitives, interactions entre les gènes et l’environnement, obstacles à l’observance thérapeutique, synthèse);
  • Impact majeur sur un domaine de recherche actuel (p. ex. changements de paradigmes, remise en question de la pensée actuelle).

Et/ou

Contributions à la recherche (santé ou autres domaines)

  • Création de nouveaux secteurs de recherche
  • Élaboration de cadres ou de modèles théoriques
  • Mise au point de méthodes ou de techniques de recherche
  • Changement bénéfique durable dans les pratiques scientifiques (p. ex. considérations éthiques)
  • Impact des nouvelles approches en recherche (p. ex. approches multidisciplinaires, accent mis sur la recherche horizontale [ensemble du système], etc.)

Et/ou

Contributions à l’assise de recherche (santé ou autres domaines)

  • Nombre et types de stagiaires nationaux et internationaux ayant reçu du mentorat
  • Capacité accrue d’attirer des étudiants, des stagiaires et des boursiers émergents
  • Mise en œuvre ou adoption étendue d’approches novatrices pour le mentorat ou la formation
  • Succès professionnel des personnes encadrées et des stagiaires
  • Réussite des personnes encadrées et des stagiaires dans des milieux universitaires et non universitaires

Et/ou

Contributions au système de santé

  • Politiques (de santé ou autres) éclairées par des données probantes ayant un effet positif sur la santé
  • Gains d’efficacité attribuables à une meilleure répartition des ressources ou à de meilleures pratiques (p. ex. économies de coûts, réduction des temps d’attente)
  • Amélioration des données, de la gestion de l’information et de l’infrastructure en santé
  • Réduction des disparités en santé touchant une population particulière
  • Efficacité de services, de pratiques et de règlements nouveaux ou améliorés en santé
  • Amélioration des politiques de formation ou du système d’éducation des professionnels de la santé
  • Changements culturels, organisationnels ou pédagogiques ayant pour effet de rehausser le niveau de compétence des professionnels de la santé

Et/ou

Contributions aux soins de santé

  • Pratiques thérapeutiques éclairées par des données probantes
  • Programmes de promotion de la santé et de prévention des maladies éclairés par des données probantes
  • Traitements, thérapies, interventions ou approches de prise en charge thérapeutique éclairés par des données probantes
  • Technologies, outils, diagnostics et dispositifs médicaux conçus à partir de données probantes
  • Satisfaction accrue des patients
  • Réduction du fardeau des maladies

Et/ou

Contributions aux résultats sur la santé

  • Amélioration de l’état de santé ou de la qualité de vie de certaines populations
  • Résultats cliniques d’interventions de recherche en santé
  • Incidence et prévalence de maladies chroniques et aiguës
  • Changements culturels et comportementaux ayant des effets bénéfiques pour la santé
  • Sensibilisation et éducation en santé publique (documentaires, matériel pédagogique, films)
  • Démystification de certains mythes ou stéréotypes

Et/ou

Contributions aux possibilités économiques

  • Création d’occasions d’affaires
  • Création d’emplois issus d’entreprises dérivées ou de l’expansion d’entreprises existantes
  • Ventes ou recettes générées, ou droits de licence
  • Commercialisation de nouveaux produits, procédés ou services
  • Contrats de licence ou ententes de redevances

Annexe C - Exemples d’indicateurs de productivité

  • Publications, évaluées par les pairs ou autres (p. ex. thèses, articles de revues scientifiques, livres, chapitres de livres, rapports d'ateliers, rapports de synthèse, rapports pour diffusion, actes de conférences)
  • Collaborations ou réseaux
  • Produits ou ressources de communication et d'application des connaissances
  • Cadres de compétences (p. ex. professionnels de la santé)
  • Conférences et actes de conférences
  • Consultations
  • Bases de données et référentiels
  • Dispositifs (p. ex. dispositifs médicaux, robotiques)
  • Contributions de nature rédactionnelle
  • Demandes de propriété intellectuelle
  • Déclarations d'invention
  • Contrats de licence
  • Entrevues dans les médias (p. ex. télévision, radio, presse écrite)
  • Activités de réseautage (p. ex. ateliers)
  • Organisation de réunions
  • Brevets (demandés ou obtenus)
  • Mémoires sur des politiques
  • Présentations à des forums publics
  • Programmes de prévention ou d'intervention
  • Produits
  • Pratiques professionnelles
  • Programmes ou services
  • Prototypes
  • Ressources et outils d'information du public
  • Logiciels et matériel
  • Entreprises dérivées
  • Normes et lignes directrices
  • Systèmes
  • Théories, modèles ou cadres
  • Outils, techniques, instrumentation, procédures ou méthodes
  • Approches de formation ou programmes d'enseignement

Le processus de concours débute avec l’étape 1, où le candidat s’inscrit pour présenter ensuite une demande structurée. Les IRSC procèdent à une vérification de l’admissibilité puis au jumelage des demandes et des évaluateurs. Les évaluateurs déclarent leurs conflits d’intérêts et leur capacité d’évaluer un sous-ensemble de demandes. Les IRSC se chargent d’assigner les demandes aux évaluateurs, tandis que les présidents de concours approuvent les appariements. Ces derniers aident les IRSC à combler les lacunes en matière d’expertise en recommandant des évaluateurs supplémentaires au besoin. Les évaluateurs effectuent l’évaluation préliminaire des demandes qui leur sont assignées. Par l’entremise de la discussion en ligne, les présidents de concours surveillent le processus d’évaluation. Les évaluateurs procèdent ensuite à l’évaluation finale et à l’établissement de la liste de classement définitive des demandes qui leur sont confiées. Après avoir établi le classement combiné de toutes les demandes, les IRSC décident du sous-ensemble de demandes qui passera à l’étape 2.

Les candidats qui passent à l’étape 2 sont invités à présenter une demande structurée pour cette l’étape. Les IRSC fourniront un montant comme budget de base qui sera inclus dans la demande à l’étape 2. Cette mesure enclenche le même processus de concours que ci‑dessus. Les IRSC établissent de nouveau un classement combiné pour chaque demande. Ils dressent ensuite une liste de toutes les demandes au concours, de la mieux cotée (« zone verte ») à la moins bien cotée (« zone rouge ») pour déterminer lesquelles de la « zone grise » à l’étape 2 (c.‑à‑d. celles qui sont près du seuil de financement et dont l’évaluation varie grandement d’un évaluateur à l’autre) doivent faire l’objet d’une discussion à l’étape finale de l’évaluation (EFE ou étape 3). Le comité de l’EFE est composé des présidents de concours de l’étape 2.

Dans le cadre de l’EFE, avant la réunion en personne, les évaluateurs déclarent leurconflits d’intérêts et leur capacité d’évaluer un sous‑ensemble de demandes. Les évaluateurs à l’EFE ont ensuite accès à l’information relative aux demandes qui leur sont confiées, y compris les évaluations de l’étape 2, les classements combinés, les écarts‑types et les demandes détaillées. Ils ont recours à un système de catégorisation  des demandes qui consiste à les classer dans la catégorie « oui » (susceptibles d’être financées) ou « non » (non susceptibles d’être financées), et présentent leurs recommandations aux IRSC avant la réunion.

À la réunion en personne, le comité multidisciplinaire identifie, discute et vote les demandes de la « zone grise » (également dites du groupe B) dont il recommande le financement. Lorsqu’il existe encore un écart dans le budget, le sous‑comité du budget de Fondation procède à un rapprochement. Après l’étape finale de l’évaluation, les IRSC examinent les recommandations du comité de l’EFE et du sous‑comité du budget de Fondation pour prendre leurs décisions de financement définitives. Un avis de décision est fourni à tous les candidats.

Le processus d’évaluation par les pairs est illustré à la Figure 5.

Figure 5. Processus d’évaluation par les pairs du Programme de subventions Fondation

Date de modification :