Guide d’évaluation par les pairs des IRSC pour les demandes de bourse Des sciences aux affaires

Mise à jour : mars 2014

Table des matières

Annexe I : Séquence des étapes de l’évaluation par les pairs d’une demande de bourse Des sciences aux affaires


1. But du guide

Au nom des IRSC, nous vous remercions d’avoir accepté d’agir à titre d’évaluateur. Le succès du processus d’évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent guide a pour but d'exposer les rôles et les responsabilités des membres des comités d’évaluation par les pairs qui évaluent les demandes de bourse Des sciences aux affaires (SA2) et de définir les politiques et les procédures de l’évaluation par les pairs de ces demandes.

Le processus d’évaluation par les pairs est décrit en détail dans le présent guide, ainsi que dans le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC. Pour connaître les règles détaillées qui s’appliquent à tous les aspects des programmes de financement des IRSC, voir le Guide de subventions et bourses.

2. Principes de l’évaluation par les pairs

Les principes de l’évaluation par les pairs sont :

  • Éviter les conflits d’intérêts;
  • Respecter la confidentialité des demandes;
  • Respecter les échéances.

Consultez le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC pour obtenir plus de renseignements.

3. Membres du comité d’évaluation par les pairs pour les bourses Des sciences aux affaires

Les membres des comités sont choisis pour leur excellence comme chercheurs, attestée par leur capacité d’obtenir de façon continue des fonds de sources externes sur la base d’une évaluation par les pairs, ainsi que par l’étendue de leurs connaissances et la maturité de leur jugement. Pour plus d’information, consultez les Lignes directrices sur la composition des comités d’évaluation par les pairs. En tant que groupe, les comités doivent également couvrir l’éventail des domaines de recherche dont ils sont responsables, représenter comme il se doit le milieu canadien de la recherche en santé, effectuer des évaluations dans les deux langues officielles, et tenir compte de la logistique imposée par les conflits d’intérêts et le roulement des membres des comités. Pour plus d’information, consultez la Procédure de sélection des membres de comités d’évaluation par les pairs.

Pour obtenir de plus amples renseignements sur les pairs évaluateurs aux IRSC, consultez le Rôle des membres des comités d’évaluation par les pairs.

Des instructions détaillées à l’intention des membres des comités d’évaluation par les pairs se trouvent à la page Instructions aux membres des comités.

4. Évaluation des demandes de bourse Des sciences aux affaires

4.1 Critères d’évaluation

Les critères d’évaluation suivants seront utilisés :

  • Réalisations et activités du candidat

    • Évaluez la production du candidat en matière de publications par rapport à vos attentes pour quelqu’un qui possède une telle expérience universitaire. Considérez l’ampleur des sujets scientifiques traités, la fréquence des publications et l’impact scientifique des revues concernées. En évaluant l’apport du candidat aux publications, tenez compte du nombre de coauteurs de chaque article et de la proéminence du nom du candidat dans la liste des auteurs.
    • Évaluez les autres activités de recherche du candidat par rapport à vos attentes pour quelqu’un qui possède une telle expérience universitaire. Considérez l’ampleur des sujets scientifiques traités, l’importance des réunions concernées et le nombre de participants, la fréquence des communications à des conférences et les distinctions ou prix en recherche.
    • Considérez le genre de programme et de cours suivis, la charge de cours, les grades obtenus, le classement relatif (s’il y a lieu), la moyenne générale et la tendance (reconnaissez un rendement qui s’améliore constamment ou un bon rendement qui se maintient).
  • Caractéristiques et aptitudes du candidat

    • En utilisant les évaluations des répondants, en plus de votre évaluation de la demande, fournissez une note selon votre impression globale. Votre évaluation devrait tenir compte des éléments dans les lettres des répondants démontrant les caractéristiques et les aptitudes des candidats, telles que la pensée critique, l’autonomie, la persévérance, l’originalité, le sens de l’organisation, l’intérêt pour la découverte, les aptitudes pour la recherche et le leadership.
  • Expérience d’entrepreneuriat/capacité

    • Évaluez la capacité et l’expérience d’entrepreneuriat du candidat (dans le domaine des affaires, des politiques, de la gestion, de l’industrie, de la commercialisation ou de l’innovation), comme démontré dans sa demande, par rapport à vos attentes pour quelqu’un à cette étape de la vie professionnelle.
    • Évaluez la capacité manifeste du candidat d’atteindre les objectifs du programme Des sciences aux affaires, selon le lien entre le profil du candidat, le programme de MBA ciblé et ses objectifs de carrière.

Sommaire des critères d’évaluation et pondération :

Critères Pondération pour chaque critère
Réalisations et activités du candidat
Publications 25 %
Autres activités de recherche
Rendement universitaire
Caractéristiques et aptitudes du candidat :
Exemples :
  • Pensée critique
  • Autonomie
  • Persévérance
  • Originalité
  • Sens de l’organisation
  • Intérêt pour la découverte
  • Leadership
25 %
Expérience/capacité d’entrepreneuriat
Expérience d’entrepreneuriat 50 %
Capacité manifeste d’atteindre les objectifs du programme SA2
Total 100 %

Communiquez avec votre coordonnateur de comité pour obtenir de l’aide sur la façon d’appliquer les critères individuels.

4.2 Format du rapport des évaluateurs internes

Formulez de brefs commentaires soulignant les forces et les faiblesses à l’appui de votre cotation pour chaque critère de sélection. Les évaluations écrites serviront aussi à amorcer la discussion sur les demandes avec les autres évaluateurs. Elles fournissent aussi des remarques constructives au candidat pour l’aider à améliorer la qualité et l’efficacité de la formation proposée.

  • Privilégiez la simplicité;
  • Utilisez des descripteurs connus qui correspondront à votre évaluation;
  • Formulez des commentaires sur les forces et les faiblesses uniquement pour chacun des critères de sélection de la demande;
  • Fournissez une justification pour chaque sujet que vous présentez, y compris un contexte et une explication de vos commentaires, le cas échéant;
  • Exprimez le fond de votre pensée de façon claire et concise;
  • Utilisez un langage objectif et non incisif;
  • Évitez soigneusement toute formulation qui pourrait être considérée comme sarcastique, cavalière, arrogante ou inappropriée de quelque façon que ce soit.

Le candidat recevra l’évaluation telle qu’elle est présentée par l’évaluateur. Pour cette raison, veuillez éviter de vous identifier pour faire en sorte que le processus d'évaluation demeure confidentiel. De plus, le rapport doit exclure toute note ou cotation spécifique.

4.3 Cotation des demandes

Par souci d’uniformité, tous les évaluateurs doivent adhérer à une échelle commune. Il est particulièrement important d’utiliser toute l’échelle et d’appliquer les mêmes conventions pour attribuer les cotes. À cette fin, l’échelle et les descripteurs suivants doivent être utilisés :

Descripteur Intervalle Résultat
  1. Veuillez noter que seules les demandes cotées 3,5 et plus sont admissibles au financement des IRSC. L’intervalle de 3,0 à 3,4 devrait être utilisé pour les demandes qui, bien qu’elles soient bonnes, ne sont pas jugées comme étant une haute priorité de financement des IRSC. Les demandes cotées de 3,0 à 3,4 ne sont pas admissibles au financement des IRSC ni à celui des programmes de partenariat, et ces demandes pourraient ou non faire l’objet de discussions par le comité.
exceptionnel 4,5 - 4,9 Subventionnable –
fera l’objet de discussions par le comité
excellent 4,0 - 4,4
très bon 3,5 - 3,9
bon1 3,0 - 3,4 Non subventionnable –
pourrait ou non faire l’objet de discussions par le comité
moyen 2,0 - 2,9
sous la moyenne 1,0 - 1,9
inacceptable 0 - 0,9

5. Procédure d’évaluation des demandes de bourse Des sciences aux affaires

5.1 Avant la réunion

5.1.1 Attribution des demandes

Les membres du comité ont accès à des sections précises des demandes afin de déclarer tout conflit d’intérêts et d’indiquer leur niveau d’expertise sur RechercheNet. Ensuite, les présidents, les agents scientifiques ou le personnel des IRSC attribuent les demandes à trois évaluateurs internes. Tous les membres du comité ont alors accès aux demandes détaillées qui leur sont attribuées.

5.1.2 Évaluation des demandes

Les évaluateurs doivent remplir les tâches suivantes dans RechercheNet avant la tenue de la réunion :

  • télécharger les évaluations;
  • attribuer une cote initiale à chaque demande (à noter que les évaluateurs ne sont pas obligés de s’en tenir à cette cote initiale et qu’ils peuvent la changer à la réunion du comité).

5.2 Durant la réunion

Les responsabilités premières d’un comité d’évaluation par les pairs sont d’évaluer les demandes présentées et de les classer selon l’excellence à l’aide de l’échelle de cotation des IRSC. Consultez l’annexe I pour un résumé des procédures d’évaluation concernant la réunion d’évaluation par les pairs.

Les membres du comité qui sont en conflit d’intérêts relativement à une demande ne doivent pas participer à l’évaluation de cette demande (à la réunion en personne, les membres en conflit d’intérêts doivent sortir de la salle avant que la demande ne soit évaluée. Aux autres types de réunion, comme une téléconférence, d’autres ententes sont faites). Le président du comité et le personnel des IRSC ont la responsabilité de surveiller les conflits d’intérêts et de résoudre les cas douteux.

5.2.1 Rationalisation

L’évaluation des demandes de financement se fait en deux étapes : 1) une évaluation individuelle approfondie, et 2) une réunion du comité pour discuter des demandes et leur attribuer une cote, à partir de laquelle les IRSC produisent une liste prioritaire selon le rang pour prendre les décisions relatives au financement. Pour de nombreux programmes, moins du tiers des demandes sont financées; il est donc important que les comités centrent leurs discussions sur les demandes les plus concurrentielles pour faire en sorte qu’une liste de classement précise soit produite. C’est pourquoi un processus de rationalisation est utilisé pour éliminer les demandes non concurrentielles du processus de discussion, ce qui permet aux évaluateurs de consacrer plus de temps à juger et à classer les demandes qui pourraient être retenues et de s’assurer que les demandes les plus méritoires sont financées. Les candidats dont la proposition a été l’objet de rationalisation tirent tout de même parti du processus d’évaluation puisqu’ils reçoivent les évaluations écrites des évaluateurs désignés.

L’évaluation de chaque demande aux réunions des comités d’évaluation par les pairs commence par l’annonce de leurs cotes initiales à une décimale par les évaluateurs internes. Une demande est ensuite écartée par rationalisation si elle répond aux conditions suivantes :

  • s’il y a lieu, tous les évaluateurs ont placé la demande dans le groupe inférieur;
  • la moyenne des cotes initiales des évaluateurs internes est inférieure à 3,5;
  • les autres membres du comité ne s’opposent pas à ce que la demande ne soit pas évaluée plus en détail.

Nota

  1. Des normes différentes peuvent être appliquées dans d’autres programmes de financement afin de faire varier la durée totale de la discussion en fonction des objectifs stratégiques de chacun.
  2. Lorsqu’une demande ne fait pas l’objet d’une discussion, le candidat recevra une copie de toutes les évaluations internes (et externes, le cas échéant), et les notes de l’agent scientifique n’indiqueront que la décision de rationalisation. La cote n’est pas déterminée par le vote des membres du comité; elle est calculée en faisant la moyenne des cotes initiales attribuées par les évaluateurs internes.

5.2.2 Cotation des demandes

Si une demande n’est pas écartée par rationalisation, son évaluation se poursuit comme suit :

  • Le premier évaluateur présente son évaluation en indiquant les points forts et les points faibles de la proposition (voir section 4.1 pour les critères d’évaluation);
  • Le deuxième évaluateur s’attarde sur les points où il est en accord ou en désaccord avec le premier évaluateur; il discute aussi des points qui n’ont peut-être pas été abordés par celui-ci;
  • Le troisième évaluateur s’attarde sur les points qui n’ont pas été abordés par les évaluateurs précédents;
  • Le président dirige les échanges de tous les membres du comité sur la proposition;
  • L’agent scientifique relit ses notes, qui représentent les principaux éléments de la discussion à prendre en considération pour coter la demande;
  • Le président cherche à obtenir une « cote consensuelle » des trois évaluateurs internes. Les évaluateurs internes peuvent modifier leurs cotes initiales s’ils jugent qu’il y a lieu de le faire. S’il est impossible d’en arriver à un consensus, le président déclare une cote consensuelle. Habituellement, c’est le résultat de la valeur moyenne des cotes respectives révisées après discussion (arrondie vers le haut, si nécessaire, à une décimale près);
  • Tous les membres du comité, y compris les trois évaluateurs internes, mais à l’exclusion du président et de l’agent scientifique, attribuent ensuite par vote secret une cote qui ne s’éloigne pas de plus de 0,5 de la cote consensuelle. Les évaluateurs internes ne sont pas liés par la cote consensuelle. La cote attribuée à la demande correspond à la moyenne des cotes données par vote secret. On procède au vote même si la cote obtenue par consensus est inférieure à 3,5 (c.-à-d. dans la catégorie des demandes non subventionnables).

5.2.3 Durée

Le caractère approprié de la durée du financement est discuté (s’il y a lieu), après quoi des recommandations sont faites.

5.2.4 Points à signaler pour les demandes

Toute préoccupation en ce qui a trait aux points suivants devrait être abordée à la réunion et, au besoin, être portée à l’attention du personnel des IRSC. Ces points ne doivent pas être considérés comme des critères d’évaluation, sauf qu’ils peuvent avoir un impact sur la qualité scientifique de la demande. Pour connaître le détail des règles pertinentes, consultez le Guide de subventions et bourses.

  1. Admissibilité : Les évaluateurs devraient soulever tout doute quant au respect des critères d’admissibilité à du financement des IRSC par les candidats principaux et les établissements auxquels ils sont affiliés.
  2. Éthique : La responsabilité de voir à ce que toute la recherche réponde aux normes éthiques est déléguée à l’établissement local par les IRSC. Les IRSC n’exigent pas de formulaires d’éthique en tant que tels avec la demande. Toutefois, l’évaluateur peut signaler des aspects particuliers, comme l’utilisation de sujets humains, d’animaux, de tissus humains ou de matériels dangereux, ou la recherche qui semble supposer la participation de populations autochtones, s’il estime qu’ils n’ont pas été traités comme il se doit.

5.2.5 Évaluation à la fin de la réunion

Une fois que toutes les demandes ont été évaluées, si le comité d’évaluation par les pairs juge qu’une demande a été traitée de façon inconsistente, il est permis d’évaluer de nouveau une demande ou un petit nombre de demandes. Encore une fois, tout membre du comité ayant un conflit d’intérêts doit quitter la salle. Après la discussion, la cote consensuelle est établie par les évaluateurs internes, et le vote se poursuit comme précédemment. Le comité n’évalue pas les cotes globales de toutes les demandes à la fin de la réunion, puisque les personnes qui sont en conflit d’intérêts seraient inévitablement présentes.

Un élément important de la réunion de tout comité d’évaluation par les pairs est l’évaluation finale de l’efficacité et du fonctionnement du comité, ainsi que des questions de politique qui peuvent avoir été soulevées au cours des délibérations. Cet échange permet au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d’évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d’évaluation par les pairs efficace et de haute qualité.

5.3 Après la réunion

Les candidats sont informés des résultats du concours une fois que le conseil scientifique (CS) a approuvé les bourses de formation qui seront financées. Tous les candidats reçoivent un avis de décision, indiquant si leur demande a été approuvée ou non. Un avis de décision devrait normalement être communiqué dans les trois semaines suivant la réunion du CS. La liste des candidats dont la demande a été retenue est affichée sur la page Web Notifications de décisions de financement dès que possible.

Les demandes qui ont été signalées pour qu’on leur porte une attention particulière (voir section 5.2.4) sont « en suspens ». Le candidat sera informé si de plus amples renseignements sont requis. Les renseignements additionnels peuvent être revus par le personnel des IRSC, et les membres du comité d’évaluation par les pairs, au besoin, avant qu’une décision définitive au sujet du financement ne soit prise.

Annexe I : Séquence des étapes de l’évaluation par les pairs d’une demande de bourse Des sciences aux affaires

  1. Cotes initiales :

    Les membres qui se trouvent en conflit quittent la salle. Les évaluateurs internes annoncent leurs cotes initiales. Remarque : les cotes peuvent différer de celles qui ont été affichées auparavant sur RechercheNet.

  2. Rationalisation (facultative) :

    L’évaluation prend fin si les conditions suivantes sont remplies :

    1. la demande n’est pas jugée concurrentielle par les évaluateurs (classée dans le groupe inférieur)
    2. la moyenne des cotes accordées par les évaluateurs internes désignés est inférieure à 3,5
    3. les autres membres du comité ne s’y opposent pas

    Les membres du comité ne votent pas et aucun échange n’a lieu. La cote est la moyenne des cotes attribuées par les évaluateurs internes désignés. Aucune note d’agent scientifique ne sera prise.

  3. Évaluateurs internes :

    1. résumer la demande juste assez pour la présenter
    2. évaluer les forces et les faiblesses de la demande (en fonction des critères d’évaluation)
  4. La discussion du comité relative à la demande devrait être axée sur :

    1. les facteurs déterminants pour la cote
    2. les divergences de vues des évaluateurs
  5. L’agent scientifique communique les notes d’AS au comité :

    1. sommaire des discussions
    2. forces et faiblesses de la demande
  6. Cote consensuelle établie par les évaluateurs internes :

    1. utiliser toute l’échelle
    2. vérifier l’uniformité par rapport aux demandes antérieures

    S’il est impossible d’arriver à un consensus, le président déclare une cote consensuelle. Habituellement, c’est le résultat de la valeur moyenne des cotes respectives révisées après discussion.

  7. Cotes individuelles

    1. écart de ± 0,5 par rapport à la cote consensuelle
    2. les votes sont secrets
    3. les évaluateurs internes n’ont pas à s’en tenir à la cote consensuelle ni à leur cote initiale
  8. Durée de la bourse (s’il y a lieu)

  9. Points à signaler:

    1. Admissibilité
    2. Éthique
  10. L’agent scientifique lit les notes finales aux fins de révision, de modifications ou d’ajouts par le comité.