Instructions des IRSC à l'intention des évaluateurs internes : Évaluation non structurée

[ PDF (30,6 Ko) ]

Les évaluateurs internes sont des membres du comité qui assistent normalement en personne, mais parfois par téléconférence, à la réunion du comité d'évaluation par les pairs. Les demandes sont assignées à un minimum de deux évaluateurs internes pour être évaluées. Ils examinent en profondeur, et présentent un rapport écrit, qui est remis au candidat après la réunion du comité. Les évaluateurs internes présentent leur évaluation à la réunion du comité d'évaluation par les pairs et dirigent l'examen des demandes qui leur ont été confiées. Ils participent aussi aux délibérations relatives aux demandes devant le comité et à leur cotation quand ils ne sont pas en conflit d'intérêts.

Parfois, les évaluateurs internes se voient aussi confier d'autres demandes comme « lecteurs ». À ce titre, ils doivent seulement lire les demandes et n'ont pas à présenter de rapport écrit. Ils participent aux délibérations du comité et aident ce dernier à s'entendre sur une cote. Veuillez consulter les instructions des IRSC à l'intention des lecteurs.

  • Les évaluateurs internes doivent accepter de se conformer à la Politique sur la confidentialité et les conflits d'intérêts des IRSC en utilisant RechercheNet.
  • Il est possible de signaler les conflits d'intérêts relatifs aux demandes et le niveau d'expertise des évaluateurs au moyen de RechercheNet. Cette tâche doit être accomplie en temps opportun. Si vous jugez que vous n'avez pas suffisamment d'expertise en ce qui concerne un grand nombre de demandes, veuillez en discuter avec le coordonnateur de l'exécution des programmes dès que possible.
  • Les IRSC préconisent l'utilisation de RechercheNet comme principal outil pour évaluer les demandes. Si vous croyez qu'il ne vous est pas suffisant d'accéder aux demandes par RechercheNet et que vous devez utiliser une unité de stockage mobile, veuillez aviser votre coordonnateur, Exécution des programmes. Les copies papier des demandes ne sont plus distribuées.
  • Les demandes doivent être traitées comme de l'information protégée. Vous ne devez pas en divulguer le contenu à quiconque ni utiliser les renseignements qui y figurent pour un usage autre que l'évaluation par les pairs.
  • Il faut s'assurer que tous les documents utilisés par les membres du comité d'évaluation par les pairs sont manipulés avec soin et éliminés conformément au « Guide sur le traitement des documents utilisés dans le cadre de l'évaluation par les pairs ».
  • Il est essentiel de se familiariser avec les politiques et procédures des IRSC affichées sur les sites de RechercheNet et des IRSC. Il est aussi important de connaître les objectifs de la possibilité de financement (voir Trouver du financement).
  • Les évaluateurs internes produisent des rapports écrits, participent à la cotation des demandes et votent au cours de la réunion.

Rapports des évaluateurs internes

  • But : fournir une évaluation décisive de la demande et des commentaires constructifs au candidat basés sur les objectifs et les critères d'évaluation propres à la possibilité de financement.
  • L'évaluation doit être claire et concise, tenir idéalement sur deux ou trois pages, et fournir une rétroaction objective et constructive au candidat.
  • Le candidat recevra la version de l'évaluation que vous avez soumise. Vous ne devez pas y inclure votre cote ni votre nom, et vous ne devez pas y suggérer un autre comité d'évaluation par les pairs.
  • Pour les critères d'évaluation, veuillez consulter la possibilité de financement, le guide des évaluateurs, et/ou la section 7.2 du Guide d'évaluation par les pairs des IRSC pour les demandes de subventions, qui porte sur les critères d'évaluation.
  • Veuillez soumettre votre évaluation dans RechercheNet ou autrement si d'autres instructions vous ont été données, en tenant compte des échéances fixées pour ces demandes, habituellement une semaine avant la réunion du comité mais au plus tard à minuit le jour avant la réunion. En ce qui concerne la procédure à suivre dans RechercheNet, vous trouverez des instructions détaillées sur la page Effectuer des examens de ce système, sous « Familiarisez-vous avec la tâche « Effectuer des examens » des membres du comité ». Une fois la version finale de l'évaluation soumise, vous pourrez voir les évaluations soumises par d'autres évaluateurs internes, mais vous ne pourrez plus modifier votre évaluation avant la réunion. Si vous désirez apporter des modifications à votre évaluation, vous aurez une semaine suite à la conclusion de la réunion pour apporter les modifications directement sur RechercheNet.

Le rapport de l'évaluateur interne doit inclure :

  1. Un bref synopsis de la proposition :
    • l'objectif de la proposition;
    • l'hypothèse qui devra être vérifiée ou les questions de recherche auxquelles on devra répondre;
    • les objectifs à atteindre et l'approche prévue; et
    • les progrès réalisés à ce jour.
  2. Une évaluation de la proposition, selon les critères d'évaluation mentionnés dans les détails de la possibilité de financement :
    • considérer tous les facteurs et les forces ou les faiblesses des demandes par rapport à chaque critère;
    • tous les facteurs ne sont pas nécessairement importants pour chaque demande;
    • l'accent peut être mis sur des critères particuliers dans les détails de la possibilité de financement afin d'atteindre les objectifs du programme de financement; il faut en tenir compte dans l'attribution de la cote; et
    • centrer vos commentaires sur les facteurs les plus pertinents par rapport à votre cote.
  3. Au besoin, des commentaires sur le budget demandé et une recommandation officielle, y compris les raisons précises et détaillées de toute réduction de budget recommandée.
  4. Si nécessaire, des commentaires portant sur des points à signaler (voir le Guide d'évaluation par les pairs des IRSC pour les demandes de subventions). Ces facteurs ne doivent pas influencer la cote ni les recommandations budgétaires, à moins qu'ils n'aient une incidence certaine sur la valeur scientifique de la proposition de recherche.

Avant la réunion du comité, dans RechercheNet, vous devez soumettre :

  • les évaluations (évaluateurs internes seulement : les lecteurs ne soumettent pas d'évaluations);
  • la cote initiale (vous n'êtes pas lié par la cote initiale, et elle peut être changée à tout moment; et
  • votre évaluation de la qualité générale de la demande, s'il y a lieu.

À la réunion du comité (voir les annexes)

  1. Présentation des évaluations une fois que tous les membres en situation de conflits d'intérêts ont quitté la salle :
    • Avant la présentation des évaluations, les deux évaluateurs internes révèlent leur cote initiale et, s'il y a lieu, leur évaluation personnelle de la qualité générale de la demande (qui sert à la division des demandes en un groupe « supérieur » et un groupe « inférieur »), afin de déterminer si la demande ne devrait pas être l'objet du processus de rationalisation;
    • Ne présentez pas tout le rapport au comité; exposez plutôt les points importants et fournissez des détails au cours de la discussion si nécessaire;
    • Le premier évaluateur lit un bref synopsis de la proposition suivi de l'analyse des forces et des faiblesses de la proposition basée sur les critères d'évaluation propres à la possibilité de financement. Il commente également toute question à signaler; et
    • Ensuite, le second évaluateur s'attarde sur les points où il est en accord et en désaccord, il discute aussi des points qui n'ont pas été abordés par le premier évaluateur. Le second évaluateur ne lit pas son synopsis de la proposition.
  2. Cotation des demandes :
    • Après que le lecteur a communiqué toute information supplémentaire et que tous les membres du comité ont terminé la discussion portant sur la demande, le président demande aux deux évaluateurs internes leur cote consensuelle. Les évaluateurs internes peuvent revoir leur cote initiale s'ils jugent cela opportun. S'il est impossible d'en arriver à un consensus, le président déclare une cote consensuelle. Habituellement, c'est le résultat de la valeur moyenne des cotes révisées des deux évaluateurs internes après discussion (arrondie, si nécessaire, à une décimale près); et
    • Tous les membres du comité, y compris les deux évaluateurs internes, mais à l'exclusion du président et de l'agent scientifique, attribuent ensuite par vote secret une cote qui ne s'éloigne pas de plus de ±0,5 de la cote consensuelle. Les évaluateurs internes ne sont pas liés par la cote consensuelle. La cote attribuée à la demande correspond à la moyenne des cotes données par vote secret.

À la fin de la réunion du comité

  1. Participer à la ré-évaluation par le comité d'une ou d'un petit nombre de demandes si le comité est d'avis que le traitement de ces demandes n'est pas conforme.
  2. Fournir une rétroaction au personnel des IRSC concernant l'efficacité et le fonctionnement du comité et discuter des questions stratégiques.