Mise en contexte : Présentation aux délégués universitaires

Juin 2013

Table des matières

  1. IRSC : Réforme des programmes ouverts et de l'évaluation par les pairs
  2. Mise en contexte
  3. Introduction
  4. Thèmes communs
  5. Pourquoi les IRSC apportent-ils des modifications aux programmes et au système d'évaluation par les pairs en même temps? – C'est beaucoup de changements simultanément, et c'est risqué.
  6. La recherche se fait de manière très différente d'un thème à l'autre. Pourquoi donc utilisez-vous les mêmes critères de sélection pour les quatre thèmes?
  7. Qu'entend-on réellement par « soutien accru de la part des établissements »?
  8. Comment garantirez-vous que les changements n'auront aucune répercussion négative sur l'un ou l'autre des thèmes?
  9. Qui est admissible au premier concours pilote du volet Fondation?
  10. Ma subvention vient à échéance pendant la période de transition. Il y aura donc une interruption dans mon financement. Quelles options s'offrent à moi?
  11. Pourquoi n'allez-vous organiser qu'un concours du POSF en 2014?
  12. Y aura-t-il suffisamment d'évaluateurs pour sélectionner les demandes par rapport aux nouveaux volets?
  13. Y aura-t-il suffisamment d'évaluateurs pour sélectionner les demandes par rapport aux nouveaux volets? (suite)
  14. Comment assurerez-vous la qualité des évaluations sans la tenue de réunions en personne?
  15. Comment intégrerez-vous les résultats de toutes les évaluations, et quel sera le fonctionnement des réunions en personne?
  16. Le CVC a été un fiasco. Comment les IRSC s'assureront-ils que la technologie en place peut soutenir les changements?
  17. J'ai demandé des changements précis à la conception et ils n'ont pas été faits. Pourquoi les IRSC ne nous écoutent-ils pas?

[Diapositive 1]

IRSC : Réforme des programmes ouverts et de l'évaluation par les pairs
Mise en contexte

Réunion en personne des délégués universitaires
27 juin 2013

[Diapositive 2]

Mise en contexte

[Diapositive 3]

  • Depuis la publication du document Concept d'avenir, une série de présentations et de discussions ont eu lieu.
    • Plus de 60 séances de discussion ouverte et rencontres avec les administrateurs des établissements
    • De nombreuses discussions avec des organisations professionnelles, d'autres bailleurs de fonds (p. ex. membres de l'Alliance nationale des organismes provinciaux de recherche en santé, organisations non gouvernementales) et des tables rondes nationales
    • De multiples séances de travail avec des groupes consultatifs :
      • Groupe de travail consultatif de chercheurs chevronnés
      • Groupe de travail en sciences humaines
      • Groupe consultatif en sciences naturelles et en génie
      • Groupe de travail de l'ACARU
  • Le débat a changé – l'accent est désormais mis davantage sur la transition et sur l'incidence qu'auront les changements sur les individus dans certaines circonstances.
  • Quelques thèmes communs sont ressortis des discussions...

[Diapositive 4]

Thèmes communs

  1. Pourquoi les IRSC apportent-ils des modifications aux programmes et au système d'évaluation par les pairs en même temps? – C'est beaucoup de changements simultanément, et c'est risqué.
  2. La recherche se fait de manière très différente d'un thème à l'autre. Pourquoi donc utilisez-vous les mêmes critères de sélection pour les quatre thèmes?
  3. Qu'entend-on réellement par « soutien accru de la part des établissements »?
  4. Comment garantirez-vous que les changements n'auront aucune répercussion négative sur l'un ou l'autre des thèmes?
  5. Qui est admissible au premier concours pilote du volet Fondation?
  6. Ma subvention vient à échéance pendant la période de transition. Il y aura donc une interruption dans mon financement. Quelles options s'offrent à moi?
  7. Pourquoi n'allez-vous organiser qu'un concours du POSF en 2014?
  8. Y aura-t-il suffisamment d'évaluateurs pour sélectionner les demandes par rapport aux nouveaux volets?
  9. Comment assurerez-vous la qualité des évaluations sans la tenue de réunions en personne?
  10. Comment intégrerez-vous les résultats de toutes les évaluations, et quel sera le fonctionnement des réunions en personne?
  11. Le CVC a été un fiasco. Comment les IRSC s'assureront-ils que la technologie en place peut soutenir les changements?
  12. J'ai demandé des changements précis à la conception et ils n'ont pas été faits. Pourquoi les IRSC ne nous écoutent-ils pas?

[Diapositive 5]

1. Pourquoi les IRSC apportent-ils des modifications aux programmes et au système d'évaluation par les pairs en même temps? – C'est beaucoup de changements simultanément, et c'est risqué.

  • Le conseil scientifique reconnaît pleinement les risques inhérents à la mise en œuvre de ces changements.
  • Nous avons longuement délibéré sur les avantages et les inconvénients d'apporter simultanément des modifications à la structure de nos programmes et aux processus dont nous nous servons pour les évaluer.
  • Après avoir écouté les leçons qu'ont tirées d'autres bailleurs de fonds dans le monde, et en nous appuyant sur notre propre expérience, nous croyons que, pour obtenir les avantages escomptés, il faut absolument concevoir et mettre en œuvre ces changements simultanément.
  • En fait, nous sommes d'avis que le risque est plus élevé si nous ne les effectuons pas au même moment – une erreur qu'ont commise de nombreux autres bailleurs de fonds au fil des ans.
  • Le plan de transition que nous avons élaboré fait partie de notre plan global d'atténuation des risques. Il comprend une série de concours pilotes, ce qui nous permet de mettre en place, de façon graduelle, la conception de plusieurs éléments.
  • Nous nous engageons à surveiller étroitement chaque étape du plan de transition et à effectuer les ajustements nécessaires pour favoriser la réussite.
  • Il est donc possible que nous devions maintenir les programmes actuels plus longtemps que prévu ou modifier les dates de lancement des nouveaux volets.

Nous approfondirons le sujet des concours pilotes à un point ultérieur de l'ordre du jour.

[Diapositive 6]

2. La recherche se fait de manière très différente d'un thème à l'autre. Pourquoi donc utilisez-vous les mêmes critères de sélection pour les quatre thèmes?

  • Au début du processus, le conseil scientifique croyait nécessaire d'adapter à chaque thème les critères de sélection et le contenu d'une demande des volets Fondation et Projet.
  • Après de nombreuses discussions avec des groupes consultatifs sur les critères de sélection et l'analyse de tous les programmes ouverts actuels, nous avons déterminé qu'il est préférable d'adopter les mêmes critères pour tous les thèmes.
  • Tous les thèmes accordent de l'importance aux aspects suivants :
    • la qualité et la faisabilité d'une idée dans le volet Projet;
    • le calibre du candidat et la qualité d'un programme dans le volet Fondation.
  • Dans le cadre d'une évaluation axée sur les demandes, chaque demande sera évaluée par un expert compétent, capable d'appliquer les normes et les mesures relatives à un domaine de recherche précis.
  • Des lignes directrices d'interprétation sont en cours d'élaboration pour chacun des critères. Elles visent à garantir que tous les évaluateurs ont la même compréhension des critères et qu'ils peuvent appliquer leurs connaissances de manière appropriée et uniforme.

Nous approfondirons le sujet des lignes directrices d'interprétation à un point ultérieur de l'ordre du jour.

[Diapositive 7]

3. Qu'entend-on réellement par « soutien accru de la part des établissements »?

  • Dans les documents conceptuels originaux, on émettait le souhait que les établissements s'engagent à soutenir davantage les titulaires de subventions retenus dans le cadre du volet Fondation.
  • On voyait là une occasion pour les IRSC et les établissements de travailler ensemble et de favorsier la réussite des programmes de recherche à long terme.
  • Aujourd'hui, lorsque les établissements signent une demande de subvention, ils s'engagent à fournir des infrastructures physiques, organisationnelles, politiques et procédurales pour la conduite de la recherche.
  • Cet engagement fait partie des conditions figurant dans les ententes conclues avec les établissements.
  • Après avoir discuté avec les administrateurs d'établissements de partout au pays, nous croyons maintenant qu'en signant la demande de subvention, l'établissement s'engage à fournir le soutien dont un titulaire de subvention du volet Fondation a besoin pour connaître du succès et que, par conséquent, aucun engagement supplémentaire n'est requis.
  • Nous continuerons à travailler étroitement avec les établissements afin de nous assurer qu'ils comprennent bien les objectifs du programme et les critères d'admissibilité, et qu'ils puissent ainsi garantir que les meilleurs candidats de leur établissement présentent des demandes.

[Diapositive 8]

4. Comment garantirez-vous que les changements n'auront aucune répercussion négative sur l'un ou l'autre des thèmes?

  • L'un des principaux indicateurs de réussite de ces nouveaux programmes réside dans l'élimination des obstacles systémiques. Autrement dit :
    • ans le cadre des volets Fondation et Projet, tous les types de recherche relevant du large mandat des IRSC sont admissibles au financement;
    • les IRSC continuent de financer l'excellence.
  • Le paysage du financement au Canada (et dans le monde) demeure concurrentiel – ce sera toujours aussi difficile d'obtenir du financement des IRSC.
  • Le conseil scientifique et le conseil d'administration ont débattu des avantages et des inconvénients de créer des enveloppes de financement particulières pour les thèmes.
  • Ils ont décidé que les programmes de recherche libre doivent être ouverts et sélectionnés en fonction de leur excellence.
  • Le volume de demandes et les taux de réussite de chacun des thèmes seront toutefois surveillés après chaque concours pour déterminer la nécessité éventuelle d'intervenir.

[Diapositive 9]

5. Qui est admissible au premier concours pilote du volet Fondation?

Un chercheur est admissible à un concours pilote du volet Fondation de l'automne 2014 s'il est le chercheur principal désigné ou le co-chercheur principal pour :

  • une subvention du POSF venant à échéance le 31 mars 2015;
  • une subvention du POSF venant à échéance le 30 septembre 2015;
  • toute autre subvention dans le cadre d'un programme ouvert dont la date de fin se situe entre le 1er octobre 2014 et le 30 septembre 2015 inclusivement, ce qui comprend les subventions pour les programmes Partenariats pour l'amélioration du système de santé, Synthèse des connaissances, Des connaissances à la pratique, Démonstration des principes (phases I et II) et Recherche en collaboration avec l'industrie, ainsi que les subventions du POSF ayant une date de fin inhabituelle.

Figure 1

Figure 1 : Descriptions détaillées

[Diapositive 10]

6. Ma subvention vient à échéance pendant la période de transition. Il y aura donc une interruption dans mon financement. Quelles options s'offrent à moi?

  • Les IRSC reconnaissent que le plan de transition entraînera une interruption dans le financement d'un certain nombre de chercheurs (environ 225 pendant la période de transition).
  • Pour que le plan de transition ne désavantage pas ces chercheurs, ceux-ci pourront :
    • présenter une demande anticipée au POSF, sans pénalité (les chercheurs dont la demande n'est pas retenue conservent leur subvention actuelle);
    • demander que l'on modifie la date de fin de leur subvention sans pour autant augmenter leur budget;
    • participer aux concours pilotes du volet Fondation.
  • Nous encourageons ces chercheurs à parler de leur situation avec leur établissement afin de connaître toutes les options possibles.

[Diapositive 11]

7. Pourquoi n'allez-vous organiser qu'un concours du POSF en 2014?

  • En 2014, les IRSC organiseront deux concours : un concours transitoire du POSF et le premier concours pilote du volet Fondation.
  • La décision de ne tenir qu'un seul concours du POSF a surtout été prise pour des raisons budgétaires (disponibilité des fonds non engagés).
  • L'enveloppe budgétaire pour ces deux concours est la même que celle qui financerait normalement deux concours du POSF.
  • Pour réussir à financer environ 250 subventions du volet Fondation, nous ne pouvons pas aussi en financer 800 du POSF.

[Diapositive 12]

8. Y aura-t-il suffisamment d'évaluateurs pour sélectionner les demandes par rapport aux nouveaux volets?

  • Les IRSC ont également analysé l'expertise à laquelle ils ont fait appel pour l'évaluation par les pairs au cours des cinq dernières années.
    • 5 873 personnes ont évalué au moins une demande dans les cinq dernières années.
    • Les IRSC recrutent environ 600 nouveaux évaluateurs par année pour répondre à leurs besoins courants, sans stratégie officielle de recrutement.
    • Seulement 10 % des évaluateurs des IRSC viennent de l'extérieur du Canada.
    • Les évaluateurs participant actuellement aux programmes ouverts sont généralement plus âgés que les groupes de titulaires de subvention et de candidats.

[Diapositive 13]

  • Les demandes attribuées aux évaluateurs concordent habituellement avec leurs thèmes et domaines de recherche principaux.

Figure 4

Figure 4 : Descriptions détaillées

[Diapositive 14]

9. Comment assurerez-vous la qualité des évaluations sans la tenue de réunions en personne?

  • La qualité des évaluations demeure au centre des préoccupations des IRSC.
  • Une vérification a actuellement lieu afin d'établir une base de référence pour la qualité des évaluations dans le POSF.
  • Les IRSC sont convaincus que les modifications proposées amélioreront la qualité globale des évaluations par les pairs. Cela dit, ils s'engagent à s'assurer que la qualité demeurera, au moins, aux mêmes niveaux, en la surveillant étroitement au fil du temps.
  • Un certain nombre d'éléments conceptuels du nouveau processus de sélection visent à améliorer la qualité des évaluations.
  • Demande structurée et critères d'évaluation
    • Les renseignements de la demande sont présentés de façon uniforme pour toutes les demandes.
    • La correspondance entre les renseignements de la demande et les critères de sélection est établie directement.
    • Les critères d'évaluation sont appliqués de manière uniforme et appropriée.
    • Le processus d'évaluation est plus transparent.
  • Évaluation axée sur les demandes
    • Permet d'éviter l'« imposition » de demandes à des comités permanents.
    • Permet d'affecter les experts appropriés à chacune des demandes.
    • Chaque demande reçoit cinq évaluations d'expert.
  • Présélection/évaluation à distance (virtuelle)
    • Facilite l'accès à de l'expertise, y compris à des experts internationaux.
    • Fournit un forum de discussion sur les écarts dans les classements (le nom, les classements et les commentaires des évaluateurs sont transmis aux autres évaluateurs).
    • Réduit la dynamique de groupe et la partialité culturelle au sein des comités.

[Diapositive 15]

10. Comment intégrerez-vous les résultats de toutes les évaluations, et quel sera le fonctionnement des réunions en personne?

  • Comme ils étaient toujours en cours d'élaboration, les aspects du processus de sélection n'étaient pas bien décrits dans le document Concept d'avenir.
  • Nous avons réfléchi davantage au processus général et avons tenu des discussions avec plusieurs groupes consultatifs.
  • Nous avons conçu un processus provisoire que nous affinerons et mettrons à l'essai dans les prochains mois.

Nous approfondirons le sujet du processus de sélection à un point ultérieur de l'ordre du jour.

[Diapositive 16]

11. Le CVC a été un fiasco. Comment les IRSC s'assureront-ils que la technologie en place peut soutenir les changements?

  • L'implantation du CVC s'est avérée difficile tant pour les chercheurs que pour les IRSC.
  • Cette expérience a entraîné une série de changements aux IRSC visant à répondre aux questions liées à l'implantation du CVC et de technologies à venir.
  • Parmi ces changements, mentionnons :
    • s'assurer que les utilisateurs participent à la définition et à la validation des exigences dès le début (p. ex. en travaillant sur les concours pilotes avec les présidents et les agents scientifiques);
    • effectuer une mise à l'essai approfondie par les utilisateurs avant le déploiement de toute nouvelle technologie;
    • veiller à fournir des formations et un soutien appropriés;
    • sonder les candidats et les évaluateurs pour connaître leur point de vue sur les changements;
    • assurer de manière solide la gestion des projets et la gouvernance, ainsi que l'atténuation des risques.
  • Chacun des concours pilotes nous permettra d'améliorer les processus et les technologies.
  • Les IRSC ont conclu un marché avec des experts externes afin que ces derniers évaluent les modifications supplémentaires requises en matière de technologie pour soutenir la mise en œuvre de la réforme.

[Diapositive 17]

12. J'ai demandé des changements précis à la conception et ils n'ont pas été faits. Pourquoi les IRSC ne nous écoutent-ils pas?

  • Au cours des deux dernières années, les IRSC ont entendu un vaste éventail d'intervenants.
  • Le groupe de travail sur les réformes et le conseil scientifique ont étudié minutieusement les commentaires reçus.
  • S'il y a une chose que ce processus nous a apprise, c'est bien que le milieu canadien de la recherche en santé ne parle pas d'une même voix : les opinions divergent énormément.
  • Les IRSC ont écouté attentivement et, grâce aux commentaires recueillis, ont modifié des éléments conceptuels.
  • Cependant, les changements proposés n'ont malheureusement pas tous été jugés appropriés ou faisables, et le conseil scientifique considère certains éléments conceptuels comme essentiels pour atteindre les résultats visés et assurer une mise en œuvre réussie.
Date de modification :