Évaluation du Programme ouvert de subventions de fonctionnement – rapport final 2012

Remerciements

Un grand merci à tous les participants à cette évaluation : les répondants au sondage, les participants aux entrevues et aux études de cas, les membres passés et actuels du sous-comité sur la mesure du rendement, la direction des IRSC, des instituts, du POSF, des Finances et des SGITA, ainsi que les membres du groupe de travail sur l'évaluation. Merci également au Conseil national de recherches du Canada pour la photo de la page couverture.

Voici l'équipe d'évaluation du POSF :

David Peckham, M.Sc.; Kwadwo (Nana) Bosompra, Ph.D.; Christopher Manuel, M.Ed.

Instituts de recherche en santé du Canada
160, rue Elgin, 9e étage
Indice de l'adresse : 4809A
Ottawa (Ontario) K1A 0W9
www.irsc-cihr.gc.ca


Table des matières

Résumé

La présente évaluation du Programme ouvert de subventions de fonctionnement (POSF) survient au moment où les IRSC proposent des changements à leur série de programmes ouverts et des améliorations à leur système d'évaluation par les pairs. Elle se concentrera donc sur le rendement du POSF actuel et sur les conclusions pouvant servir à la réforme des programmes ouverts des IRSC.

Sous sa forme actuelle, le POSF a atteint ses principaux objectifs. Les résultats de la présente évaluation démontrent comment le programme a appuyé la recherche de grande qualité et contribué à la création et à la dissémination de connaissances liées à la santé.

Par contre, le contexte de recherche en santé dans lequel s'inscrit le POSF a évolué depuis la création du programme, ce qui a entraîné une remise en question de l'efficacité du modèle actuel à financer l'excellence dans tous les domaines relevant du mandat des IRSC. Les résultats de la présente évaluation mettent en évidence des possibilités d'amélioration de la conception et du rapport coût-efficacité de l'exécution du programme. La mise en œuvre de ces changements devrait outiller la série de programmes ouverts des IRSC pour qu'elle réponde aux besoins actuels et futurs.

Constatations principales

Recommandations

Les résultats de la présente évaluation viennent confirmer que le financement ouvert et large représente un moyen valable et rigoureux d'appuyer la recherche, et que le POSF favorise l'excellence en recherche et devrait être reconduit. Les recommandations suivantes visent à améliorer la conception et le rapport coût-efficacité de l'exécution du programme :

  1. Faire en sorte que les prochains modèles des programmes ouverts optimisent l'utilisation du temps des pairs évaluateurs et des candidats, par exemple en ce qui concerne la conception du système d'évaluation par les pairs et la quantité de renseignements à fournir par les candidats.
  2. Faire en sorte que les prochains modèles des programmes ouverts tiennent compte des habitudes dans les quatre thèmes quant à la présentation de demandes, à l'évaluation par des pairs et au renouvellement.
  3. Effectuer des analyses plus poussées afin de bien comprendre l'impact potentiel des modifications du système d'évaluation par les pairs. L'étude de formules d'évaluation par les pairs à l'aide de modèles expérimentaux produirait des preuves solides.
  4. Créer des indicateurs de réussite pour les prochains programmes ouverts et faire en sorte que ceux-ci soient pertinents pour les différents milieux de la recherche en santé des IRSC.

Réponse de la direction

Recommandation Réponse
(acceptée ou refusée)
Plan d'action de la direction Responsabilité Échéancier
1. Faire en sorte que les prochains modèles des programmes ouverts optimisent l'utilisation du temps des pairs évaluateurs et des candidats, par exemple en ce qui concerne la conception du système d'évaluation par les pairs et la quantité de renseignements à fournir par les candidats. Acceptée Acceptée et en cours. L'exercice actuel visant la réforme des programmes ouverts comprend une révision complète des renseignements à fournir dans les demandes en fonction des besoins de l'évaluation par les pairs ou des données analytiques, dans le but de réduire le nombre de renseignements exigés dans les demandes et de les harmoniser aux critères applicables d'une restructuration des processus d'évaluation par les pairs. L'objectif est de réduire le temps par demande à l'étape de l'évaluation par les pairs. Les indicateurs de rendement suggérés dans la quatrième recommandation ci-dessous rendront compte de cette optimisation de l'utilisation du temps consacré à l'évaluation par les pairs (par demande). Jane Aubin La restructuration initiale de l'évaluation par les pairs et des processus de présentation des demandes sera terminée d'ici la fin de l'exercice 2012-2013; elle sera ensuite mise à l'essai, puis déployée d'ici l'hiver 2013.
2. Faire en sorte que les prochains modèles des programmes ouverts tiennent compte des habitudes des divers milieux quant à la présentation de demandes, à l'évaluation par des pairs et au renouvellement. Acceptée Acceptée et en cours. L'un des objectifs des réformes des programmes ouverts est de saisir l'excellence dans les différents milieux de la recherche. Des données sur la façon propre à chaque milieu d'évaluer l'excellence ont été recueillies; elles sont en cours d'intégration dans le processus de restructuration de l'évaluation. Les réformes des concours ouverts visent aussi à améliorer l'accessibilité des prochaines possibilités de financement, en ce qui concerne l'aspect technique et le contenu, pour tous les domaines et tous les types de recherche en santé. Jane Aubin La restructuration initiale de l'évaluation par les pairs et des processus de présentation des demandes sera terminée d'ici la fin de l'exercice 2012-2013; elle sera ensuite mise à l'essai, puis déployée d'ici l'hiver 2013.
3. Effectuer des analyses plus poussées afin de bien comprendre l'impact potentiel des modifications du système d'évaluation par les pairs. L'étude de formules d'évaluation par les pairs à l'aide de modèles expérimentaux produirait des preuves solides. Acceptée Acceptée et en cours. Un plan de recherche est associé au plan de transition et de mise en œuvre des réformes des programmes ouverts. Il comprend la réalisation de plusieurs études rétrospectives à court et à long terme ciblant différents aspects de l'évaluation par les pairs. Bien qu'il ne soit pas certain que des modèles expérimentaux exhaustifs puissent servir à l'étude de ces aspects sans mettre en jeu l'intégrité d'un concours, la direction fera tout en son pouvoir pour aider le groupe d'évaluation à obtenir des résultats valides. La direction a l'intention d'apporter le moins de changements possible au nouveau système d'évaluation par les pairs de la série de programmes ouverts une fois qu'il sera mis en place, mais elle effectuera des recherches continues sur la qualité des évaluations à l'aide des paramètres de rendement suggérés dans la quatrième recommandation ci-dessous. Jane Aubin Les paramètres et le plan de recherche seront établis d'ici la fin de l'exercice 2012-2013. La mise en œuvre du plan de recherche se fera en continu.
4. Créer des indicateurs de réussite pour les prochains programmes ouverts et faire en sorte que ceux-ci soient pertinents pour les différents milieux de la recherche en santé des IRSC. Acceptée Acceptée. Les indicateurs de rendement et un système de collecte et d'analyse sont en cours d'élaboration dans le cadre du plan de recherche mentionné précédemment. Jane Aubin Les paramètres et le plan de recherche seront établis d'ici la fin de l'exercice 2012-2013. La mise en œuvre du plan de recherche se fera en continu.

Objectifs de l'évaluation, constatations principales et conclusions

Objectifs de l'évaluation

La présente évaluation vise à déterminer dans quelle mesure le Programme ouvert de subventions de fonctionnement a atteint les résultats attendus en ce qui a trait à ses objectifs principaux : la création, la dissémination et l'utilisation des connaissances liées à la santé, ainsi que le développement et la préservation de la capacité de recherche dans tous les domaines de la recherche en santé au Canada.

Elle vise également à satisfaire aux exigences du Secrétariat du Conseil du Trésor (SCT) contenues dans la Politique sur l'évaluation de 2009 et la Directive sur la fonction d'évaluation1. Elle se penche donc sur des questions fondamentales précises de l'évaluation de la pertinence et du rendement des programmes, comme énoncé dans la série de politiques du SCT2.

Conformément aux politiques du SCT et aux pratiques exemplaires reconnues en évaluation, une gamme de méthodes utilisant des données quantitatives et qualitatives a été employée afin d'effectuer une triangulation des résultats.

Constatations principales

Création de connaissances

Conception et exécution du programme

Application des connaissances

Développement de la capacité

Pertinence du programme

Les données de l'évaluation reflètent le besoin de maintenir le POSF et la conformité du programme aux priorités du gouvernement fédéral et des IRSC, ainsi qu'aux rôles et responsabilités du gouvernement fédéral.

Conclusions

Création de connaissances

Questions d'évaluation

Introduction

La création de connaissances est un élément essentiel de la théorie du Programme ouvert de subventions de fonctionnement. Ce dernier permet aux chercheurs des différents domaines de la recherche en santé de soumettre une demande présentant leurs meilleures idées qui, si elles sont financées, pourraient engendrer tout un éventail de résultats de recherche, des publications aux brevets.

Bien sûr, il n'existe pas une seule « bonne façon » de mesurer la création de connaissances associée aux programmes de financement de la recherche. L'analyse bibliométrique est une approche souvent utilisée : les articles universitaires publiés dans des revues à grand tirage facilitent l'accès aux découvertes et aux avancées scinetifiques les plus récentes, et on les considère comme l'un des types de résultats les plus tangibles en recherche universitaire (Goudin, 2005; Larivière et coll., 2006; Moed, 2005; CRSNG, 2007). L'analyse bibliométrique de ces publications sert entre autres à mesurer le nombre d'articles publiés par un chercheur et la fréquence relative à laquelle ils sont cités, ce qui permmet d'en estimer l'impact scientifique. Dans la présente évaluation, la moyenne des citations relatives (MCR) sert de mesure de l'« impact scientifique »3.

Toutefois, les critiques de l'analyse bibliométrique affirment que l'évaluation de la qualité d'une publication d'après les citations peut induire en erreur et que les pratiques en matière de citation diffèrent d'une discipline à l'autre, et même parfois entre les sous-domaines d'une même discipline (Ismail et coll., 2009). Cette préoccupation est particulièrement importante pour les IRSC et le POSF, dont le mandat est de financer la recherche en santé dans tous les domaines, notamment des disciplines pour lesquelles la publication de livres ou de chapitres de livres est un indicateur plus utile et plus exact de la création de connaissances. Compte tenu de cet élément, la présente évaluation tient également compte d'autres types de résultats pour estimer la création de connaissances découlant du programme. Elle présente également des études de cas de recherches à impact très élevé découlant du financement du POSF.

Il convient de souligner que les analyses bibliométriques du présent rapport sont fondées sur les données des publications générées par les chercheurs du POSF au moment où ils bénéficiaient de ces subventions. Bien que cette méthode soit couramment acceptée en raison de la supposition que ces subventions contribuent grandement aux résultats de recherche (p. ex. Campbell et coll., 2010), il est impossible d'établir hors de tout doute un lien entre les subventions et les données bibliométriques sur les publications. Ce type d'analyse devrait être disponible pour les prochaines évaluations grâce au développement du Système de rapport sur la recherche des IRSC, dans le cadre duquel les chercheurs dressent une liste des publications découlant de leur subvention, qui peuvent ensuite être directement reliées aux données bibliométriques.

Les publications des chercheurs appuyés par le POSF ont-elles eu un impact scientifique plus grand que celles des chercheurs en santé du Canada et des autres pays de l'OCDE?

Comme le montre la figure 1-1, les publications des chercheurs financés par le POSF pendant qu'ils bénéficiaient d'une subvention du programme ont un impact scientifique plus élevé (d'après la MCR) que la moyenne des chercheurs canadiens en santé. L'analyse révèle également que pour la période 2001-2009, les articles dont les auteurs étaient financés par le POSF ont été cités plus souvent que les articles de recherche en santé des autres pays comparables de l'Organisation de coopération et de développement économiques, ou OCDE (figure 1-1).

Figure 1-1 : Impact des articles publiés par des chercheurs financés par le POSF par rapport aux données sur la recherche en santé de l'OCDE (2001-2009)

Description détaillée de la figure 1-1

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Soulignons que la moyenne globale des citations relatives au Canada comprend tous les chercheurs en santé du pays, y compris ceux qui sont financés par le POSF. Les comparateurs de l'OCDE tiennent compte de tous les chercheurs d'un pays, et non d'organismes ou de programmes de financement individuels. Compte tenu des différences entre les mandats de financement de la recherche en santé d'organismes comme les National Institutes of Health des États-Unis ou les conseils de recherches médicales du Royaume-Uni ou de l'Australie, une comparaison directe entre les organismes pourrait s'avérer problématique. Cependant, une piste potentielle à approfondir pour les prochaines évaluations serait d'examiner la possibilité de poser des points de référence par organisme ou même par programme en jumelant un sous-ensemble de données directement comparable (p. ex. en recherche biomédicale).

L'impact scientifique des publications résultant du financement du POSF a-t-il augmenté ou diminué depuis 2005, ou est-il resté stable?

Comme l'illustre la figure 1-2, l'impact scientifique des articles publiés par des chercheurs financés par le POSF a subi une hausse significative entre la période 2001-2005 et la période 2006-2009 (1,44 pour 2001-2005, 1,54 pour 2006-2009 [p < 0,001])4.

Une cause potentielle de cette augmentation touche l'environnement de financement de plus en plus concurrentiel des demandes du POSF. Le taux de réussite, calculé d'après le nombre de candidats retenus par rapport au nombre de demandes, a diminué de 12 % de 2000-2001 (34 %) à 2009-2010 (22 %). Au cours de cette période, l'investissement des IRSC dans le programme a doublé (de 201,2 millions de dollars en 2000-2001 à 419,1 millions de dollars en 2010-2011), mais le POSF a attiré un nombre croissant de demandes (de moins de 2 500 en 2000-2001 à plus de 4 500 en 2010-2011).

Figure 1-2 : Impact scientifique des articles découlant de recherches financées par le POSF (MCR)

Description détaillée de la figure 1-2

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Dans le cadre d'une récente pétition lancée par des chercheurs canadiens en santé préoccupés par la diminution du taux de réussite5, les signataires ont énuméré une série de conséquences néfastes de l'augmentation du volume de demandes sur les chercheurs, notamment la perte de travailleurs hautement qualifiés en raison de l'instabilité du financement, un danger pour la chaîne de formation de la prochaine génération de chercheurs en santé, une perte de compétitivité à l'échelle internationale, la difficulté de procéder à l'évaluation par les pairs de façon efficace et l'augmentation du temps consacré à la préparation de demandes non retenues.

La quantité de résultats de recherche par subvention du POSF a-t-elle augmenté ou diminué depuis 2005, ou est-elle restée stable?

Le nombre d'articles scientifiques publiés grâce à une subvention du POSF donne une meilleure idée de la création de connaissances. Bien sûr, l'utilisation et l'interprétation de ces données comportent des restrictions : le simple fait de publier dans une revue à comité de lecture ne donne aucune idée de sa qualité. Cependant, lorsqu'on examine ce paramètre en parallèle avec l'analyse bibliométrique, il offre des données de base utiles sur les résultats découlant des investissements dans le programme, ainsi qu'un aperçu des habitudes de publication des différents groupes des milieux de la recherche en santé des IRSC dans le POSF.

Comme l'indique le tableau 1-1, selon les données du Système de rapport sur la recherche (SRR)6 des IRSC, les chercheurs financés par le POSF ont publié en moyenne 7,6 articles par subvention. Ces données suggèrent également que la production globale de connaissances financées par le POSF, exprimée par le nombre d'articles de revue, a augmenté depuis 2004 (p < 0,05). Il faut cependant souligner que cette hausse pourrait être attribuable à l'augmentation globale de la production d'articles observée dans le monde (Archambault, 2010). Des données sur les tendances canadiennes en matière de publication laissent croire que le nombre total d'articles publiés par les chercheurs canadiens a augmenté de façon constante, passant d'environ 27 000 en 2000 à environ 37 500 en 2008 (Archambault, 2010).

Tableau 1-1 : Nombre moyen d'articles publiés dans une revue par subvention
Moyenne N Écart-type Total

Source : Système de rapport sur la recherche, mise à l'essai de 2008 (n = 565); données actuelles 2011-2012 (n = 141).

  1. Les subventions d'une demi-année sont exclues de l'analyse.
Subventions avant 2004 7,2 553 8,7 3 965
Subventions après 2004 8,9 153 8,8 1 364
Toutes les subventions1 7,6 706 8,8 5 329

Une analyse plus poussée montre que le nombre d'articles de revue est moyennement corrélé avec le montant et la durée des subventions accordées (r = 0,42, n = 706, p < 0,001 pour les deux variables indépendantes). Par ailleurs, le montant et la durée des subventions étaient fortement corrélés entre eux : les subventions de plus longue durée offraient habituellement un montant d'argent plus élevé (r = 0.71, n = 706, p < 0,001). Ainsi, il semble que la durée d'une subvention soit fortement corrélée avec le nombre d'articles publiés. Par contre, la durée des subventions n'est pas uniforme dans les quatre thèmes de recherche. En moyenne, les subventions accordées en recherche biomédicale ont une durée plus longue (3,4 ans) que celles des trois autres thèmes (3,0, 2,3 et 2,8 ans pour les thèmes II, III et IV, respectivement); ces différences sont statistiquement significatives (p < 0,001)7.

L'importance de la durée d'une subvention et les différences dans la durée entre les thèmes peuvent avoir un impact sur la productivité globale calculée pour chaque thème : les chercheurs recevant des subventions de plus longue durée effectuent des recherches durant une période plus longue, ce qui leur permet de produire davantage de résultats à publier. En recherche clinique et biomédicale, les chercheurs reçoivent typiquement des subventions de plus longue durée que dans les autres thèmes et déclarent un plus grand nombre de publications. Ces variations du nombre d'articles sont généralement attribuées aux différentes habitudes de publication entre le milieu biomédical et celui des sciences sociales. D'après le SRR, le nombre moyen de publications par thème était de 8,07 pour le thème I; 6,86 pour le thème II; 2,93 pour le thème III; et de 6,57 pour le thème IV; la moyenne était de 7,55 (p < 0,01).

Afin de tenir compte des différences dans la durée des subventions des différents thèmes, le nombre d'articles de revue a été normalisé en fonction de la durée des subventions8. On a divisé le nombre d'articles de revue rapporté par la durée des subventions. Selon ces résultats, pour la majorité des chercheurs, la productivité sous forme de publications est très similaire lorsqu'on tient compte de la durée des subventions. Les différences entre les thèmes étaient près d'être significatives (p = 0,06), probablement en raison des habitudes de publication différentes des chercheurs du thème III (figure 1-3)9.

Figure 1-3 : Production d'articles de revue par année de subvention et par thème

Description détaillée de la figure 1-3

Source : Système de rapport sur la recherche, mise à l'essai (n = 565) et données actuelles (n = 141).

Dans le cadre de l'évaluation du POSF, cette analyse est importante, car elle montre à quel point l'évaluation de la productivité par le simple décompte des publications peut être trompeuse. La prochaine évaluation du rendement du programme devra tenir compte de cet élément, ainsi que d'autres facteurs confusionnels, lors de l'évaluation de cet indicateur de la création de connaissance.

Pic de publications trois ans après l'année du concours

Pour mesurer avec exactitude les résultats de recherche du POSF à l'aide d'outils de collecte de données comme le Système de rapport sur la recherche (SRR), il faut bien comprendre les habitudes de publication des chercheurs. Des données ont été recueillies sur les subventions du POSF dont la date de fin était survenue entre le 1er janvier 2000 et le 31 juillet 2008, ce qui a permis l'analyse de plus longs intervalles entre l'année du concours et l'année de publication des articles découlant de ces subventions.

La figure 1-4 illustre les habitudes de publication des chercheurs financés par le POSF après l'année du concours. Nous avons analysé ces données en fonction de la durée de la subvention (trois ou cinq ans) afin d'évaluer les différences potentielles des habitudes de publication en fonction de la durée du financement. Pour les deux durées de subvention, on a observé qu'environ 95 % des articles avaient été publiés au cours des huit années suivant l'année du concours (ADC+8). Pour les deux durées de subvention, la période de productivité maximale est survenue trois ans après l'année du concours (ADC+3).

Des analyses plus détaillées de ces données révèlent qu'en moyenne, le premier article de revue a été publié 2,18 ans après le début d'une subvention, et qu'il existe une variation significative entre les thèmes. Les chercheurs du thème I ont publié leur premier article en moyenne 2 ans après le début de leur subvention; ceux du thème IV, après 2,6 ans, ceux du thème II, après 3 ans, et ceux du thème III, après 3,2 ans (p < 0,001).

Figure 1-4 : Habitudes de publication par durée de subvention – quand les chercheurs financés publient-ils?

Description détaillée de la figure 1-4

Source : Système de rapport sur la recherche, mise à l'essai et données actuelles (n = 492).

Encore une fois, cette analyse est importante, car elle montre que l'évaluation du rendement de ce programme et d'autres programmes semblables doit tenir compte de telles différences dans les habitudes de publication. La collecte de données sur les publications à un moment précis après la fin d'une subvention pourrait entraîner une sous-évaluation dans certains milieux de recherche.

Livres, chapitres de livres et rapports découlant de subventions du POSF

L'utilisation de données bibliométriques pour mesurer la création de connaissances peut désavantager des chercheurs de domaines dans lesquels les articles de revue ne constituent pas les principaux moyens de dissémination. Pour ces chercheurs, les livres, les chapitres de livres et les rapports peuvent être considérés comme les preuves les plus importantes de la création et de la dissémination de connaissances. Il est donc important de mesurer ces types de résultats.

Comme l'illustre la figure 1-5, les données concernant ces véhicules de connaissances révèlent deux tendances. D'abord, il semble que les chercheurs du thème III publient moins de livres ou de chapitres de livres que leurs pairs des trois autres thèmes. Inversement, ils semblent publier en moyenne davantage de rapports que leurs pairs des thèmes I et II. Ces différences dans les habitudes de publication de ces trois types de résultats ne sont cependant pas statistiquement significatives en raison de la petite tille des échantillons de chercheurs qui ont déclaré avoir produit ces résultats.

Figure 1-5 : Livres, chapitres de livres et rapports découlant de subventions du POSF

Description détaillée de la figure 1-5

Source : Système de rapport sur la recherche, mise à l'essai (n = 596) et données actuelles (n = 141).

Conception et exécution du programme

Questions d'évaluation

Introduction

La présente évaluation survient au moment où les IRSC examinent diverses possibilités pour la restructuration de leurs programmes ouverts, notamment le POSF. À l'époque où a eu lieu la présente évaluation, l'organisme entamait une série de consultations avec le milieu de la recherche en santé afin de recueillir des commentaires sur l'orientation future des programmes menés par des chercheurs des IRSC.

Les résultats de la présente évaluation du Programme ouvert de subventions de fonctionnement influenceront le processus de restructuration des programmes de l'organisme. Grâce à l'examen des données existantes du POSF, l'évaluation produira davantage de résultats afin d'orienter les décisions à prendre quant à la restructuration des programmes, ainsi que des points de références pour évaluer le succès de ces changements.

Ainsi, la présente section du rapport, qui porte sur la conception et l'exécution du programme, peut être divisée en deux parties :

Le processus d'évaluation par les pairs du POSF est-il capable de déceler et de choisir l'excellence scientifique future?

Un élément primordial de la conception du Programme ouvert de subventions de fonctionnement est le fait que le processus d'évaluation par les pairs doit être en mesure de sélectionner les demandes des candidats qui ont les meilleures idées de recherche. Si le processus réussit à accomplir ce pour quoi il a été conçu, on remarquera que les demandes choisies, surtout celles qui étaient les mieux classées par les comités d'évaluation par les pairs, sont associées à la publication d'articles dont l'impact scientifique (mesuré à l'aide de la moyenne des citations relatives) est supérieur à celui des demandes refusées. Cette approche d'examen de l'évaluation par les pairs a été utilisée par d'autres bailleurs de fonds, notamment dans le cadre d'une étude pour l'Alberta Ingenuity Fund (Alberta Ingenuity Fund, 2008).

L'impact scientifique des articles des candidats retenus dans le cadre du POSF s'est avéré largement supérieur à celui des articles des candidats non retenus et de ceux qui n'avaient jamais été financés par le POSF (figure 2-1). Au cours de la période 2000-2009, les candidats retenus ont obtenu une MCR de 1,54, alors que la moyenne canadienne était de 1,24. Les candidats non retenus avaient également une MCR beaucoup plus élevée que la moyenne canadienne de la recherche en santé (MCR de 1,45), et même les candidats n'ayant jamais réussi à obtenir du financement dans le cadre du POSF avaient une cote supérieure à la moyenne (MCR de 1,36), ce qui appuie l'hypothèse selon laquelle un POSF très compétitif attire l'excellence.

Figure 2-1 : Impact scientifique des candidats au cours des deux années suivant le concours selon le résultat de leur demande ainsi que des articles canadiens publiés dans des domaines liés à la santé par année de publication (2000-2009) [MCR]

Description détaillée de la figure 2-1

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Les décisions relatives au financement du POSF sont déterminées à l'aide d'un classement par rang centile des demandes, d'après un algorithme tenant compte des moyennes des cotations du comité et du nombre de demandes évaluées par ce comité. Si le processus d'évaluation par les pairs fonctionne correctement, on s'attend à ce que les demandes les mieux cotées aient un impact scientifique plus grand que les moins bien cotées. L'analyse bibliométrique (figure 2-2) a montré que les articles publiés par des chercheurs figurant toujours dans les premiers 10 centiles (les mieux cotés) de leur comité d'évaluation par les pairs lorsqu'ils présentent une demande au POSF ont un impact scientifique plus grand (MCR de 1,91) que les articles des chercheurs figurant parfois (MCR de 1,64) ou jamais (MCR de 1,38) parmi les meilleurs.

Figure 2-2 : Moyenne des citations relatives des articles de chercheurs financés selon le rang centile accordé par le comité d'évaluation par les pairs et selon l'année de publication (2001-2009) (MCR)

Description détaillée de la figure 2-2

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Les résultats de cette analyse appuient donc l'hypothèse selon laquelle les comités d'évaluation par les pairs du POSF sélectionnent les « meilleures idées de recherche » en matière de résultats qui en découlent, comme l'illustrent le nombre d'articles publiés et leur impact.

À quel point les candidats du POSF sont-ils satisfaits de l'exécution des processus de présentation des demandes, d'évaluation par les pairs et de gestion postérieure à l'octroi des bourses?

Le degré de satisfaction des candidats à l'égard des processus de demande et d'évaluation par les pairs donne une idée de l'opinion des chercheurs à propos de l'efficacité de l'exécution du programme par les IRSC. Ces résultats peuvent servir à cerner des points à améliorer dans l'exécution du POSF10.

Le tableau 2-1 résume l'opinion des chercheurs à propos de différents éléments du processus de demande et du processus d'évaluation par les pairs : 1) le degré de satisfaction à l'égard de chaque élément; 2) l'importance accordée par le chercheur à chaque élément; 3) les points à améliorer parmi les éléments présentés; 4) l'amélioration ou la détérioration perçue de chaque élément au cours des cinq dernières années.

Comme on pouvait s'y attendre, le degré de satisfaction s'est avéré plus élevé pour les aspects plus directs et plus « transactionnels » de l'exécution du programme, par exemple la présentation des demandes, les instructions pour la présentation d'une demande et l'affichage des résultats dans un délai raisonnable. À l'inverse, les processus plus complexes de l'évaluation par les pairs ont obtenu un degré de satisfaction plus faible et étaient généralement considérés comme plus importants par les participants.

Lorsqu'on situe ces résultats dans le contexte d'autres points de référence, les notes du POSF se comparent avantageusement avec celles diffusées dans la récente évaluation sommative du Programme des subventions ordinaires de recherche (SOR) du Conseil de recherches en sciences humaines (CRSH, 2010) – clarté des instructions pour la présentation d'une demande : 67 % pour le POSF, 61 % pour les SOR; facilité de présentation d'une demande, 72 % pour le POSF, 52 % pour les SOR11. Les données montraient également que les candidats retenus avaient tendance à être plus satisfaits que les candidats non retenus, ce qui est également le cas dans l'évaluation du programme des SOR et dans les sondages sur la satisfaction des clients en général.

Tableau 2-1 : Satisfaction des candidats à l'égard des processus de demande et d'évaluation par les pairs du POSF
Étape Élément Candidats très ou plutôt satisfaits Aspect le plus important Point à améliorer Détérioration au cours des cinq dernières années

Source : Sondage d'Ipsos Reid du rapport 2011 du CEI (données filtrées des chercheurs ayant présenté une demande dans le cadre du POSF : n = 1 909).

  1. Ce sont des intervenants des établissements, et non des chercheurs, qui ont répondu aux questions touchant la gestion après l'octroi des bourses (n = 232). On ne les a pas questionnés au sujet de l'« importance ».
Processus de demande RechercheNet – capacités nécessaires pour appuyer le processus de demande des IRSC 72,8 % 7,1 % 1,2 % 4,1 %
RechercheNet – facilité de présentation d'une demande 72,7 % 21,6 % 4,9 % 13,0 %
Caractère complet des instructions pour la présentation d'une demande 69,6 % 7,0 % 1,3 % 7,0 %
Caractère raisonnable des renseignements que vous devez fournir 68,1 % 14,5 % 4,3 % 11,7 %
Clarté des instructions pour la présentation d'une demande 67,7 % 16,3 % 3,9 % 8,3 %
RechercheNet – effort requis pour remplir une demande 64,2 % 17,5 % 5,7 % 10,4 %
Affichage des résultats en temps voulu 61,6 % 8,5 % 4,1 % 8,2 %
Équité des politiques liées à la présentation de demandes aux IRSC 57,2 % 28,1 % 10,5 % 16,7 %
Délai pour présenter une demande après le lancement d'une possibilité de financement 55,6 % 13,8 % 3,7 % 9,5 %
Utilité d'une rétroaction écrite suivant le processus d'évaluation par les pairs 48,9 % 41 % 12,7 % 22,1 %
Processus d'évaluation par les pairs Clarté du système de cotation 43,3 % 11,1 % 5,1 % 15 %
Clarté des critères d'évaluation 42,6 % 20,2 % 8,9 % 15,8 %
Qualité des conclusions de l'évaluation par les pairs 38,9 % 74,1 % 47,7 % 32,6 %
Uniformité des conclusions de l'évaluation par les pairs 26,2 % 53,6 % 25,6 % 34,5 %
Caractère raisonnable des politiques liées à l'utilisation des fonds de subvention 49 % S. O.1 36 % 12 %
Administration postérieure à l'octroi* Uniformité des politiques sur l'utilisation des fonds entre les programmes des IRSC 43 % S. O.1 21 % 7 %
Compréhension de la façon dont les rapports sont utilisés par les IRSC 23 % S. O.1 21 % 8 %

Points à améliorer

Bien que ces résultats puissent être considérés comme étant généralement positifs, il est utile, si l'on cherche à améliorer l'exécution des programmes, de mettre l'accent sur les éléments présentant les caractéristiques suivantes :

  1. Faible degré de satisfaction;
  2. Considéré comme important par les participants;
  3. Mentionné comme point à améliorer;
  4. Perçu comme s'étant détérioré au cours des cinq dernières années.

Les deux rangées ombrées du tableau 2-1 correspondent à des éléments qui présentent toutes ces caractéristiques. Les deux aspects touchent l'évaluation par les pairs : la qualité des conclusions de l'évaluation par les pairs et l'uniformité des conclusions de l'évaluation par les pairs.

L'importance accordée à la qualité des conclusions de l'évaluation par les pairs ressort particulièrement. En effet, les candidats l'ont classée comme l'élément le plus important du processus de demande : environ trois personnes sur quatre l'ont coté comme important (74,1 %). En outre, un peu moins d'un candidat sur deux (47,7 %) l'a mentionnée comme point à améliorer.

Il est recommandé d'étudier plus en profondeur la façon dont les candidats évaluent la « qualité » dans ce contexte. Par exemple, ils pourraient la lier à des aspects de l'exécution des processus d'évaluation par les pairs ou à une évaluation des demandes sélectionnées; si les candidats croient que les meilleures demandes ne sont pas retenues, ils peuvent trouver que cela reflète un manque de « qualité ». L'analyse des résultats de ces deux éléments selon le thème des IRSC révèle peu de différence entre les thèmes.

Le POSF est-il exécuté de façon économique et efficace?

Pour évaluer le rapport coût-efficacité de l'exécution du POSF, la présente évaluation a repris ici la méthodologie d'une étude évaluée par les pairs portant sur des données du National Health and Medical Research Council (NHMRC) d'Australie (Graves, Barnett et Clarke, 2011).

Cette évaluation, qui s'inspire de l'étude de Graves et coll., a cela d'innovateur qu'elle ne tient pas seulement compte des frais d'administration associés à l'exécution du POSF pour les IRSC : elle examine également les coûts du programme pour les candidats et les pairs évaluateurs. Comme nous l'avons indiqué, les réformes proposées aux programmes des IRSC visent à réduire le temps passé par les chercheurs à préparer des demandes ainsi qu'à rendre l'évaluation par les pairs plus efficiente. La présente étude quantifie les répercussions financières du temps investi par les chercheurs et les pairs évaluateurs.

De plus, l'analyse effectuée constitue une amélioration de l'étude de Graves et coll., car elle tient compte des données d'un plus grand échantillon de pairs évaluateurs et de chercheurs dans les calculs présentés dans le tableau 2-2, ce qui devrait améliorer le caractère valide et généralisable de ces résultats. Nous utilisons l'approche par ingrédients de l'analyse des coûts, qui part du principe que chaque programme (ici le POSF) utilise des « ingrédients » qui ont chacun une valeur ou un coût (Levin et McEwan, 2001).

Comme le montre l'analyse détaillée du tableau 2-2, le coût moyen par demande du POSF, y compris les frais d'administration (directs et indirects) et les « coûts » pour les candidats et les évaluateurs (valeur monétaire du temps), est de 13 997 $. En comparaison, le coût moyen pour le NHMRC est de 18 896 $.

Comme l'illustre le tableau 2-3, les frais d'administration directs et indirects par demande de subvention (1 307 $) sont comparables à ceux calculés pour le NHMRC d'Australie (1 022 $) et les National Institutes of Health des États-Unis (1 893 $).

Tableau 2-2 : Éléments de coût du POSF et points de référence, d'après l'approche par ingrédients
Élément de coût Programme ouvert de subventions de fonctionnement National Health and Medical Research Council d'Australie Notes
Candidats

* Demandes présentées en 2009 au volet des subventions de projets du National Health and Medical Research Council d'Australie. Au total, 50,3 % du budget de l'organisme a été consacré à ce volet en 2009.

  1. Les données sur les salaires de 28 répondants étaient non disponibles pour le sondage sur les pairs évaluateurs et sont exclues.
Nombre moyen d'heures consacrées à la préparation d'une demande (a) 168,6 160-240 heures (20-30 journées de huit heures) Sondage sur les réformes des programmes ouverts des IRSC effectué en février-mars 2012 (n = 378)
Salaire horaire moyen (b) 64,52 $ 67,17 $ – 100,76 $ La moyenne pondérée du salaire horaire des universitaires a été calculée à l'aide des données de Statistique Canada pour 2010-2011.

L'étude australienne ne donne que les chiffres bruts. L'unité d'évaluation a calculé le salaire horaire en divisant le coût par demande par les nombres d'heures minimum et maximum consacrées à la préparation d'une demande.
Nombre total de demandes (par année) (c) 4 636 2 705 2 338 demandes au concours du POSF de septembre 2010 et 2 298 à celui de mars 2011
Coût total pour les candidats (d) (a*b*c=d) 50 430 742 $ 43 610 114 $ 40,85 millions de dollars australiens, convertis en dollars canadiens à l'aide du site XE le 17 février 2012
Coût par demande de subvention par candidat (e) (d/c=e) 10 878 $ 16 122 $
Pairs évaluateurs
Nombre moyen d'heures consacrées par un évaluateur à l'étude indépendante de toutes les demandes (à la maison) (f) 43,93 S. O. Sondage auprès des présidents, des AS et des évaluateurs des comités d'évaluation par les pairs du POSF
Janvier 2012 (n = 457)1
Nombre moyen d'heures consacrées par un évaluateur à l'étude d'une demande (à la maison) 5,25 4 Sondage auprès des présidents, des AS et des évaluateurs des comités d'évaluation par les pairs du POSF
Janvier 2012 (n = 457)1
Nombre moyen d'heures consacrées par un évaluateur à des réunions de comités (g) 23,82 46 Sondage auprès des présidents, des AS et des évaluateurs des comités d'évaluation par les pairs du POSF
Janvier 2012 (n= 457)1
Nombre moyen d'heures consacrées par un évaluateur aux déplacements pour se rendre aux réunions de comités (h) 7,15 S. O. Sondage auprès des présidents, des AS et des évaluateurs des comités d'évaluation par les pairs du POSF
Janvier 2012 (n = 457)1
Nombre total d'heures consacrées par un évaluateur au processus d'évaluation, y compris les déplacements (j) (f+g+h=j) 74,9 S. O. Sondage auprès des présidents, des AS et des évaluateurs des comités d'évaluation par les pairs du POSF
Janvier 2012 (n = 457)1
Salaire horaire moyen (k) 64,52 $ S. O. La moyenne pondérée du salaire horaire des universitaires a été calculée à l'aide des données de Statistique Canada pour 2010-2011
Coût total annuel pour les évaluateurs (m) (j*k*1 738=m) 8 398 968 $ 4 739 471 $ Les IRSC tiennent deux concours par année; 861 évaluateurs ont participé aux réunions d'évaluation de mars 2011, alors que 877 évaluateurs ont participé à celles de novembre 2011, pour un total de 1 738 évaluateurs. Veuillez noter que les évaluateurs participent souvent aux deux concours. Ainsi, le nombre total d'évaluateurs ne représente pas des évaluateurs uniques.
Coût par demande de subvention par évaluateur (n) (m/4 636=n) 1 812 $ 1 752 $
Coûts d'exécution liés à l'organisme (frais d'administration)
Coûts liés à l'évaluation par les pairs (transport, honoraires, hôtels, salles de réunion, services de messagerie) (p) 1 994 317 $ S. O. Données des Finances des IRSC
Coûts en personnel (DPCC, PPP, SGITA) (q) 3 553 433 $ S. O. Données des Finances des IRSC et d'autres groupes : PPP, DPCC et SGITA
Frais généraux non liés aux salaires, locaux, matériel, fournitures (r) 513 407 $ S. O. Données des Finances des IRSC et d'autres groupes : PPP, DPCC et SGITA
Total des frais d'administration liés à l'organisme (s) (p+q+r=s) 6 061 157 $ 2 764 516 $ Les disparités entre les frais d'administration totaux sont liées au fait que le NHMRC tient un concours par année, alors que le POSF en tient deux.

2,59 millions de dollars australiens, convertis en dollars canadiens à l'aide du site XE le 17 février 2012.
Coûts liés à l'organisme par demande de subvention (t) (s/c=t) 1 307 $ 1 022 $
Total
Coût total annuel de l'exercice de financement (u) (d+m+s=u) 64 890 867 $ 51 114 101 $
Coût total par demande de subvention (v) (u/c=v); et (v=e+n+t) 13 997 $ 18 896 $

Tableau 2-3 : Comparaisons internationales des coûts directs d'exécution de programmes liés à l'organisme
Catégorie de coût IRSC NHMRC (Australie) NIH (États-Unis)1
  1. Source : Dr Nakamura, directeur par intérim, Centre for Scientific Review (CSR), National Institutes of Health des États-Unis. Présentation aux IRSC le 17 février 2012, intitulée « CSR Electronic Peer Review », diapositive no 9. Renvoie au budget du CSR pour l'exercice 2011. Le type de subvention n'est pas précisé, mais la plupart sont octroyées dans le cadre de concours ouverts.
  2. Ces coûts comprennent les coûts pour le personnel supplémentaire de l'évaluation par les pairs, mais il n'est pas clair s'ils comprennent les coûts liés au personnel régulier, aux locaux et aux TI; il est donc possible qu'ils soient sous-estimés.
  3. Dollars américains convertis en dollars canadiens à l'aide du site XE le 29 février 2012.
Coûts pour les évaluateurs (déplacements, hôtel, indemnité quotidienne) 1 994 317 $ S.O. 37 624 717 $3
Personnel, locaux, autres coûts 4 066 840 $ S. O. 71 273 149 $3
Coûts totaux directs 6 061 157 $ 2 764 516 $2 108 902 306 $3
Nombre de demandes 4 636 2 705 57 531
Coûts d'exécution liés à l'organisme par demande de subvention 1 307 $ 1 022 $ 1 893 $3

Le modèle actuel de financement par projet du POSF permet-il aux IRSC et au gouvernement d'appuyer la recherche en santé de manière appropriée?

Des modèles de financement axés sur les projets et les programmes sont utilisés par les organismes de financement de la recherche partout dans le monde pour appuyer l'excellence en recherche. Le financement axé sur les projets permet d'appuyer des idées : « des projets de recherche définis et assortis de jalons (dates de début, de milieu et de fin) » (IRSC, 2012a). Des modèles de financement axés sur les projets ont été mis en place avec succès par les National Institutes of Health (p. ex. le NIH Research Project Grant Program – R01) et la fondation Gates (p. ex. Grand Challenges in Global Health [Grands défis en matière de santé mondiale]) [Grand Challenges in Global Health, 2011; Ioannidis, 2011; Azoulay, Graff-Zivin et Manso, 2009; Jacob et Lefgren, 2007].

Quant aux subventions programmatiques, elles permettent d'appuyer les chercheurs par le financement d'« un vaste programme de recherche sur plusieurs années, habituellement à un taux fixe, mais variant parfois en fonction du type de recherche réalisé et des coûts engendrés » (IRSC, 2012a). Plusieurs organismes de financement, comme le Wellcome Trust au Royaume-Uni et le Howard Hughes Medical Institute aux États-Unis, ont obtenu des résultats positifs après avoir mis en place des mécanismes de financement de programmes de recherche. Les deux modèles ont leurs avantages, et il n'existe aucune preuve indiquant que l'un est « meilleur » que l'autre.

Le POSF actuel provient du prédécesseur des IRSC, le Conseil de recherches médicales, et il privilégie une approche de financement axée sur les projets pour appuyer la recherche. Alors que la recherche en santé et les approches de financement de la recherche ont évolué au Canada et partout dans le monde, le POSF n'a subi que des adaptations relativement mineures (par exemple, des modifications aux méthodologies de classement des demandes par les comités d'évaluation par les pairs). De manière générale, les IRSC ont choisi de réagir aux nouvelles possibilités et aux nouveaux défis en créant d'autres programmes, par exemple dans les domaines de l'application des connaissances et de la commercialisation. Cependant, tandis que le POSF lui-même n'a pas changé de façon majeure, il en va autrement des milieux qu'il sert et des habitudes des candidats.

Les candidats renouvellent fréquemment les subventions du POSF

La mesure dans laquelle les candidats renouvellent leurs subventions peut être utilisée pour déterminer à quel point le POSF sert à financer des subventions « programmatiques » à long terme plutôt que des projets à court terme. Il est important de garder en tête ici que les habitudes de renouvellement ne sont pas uniformes d'un thème de recherche à l'autre; les chercheurs des IRSC dans le domaine des systèmes et des services de santé et dans le domaine de la santé des populations (thèmes III et IV) sont beaucoup moins susceptibles de présenter des demandes de renouvellement et de voir leurs subventions renouvelées que les autres chercheurs, ce qui s'explique en partie par la nature de leur milieu de recherche. Malgré cette restriction, étant donné que le POSF continue de financer surtout la recherche biomédicale (environ 80 % des titulaires de subvention), les renouvellements de subvention semblent être un paramètre acceptable pour mesurer les habitudes de « financement de programmes ».

L'analyse des données des demandes de renouvellement retenues et non retenues soumises au POSF de 2000 à 2010 montre qu'au cours de cette période, entre 51 % et 23,6 % des demandes retenues avaient déjà été financées au moins une fois (figure 2-3). Si l'on considère que le fait qu'une demande retenue soit renouvelée une ou plusieurs fois est un signe de financement de programmes, les données semblent confirmer l'existence d'« habitudes » de financement de programmes chez certains chercheurs au sein du POSF.

Figure 2-3 : Demandes de renouvellement du POSF dotées d'un NRF, ayant déjà reçu du financement ou non, réparties par concours (2000-2010)

Description détaillée de la figure 2-3

« Première version » signifie que la demande n'a jamais reçu de financement, « plus d'une version » signifie qu'elle en a reçu au moins une fois. Il est possible que les données de 2000 à 2003 soient incomplètes en raison du transfert de la base de données du CRM aux IRSC; elles doivent donc être interprétées avec prudence.

Source : Données du Système d'information électronique des IRSC pour le POSF, 2000-2010 (n = 37 604) fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

Bien que les données montrent une diminution progressive des renouvellements – de 51 % au concours de mars 2000 à moins de 24 % à celui de septembre 2010 –, la persistance d'« habitudes » de financement de programmes pour une demande sur cinq souligne leur importance continue. On pourrait considérer que ces candidats fonctionnent déjà dans un mode de « financement de programmes », en présentant plusieurs demandes pour la même recherche, sans toutefois bénéficier des avantages d'un financement de programmes stable et permanent. Des subventions de programme à plus long terme permettraient à ces candidats de consacrer moins de temps à la préparation de demandes de financement et plus de temps à leur programme de recherche.

Par ailleurs, les études de cas présentées plus loin et portant sur des recherches à impact élevé financées par le POSF illustrent aussi l'existence de financement de programmes au sein du modèle axé sur les projets du POSF, ainsi que le point de vue des chercheurs à propos de ce fonctionnement. Certains des principaux participants à l'étude de cas soutenaient directement le concept du financement de programmes, affirmant que :

« La préparation de demandes de subventions est une longue démarche, et la présentation répétée de demandes monopolise [leur] temps et [leur] énergie. »
Répondant à l'étude de cas financé par le POSF

Voici deux exemples de financement de programmes provenant des études de cas :

Les participants à l'étude de cas ont convenu qu'il leur importe peu que le financement soit axé sur les projets ou les programmes, mais que leurs laboratoires ont besoin de financement sans interruption pour continuer de fonctionner et retenir leurs travailleurs hautement qualifiés, et que :

« La continuité des subventions grâce aux processus de renouvellement et la capacité à accéder aux subventions de fonctionnement sont d'importantes caractéristiques du mécanisme de financement des IRSC. »
Répondant à l'étude de cas financé par le POSF

De manière générale, on s'attend à ce que le dossier des chercheurs joue un rôle important dans les concours de subventions programmatiques, étant donné que le comité doit être sûr que le candidat peut obtenir des résultats avec son programme de recherche. Dans le contexte du POSF, les habitudes des pairs évaluateurs pourraient fournir d'autres éléments confirmant que le financement de programmes existe, même s'il n'est pas appelé ainsi. L'analyse du contenu des commentaires énoncés par les membres du comité d'évaluation par les pairs du POSF et les agents scientifiques de 2004 à 2008 a permis de conclure que « le dossier est de plus en plus important dans l'évaluation du mérite des propositions de subvention » (Unité de l'évaluation des IRSC, 2009).

Les données ci-dessus semblent suggérer que certains candidats et évaluateurs agissent comme si le POSF offrait du financement de programmes. Si c'est bien le cas, cette situation viendrait confirmer l'intérêt de la proposition des IRSC d'utiliser les deux types de mécanismes de financement dans ses concours ouverts (IRSC, 2012a). Le contexte actuel offre une occasion en or d'apporter des modifications qui appuient à la fois le financement de projets et le financement de programmes. Il faut cependant souligner que les signes d'utilisation du dossier des chercheurs comme critère varient d'un comité à l'autre, et qu'officiellement, les IRSC n'ont ni ajouté ce critère, ni pondéré son importance dans le processus actuel d'évaluation des demandes présentées dans le cadre du POSF.

Quels autres modèles pourraient être envisagés – évaluation par les pairs?

Les IRSC ont récemment consulté des intervenants au sujet de la restructuration de leur série de programmes ouverts, qui pourrait inclure d'autres modèles possibles pour l'exécution de l'évaluation par les pairs. La présente section décrit les retombées potentielles de ces modèles dans le contexte de la conception et de l'exécution futures du POSF.

Dans le cadre de leurs consultations au sujet des améliorations à apporter à l'évaluation par les pairs, les IRSC étudient des éléments de la conception permettant de réduire le temps total passé par les évaluateurs à examiner une demande, à en discuter et à formuler des commentaires. La mise en place d'un processus de concours en plusieurs étapes comprenant un processus de présélection en deux étapes avant l'évaluation en personne est actuellement à l'examen, ainsi que l'ajout de critères d'examen structurés et la tenue d'évaluations et de conversations de présélection dans un « espace virtuel ». Les IRSC cherchent à faire un usage plus judicieux des réunions en personne des comités, en les réservant pour la synthèse des résultats des évaluations effectuées à distance et la détermination des recommandations finales de financement (IRSC, 2012a). Ces mesures devraient permettre d'améliorer l'efficacité et l'efficience du programme du point de vue de l'organisme, des candidats et des évaluateurs.

Il est pertinent de mentionner que, bien que les évaluations par les pairs soient le principal moyen d'évaluer les demandes au sein d'importants organismes de financement partout dans le monde, on en connaît relativement peu sur la nature de leurs répercussions sur la qualité des recherches financées (Graves et coll., 2011). Une récente revue systématique Cochrane des évaluations par les pairs (Demicheli et di Pietrantonj, 2007) recommandait un examen plus poussé de l'efficacité et de l'efficience du processus utilisé par les organismes de financement de la recherche.

Évaluation des demandes retenues par l'examen indépendant, en comparaison avec celles retenues par des discussions en personne

Dans le but de répondre à la question d'évaluation des processus actuels d'évaluation par les pairs du POSF et d'orienter les futurs modèles, nous nous concentrerons sur deux pistes de recherche pertinentes :

  1. L'évaluation de la relation entre les classements des notes des évaluateurs indépendants (présentés avant les réunions des comités d'évaluation par les pairs) et ceux des comités selon la conception actuelle de l'évaluation par les pairs du POSF.
  2. L'analyse bibliométrique de l'impact scientifique des chercheurs (mesuré à l'aide de la moyenne des citations relatives) dans le but d'évaluer la « qualité » des projets financés par les comités en personne en comparaison avec celle des projets qui auraient été financés selon les notes des évaluateurs indépendants.

Dans un système d'évaluation par les pairs restructuré dont les premières étapes reposent sur l'examen indépendant des demandes de financement, il est nécessaire d'être sûr que les demandes choisies au départ sans discussion du comité sont les plus méritoires. Autrement, il existe un risque que des demandes prometteuses soient éliminées. Avant d'approuver ce type de restructuration, il est également nécessaire d'établir que l'utilisation d'autres méthodes de sélection que la formule actuelle d'évaluation par les pairs en personne n'aura pas d'effet négatif sur le choix des projets financés. Bref, les IRSC doivent être certains que leurs programmes ouverts continueront de financer l'excellence.

Afin de comprendre l'analyse effectuée, il faut d'abord décrire brièvement le processus actuel d'évaluation par les pairs du POSF. La sélection des demandes se fait en trois étapes :

  1. Au moins deux évaluateurs travaillant séparément attribuent des notes d'évaluation (notes à la maison) aux demandes.
  2. Les évaluateurs indépendants parviennent à une « note consensuelle » après discussion avec le comité d'évaluation complet (en moyenne 15 membres; de 6 à 27 membres).
  3. Le comité attribue une note finale représentant la moyenne des notes de tous les membres.

La première piste de recherche porte donc sur l'utilisation de données sur la notation des demandes aux étapes 1 et 3 dans une « expérience naturelle » comparant le classement d'après les cotes de l'évaluation indépendante au classement final du comité d'évaluation par les pairs après discussion12.

S'il existe un haut degré de concordance entre les classements s'appuyant sur les notes des évaluateurs indépendants et ceux s'appuyant sur les cotes finales du comité, on peut poser l'hypothèse que l'évaluation initiale des demandes produit sensiblement les mêmes résultats qu'une discussion en personne. Une analyse plus poussée évalue la sensibilité et la spécificité d'un modèle hypothétique de financement à l'aide d'évaluateurs indépendants en utilisant les classements des comités comme valeur de référence.

La seconde piste de recherche s'articule autour d'une analyse bibliométrique fondée sur l'impact scientifique des publications des chercheurs après avoir présenté une demande au POSF (à l'aide de la moyenne des citations relatives). Cette mesure vise à comparer les notes relativement à l'impact pour les candidats retenus par le POSF à l'étape du comité d'évaluation par les pairs seulement, à l'étape de l'étude indépendante seulement, aux deux étapes et à aucune des deux étapes.

Pour ces deux pistes de recherche, il faut prendre acte de plusieurs importantes restrictions et mises en garde. Voici les principales :

Malgré ces restrictions et le peu de données sur les évaluations par les pairs, nos analyses commencent à répondre à certaines questions que posent plusieurs organismes de financement partout dans le monde. Il est évident que des recherches plus poussées sont nécessaires, soit dans le cadre des prochaines évaluations du Programme ouvert de subventions de fonctionnement des IRSC et de son successeur, soit dans le cadre d'un programme de recherche de l'organisme visant à comprendre l'impact de ces changements.

Évaluer la relation entre le classement des évaluateurs indépendants et celui des comités

Environ 75 % des demandes du POSF retenues pour du financement à l'étape du comité auraient également été financées d'après le classement initial de l'évaluation indépendante. Comme l'illustre la figure 2-4, il existe une certaine concordance entre le classement de l'évaluation indépendante et celui du comité pour les meilleures demandes (premiers 20 %) et pour les moins bonnes (derniers 20 %). Comme d'autres études l'ont déjà montré, l'importante variabilité des trois groupes intermédiaires reflète la grande difficulté de déterminer le mérite des propositions se retrouvant entre les deux extrêmes (p. ex. Cole et coll. 1981; Martin and Irvine, 1983; Langfeldt, 2001; Cicchetti, 1991).

Figure 2-4 : Concordance entre les classements des étapes de l'évaluation indépendante et du comité

Description détaillée de la figure 2-4

Source : Données du Système d'information électronique sur le POSF, 2005-2010 (n = 21 266) fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

La figure 2-5 appuie l'hypothèse selon laquelle il est plus facile de reconnaître les meilleures demandes. Parmi les demandes classées dans les premiers 5 % à l'étape du comité, environ 95 % provenaient des premiers 20 % de l'étape de l'évaluation indépendante. Bref, presque toutes ces demandes auraient été retenues par les évaluateurs indépendants. Ce degré de concordance reflète les opinions des pairs évaluateurs d'expérience interviewés dans un récent article de la revue Nature (Powell, 2010). Encore une fois, les évaluateurs interrogés ont suggéré qu'il était relativement facile de distinguer les meilleures propositions.

Figure 2-5 : Provenance des demandes classées parmi les premiers 5 % à l'étape du comité

Description détaillée de la figure 2-5

Source : Données du Système d'information électronique sur le POSF, 2005-2010 (n = 21 266) fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

Valeur prédictive des cotes des évaluateurs indépendants

Les résultats décrits ci-dessus ont été corroborés par l'analyse de sensibilité et de spécificité. La sensibilité et la spécificité sont des mesures statistiques couramment utilisées pour évaluer le rendement de tests de diagnostic et de sélection. Dans le présent contexte, ces concepts peuvent être utilisés pour évaluer l'exactitude des prédictions du classement des évaluateurs indépendants (modèle à la maison) par rapport au « résultat réel » ou à la valeur de référence, soit le classement du comité dans le cas présent13. La sensibilité et la spécificité indiquent dans quelle mesure le « test » prédit avec exactitude des résultats « corrects ».

Comme on peut le voir dans le tableau 2-4, la sensibilité est une valeur servant à répondre à la question suivante : parmi les demandes retenues par le comité (a+c), quelle proportion a été correctement prédite par le modèle à la maison? On la calcule à l'aide de la formule a/(a+c).

La spécificité, quant à elle, sert à répondre à la question suivante : parmi toutes les propositions qui n'ont pas été retenues par le comité (b+d), quelle proportion a été correctement prédite par le modèle à la maison? On la calcule à l'aide de la formule d/(b+d).

Tableau 2-4 : Exactitude des prévisions du modèle « à la maison » par rapport à la norme d'excellence (modèle avec comité complet)
Résultat réel ou « valeur de référence »
(avec comité complet)
Retenue (+) Non retenue (-)
« Test de sélection »
Modèle à la maison
Retenue (+) Vrais positifs
a = 3 399
Faux positifs
b = 1 129
Non retenue (-) Faux négatifs
c = 1 052
Vrais négatifs
d = 15 686
Sensibilité = 0,764, avec un intervalle de confiance de 95 % [0,751 à 0,776]; spécificité = 0,933 [0,929 à 0,937]14.
Valeur prédictive positive (VPP) = 0,751 [0,738 à 0,763]15; Valeur prédictive négative (VPN) = 0,937 [0,933 à 0,941]16.

Les valeurs de sensibilité et de spécificité calculées à l'aide des données du tableau 2-4 sont présentées sous le tableau. Elles confirment que 76 % des demandes financées par le comité auraient été financées d'après l'évaluation indépendante initiale (modèle à la maison), tandis que 93 % des demandes qui n'ont pas été financées à l'étape du comité ne l'auraient pas été d'après l'évaluation indépendante. La valeur kappa, une mesure statistique globale du degré de concordance corrigé en fonction de la concordance aléatoire, est de 0,69 pour ces résultats (IC de 95 %; 0,68 à 0,70), ce qui est légèrement inférieur à la sensibilité et à la VPP. Ces résultats reflètent le fait que la majorité des demandes du POSF ne sont pas financées; ainsi, un « test bidon », pour lequel un évaluateur prédirait qu'aucune demande ne serait retenue, aurait raison 75 % du temps (supposant que le taux de réussite global est de 25 %), par pur hasard17.

Idéalement, un test aurait une sensibilité et une spécificité de 100 %; en réalité, on doit toujours faire un compromis entre ces deux mesures18. L'importance relative optimale des deux valeurs est déterminée par le poids des conséquences de manquer d'excellentes propositions et de financer plutôt des propositions non méritoires.

Le résultat actuel, avec une spécificité élevée (0,93) et une sensibilité de 0,76, laisse entendre qu'en finançant uniquement les propositions retenues par le modèle à la maison, sans avoir recours à des réunions en personne du comité d'évaluation, on pourrait « manquer » jusqu'à une proposition méritoire sur quatre, mais qu'on aurait peu de chances de financer des propositions de faible qualité.

Il convient de rappeler que les notes des deux évaluateurs indépendants ne sont pas indépendantes de celle du comité, étant donné que ceux-ci sont susceptibles d'avoir lu la demande en détail, et qu'ils influenceront donc l'opinion des autres membres du comité. Les mesures de concordance sont donc sans aucun doute surestimées.

Ainsi, les résultats de cette analyse auront pour effet sur la présente évaluation et sur la conception future du programme que même si seulement deux évaluateurs indépendants effectuent la présélection des propositions à la première étape de l'évaluation par les pairs, ils ont de bonnes chances de retenir d'excellentes demandes. Il est probable que l'utilisation d'un plus grand nombre d'évaluateurs à cette étape améliorerait la fiabilité de la sélection de l'excellence (augmentation de la sensibilité des cotes moyennes des évaluateurs indépendants). Ainsi, si la restructuration de l'évaluation par les pairs est mise en place, il est recommandé que les IRSC effectuent une analyse plus poussée de l'impact du nombre d'évaluateurs sur les décisions relatives au financement.

Analyse bibliométrique de l'impact scientifique des chercheurs

Dans le cadre de cette seconde piste de recherche, une analyse préliminaire a été effectuée dans le but d'évaluer le lien entre l'impact scientifique des chercheurs ayant publié des articles issus de recherches associées à une demande au POSF et les résultats de l'évaluation par les pairs19. La question de recherche est la suivante : les chercheurs dont la demande a été choisie dans des réunions de comités d'évaluation par les pairs du POSF ont-ils par la suite eu un impact scientifique plus grand que ceux qui auraient été retenus si seuls les évaluateurs indépendants avaient été responsables du classement? Le tableau 2-5 ci-dessous décrit quatre groupes de chercheurs et utilise la sélection par des comités d'évaluation par les pairs en personne comme « valeur de référence » et point de comparaison.

On s'attendrait à ce que les chercheurs du groupe de vrais positifs (demandes choisies selon les classements des évaluateurs indépendants et du comité) aient par la suite l'impact scientifique le plus élevé. Si le classement d'un examen indépendant est bel et bien un moyen fiable de sélectionner l'excellence, on peut également s'attendre à ce que les faux positifs (demandes choisies seulement à l'examen indépendant) aient un impact plus élevé que les vrais négatifs (demandes qui n'ont été choisies ni par le comité ni par les évaluateurs indépendants).

Tableau 2-5 : Catégories de demandes selon le classement des évaluateurs indépendants et le classement final du comité
Groupe de demandes/de chercheurs Évaluateurs indépendants – Retenus O/N Comité d'évaluation par les pairs – Retenus O/N Description
Vrai négatif
(n = 15 686)
N N Demandes qui n'auraient pas été retenues selon le classement des évaluateurs indépendants et qui n'ont pas été retenues par le comité d'évaluation par les pairs en personne
Faux négatif
(n = 1 052)
N O Demandes qui n'auraient pas été retenues selon le classement des évaluateurs indépendants, mais qui ont été retenues par le comité d'évaluation par les pairs en personne
Faux positif
(n = 1 129)
O N Demandes qui n'ont pas été retenues par le comité d'évaluation par les pairs en personne, mais qui auraient été retenues selon le classement des évaluateurs indépendants (si aucune discussion en personne n'avait eu lieu par la suite)
Vrai positif
(n = 3 399)
O O Demandes qui auraient été retenues par les évaluateurs indépendants et qui ont été retenues par le comité d'évaluation par les pairs en personne

Comme l'illustre la figure 2-6, les vrais positifs (choisis par les évaluateurs et le comité) ont en général une moyenne des citations relatives significativement plus élevée que les trois autres groupes (p < 0,05). Les vrais négatifs (qui n'ont été choisis à aucune des deux étapes) ont une MCR significativement plus faible que les trois autres groupes (p < 0,05). Ces premiers résultats appuient une fois de plus l'hypothèse selon laquelle le processus d'évaluation par les pairs du POSF sélectionne l'excellence.

Par contre, on observe que la différence entre les faux positifs (demandes choisies par les évaluateurs indépendants, mais non par le comité) et les faux négatifs (demandes choisies par le comité, mais non par les évaluateurs indépendants) n'est pas statistiquement significative.

D'après cette analyse préliminaire, rien ne prouve que l'examen indépendant par deux évaluateurs soit une méthode de sélection moins fiable que les discussions d'un comité pour évaluer des projets susceptibles d'engendrer de l'excellence scientifique.

Dans l'ensemble, bien que plusieurs restrictions doivent être gardées à l'esprit, ces résultats semblent appuyer une approche d'évaluation par les pairs comprenant une présélection des demandes par des évaluateurs indépendants.

Figure 2-6 : Les vrais positifs ont de meilleurs résultats que les trois autres groupes

Description détaillée de la figure 2-6

Source : Données bibliométriques tirées de la Banque de données bibliométriques canadienne construite par l'OST à l'aide du Web of Science de Thomson Reuters (échantillon du POSF : n = 1 500).

Application des connaissances

Questions d'évaluation

Introduction

Il est précisé dans le mandat des IRSC que l'organisme s'efforce :

« d'exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada » (IRSC, 2012a).

Conformément à ce mandat, un des objectifs principaux du POSF est de « favoriser la création, la dissémination et l'utilisation de connaissances en santé » (IRSC, 2012b). Comme l'indiquent Graham et Tetroe (2007), bien que les découvertes et la génération de nouvelles connaissances aient le potentiel d'entraîner des améliorations de la santé et des systèmes de santé, ces effets ne se concrétiseront pas à moins que les connaissances soient mises en pratique.

La commercialisation de la recherche est une importante forme d'application des connaissances en fin de subvention pour les IRSC et pour le gouvernement fédéral en général. Profiter des avantages de la recherche pour la santé et l'économie est l'un des objectifs fixés par les IRSC dans leur plan stratégique, L'innovation au service de la santé (IRSC, 2010). L'organisme vise à « appliquer les résultats de la recherche en vue d'améliorer les produits, les technologies et les outils de santé pour les Canadiens » (p. 13). L'un des résultats attendus du POSF est la génération de retombées économiques, et la taille et l'ampleur du programme en font un contributeur potentiellement important à ce chapitre.

La commercialisation de la recherche constitue également une priorité majeure pour l'ensemble du gouvernement fédéral. Dans la récente publication Innovation Canada : Le pouvoir d'agir – Examen du soutien fédéral de la recherche-développement – Rapport final du groupe d'experts, parfois appelé le « rapport Jenkins » (Nicholson et Côté, 2011), on demande la création de programmes fédéraux qui appuient la R-D visant la commercialisation pour « contribuer encore davantage au développement d'un Canada plus innovateur et prospère ». On peut aussi considérer que le Programme ouvert de subventions de fonctionnement contribue à l'« avantage entrepreneurial » de la Stratégie des sciences et de la technologie du gouvernement fédéral (Industrie Canada, 2009). Celle-ci vise à transformer « les connaissances et les idées en produits commerciaux qui créeront de la richesse pour les Canadiens et amélioreront leur vie ainsi que celle des autres à travers le monde ».

Quels résultats commercialisables ont été produits par des chercheurs financés par le POSF?

Les données du Système de rapport sur la recherche des IRSC indiquent qu'un large éventail de résultats commercialisables est issu de la recherche financée par le POSF (tableau 3-1). La portée des résultats varie, d'un potentiel de commercialisation manifeste (p. ex. brevets ou entreprises dérivées) à un lien commercial possiblement moins direct (p. ex. création ou modification de politiques ou de programmes), mais qui peut toutefois engendrer un résultat positif sur le plan économique.

Environ un chercheur financé par le POSF sur cinq soutient que sa recherche a donné lieu à l'un des neuf types de résultats commercialisables cités ci-dessous. Comme on pouvait s'y attendre, il existe des différences importantes entre les thèmes de recherche : les chercheurs du domaine biomédical sont plus nombreux que ceux des thèmes III et IV à présenter des produits comme de nouveaux vaccins ou médicaments, de nouveaux brevets et des demandes de propriété intellectuelle, et moins nombreux à mentionner de nouvelles pratiques ou la création ou la modification de politiques ou de programmes.

Tableau 3-1 : Types de résultats de la recherche financée par le POSF par thème de recherche des IRSC20
Pourcentage de chercheurs indiquant que leur recherche a produit des résultats
Type de résultats Thème I Thème II Thème III Thème IV Moyenne pour l'ensemble des thèmes Limite de signification
  1. Différences statistiquement significatives. Pour tenir compte des effets possibles des tests multiples (neuf tests), la limite de signification statistique a été ajustée à p < 0,05/9 = 0,005).

Source : Système de rapport sur la recherche, mise à l'essai (n = 596).

Nouvelles pratiques 17,5 46,8 28,6 29,8 22,1 p < 0,0051
Demandes de propriété intellectuelle 13,3 12,9 3,6 0,0 11,8 p < 0,0051
Nouveau brevet (demandé ou obtenu) 14,0 8,1 0,0 0,0 11,6 p < 0,0051
Logiciels/bases de données 6,8 9,7 10,7 10,6 7,6 0,681
Économies directes des coûts 5,0 12,9 3,6 4,3 5,7 0,039
Nouveaux vaccins/médicaments 6,1 0,0 0,0 0,0 4,7 p < 0,0051
Création ou modification de politiques ou de programmes 2,0 11,3 17,9 12,8 4,5 p < 0,0051
Nouvelle licence de produit 4,2 6,5 0,0 0,0 3,9 0,002
Entreprises dérivées 4,6 3,2 0,0 0,0 3,9 0,020
N 457 62 28 47 574

Résultats à plus long terme

La réalisation d'études de cas sur les résultats commercialisables issus de la recherche financée par le POSF permet une analyse plus approfondie et à plus long terme des types de retombées engendrées par ces subventions. On peut aussi recourir à cette approche pour illustrer la façon dont les fonds du POSF ont contribué à la réalisation de projets à impact élevé. Les données du Système de rapport sur la recherche des IRSC ont été utilisées pour sélectionner un échantillon de projets pertinents faisant l'objet d'entrevues qualitatives approfondies auprès de plusieurs intervenants.

Les projets décrits dans le tableau 3-2 ont eu des impacts variés, notamment sur les patients, les fournisseurs de soins de santé, les autres chercheurs, les étudiants, le système de soins de santé et la société en général. Les produits liés aux systèmes de harnais du Dr Fernie constituent un exemple de retombées touchant divers groupes d'intervenants. Ces produits présentent des avantages directs pour les infirmières, qui courent moins de risques de se blesser en levant des patients, et peuvent avoir des avantages encore plus importants pour ces derniers. En effet, en rendant les patients mobiles, cela peut prévenir certains problèmes de santé comme les ulcères et les blessures associées à leur déplacement passif; le système produit également des résultats positifs relativement à certains problèmes comme l'isolement, la dépression et la confusion chez les patients. Ces retombées viennent s'ajouter aux avantages commercialisables de l'obtention de brevets et de la production de dispositifs.

Tableau 3-2 : Résumé des études de cas sur les impacts de la recherche financée par le POSF
Titre du projet Mise au point et efficacité de systèmes de harnais avec nouvelles interfaces pour lever les patients Caillots de sang produits par bioingénierie pour promouvoir la régénération du cartilage Inventaire de l'utilisation du langage Contrôle sensoriel du mouvement Évaluation d'une formation en ligne novatrice pour améliorer la médecine de famille fondée sur des données probantes
Candidat principal désigné
Dr Geoffrey Fernie
Université de Toronto

Dre Caroline Hoemann
École Polytechnique de Montréal

Dre Daniela O'Neill
Université de Waterloo

Dr Arthur Prochazka
Université de l'Alberta

Dre Moira Stewart
Université Western
Besoin ou problème Les blessures subies par les infirmières et d'autres fournisseurs de soins de santé constituent une préoccupation majeure et contribuent à l'augmentation du coût des soins de santé. La fréquence des arthroplasties totales du genou est en hausse en raison du vieillissement de la population et de l'absence de solutions de rechange. Ces arthroplasties sont coûteuses, effractives et risquées, et les listes d'attente sont longues. Le manque d'outils et d'experts pour évaluer le développement du langage chez les enfants donne lieu à de longues listes d'attente. L'amélioration des mouvements chez les patients qui ont subi un traumatisme médullaire demeure lente en raison de la mauvaise compréhension de la façon dont les connexions neuronales peuvent être rétablies. Les mécanismes traditionnels de formation continue n'ont pas entraîné d'améliorations notables dans les soins de santé.
Solution ou invention Le Dr Fernie a mis au point un dispositif pour aider les infirmières à soulever seules les patients lourds sans se blesser. La Dre Hoemann a mis au point de nouvelles options thérapeutiques qui peuvent favoriser la guérison efficace du cartilage endommagé du genou. La Dre O'Neill a mis au point un outil normalisé d'évaluation du développement du langage chez les enfants pour dépister rapidement les problèmes et fournir le soutien approprié. Le recours à cet outil pourrait éliminer le besoin de consulter des experts et réduire les temps d'attente. Le Dr Prochazka a mis au point plusieurs applications pour aider à générer des mouvements de la main. Ses travaux en sciences fondamentales ont mené à la mise au point d'options de réadaptation qui n'avaient jamais été envisagées auparavant. La Dre Stewart a métamorphosé la planification et la prestation de la formation continue en mettant au point une méthode de formation intégrée axée sur la technologie pour permettre aux médecins en soins de santé primaires d'accroître leurs connaissances et leurs compétences.
Contexte actuel des produits Le SlingSerterMD a été breveté, et un petit nombre d'unités sont en production. Le Dr Fernie et son équipe collaborent également avec plusieurs organisations en Chine au sujet d'études portant sur ses dispositifs. Les résultats de la recherche de la Dre Hoemann sont en cours d'application. Ses travaux ont mené au brevetage d'un produit nommé BSTCarGel®, dont les droits sont actuellement détenus par Piramal Healthcare Canada Ltd. L'entreprise procède actuellement à des essais et travaille à l'obtention d'une autorisation pour commercialiser le produit au Canada et en Europe. En 2009, la Dre O'Neill a fondé l'entreprise Knowledge in Development Inc., par l'entremise de laquelle elle commercialise le Language Use Inventory (inventaire de l'utilisation du langage), des fiches de notation et un manuel d'utilisation. L'outil est utilisé dans trente états américains, huit provinces canadiennes, au Royaume-Uni, en Irlande, en Australie et en Nouvelle-Zélande. Il est actuellement traduit et testé dans plusieurs langues, dont le français et l'arabe. Le SRS est un type novateur d'implant nerveux qui, après avoir fait l'objet de nombreuses études d'innocuité chez des animaux, a été implanté chez une personne ayant subi un traumatisme médullaire en 2008 pour aider à rétablir la fonction de sa main. L'étude a été concluante et a été appliquée dans d'autres domaines comme le traitement de la douleur, le contrôle de la vessie et le mouvement de la main. Bien que les conclusions de cette étude soient mitigées, celle-ci « a fourni une contribution fondée sur des données probantes et a ainsi donné lieu à une amélioration de la qualité » et « constitue un excellent exemple de recherche intéressante et pertinente sur le plan des politiques ». (Alison Paprica, directrice, Direction de la planification, de la recherche et de l'analyse, ministère de la Santé et des Soins de longue durée de l'Ontario)
Finance-ment antérieur du POSF Il a reçu un total de quatre subventions du POSF, ainsi que d'autres bourses et subventions des IRSC et d'autres organismes de financement. Elle a reçu de nombreuses subventions des IRSC en tant que chercheuse principale et cochercheuse principale, ainsi que d'autres subventions importantes d'autres organismes de financement. Elle a reçu un total de quatre subventions du POSF, ainsi que d'autres bourses et subventions des IRSC et d'autres organismes de financement. Il a reçu un total de six subventions du POSF ainsi que d'autres bourses et subventions des IRSC et d'autres organismes de financement. Bien qu'elle n'ait reçu qu'une subvention du POSF, elle a obtenu d'autres fonds des IRSC et d'autres organismes de financement.
Importance du finance-ment du POSF Les études financées par les IRSC ont contribué directement à la conception de produits. L'étude initiale financée par les IRSC a mené à 18 autres possibilités de financement liées à la recherche initiale portant sur les caillots de sang produits par bioingénierie pour promouvoir la régénération du cartilage. Le financement consacré à la conception de l'inventaire de l'utilisation du langage et à sa normalisation et aux études ultérieures de facilité d'emploi provient des IRSC. La Dre O'Neill attribue l'existence de l'outil aux IRSC. « Les IRSC ont rendu possible l'inventaire de l'utilisation du langage » (Dre O'Neill). « J'ai eu la chance d'obtenir des fonds des IRSC pour mes recherches pendant une bonne partie de ma carrière. Ces fonds m'ont aidé à réaliser des recherches, à épauler des étudiants, ainsi qu'à obtenir d'autres fonds de recherche. Sans ce financement de démarrage, il aurait été impossible de procéder aux travaux de sciences fondamentales qui sous-tendent l'activité clinique et commerciale dont nous profitons actuellement » (Dr Prochazka). Selon la Dre Stewart, les fonds reçus initialement ont été très utiles, puisqu'ils ont permis des progrès relativement à la technologie permettant d'améliorer la qualité des soins.
Avantages possibles Pourrait contribuer à une diminution significative du coût des soins de santé. Pourrait diminuer le recours à des traitements plus effractifs et coûteux comme l'arthroplastie totale du genou, ce qui permettrait ainsi une diminution importante du coût des soins de santé. Des bienfaits pour les enfants et les fournisseurs de soins primaires, autonomisation; plus de temps libéré pour les experts, leur permettant de se concentrer sur des cas plus graves. L'amélioration des mouvements et de la qualité de vie des personnes ayant subi un traumatisme médullaire. Grâce à l'accroissement de leurs connaissances et compétences, les médecins en soins de santé primaires sont en mesure de prodiguer des soins fondés sur des données probantes et efficaces à leurs patients.
Source : Données des études de cas issues des entrevues avec n = 25 répondants clés.

Les retombées majeures des recherches présentées dans le tableau 3-2 se manifestent souvent sur de longues périodes, parfois des décennies, et peuvent se baser sur des programmes de recherche bien implantés. Par exemple, les travaux du Dr Prochazka sur le contrôle sensoriel du mouvement s'appuient sur 40 ans de recherches. De la même façon, il a fallu plus de 10 ans à la Dre Hoemann pour passer de la recherche en laboratoire réalisée sur des modèles animaux à l'application de la recherche chez les humains. En raison de ces plans de recherche souvent à long terme, il est essentiel que les IRSC procèdent à des « suivis » réguliers auprès des chercheurs qui présentent des projets ou des programmes de recherche qui semblent prometteurs au moment où leurs subventions se terminent. C'est seulement en recourant à cette approche que des bienfaits de plus grande ampleur pourront être obtenus, plutôt que par une approche axée seulement sur les résultats à court terme comme la publication dans des revues.

Comme on l'a déjà relevé dans d'autres évaluations de programmes des IRSC, les chercheurs ont l'impression que l'obtention de subventions de cet organisme est déterminante non seulement sur le plan du financement de la recherche, mais aussi pour obtenir une reconnaissance de l'importance de leur domaine de recherche. Ainsi, ils obtiennent la reconnaissance de leurs pairs, à l'échelle nationale et internationale. Ce constat indique qu'il existe une valeur ajoutée de « prestige » à l'obtention de fonds des IRSC et du POSF, qui permet aux chercheurs de tirer parti des subventions au-delà de leur seule valeur monétaire. Par exemple, le parcours de la Dre Hoemann l'a menée à faire partie d'un groupe ayant présenté une demande concertée à la Fondation canadienne pour l'innovation (FCI) qui a obtenu une subvention de 20,3 millions de dollars pour le financement de l'infrastructure et de la recherche dans le domaine des nanomatériaux et des microsystèmes pour des applications biomédicales, par exemple en orthopédie, en oncologie et dans le domaine des maladies cardiovasculaires.

Les chercheurs qui ont participé aux études de cas ont insisté sur la nécessité que les IRSC appuient les chercheurs en début de carrière pour contribuer au démarrage des projets et permettre la viabilité de la recherche à long terme. Ceci est particulièrement important dans le cadre de tentatives de commercialisation :

« Les sociétés de démarrage en recherche servant à démontrer que les résultats de la recherche sont viables et applicables sont essentielles. C'est seulement à ce moment que l'industrie manifestera un intérêt, reconnaîtra le potentiel et sera prête à participer. »
Répondant à l'étude de cas financé par le POSF

Une lacune a été relevée par les chercheurs dans les programmes en ce qui concerne la provision de fonds adéquats pour l'application des connaissances et le soutien de l'utilisation des produits de la recherche. Les chercheurs ont relevé une gamme de secteurs dans lesquels, selon eux, le soutien des IRSC pourrait être amélioré :

Les propositions actuelles des IRSC en ce qui concerne la restructuration de leur série de programmes ouverts, dont le POSF, supposent l'incorporation d'un certain nombre de programmes hautement ciblés d'application des connaissances et de commercialisation dans les volets des projets et des programmes ouverts. D'après ces résultats, il sera important que ces nouveaux programmes offrent un financement adéquat pour l'application des connaissances et la commercialisation, et qu'ils soient conçus de façon à encourager ces domaines.

« Migration » du POSF aux subventions de commercialisation

Comme il a été mentionné précédemment, les IRSC offrent actuellement une série de programmes de commercialisation visant à mobiliser les chercheurs et l'industrie. Il s'agit notamment des programmes de démonstration des principes, qui sont conçus pour faciliter et améliorer le transfert commercial de connaissances et de technologies issues de la recherche en santé universitaire, ainsi que d'autres programmes comme le Programme de recherche en collaboration avec l'industrie et le Programme de projets de recherche concertée sur la santé. Les investissements actuels des IRSC dans ces programmes sont relativement peu élevés (14,1 millions de dollars annuellement), bien que l'organisme participe également au financement de programmes axés sur la commercialisation avec ses partenaires du CRSNG et du CRSH (p. ex., les Centres d'excellence en commercialisation et en recherche et les Réseaux de centres d'excellence dirigés par l'entreprise).

Le tableau 3-3 présente le nombre et la proportion de chercheurs financés par le POSF (chercheurs principaux désignés) qui ont « migré » d'une subvention du POSF vers une subvention axée sur la commercialisation. Il est à noter que nous ne pouvons pas assumer que le POSF a nécessairement financé la recherche fondamentale précoce ou la validation de principe initiale ou l'invention qui a été par la suite mise en pratique grâce aux subventions de commercialisation des IRSC à une étape de mise au point de technologie ou de produit au stade préliminaire. Il est cependant probable que c'est ce qui peut être observé pour bon nombre des 337 chercheurs ayant « migré » d'une subvention du POSF à une subvention de commercialisation.

Tableau 3-3 : Nombre et type de chercheurs financés par le POSF qui ont « migré » vers des subventions de commercialisation, 2000-2010
Nombre de chercheurs uniques (CPD) financés par des subventions du POSF Nombre de chercheurs uniques (CPD) financés par le POSF titulaires de subventions subséquentes de commercialisation Proportion de chercheurs (CPD) financés par le POSF recevant une subvention subséquente de commercialisation Nombre de subventions de commercialisation obtenues par des chercheurs (CPD) qui ont été titulaires d'une subvention du POSF Nombre de subventions de commercialisation détenues par des chercheurs (CPD) qui ont été titulaires d'une subvention du POSF, réparties par thème
9 428 337 3,6 % 458 Biomédical 406
Clinique 44
Services et systèmes de santé 1
Santé des populations 3
Source : Données du Système d'information électronique fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

Comme le montre le tableau 3-3, une proportion relativement faible de chercheurs (3,6 %) se voient octroyer une subvention de commercialisation après avoir eu une subvention du POSF. Il se pourrait que la faiblesse relative des investissements dans les programmes de commercialisation y soit pour quelque chose.

Quelle influence la recherche financée par le POSF a-t-elle eue sur les groupes d'intervenants, notamment dans le système de soins de santé, au gouvernement et dans l'industrie?

On s'attend non seulement à ce que les subventions du POSF soient utilisées pour créer des connaissances, mais aussi à ce qu'elles aient, avec le temps, un impact plus vaste, tant sur les individus qu'à l'échelle du système. Comme il a été décrit précédemment, les projets des études de cas fournissent des exemples de la façon dont cela s'est produit dans certains cas particuliers, mais il existe également des données plus généralisables signalées par les chercheurs qui indiquent que leurs recherches financées par le POSF ont eu des retombées pour divers groupes (figure 3-1).

Figure 3-1 : Pourcentage des chercheurs financés indiquant que leurs résultats de recherche ont eu un impact

Description détaillée de la figure 3-1

Les données portent sur les répondants qui ont indiqué des retombées « considérables » ou « importantes ».
Source : Système de rapport sur la recherche, mise à l'essai (n = 596).

Comme le montre la figure 3-1, les chercheurs indiquent le plus souvent que la subvention a permis d'engendrer des recherches subséquentes, que ce soit par leur équipe ou par d'autres personnes. Toutefois, plus d'un chercheur sur cinq mentionne des retombées pour divers intervenants du système de santé. Comme on l'a décrit précédemment, l'impact de la recherche doit souvent s'observer à long terme; on pourrait donc s'attendre à ce que ces pourcentages augmentent de façon importante si on posait la même question aux chercheurs dans 10 ans.

En ce qui concerne les différents groupes d'intervenants concernés par la recherche financée par le POSF, la plupart des chercheurs ont indiqué que leur travail avait influencé dans une mesure considérable ou importante d'autres chercheurs/universitaires et les intervenants figurant dans leurs demandes (figure 3-2).

Figure 3-2 : Pourcentage des répondants ayant affirmé que la recherche financée par le POSF a eu une influence considérable ou importante sur les intervenants

Description détaillée de la figure 3-2

Source : Système de rapport sur la recherche, mise à l'essai (n = 596).

Y a-t-il un lien entre la participation des intervenants au processus de recherche et les résultats de ces recherches?

En ce qui a trait à la mise en œuvre des connaissances générées par la recherche, Graham et Tetroe soutiennent que les résultats de recherche « seront sans doute plus intéressants pour les utilisateurs finaux et surtout utilisés par ceux-ci » si ces derniers participent à tous les aspects du processus de recherche (Graham et Tetroe, 2007). Il s'agit d'un point de vue partagé par plusieurs organismes de financement comme le National Health and Medical Research Council d'Australie (Adily et coll., 2009) et la Fondation canadienne de la recherche sur les services de santé (Lomas, 2000). Les conclusions des études de cas appuient l'importance de l'inclusion des intervenants dans le processus de recherche; les participants à ces études ont attribué une certaine partie de leur succès à l'inclusion des intervenants appropriés dans leur recherche, généralement à un stade précoce.

Cependant, lorsqu'on se penche sur les subventions du POSF de façon plus générale, les données semblent indiquer qu'à l'exception des chercheurs et des universitaires et, dans une certaine mesure, des intervenants figurant officiellement sur la demande de subvention, les autres groupes d'intervenants ne sont pas souvent mis à contribution lors de la réalisation de recherches financées par le POSF (tableau 3-4).

Les chercheurs et universitaires ont participé beaucoup plus activement aux différentes étapes du processus de recherche que tous les autres groupes d'intervenants. Chez les autres utilisateurs potentiels, la participation était plus susceptible de se produire à l'étape « activités d'AC », bien que plusieurs groupes (intervenants dans l'étude mentionnés dans la demande et professionnels ou praticiens des soins/du système de santé et patients/consommateurs de soins de santé) aient aussi participé de façon importante à l'étape de la collecte de données et de la mise en œuvre du projet. Les intervenants officiellement mentionnés dans la demande participaient systématiquement à chaque étape du processus de recherche chez au moins 25 % des titulaires d'une subvention du PSF.

Tableau 3-4 : Participation des utilisateurs potentiels de la recherche à la recherche financée par le POSF (% des chercheurs)
Groupe d'utilisateurs de la recherche potentiels Pleine participation Élaboration de l'idée ou de la question de recherche Élaboration du protocole Collecte de données/mise en œuvre du projet

Interprétation des résultats Activités d'AC
Chercheurs/
universitaires
71,3 84,9 84,7 84,7 88,9 77,5
Intervenants dans l'étude mentionnés dans la demande 18,5 26,3 26,3 29,2 25,7 25,7
Praticiens des soins/du système de santé 9,7 18,3 14,6 21,1 18,6 24,5
Patients/consommateurs de soins de santé 2,7 4,9 4,2 12,4 3,7 11,6
Organisations professionnelles de soins de santé 2,0 3,2 2,5 4,4 3,4 10,4
Gestionnaires des soins de santé 1,7 3,2 2,7 5,5 3,5 6,7
Groupes de consommateurs/organismes de bienfaisance 0,8 1,8 1,0 1,8 1,3 8,6
Industrie 0,8 1,8 2,3 2,5 2,3 8,4
Représentants fédéraux /provinciaux 0,7 0,8 0,7 1,0 1,2 5,5
Médias 0,5 0,8 0,5 1,2 0,8 19,6
Organismes communautaires/municipaux 0,3 0,8 0,3 1,5 0,8 6,7
*La pleine participation a été définie comme la participation du groupe d'utilisateurs précisé à chacune des cinq étapes allant de l'« élaboration de l'idée de recherche » aux « activités d'AC ».
Source : Système de rapport sur la recherche, mise à l'essai (n = 596).

La pleine participation au processus de recherche a été définie comme la participation à chacune des étapes, de l'« élaboration de l'idée de recherche » aux « activités d'AC ». Lorsqu'il y a pleine participation, elle s'observe généralement chez un seul groupe d'utilisateurs (53,9 %), occasionnellement chez deux groupes (16,8 %) et rarement chez trois groupes ou plus (5,8 %) parmi les onze groupes possibles.

La pleine participation recensée variait selon la discipline de recherche, les chercheurs du thème II étant les plus susceptibles (91,9 %) de faire participer d'autres intervenants, suivis de ceux du thème III (89,3 %), du thème IV (85,1 %) et du thème I (71,3 %) [p < 0,01]. La majeure partie de cette participation se faisait avec d'autres chercheurs et universitaires.

Les données de référence dans ce domaine sont rares, mais lorsqu'on combine les thèmes III et IV, on peut estimer à 86,7 % la pleine participation avec au moins un groupe d'utilisateurs. En comparaison, un taux de 35,3 % a été relevé dans une étude semblable réalisée en Australie (Adily et coll., 2009) et portant seulement sur la participation à des subventions et des bourses de formation dans la recherche en santé non biomédicale. Une telle disparité nécessite qu'on s'y attarde davantage, mais il convient de noter que la classification des groupes d'utilisateurs potentiels de la recherche en matière de pleine participation dans notre étude – chercheurs et universitaires, intervenants dans l'étude mentionnés dans la demande, praticiens des soins de santé, patients/consommateurs de soins de santé – est essentiellement la même que celle de l'étude australienne – chercheurs en milieu universitaire autres que des cochercheurs, professionnels des soins de santé et groupes de patients/consommateurs.

Des analyses plus approfondies ont été réalisées sur ces données pour déterminer des associations entre la pleine participation des intervenants et les résultats indiqués par les chercheurs concernant leurs subventions. L'un des résultats, soit les avantages directs pour les sujets humains de la recherche, a permis d'observer une tendance vers une association avec la pleine participation. Environ 23 % des chercheurs qui ont fait état de la pleine participation d'au moins un groupe d'utilisateurs finaux ont aussi fait état d'avantages directs de leurs travaux pour les sujets humains, comparativement à 15,7 % de ceux qui n'ont pas indiqué de pleine participation (p < 0,058).

Développement de la capacité

Questions d'évaluation

Le nombre moyen de membres du personnel de recherche et de stagiaires attirés et formés grâce à des subventions du POSF depuis 2000 a-t-il augmenté ou diminué, ou est-il demeuré inchangé?

Le développement de la capacité est un élément important pour le maintien d'une entreprise de recherche de renommée internationale. Les IRSC appuient directement le développement de la capacité par l'octroi de bourses à des chercheurs individuels et indirectement par l'octroi de fonds à des projets de recherche qui développent la capacité en mettant à contribution des étudiants, des stagiaires et d'autres chercheurs ou intervenants. Les comportements à l'égard de la formation et du financement dans les thèmes de recherche des IRSC peuvent varier grandement entre la recherche biomédicale et les sciences sociales.

La définition du développement de la capacité utilisée dans la présente évaluation comprend la participation directe au processus de recherche de tout employé ou stagiaire, rémunéré ou non : chercheurs; assistants de recherche, techniciens de recherche; boursiers postdoctoraux, étudiants qui ont obtenu leur diplôme dans une profession de la santé (M.D., B.Sc.Inf., DDS, etc.), boursiers de recherche (ne poursuivant pas leurs études à la maîtrise ou au doctorat), et stagiaires au doctorat, à la maîtrise et au premier cycle.

Tableau 4-1 : Moyenne et nombre total de travailleurs hautement qualifiés (THQ) financés par thème
Nombre total de THQ formés/financés – données du SRR Nombre moyen de THQ formés/financés – par chercheur Écart-type Nombre total de THQ formés/financés déduit d'après toutes les demandes au POSF approuvées
(2000-2010)
Nombre de demandes au POSF approuvées (2000-2010)

Les différences entre les thèmes sont significatives (p < 0,001).

  1. La somme des données des quatre thèmes n'arrive pas à 9 428 en raison de 37 demandes « approuvées » dont le thème est inconnu.

Source : Système de rapport sur la recherche, mise à l'essai (n = 596) et données du Système d'information électronique fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

Biomédical (n = 440) 3 490 7,93 5,75 56 731 7 154
Clinique (n = 59) 593 10,05 7,91 9 738 969
Systèmes et services de santé (n = 26) 204 7,85 12,17 4 176 532
Facteurs sociaux, culturels et environn., et santé des pop. (n = 47) 640 13,62 14,86 10 024 736
Total 4 927 8,61 7,66 81 175 9 4281

Le tableau 4-1 montre le nombre de travailleurs hautement qualifiés (THQ) qui ont été formés ou qui ont reçu du financement grâce à une subvention du POSF. Les données du Système de rapport sur la recherche recueillies auprès des chercheurs financés par le POSF ne représentent qu'une fraction du nombre total de chercheurs financés dans le cadre de ce programme entre 2000 et 2010; il est donc impossible d'obtenir le nombre total de THQ formés ou financés au cours de cette période. Cependant, en utilisant les données qui indiquent une moyenne des THQ formés ou financés par thème, nous avons été en mesure de déduire le nombre total de ces travailleurs qui pourraient avoir été formés dans le cadre de subventions du POSF au cours de cette période, soit n = 81 175. Comme les titulaires d'une subvention du POSF sont maintenant tenus d'utiliser le Système de rapport sur la recherche, la prochaine évaluation du programme, qui sera effectuée dans cinq ans, permettra de confirmer cette estimation.

Il faut aussi prendre en considération certaines autres restrictions. Par exemple, bien qu'il semblerait qu'en termes relatifs, le thème IV soit celui qui a offert le plus grand nombre de possibilités (moyenne : 13,6 THQ par chercheur), il se pourrait que ces données prêtent à confusion. En effet, une seule personne peut être mobilisée par plusieurs chercheurs, dans plusieurs projets et à des degrés de participation divers, ce qui entraîne un risque de double comptabilisation.

La question de la possible « double comptabilisation » d'une même personne dans plusieurs subventions de recherche peut être étudiée de manière plus approfondie par l'analyse des données sur les équivalents temps plein (ETP) pour les travailleurs hautement qualifiés. Cette mesure consigne la proportion du temps passé par le stagiaire sur une subvention, permettant ainsi de tenir compte de situations dans lesquelles les subventions peuvent faire appel à différents stagiaires pour de courtes périodes.

En effet, comme l'illustre le tableau 4-2, les travailleurs hautement qualifiés des chercheurs en recherche clinique et biomédicale participaient en moyenne plus activement à leurs subventions que ceux des autres thèmes. La moyenne des ETP dans le thème IV est beaucoup moins élevée que la moyenne globale calculée selon le nombre de personnes uniques, sans égard au temps consacré par celles-ci au projet : ainsi, on obtient en fait 4,81 ETP (voir tableau 4-2) comparativement à 13,62 (voir tableau 4-1). Il sera important de tenir compte de ces différences majeures entre les thèmes de recherche lors de futures études de mesure du rendement ou d'évaluation pour assurer l'exactitude des données recueillies sur la formation et le financement.

Tableau 4-2 : Moyenne et nombre total de travailleurs hautement qualifiés (équivalents temps plein) formés par thèm
Nombre total de THQ formés/financés – données du SRR Nombre moyen de THQ formés et de personnel financé par chercheur Écart-type Nombre total de THQ formés/financés déduit d'après toutes les demandes au POSF approuvées
(2000-2010)
Nombre de demandes au POSF approuvées (2000-2010)

Les différences entre les thèmes ne sont pas statistiquement significatives.

  1. Veuillez noter que les totaux des thèmes n'arrivent pas à 9 428 en raison de 37 demandes « approuvées » dont le thème est inconnu.

Source : Système de rapport sur la recherche – mise à l'essai (n = 596) et données du Système d'information électronique fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

Biomédical (n = 334) 7,65 2 554 28,50 54 705 7 154
Clinique (n = 50) 8,10 405 28,17 7 849 969
Systèmes et services de santé (n = 23) 2,83 65 2,39 1 503 532
Facteurs sociaux, culturels et environn., et santé des pop. (n = 32) 4,81 154 4,70 3 542 736
Total 7,24 3 178 26,64 68 251 9 4281

Dans un même ordre d'idées, il peut y avoir encore davantage de confusion lorsqu'on tient compte de l'impact de la durée de la subvention sur le nombre de THQ participant au projet. Comme il a été mentionné précédemment, les chercheurs des thèmes III et IV sont souvent titulaires de subventions de plus courte durée. En effet, le tableau 4-3 illustre que les différences en matière d'ETP entre les thèmes des IRSC disparaissent en grande partie lorsque la durée de la subvention n'est pas prise en compte statistiquement. Ces données laissent donc croire que les quatre thèmes offrent des occasions semblables de développement aux THQ relativement à leurs projets respectifs.

Tableau 4-3 : Nombre moyen de travailleurs hautement qualifiés équivalents temps plein formés/financés par année
Nombre moyen de THQ ETP par année Écart-type
Biomédical (n = 334) 2,31 8,79
Clinique (n = 50) 1,40 1,04
Systèmes et services de santé (n = 23) 1,38 0,98
Facteurs sociaux, culturels et environn., et santé des pop. (n = 32) 1,84 1,76
Total 2,12 7,58
*Les différences entre les thèmes ne sont pas statistiquement significatives.
Source : Système de rapport sur la recherche – mise à l'essai (n = 596).

Sur le plan de la variation du nombre de stagiaires mentionné dans les subventions du POSF au fil du temps, le nombre moyen de stagiaires équivalents temps plein par année de concours a généralement augmenté, bien que ce changement ne soit pas statistiquement significatif (voir tableau 4-4). La surveillance des données à ce sujet est actuellement limitée, particulièrement pour l'année 2004, et en raison du fait que la plupart des données récentes du Système de rapport sur la recherche à ce sujet n'étaient pas disponibles au moment de l'évaluation.

Figure 4-1 : Nombre moyen de stagiaires équivalents temps plein par année de subvention selon l'année du concours1

Description détaillée de la figure 4-1

  1. Les différences entre les thèmes ne sont pas statistiquement significatives.
  2. La moyenne de 2004 s'appuie sur un très petit n de 8.

Source : Système de rapport sur la recherche, mise à l'essai (n = 279).

Le POSF finance-t-il des chercheurs dans tous les domaines de la recherche en santé? Les chercheurs des thèmes III et IV sont-ils confrontés à des obstacles dans l'obtention de financement du POSF?

Le Programme ouvert de subventions de fonctionnement vise à financer d'excellents projets dans les quatre thèmes de recherche en santé des IRSC. En tant que programme de financement hérité du Conseil de recherches médicales du Canada, le POSF est considéré comme une belle réussite en matière de financement de la recherche biomédicale. Cependant, certaines préoccupations ont été soulevées par les intervenants internes et externes quant à l'efficacité de l'appui complet de la recherche par le POSF dans l'ensemble du mandat de recherche en santé des IRSC. Un récent document de consultation portant sur les réformes proposées par l'organisme à sa série de programmes ouverts stipule que le conseil d'administration des IRSC cherche à :

« s'assurer que la nouvelle série de programmes ouverts permettra à la fois d'éliminer des obstacles et de créer des occasions pour les chercheurs œuvrant dans tous les thèmes. » (IRSC, 2012a)

De la même façon, cette question a aussi été soulevée à l'occasion du récent examen international quinquennal des IRSC, particulièrement en ce qui concerne la recherche sur les services et les politiques de la santé et la recherche sur la santé publique et des populations (thèmes III et IV). Par exemple, les examinateurs internationaux de l'Institut de la santé publique et des populations (ISPP) des IRSC ont remarqué que les dépenses liées au POSF dans ce domaine de recherche étaient peu élevées et s'étaient stabilisées avec le temps (Macintyre, 2011).

Comme le montre la figure 4-2 ci-dessous, la recherche biomédicale (thème I) a reçu environ 80 % des investissements relatifs aux subventions de fonctionnement dans le cadre d'un concours ouvert depuis 2002-2003, et il y a eu peu de changement depuis. Cependant, comme il est mentionné ailleurs dans le présent rapport, les dépenses réelles liées au POSF ont augmenté de façon importante de 2000-2001 à 2010-2011, notamment dans les thèmes III et IV.

Figure 4-2 : Proportion des dépenses annuelles liées au POSF selon le thème (2000-2001 à 2010-2011)

Description détaillée de la figure 4-2

Source : Fondé sur les données du Système d'information électronique fournies par l'Unité de la mesure d'entreprise et de la production de données des IRSC.

La question des obstacles propres aux chercheurs œuvrant dans des secteurs non biomédicaux a été soulevée par des directeurs scientifiques passés et actuels et par d'autres intervenants. Des analyses de certains de ces obstacles potentiels ont aussi été effectuées dans plusieurs études (p. ex. Thorngate, 2002; Unité de l'évaluation, 2009; ISPS, 2011; Tamblyn, 2011). Il existe également de nombreuses données qualitatives dans d'autres documents et notes où ces questions sont délimitées et étudiées. Dans la présente section, nous présentons un examen des données existantes dans ce domaine, ainsi qu'un aperçu de l'évolution future de la série de programmes ouverts des IRSC. Ces analyses portent sur les thèmes III et IV.

L'une des restrictions dans ces analyses qu'il importe de mentionner est le manque de données à l'heure actuelle à l'échelle de l'organisme pour étudier ces questions plus en profondeur. Compte tenu de l'importance du financement dans l'ensemble du mandat des IRSC, il sera essentiel de mettre en œuvre des mesures du rendement qui pourront fournir ces données à l'avenir. Autre restriction : dans la plupart des cas, les données reposent sur l'identification par un chercheur d'un thème de recherche. La validation manuelle des chercheurs et des thèmes est réalisée par certains instituts des IRSC dans le but d'accroître la fiabilité de ces données (par exemple, l'Institut des services et des politiques de la santé et l'Institut de la santé publique et des populations réalisent de telles validations dans leurs domaines de recherche respectifs); cependant, il faudrait de nombreuses ressources pour procéder à un tel exercice à l'échelle de l'organisme21.

Obstacles

La figure 4-3 résume plusieurs obstacles auxquels sont confrontés les chercheurs des thèmes III et IV et qui ont été sélectionnés à la suite d'analyses et d'entretiens réalisés avec des représentants de ces milieux22. Ces obstacles sont analysés plus en détail ci-dessous. Notons que la liste d'obstacles n'est nullement exhaustive : il existe d'autres obstacles potentiels, mais on ne dispose pas de suffisamment de données pour justifier leur inclusion dans le présent rapport. Ils devront toutefois être étudiés plus en profondeur dans de futures analyses.

Figure 4-3 : Obstacles pour les candidats des thèmes III et IV au POSF23

Description détaillée de la figure 4-3

1. Proportion plus élevée de demandes jugées non subventionnables

Les données indiquent que les pairs évaluateurs des thèmes III et IV ont des habitudes différentes de ceux des deux autres milieux en matière d'évaluation. Cette réalité s'observe tant dans les plus faibles cotes moyennes qu'ils attribuent aux demandes que dans la façon dont ils étudient les demandes et les classent.

Comme l'illustre la figure 4-4 ci-dessous, les analyses réalisées par l'Institut des services et des politiques de la santé (ISPS) indiquent que la probabilité qu'une demande du thème III ou IV soit considérée « non subventionnable » dans le POSF (cote inférieure à 3,5 sur 5) est beaucoup plus élevée que dans le cas d'une demande du thème I (ISPS, 2011). De même, une analyse de l'ISPS sur le pourcentage de demandes jugées non subventionnables dans les comités d'évaluation par les pairs du POSF24 a déterminé que ces pourcentages s'élevaient à plus de 70 % dans les trois comités Recherche en interventions et en évaluation dans les services de santé et à plus de 60 % dans les deux comités Santé publique, santé communautaire et santé des populations. Par comparaison, la moyenne des taux de tous les comités est de 37,2 %, et on observe un taux de demandes non subventionnables d'environ 10 % dans plusieurs comités biomédicaux du POSF.

Figure 4-4 : Probabilité qu'une demande soit jugée non subventionnable (rapports de cotes)1

Description détaillée de la figure 4-4

  1. Les rapports de cotes sont calculés en fonction du taux de réussite du thème I.

Source : Rapport de l'Institut des services et des politiques de la santé : Peer Review Reforms – Options to Generate Evidence (2011).

Deux études réalisées pour le compte des IRSC par un consultant externe fournissent des preuves supplémentaires des différences relatives aux habitudes d'évaluation dans divers milieux. Dans la première (Thorngate, 2002), une analyse des expressions et des mots utilisés pour étudier les demandes a permis de démontrer que les comités d'évaluation par les pairs des services de santé et de la santé des populations accordaient généralement plus d'importance au plan de recherche, aux méthodes et aux statistiques, à la revue de la littérature et au budget. En revanche, dans le cas de demandes liées à la « recherche médicale » (p. ex. en biochimie, en oncologie ou en neurosciences) on insistait plutôt sur le dossier de l'auteur, la logique sous-tendant les idées de recherche, les techniques de laboratoire appropriées et le financement des étudiants des cycles supérieurs.

Sur le plan des différences, on a aussi observé que les cotes moyennes des demandes sont liées au degré de désaccord au sujet de la notation entre les membres de comité : plus il y a de désaccord entre les évaluateurs, moins la cote est élevée (Thorngate, 2002). On a observé qu'il y avait plus de désaccords dans l'évaluation de propositions de recherche en services de santé et en santé des populations qu'en « recherche médicale ».

« Un comité accordait des cotes de quatre ou plus à de nombreuses subventions, tandis qu'un autre n'attribuait une cote de quatre ou plus qu'aux subventions de très grande qualité. »
Agent scientifique (citation de Thorngate, 2002, p. 6)

Depuis septembre 2005, les décisions relatives au financement dans le POSF ont été prises en fonction d'une « formule 100/0 », c'est-à-dire que 100 % des fonds octroyés sont répartis en fonction de l'ordre des demandes dans chacun des comités. Ainsi, les différences dans les comportements relativement à la notation d'un comité à l'autre n'ont pas d'incidence directe sur les demandes financées par le POSF. En effet, les données sur la proportion des demandes présentées au POSF qui sont financées dans chaque thème sont, dans l'ensemble, effectivement cohérentes au cours de la période 2001-2011 (ISPS, 2011) et n'indiquent pas que les chercheurs des thèmes III et IV ont un taux de réussite global moins élevé, malgré les cotes moyennes plus faibles de leurs demandes.

Cependant, bien que les disparités en matière de notation ne semblent pas influer directement sur les décisions relatives au financement dans le POSF, certaines conséquences imprévues de la faiblesse des cotes moyennes ont été mentionnés dans les entrevues réalisées auprès des représentants de ces milieux. L'une de ces conséquences concerne les :

Lorsque les IRSC envisageront la mise en place de nouveaux systèmes d'évaluation par les pairs des demandes dans leurs programmes ouverts, dont le POSF, il sera essentiel qu'ils réfléchissent aux conséquences de ces différences dans la manière dont ces milieux évaluent les demandes et en discutent.

2. Habitudes de renouvellement

Les données indiquent que la culture de la recherche des candidats des thèmes III et IV au POSF entraîne des comportements différents relativement au renouvellement de subventions. Comme il a été expliqué précédemment dans ce rapport, les chercheurs de ces milieux sont plus susceptibles d'avoir des subventions de courte durée (trois ans contre cinq ans) que les chercheurs du thème biomédical, ce qui témoigne d'un accent sur les projets plutôt que sur les programmes dans les demandes. Les données sur le renouvellement des demandes de subvention indiquent un volume de demandes moins élevé que la moyenne chez ces chercheurs : seulement 3 % de toutes les demandes de renouvellement sont issues du thème IV comparativement à 9 % de toutes les demandes au POSF dans ce groupe. Il y a aussi une probabilité réduite de réussite : 32 % des chercheurs des thèmes III et IV voient leur demande de renouvellement acceptée, comparativement à 47 % des chercheurs du thème biomédical (ISPP, 2012).

En l'absence dans la présente évaluation d'une étude qualitative ou quantitative systématique de plus grande portée traitant des chercheurs de ces milieux, nous comptons sur les données fournies par les représentants de ces milieux (directeurs scientifiques) pour comprendre ces habitudes. Les données fournies nous permettent de connaître le point de vue des principaux intervenants avec qui les directeurs scientifiques communiquent régulièrement, notamment des représentants du conseil consultatif de leur institut, des chercheurs de pointe dans ces milieux et des autres bailleurs de fonds de la recherche. Les données sur les représentants laissent croire que certaines raisons pourraient expliquer le taux moins élevé de renouvellements :

Il existe un éventail de conséquences possibles à la variabilité des taux de renouvellement d'un milieu à l'autre. En premier lieu, il pourrait y avoir des « lacunes » plus importantes au chapitre du financement du POSF de chercheurs dans ces milieux. En tant que programme axé sur les projets, le POSF vise à soutenir les « meilleures idées » plutôt qu'à financer des chercheurs individuels de façon continue. Cependant, comme on l'a observé, le POSF sert déjà pratiquement d'outil de financement de programmes pour certains chercheurs qui reçoivent du financement continu sur nombre d'années. Les données de l'ISPS indiquent des taux moins élevés de « durabilité » ou de financement continu chez les chercheurs des thèmes III et IV comparativement aux autres demandes (ISPS, 2011a).

Les taux plus faibles de renouvellement pourraient aussi donner lieu au déploiement d'efforts plus importants par les chercheurs des thèmes III et IV pour l'obtention de fonds (projet par projet) et au remplacement d'activités de recherche par la préparation de demandes de subvention. Comme on l'a mentionné dans l'analyse du rapport coût-efficacité du présent rapport, un candidat au POSF consacre en moyenne environ 169 heures (ou environ 22 jours à raison de 7,5 heures par jour) à la préparation d'une demande.

Dernier élément à prendre en considération : la façon dont ces habitudes différentes en matière de renouvellement influent sur la restructuration des programmes ouverts. Les données indiquent que les chercheurs des thèmes III et IV ne présentent généralement pas de demandes dans le cadre des « programmes de recherche » dans le POSF. Cependant, les comportements passés ne sont pas nécessairement une indication des comportements à venir, et il pourrait y avoir des changements à ce chapitre. Lors de discussions tenues avec les membres des conseils consultatifs de l'ISPS et de l'ISPP, l'accent a été mis sur l'importance de préparer les milieux des thèmes III et IV à des demandes axées sur les programmes.

En outre, les données laissent aussi croire que les chercheurs de ces thèmes adoptent effectivement une approche par programmes dans certains concours stratégiques. Par exemple, le volume de demandes est élevé dans les concours axés sur les programmes de l'Institut de la santé publique et des populations et aux chaires en santé publique appliquée de l'Institut. Une analyse plus approfondie de l'organisme sur les impacts et les occasions possibles pour ces chercheurs associés à la création d'un volet de programmes ouverts serait utile pour mieux comprendre ces questions.

3. Projets divers touchant plusieurs disciplines et méthodologies

La nature interdisciplinaire de certaines recherches des thèmes III et IV a été mentionnée par des membres de ces milieux comme un obstacle particulier dans l'évaluation par les pairs. Ce problème a par exemple été soulevé dans une note de service de 2005 (ISPP et ISPS, 2005) par d'anciens directeurs scientifiques de l'Institut de la santé publique et des populations et de l'Institut des services et des politiques de la santé. À l'occasion d'une réunion commune des conseils consultatifs des instituts, du conseil d'administration et du personnel des IRSC tenue en 2004, il avait été question de ce problème. Il en a aussi été longuement question lors de colloques internationaux et de forums de financement dirigés ou codirigés par l'ISPP en 2009, en 2010 et en 2012 (Bayne, 2009; Moffatt, 2009; ISPP, 2010).

L'une des conséquences du grand nombre de projets interdisciplinaires dans ces thèmes est qu'il peut être plus difficile de trouver des évaluateurs qualifiés pour étudier ces demandes. Autre problème : en raison du système actuel des « comités permanents » dans le POSF, certains domaines de recherche ne sont mentionnés explicitement dans le mandat d'aucun des comités. Jusqu'à tout récemment (juillet 2011), la recherche interventionnelle en santé des populations en était un exemple. Ce problème pourrait aussi avoir un effet dissuasif pour un candidat qui envisage de présenter une demande au POSF et ne voit son domaine de recherche dans le mandat d'aucun comité : il pourrait assumer qu'il n'obtiendra pas de fonds. De même, il se peut que les candidats consultent la composition précédente du comité et soient découragés de présenter une demande parce qu'il leur semble improbable que l'expertise nécessaire à l'évaluation de leur domaine de recherche soit disponible. Puisque le taux de réussite actuel se chiffre à environ 20 % dans le POSF, il est probable que ce soit le cas.

Les directeurs scientifiques des instituts des thèmes III et IV ont aussi soulevé le problème de la difficulté de trouver des évaluateurs dans les petits milieux de recherche. L'existence d'un milieu de recherche plus restreint et de plus grandes équipes de recherche peut entraîner la perte de pairs évaluateurs qui s'y connaissent dans un domaine de recherche particulier en raison de conflits d'intérêts et de la nécessité de s'absenter du comité au moment de l'évaluation de la demande problématique. Si la proposition d'un système d'évaluation par les pairs dans lequel les demandes sont attribuées à des évaluateurs appropriés dans les concours ouverts est mise en œuvre pour remplacer la formule actuelle des comités permanents dans le POSF, il pourrait y avoir un problème d'épuisement chez les évaluateurs de petits milieux surchargés de demandes à évaluer. L'établissement actif de liens à l'international pourrait permettre d'atténuer en partie ce problème, et cette approche a déjà été utilisée dans certains concours stratégiques.

À un niveau d'analyse plus général, il est intéressant de remarquer que d'après un récent sondage réalisé auprès de 877 pairs évaluateurs ayant participé au concours du POSF de novembre 2011, les pairs évaluateurs des thèmes III et IV passent beaucoup moins d'heures à évaluer des demandes que ceux du thème I. Si on tient compte du temps consacré à l'évaluation, aux déplacements et aux réunions, les chercheurs du domaine biomédical consacrent en moyenne environ 86,3 heures par concours, comparativement à environ 52 heures pour les chercheurs des thèmes III et IV. Cette différence s'explique probablement par le temps passé à évaluer les demandes indiquées par les évaluateurs; les candidats du thème I passent environ 6,4 heures à évaluer chaque demande, comparativement à 4,5 heures pour le thème II, à 3,5 heures pour le thème III et à 3,7 heures pour le thème IV (tableau 4-4). Toutes les différences entre les thèmes étaient significatives (p =< 0,001), à l'exception du « Temps moyen passé en déplacement vers Ottawa pour les délibérations de comités ».

Tableau 4-4 : Temps consacré par les pairs évaluateurs au processus d'évaluation de novembre 2011 (en heures)
Moyenne par élément du processus Total (n = 4841) Biomédical (n = 326) Clinique (n = 71) Systèmes et services de santé (n = 30) Facteurs sociaux, culturels et environn., et santé des pop. (n = 57)
  1. Veuillez noter qu'un répondant a été retiré de l'échantillon en raison du manque de fiabilité de ses réponses. Les thèmes sont tels qu'indiqués par les répondants au sondage.

Source : Sondage sur la charge de travail des pairs évaluateurs (n = 485).

Nombre de demandes évaluées par concours 8,8 8,8 6,4 8,2 11,5
Temps total déclaré passé à l'évaluation de demandes par concours (heures) 44,0 52,5 26,0 27,2 26,6
Temps déclaré passé à l'évaluation d'une seule demande (heures) 5,7 6,4 4,5 3,5 3,7
Temps consacré aux délibérations de comités par concours (heures) 23,4 26,5 16,9 17,8 16,7
Temps passé en déplacement vers Ottawa pour les délibérations de comités par concours (heures) 7,4 7,3 6,2 8,3 8,9
Temps total consacré au processus d'évaluation par concours 74,8 86,3 49,0 53,2 52,1
Nombre annuel d'heures que les évaluateurs sont prêts à consacrer au processus d'évaluation aux IRSC 75,6 86,4 48,3 55,1 58,6

Comme on peut le voir dans le tableau 4-4, le temps total consacré par les évaluateurs au processus d'évaluation par concours est très semblable au temps qu'ils sont prêts à consacrer annuellement à l'évaluation de demandes. Si un pair évaluateur était appelé à participer à deux concours par année, il y passerait donc environ le double du temps qu'il est prêt à y consacrer.

Ces données doivent toutefois être interprétées avec circonspection : c'est la première fois qu'un sondage du genre est réalisé aux IRSC, et nous ne disposons pas de données sur les tendances nous permettant d'évaluer la mesure dans laquelle ces résultats fluctuent par concours en fonction des demandes reçues. Il existe également une limite en ce sens que la taille des échantillons est insuffisante pour permettre l'évaluation du fardeau des évaluateurs dans des sous-domaines, particulièrement dans le cas de milieux plus restreints.

Il est recommandé que les IRSC continuent de recueillir ces renseignements et procèdent à des analyses pour comprendre pourquoi le temps passé à évaluer chaque demande varie de façon importante d'un milieu à l'autre. Ces mesures fourniront une base de référence permettant de comparer le fardeau actuel de l'évaluation pour les chercheurs dans le POSF à de futures approches d'évaluation par les pairs.

Pertinence du programme

Pertinence continue du programme

Conformément aux exigences formulées dans la Politique sur l'évaluation (2009) du gouvernement du Canada, la présente évaluation aborde plusieurs questions relatives à la pertinence, le besoin de maintenir le programme et la conformité de ce dernier aux priorités et aux rôles et responsabilités du gouvernement fédéral.

Le mandat des IRSC, comme indiqué dans la Loi qui établit la création de l'organisme, est « d'exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada » (projet de loi C-13, 13 avril 2000). Le POSF contribue directement à la réalisation de ce mandat global en facilitant la création, la dissémination et l'utilisation de connaissances liées à la santé ainsi que le développement et le maintien de la capacité de recherche en santé au Canada en appuyant des projets originaux et de grande qualité proposés et exécutés par des chercheurs individuels ou des groupes de chercheurs dans tous les domaines de la recherche en santé.

Les objectifs du POSF et de l'ensemble des IRSC continuent d'appuyer les priorités fixées par le gouvernement fédéral et d'y contribuer, comme expliqué dans sa Stratégie des sciences et de la technologie de 2007 (Industrie Canada, 2007 et 2009). Il y a donc trois domaines prioritaires distincts :

  1. Avantage du savoir
  2. Avantage entrepreneurial
  3. Avantage humain

Le POSF est conforme à ces priorités gouvernementales de plusieurs façons :

D'après certains des commentaires formulés dans le cadre de la pétition en ligne présentée par des chercheurs mentionnée précédemment, nos principaux intervenants seraient convaincus que le POSF est essentiel au maintien d'une entreprise de recherche de renommée internationale au Canada.

Les données recueillies dans le cadre de cette évaluation portent à croire que le POSF continue d'appuyer les priorités du gouvernement. Le budget fédéral de 2011 a souligné l'importance d'investir de façon continue dans l'innovation, l'éducation et la formation, ainsi que le rôle joué par les trois principaux organismes de financement du Canada dans le soutien de la « recherche de pointe » et de la « recherche en santé d'importance nationale » (Gouvernement du Canada, 2011). Le budget fédéral de 2012 réaffirme l'engagement du gouvernement à appuyer la recherche de pointe (Gouvernement du Canada, 2012).

Les données de l'évaluation reflètent le besoin de maintenir le POSF et la conformité du programme aux priorités du gouvernement fédéral et des IRSC, ainsi qu'aux rôles et responsabilités du gouvernement fédéral. Il y a des éléments qui prouvent que le programme contribue directement à la réalisation du mandat des IRSC (projet de loi C-13, 13 avril 2000) et est conforme aux priorités du gouvernement fédéral telles qu'elles sont énoncées dans la Stratégie des sciences et de la technologie de 2007 (Industrie Canada, 2007 et 2009). De plus, les intervenants principaux sont d'avis que le POSF est crucial pour maintenir une entreprise de recherche de calibre mondial au Canada. En outre, les plus récents budgets fédéraux réaffirment l'engagement du gouvernement de soutenir la recherche de pointe et la « recherche en santé d'importance nationale » et le rôle des trois principaux organismes de financement du Canada pour y arriver (Gouvernement du Canada, 2011 et 2012).

Contexte du programme

Contexte

La série de programmes des IRSC comprend des programmes ouverts et des programmes stratégiques. Les programmes ouverts servent à encourager la recherche entreprise par les chercheurs, tandis que les programmes stratégiques sont axés sur des sujets de recherche précis, prédéterminés et ciblés stratégiquement par les IRSC.

Le POSF octroie des fonds de fonctionnement pour appuyer les « meilleures idées » dans les quatre thèmes de la recherche en santé au Canada26. Le programme est très polyvalent et n'impose aucune exigence ou restriction particulière concernant les activités de recherche qui doivent être entreprises, le montant demandé27 et la taille de l'équipe de recherche ou sa composition.

Le POSF existe depuis plus de cinquante ans, sous diverses formes. Initialement un programme de financement du Conseil de recherches médicales du Canada (CRM), il a été conservé après le remplacement du CRM par les IRSC en 2000. Avec la création des IRSC, le POSF a été étendu pour englober les projets de recherche s'inscrivant dans le mandat plus vaste divisé en quatre thèmes du nouvel organisme.

Le POSF est de loin le plus important des appels de propositions ouverts de la série de programmes des IRSC; en effet, entre 2000-2001 et 2010-2011, il représentait de 43 % à 54 % des dépenses annuelles relatives aux subventions et aux bourses (tableau 5-1)28. Depuis l'an 2000, le POSF a consacré environ 3,6 milliards de dollars (en cours jusqu'à l'exercice 2015-2016) à l'appui de projets entrepris sur l'initaitive des chercheurs des quatre thèmes29.

Tableau 5-1 : Proportions des dépenses de base liées au POSF exprimées en pourcentage de l'ensemble des dépenses des IRSC1
2000-
2001
2001-
2002
2002-
2003
2003-
2004
2004-
2005
2005-
2006
2006-
2007
2007-
2008
2008-
2009
2009-
2010
2010-
2011
  1. Les montants relatifs aux fonds totaux des IRSC comprennent les programmes de transfert de fonds (CRC, RCE, CECR, CERC). Les dépenses de base liées au POSF n'englobent pas les annonces de priorités ou les possibilités de financement transitoire. Le financement par exercice financier comprend les demandes actives au POSF qui ont été payées au cours de cet exercice.
  2. Les montants sont exprimés en millions de dollars.

Source : Données du Système d'information électronique (SIE) des IRSC.

Subventions de fonctionnement MOP2 201,2 245,3 277,9 297,3 316,9 345,9 361,4 374 404,6 402,8 419,1
Financement total des IRSC2 369,8 494,5 586,8 646,9 704,7 758,1 799,6 926,7 916,9 929,1 966,8
Part des subventions de fonctionnement MOP dans le financement total des IRSC 54 % 50 % 47 % 46 % 45 % 46 % 45 % 40 % 44 % 43 % 43 %

Les concours du POSF ont lieu deux fois par an, en mars et en septembre; au moins 400 nouvelles subventions sont octroyées par concours chaque année. Comme l'illustre la figure 5-1, le nombre de demandes reçues et le nombre de demandes subventionnables ont augmenté depuis 2000-2001. Cette situation a donné lieu à une baisse du taux de réussite, qui est passé de 34 % en 2000-2001 à 22 % en 2009-2010. Le montant moyen des subventions était de 79 000 $ à 134 000 $ par année, et la plupart sont détenues pour une période de trois ou cinq ans30.

Figure 5-1 : Programme ouvert de subventions de fonctionnement : nombre de demandes et taux de réussite (2000-2010)

Description détaillée de la figure 5-1

Source : Statistiques générales sur les IRSC 2009-2010.

Objectifs du programme

Les objectifs généraux du POSF peuvent être résumés ainsi :

Un modèle logique du POSF représentant les liens entre les activités de programmes, les retombées et les résultats, préparé et approuvé en 2008, figure à l'annexe A du présent rapport.

Méthodologie d'évaluation

Cadre d'évaluation du POSF

Questions d'évaluation Indicateurs Méthodes Sources de données
Création de connaissances
1. Les publications des chercheurs appuyés par le POSF ont-elles eu un impact scientifique plus grand que celles des chercheurs en santé du Canada et des autres pays de l'OCDE? Moyenne des citations relatives (MCR) des publications financées

Facteur d'impact relatif moyen (FIRM) des publications financées32
Analyse bibliométrique

Revue de la littérature
Données bibliométriques de l'OST
Données du SIE

Documentation universitaire et professionnelle
2. L'impact scientifique des publications résultant du financement du POSF a-t-il augmenté ou diminué depuis 2005, ou est-il resté stable? Facteur d'impact relatif moyen (FIRM) des publications financées

Moyenne des citations relatives (MCR) des publications financées
Analyse bibliométrique

Revue de la littérature
Données bibliométriques de l'OST
Données du SIE

Documentation universitaire et professionnelle
3. La quantité de résultats de recherche par subvention du POSF a-t-elle augmenté ou diminué depuis 2005, ou est-elle restée stable? Quantité d'articles de revue
Quantité de livres/chapitres de livres
Quantité de rapports/rapports techniques
Analyse des données existantes
Revue de la littérature
Données du SRR
Données du SIE
Documentation universitaire et professionnelle
Conception et exécution du programme
4. Le processus d'évaluation par les pairs du POSF est-il capable de déceler et de choisir l'excellence scientifique future? Classements selon l'évaluation par les pairs par rapport à l'impact scientifique (MCR/FIRM) Analyse bibliométrique
Analyse des données existantes
Données bibliométriques de l'OST
Données sur les notes de l'évaluation par les pairs
5. À quel point les candidats du POSF sont-ils satisfaits de l'exécution des processus de présentation des demandes, d'évaluation par les pairs et de gestion postérieure à l'octroi des bourses? % des candidats satisfaits des principales mesures prises par les IRSC pour donner suite aux demandes Analyse des données existantes Données du sondage sur l'examen international (sondage Ipsos Reid)
Données du SRR
Données de la pétition des chercheurs
6. Le POSF est-il exécuté de selon un bon rapport coût-efficacité? Coût unitaire du traitement des demandes et des modalités d'octroi des subventions du POSF Analyse des données existantes Données du SIE
Données financières
Données de la DPCC sur les ETP
Données de la Direction des processus et de la planification des programmes sur le temps des candidats33
Données de l'équipe de conception
7. Le modèle actuel de financement par projet du POSF permet-il aux IRSC et au gouvernement d'appuyer la recherche en santé de manière appropriée? Quelles autres modèles possibles pourraient être envisagés? Conformité du POSF aux priorités et au mandat des IRSC et du gouvernement

Analyse du contexte des programmes ouverts de financement au pays et ailleurs dans le monde

Évaluation d'autres modèles possibles pour le programme
Examen de la documentation

Entrevues auprès d'intervenants clés
Analyse des données existantes
Documents des IRSC, anciennes évaluations des IRSC, rapport de l'examen stratégique du POSF, documentation du gouvernement du Canada

Haute direction34

Données de l'équipe de conception
Données sur le classement de l'évaluation par les pairs
Données du SRR
Application des connaissances
8. Quels résultats commercialisables ont été produits par des chercheurs financés par le POSF? Nombre et type de résultats commercialisables générés

Nombre et types de chercheurs du POSF qui « migrent » vers des subventions de commercialisation

« Exemples de réussite » de projets ayant eu d'importantes retombées
Analyse des données existantes

Études de cas
Données du SRR
Données du SIE

Chercheurs, utilisateurs de connaissances
9. Quelle influence la recherche financée par le POSF a-t-elle eue sur les groupes d'intervenants, notamment dans le système de soins de santé, au gouvernement et dans l'industrie? % des chercheurs financés qui ont influencé une plus vaste gamme d'intervenants par leur recherche

Analyse approfondie de l'influence signalée sur les intervenants
Analyse des données existantes

Études de cas
Données du SRR

Chercheurs, utilisateurs de connaissances
10. Y a-t-il un lien entre la participation des intervenants au processus de recherche et les résultats de ces recherches? Intervenants participant à différentes étapes du processus de recherche

Résultats de recherche (création et application des connaissances, développement de la capacité)
Analyse des données existantes Données du SRR
Développement de la capacité
11. Le nombre moyen de membres du personnel de recherche et de stagiaires attirés et formés grâce à des subventions du POSF depuis 2000 a-t-il augmenté ou diminué, ou est-il demeuré inchangé? Nombre et types de personnel de recherche et de stagiaires participant à la recherche du POSF Analyse des données existantes Données du SRR
Données du SIE
12. Le POSF finance-t-il des chercheurs dans tous les domaines de la recherche en santé? Les chercheurs des thèmes II, III et IV sont-ils confrontés à des obstacles de nature structurelle dans l'obtention de financement du POSF? Nombre de chercheurs financés dans chaque thème de recherche
Taux de réussite par thème
Nombre de chercheurs financés par groupe démographique (p. ex. expérience, subventions antérieures, etc.)

Recensement des obstacles auxquels font face les chercheurs des thèmes II, III et IV
Analyse des données existantes

Entrevues auprès d'intervenants clés
Données du SIE
Données du SRR
Données des IRSC
Données de la pétition des chercheurs

Chercheurs (financés et non financés), représentants et membres des comités d'évaluation par les pairs des thèmes II, III et IV35
Haute direction du POSF et des IRSC

Méthodologie d'évaluation

Conformément aux politiques du SCT et aux pratiques exemplaires reconnues dans le domaine de l'évaluation36, une gamme de méthodes d'étude des données quantitatives et qualitatives ont été employées afin d'effectuer une triangulation des résultats. Cette opération visait à garantir que les résultats de l'évaluation étaient fiables et crédibles, et que les conclusions sur le rendement du programme étaient valides.

Activités de collecte et d'analyse des données

Revue de la littérature

La revue effectuée portait principalement sur le « rendement scientifique », la création de connaissances, les données bibliométriques, l'évaluation par les pairs, l'étude de la gestion de la science, les études du rapport coût-efficacité et d'autres mesures pertinentes de la recherche entreprise par les chercheurs. Ces activités d'analyse ont eu lieu tout au long de l'évaluation.

Examen de la documentation

Cet examen consistait en une analyse contextuelle des documents pertinents des IRSC et du gouvernement du Canada. Ont été analysés : des évaluations antérieures effectuées par les IRSC, leurs instituts et d'autres organismes de financement du Canada et d'ailleurs dans le monde, l'ensemble des statistiques des IRSC pour l'année 2009-2010, ainsi que le rapport de l'examen international des 10 ans des IRSC et les documents connexes.

Analyse bibliométrique

Aux fins de la présente évaluation, l'Observatoire des sciences et des technologies (OST) de l'Université du Québec à Montréal a effectué deux études bibliométriques. La première portait sur les articles publiés de 2000 à 2010 par un échantillon de candidats retenus et non retenus du POSF (n = 1 500). Quant à la seconde, elle était basée sur des articles publiés de 2006 à 2010 par des candidats retenus et non retenus du POSF (n = 1 500). Ces études ont généré des données sur la productivité et l'impact scientifique des candidats retenus et non retenus du POSF en comparaison avec les autres chercheurs en santé du Canada et des pays de l'OCDE. Les principaux indicateurs d'intérêt étaient la moyenne des citations relatives (MCR) et le facteur d'impact relatif moyen (FIRM) des revues, mais seul le premier a été présenté dans ce rapport, parce qu'il repose sur une méthodologie plus appropriée.

Entrevues auprès d'intervenants clés

Des entrevues qualitatives approfondies semi-structurées ont été effectuées aupès de représentants de la haute direction du POSF et des IRSC, notamment auprès des directeurs scientifiques des deux instituts liés principalement aux thèmes III et IV. Les entrevues ont porté entre autres sur les obstacles rencontrés par les candidats au POSF dont le domaine de recherche s'inscrit dans les thèmes II, III et IV.

Études de cas

Cinq projets financés par le POSF ont été triés sur le volet pour faire l'objet d'études de cas utilisant les données quantitatives du Système de rapport sur la recherche; ils ont été sélectionnés de façon à représenter les quatre thèmes des IRSC (selon l'indication des chercheurs) et à refléter la répartition régionale. Une liste des cas proposés a été validée et classée par ordre de priorité par le groupe de travail sur l'évaluation du POSF et la vice-présidente à la recherche des IRSC. Les études de cas ont détaillé des exemples de réussite de résultats de recherches ayant eu d'importantes retombées. Au total, n = 25 entrevues qualitatives ont été effectuées auprès de répondants clés : chercheurs principaux, courtiers du savoir, partenaires et utilisateurs des connaissances.

Sondage sur la charge de travail des pairs évaluateurs

Un sondage a été effectué auprès des 877 pairs évaluateurs qui ont participé aux séances du comité d'évaluation par les pairs du POSF en novembre 2011, afin de recueillir des données sur le temps consacré aux différents éléments du processus d'évaluation par les pairs. Un sondage en ligne a été mené du 13 au 24 janvier 2012. Au total, n = 485 pairs évaluateurs ont répondu; cependant, il n'a pas été possible de recueillir des données sur le salaire de 28 d'entre eux; ils ont donc été exclus des analyses plus en profondeur, ce qui réduit l'échantillon à n = 457. Le taux de réponse non corrigé du sondage était de 55,3 %.

Sondage libre auprès des intervenants des réformes

Un sondage libre en ligne a été lancé dans le but de recueillir les commentaires des intervenants sur la réforme de la série de programmes ouverts des IRSC, et l'Unité de l'évaluation a profité de cette occasion pour ajouter des questions sur le temps consacré par les chercheurs à la présentation d'une demande de subvention du POSF et les coûts associés. Le sondage s'est tenu du 13 février au 28 mars 2012; à cette date, n = 386 chercheurs avaient répondu aux questions les concernant quant au nombre d'heures qu'ils mettaient à préparer une demande du POSF. Les données ont été épurées et huit cas ont été retirés. Comme aucune population cible n'a été définie pour ce sondage, le taux de réponse n'a pas pu être calculé.

Analyse des données existantes

Données du Système d'information électronique (SIE)

Le SIE est conçu pour recueillir et stocker les données de tous les candidats des programmes des IRSC. Les analyses de données effectuées portaient sur les registres de programme, les données administratives et financières, comme le montant et la durée des subventions, les dates de concours et les anciennes subventions du POSF. Les données sur les notes de l'évaluation par les pairs ont également été obtenues et ont été utilisées par rapport à l'analyse bibliométrique.

Données du Système de rapport sur la recherche sur le POSF

Des données ont été extraites des rapports présentés par des chercheurs du POSF sur les fins de subventions à l'aide du Système de rapport sur la recherche (SRR) des IRSC, d'une étude pilote de 2009 du SRR portant sur les titulaires d'une subvention dont l'autorisation d'utiliser les fonds prenait fin entre janvier 2000 et juin 2008 (n = 596) et des données issues de la version complète du SRR pour 2011 (n = 141 réponses prises en considération, toutes présentées au plus tard le 2 février 2012). Avant la combinaison des données des deux sources du SRR, une validation des réponses a été effectuée, notamment la vérification de différences entre les profils démographiques des répondants de la mise à l'essai et de la version complète du sondage. Aucun problème majeur n'a été soulevé.

Données du sondage sur l'examen international des 10 ans des IRSC

Les données d'un sondage en ligne effectué par Ipsos Reid du 5 novembre au 5 décembre 2010 ont été analysées dans le cadre de l'examen international des 10 ans des IRSC afin d'évaluer la satisfaction des chercheurs et des autres intervenants à l'égard des processus d'exécution du programme. L'équipe de l'évaluation a analysé un sous-ensemble de ces données pour ne tenir compte que des chercheurs ayant présenté au moins une demande de subvention au POSF. Cette analyse a donc tenu compte d'un total de n = 2 141 chercheurs ayant présenté au moins une fois une demande de subvention du POSF et de n = 232 administrateurs de recherche.

Contenu de la pétition en ligne

Dans le cadre de l'examen international des 10 ans des IRSC, des chercheurs ont lancé un site Web afin d'exprimer leur opinion sur le financement de la recherche en santé au Canada. Un total de 1 900 chercheurs ont « signé » la pétition, et 516 d'entre eux ont ajouté un commentaire. Ces données, disponibles en ligne, ont été téléchargées le 25 octobre 2011. Une analyse du contenu des commentaires des chercheurs a été effectuée dans le but de repérer les thèmes les plus fréquents.

Limites

Conformément aux pratiques exemplaires d'évaluation de programmes, les limites de l'étude et les stratégies employées pour les contourner sont décrites ci-dessous.

Analyse bibliométrique

L'analyse bibliométrique a été critiquée en raison du fait que l'évaluation de la qualité d'une publication d'après les citations peut induire en erreur et que les pratiques en matière de citation diffèrent d'une discipline à l'autre, et même parfois entre les sous-domaines d'une même discipline (Ismail et coll., 2009). Cette préoccupation est particulièrement importante pour les IRSC et le POSF, dont le mandat est de financer la recherche en santé dans tous les domaines, notamment des disciplines pour lesquelles la publication de livres ou de chapitres de livres est un indicateur plus utile et plus exact de la création de connaissances. Afin d'atténuer cet élément, la présente évaluation tient également compte d'autres types de résultats pour estimer la création de connaissances découlant du programme. Elle présente également des études de cas de recherches à impact très élevé découlant du financement du POSF.

Les analyses bibliométriques ont été fondées sur les données des publications des chercheurs du POSF au moment où ils bénéficiaient de ces subventions. Bien que cette méthode soit couramment acceptée en raison de la supposition que ces subventions contribuent grandement aux résultats de recherche (p. ex. Campbell et coll., 2010), il est impossible d'établir hors de tout doute un lien entre les subventions et les données bibliométriques sur les publications. Ce type d'analyse devrait être disponible pour les prochaines évaluations grâce au développement du Système de rapport sur la recherche des IRSC, dans le cadre duquel les chercheurs dressent une liste des publications découlant de leur subvention, qui peuvent ensuite être directement reliées aux données bibliométriques.

La moyenne globale des citations relatives au Canada comprend tous les chercheurs canadiens en santé, y compris ceux qui sont financés par le POSF. Les comparateurs de l'OCDE tiennent compte de tous les chercheurs d'un pays, et non d'organismes ou de programmes de financement individuels. Compte tenu des différences entre les mandats de financement de la recherche en santé d'organismes comme les National Institutes of Health des États-Unis ou les conseils de recherches médicales du Royaume-Uni ou de l'Australie, une comparaison directe entre les organismes pourrait s'avérer problématique. Cependant, une piste potentielle à approfondir pour les prochaines évaluations serait d'examiner la possibilité de poser des points de référence par organisme ou même par programme en jumelant un sous-ensemble de données directement comparable (p. ex. en recherche biomédicale).

Enfin, en raison de restrictions budgétaires, l'analyse a porté sur un échantillon aléatoire stratifié de chercheurs du POSF plutôt que sur l'ensemble des chercheurs. La taille de l'échantillon (n = 1 500) était suffisante pour cette analyse, et rien ne laisse croire que les résultats pour l'ensemble des chercheurs seraient différents de ceux de l'échantillon sélectionné.

Données du Système de rapport sur la recherche

Les données du SRR comportent plusieurs restrictions. La principale est l'utilisation d'une méthodologie de sondage qui repose surtout sur des données issues d'auto-évaluations et de souvenirs des titulaires d'une subvention du POSF. La collecte de données de « l'étude pilote » a été interrompue avant l'envoi de la quatrième vague d'invitations. De plus, les chercheurs qui répondent à la version actuelle du SRR ont jusqu'en octobre 2012 pour remplir leur rapport, ce qui signifie que nous ne disposons pas d'un échantillon complet. Les vérifications de la qualité des données sont toujours en cours pour les rapports remplis et seules les réponses touchant la création de connaissances ont fait l'objet des analyses. En outre, en ce qui concerne l'estimation du nombre de personnes formées ou financées grâce au POSF, il est possible que certaines aient été comptées deux fois étant donné que les stagiaires pouvaient participer à plusieurs projets avec différents chercheurs principaux désignés.

Afin d'atténuer la possibilité que ces échantillons ne soient pas représentatifs de la population globale des chercheurs financés par le POSF, nous avons effectué une comparaison des variables démographiques des deux ensembles de données du SRR avec celles de la population du POSF. Cette comparaison semble montrer que les deux échantillons incomplets sont en fait très représentatifs des chercheurs en général. Les variables à l'étude étaient le thème, la langue et la région; les différences entre les échantillons et la population étaient d'environ 5 %.

Sondage du CEI sur la satisfaction pour les 10 ans des IRSC

On a demandé aux chercheurs de répondre en fonction des programmes des IRSC auxquels ils avaient présenté une demande au cours des cinq dernières années; 87 % d'entre eux avaient présenté une demande au POSF au cours de cette période. Plusieurs avaient également présenté des demandes à d'autres programmes, de sorte que, même si seuls les répondants ayant présenté au moins une demande au POSF ont été choisis, leurs réponses pourraient ne pas refléter uniquement les caractéristiques du POSF.

Données du sondage sur le temps investi par les pairs évaluateurs et les candidats

Ces données doivent être interprétées avec circonspection : il s'agit de la première fois qu'un sondage du genre est réalisé aux IRSC, et nous ne disposons pas de données sur les tendances nous permettant d'évaluer la mesure dans laquelle ces chiffres fluctuent selon le concours en fonction des demandes reçues. Par ailleurs, la taille des échantillons est insuffisante pour permettre l'évaluation du fardeau des évaluateurs dans des sous-domaines, particulièrement dans le cas de milieux plus restreints, ce qui représente une autre limite. Des réserves similaires s'appliquent également au temps consacré par les chercheurs à la préparation d'une demande de subvention au POSF.

Contenu de la pétition en ligne

Les répondants ont émis leurs commentaires de façon anonyme sur le site Web. Il n'existe aucun moyen de valider ces données autosélectionnées; celles-ci ne peuvent donc pas être considérées comme représentatives de l'ensemble de la population.

Études de cas

L'échantillonnage a été effectué de façon calculée, et seuls les cas exemplaires ont été sélectionnés. De plus, quelques cas seulement ont été choisis en raison des contraintes de budget et de temps. Comme c'est le cas avec toutes les données qualitatives, ces résultats ne peuvent pas être généralisés à l'ensemble de la population; ils sont plutôt présentés à titre indicatif.

Entrevues avec des informateurs clés

Les entrevues avec d'autres intervenants (candidats/chercheurs/pairs évaluateurs, autres membres de la haute direction des IRSC) ont été annulées afin d'alléger le fardeau des répondants, étant donné que l'équipe responsable des réformes des programmes ouverts des IRSC consultait aussi ces intervenants.

Sélection des thèmes

Toutes les analyses liées aux thèmes reposent sur l'auto-identification des chercheurs à un thème. Certains instituts des IRSC valident parfois les choix exprimés afin d'en améliorer la fiabilité (par exemple, l'Institut de la santé publique et des populations effectue cette vérification pour ses domaines de recherche); cependant, effectuer de telles validations pour tout l'organisme nécessiterait de nombreuses ressources.

Annexe

Aperçu des questions fondamentales d'évaluation du SCT par sections pertinentes du Rapport sur l'évaluation du POSF

Questions fondamentales du SCT Section et page du rapport
Pertinence
Questions 1 à 3 : Besoin de maintenir le programme; conformité aux priorités du gouvernement; conformité aux rôles et responsabilités du gouvernement fédéral Pertinence du programme, p. 67 et 68
Rendement (efficacité, efficience et économie)
Question 4 : Réalisation des résultats attendus Création de connaissances, p. 12 à 19;
Conception et exécution du programme, p. 20 à 41;
Application des connaissances, p. 42 à 53;
Développement de la capacité, p. 54 à 66
Question 5 : Démonstration de l'efficience et de l'économie Conception et exécution du programme, p. 20 à 41

Références

ADILY, A., D. BLACK, I. D. GRAHAM et J. E. WARD. « (Research engagement and outcomes in public health and health services research in Australia », Australian and New Zealand Journal of Public Health, vol. 33, no 3, 2009, p. 258-261.

ALBERTA INGENUITY FUND. The Ingenuity Way: Bibliometric analysis of individuals supported by the Alberta Ingenuity Fund, rapport préparé par M. PICARD-AITKEN, D. CAMPBELL, I. LABROSSE et N. LECOMTE, présenté au Alberta Ingenuity Fund le 22 mai 2008 (consulté le 9 mars 2012).

ARCHAMBAULT, E. 30 Years in Science: Secular Movements in Knowledge Creation, 2010 (consulté le 29 février 2012).

ARCHAMBAULT, E. Matériel supplémentaire en ligne associé au document 30 Years in Science: Secular Movements in Knowledge Creation, 2010 (consulté le 29 février 2012).

ARCHAMBAULT, E., D. CAMPBELL, Y. GINGRAS et V. LARIVIÈRE. « Comparing bibliometric statistics obtained from the Web of Science and Scopus », Journal of the American Society for Information Science and Technology, vol. 60, no 7, 2009, p. 1320-1326.

AZOULAY, P., J. S. GRAFF-ZIVIN et G. MANSO. Incentives and Creativity: Evidence from the Academic Life Sciences (document de travail du NBER no 15466), 2009 (consulté le 19 février 2012).

BAYNE, L. Recherche interventionnelle en santé des populations Forum des bailleurs de fonds – sur invitation, compte rendu préparé pour l'Institut de la santé publique et des populations, 2009.

CAMPBELL, D., M. PICARD-AITKEN, G. CÔTÉ et coll. « Bibliometrics as a Performance Measurement Tool for Research Evaluation: The Case of Research Funded by the National Cancer Institute of Canada », American Journal of Evaluation, vol 31, no 1, 2010, p. 66-83.

CICCHETTI, D. V. « The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation », Behavioral and Brain Sciences, vol. 14, 1991, p. 119-186.

COLE, S., J. R. COLE et G. A. SIMON. « Chance and Consensus in Peer Review », Science, New Series, vol 214, no 4523, 1981, p. 881-886.

CONSEIL DE RECHERCHES EN SCIENCES HUMAINES. Évaluation sommative des programmes Subventions ordinaires de recherche et Initiatives de développement de la recherche, 2010 (consulté le 14 décembre 2011).

CONSEIL DE RECHERCHES EN SCIENCES NATURELLES ET EN GÉNIE DU CANADA (CRSNG). Un examen des publications canadiennes et de leur incidence en sciences naturelles et en génie, de 1996 à 2005, 2007 (consulté le 18 novembre 2010).

DEMICHELI, V. et C. DI PIETRANTONJ. « Peer review for improving the quality of grant applications », Cochrane Database of Systematic Reviews, no 2, article no MR000003, 2007. DOI : 10.1002/14651858.MR000003.pub2.

FONDATION GATES. Grand Challenges in Global Health: Overview, 2011 (consulté le 19 février 2012).

GOUDIN, B. The Impact of Research Grants on the Productivity and Quality of Scientific Research, 2005 (consulté le 14 décembre 2011).

GOUVERNEMENT DU CANADA. Emplois, croissance et prospérité à long terme – Le plan d'action économique de 2012, le discours du budget, 2012 (consulté le 28 mars 2012).

GOUVERNEMENT DU CANADA. La prochaine phase du plan d'action économique du Canada – Des impôts bas pour stimuler la croissance et l'emploi, 2011 (consulté le 28 mars 2012).

GRAHAM, I. D. et J. TETROE. « CIHR Research: How to translate health research knowledge into effective healthcare action », Healthcare Quarterly, vol. 10, no 3, 2007, p. 20-22.

GRAVES, N., A. G. BARNETT et P. CLARKE. « Funding grant proposals for scientific research: Retrospective analysis of scores by members of grant review panel », British Medical Journal, vol. 343, no d4797, 2011. DOI :10.1136/bmj.d4797.

INDUSTRIE CANADA. Réaliser le potentiel des sciences et de la technologie au profit du Canada, 2007 (consulté le 27 mars 2012).

INDUSTRIE CANADA. Réaliser le potentiel des sciences et de la technologie au profit du Canada — Rapport d'étape 2009, (consulté le 17 février 2012).

INSTITUT DE LA SANTÉ PUBLIQUE ET DES POPULATIONS. Formulaires de demande du POSF, 2012.

INSTITUT DE LA SANTÉ PUBLIQUE ET DES POPULATIONS. Rapport du colloque sur l'avancement de la recherche interventionnelle en santé des populations dans le but de promouvoir la santé et l'équité en santé, 2010.

INSTITUT DE LA SANTÉ PUBLIQUE ET DES POPULATIONS et INSTITUT DES SERVICES ET DES POLITIQUES DE LA SANTÉ. Lettre datant du 30 septembre 2005, adressée à Mark Bisby, Robin Hill et Richard Snell et cosignée par John Frank, alors directeur scientifique de l'ISPP, et Morris Barer, alors directeur scientifique de l'ISPS.

INSTITUT DES SERVICES ET DES POLITIQUES DE LA SANTÉ. Generating evidence to guide peer review reform, 2011.

IOANNIDIS, J. P. A. « Fund people not projects » (commentaire), Nature, vol. 477, 2011, p. 529-531.

IRSC. Document de travail conceptuel – Proposition de changements à la série de programmes ouverts des IRSC et d'améliorations au processus d'évaluation par les pairs, 2012a (consulté le 13 février 2012).

IRSC. L'innovation au service de la santé – De meilleurs soins et services par la recherche, 2010 (consulté le 14 février 2012).

IRSC. Possibilité de financement du POSF 2011-2012, 2012b (consulté le 17 février 2012).

ISMAIL S., E. NASON, S. MARJANOVIC et J. GRANT. Bibliometrics as a tool for supporting prospective R&D decision-making in the health sciences: Strengths, weaknesses and options for future development, Rand Corporation, Santa Monica (Californie), 2009.

JACOB, B. et L. LEFGREN. The impact of research grant funding on scientific productivity (document de travail du NBER), 2007 (consulté le 15 septembre 2010).

LANGFELDT, L. « The decision-making constraints and processes of grant peer review, and their effects on the review outcome », Social Studies of Science, vol. 31, no 6, 2001, p. 820-841.

LARIVIÈRE, V., E. ARCHAMBAULT, Y. GINGRAS et E. VIGNOLA-GAGNÉ. « The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities », Journal of the American Society for Information Science and Technology, vol. 57, no 8, 2006, p. 997-1004.

LEVIN, H. et P. J. MCEWAN. Cost-Effectiveness Analysis: Methods and Applications. Thousand Oaks, Sage Publications, 2001.

LOMAS, J. « Using 'linkage and exchange' to move research into policy at a Canadian foundation », Health Affairs, vol. 19, no 3, 2000, p. 236-240.

MACINTYRE, S. Rapport de l'Équipe d'examen composée d'experts pour l'Institut de la santé publique et des populations, 2011 (consulté le 17 février 2012).

MARTIN, B. R. et J. IRVINE. « Assessing basic research: Some partial indicators of scientific progress in radio astronomy », Research Policy, vol. 12, no 2, 1983, p. 61-90.

MOED, H. F. Citation Analysis in Research Evaluation, Dordrecht, Pays-Bas, Springer, 2005.

MOFFATT, L. Perspectives sur le financement de la recherche interventionnelle en santé des populations : Contexte et rapport d'entrevues avec les répondants clés, rapport préparé pour l'Initiative de recherche interventionnelle en santé des populations du Canada, 2009.

NATIONAL INSTITUTES OF HEALTH. NIH Research Grant Program R01, 2011 (consulté le 19 février 2012).

NICHOLSON, P. et D. CÔTÉ. Innovation Canada : Le pouvoir d'agir – Examen du soutien fédéral de la recherche-développement – Rapport final du groupe d'experts, 2011 (consulté le 17 février 2012).

POWELL, K. « Making the Cut ». Nature, vol. 467, 2010, p. 383-385.

STATISTIQUE CANADA. Enquête sur la population active (EPA), estimations selon les heures habituellement travaillées, la catégorie de travailleur, la Classification nationale des professions pour statistiques (CNP-S), et le sexe, non désaisonnalisées, mensuel, (tableau 282-0023 de CANSIM), 2011b (consulté le 23 février 2012).

STATISTIQUE CANADA. Traitements et échelles de traitement du personnel enseignant à plein temps dans les universités canadiennes, 2010-2011 : rapport préliminaire, no 81-595 M, 2011a (consulté le 23 février 2012).

TAMBLYN, R. Institut des services et des politiques de la santé des IRSC – Présentation au conseil consultatif de l'Institut de l'ISPP, 2011.

THORNGATE, W., N. FAREGH et M. YOUNG. Mining the archives: Analyses of CIHR research grant adjudications, rapport présenté aux IRSC en novembre 2002 (consulté le 9 mars 2012).

UK EVALUATION FORUM, Medical research: assessing the benefits to society, Londres, Academy of Medical Sciences, 2006.

UNITÉ DE L'ÉVALUATION DES IRSC. Rapport final sur la modification de la méthodologie de répartition des fonds du PSF et des répercussions sur le nombre de demandes financées par comité d'examen par les pairs, rapport interne des IRSC, 2009.


  1. Consulter le site Web du Conseil du Trésor en savoir plus sur la série de politiques du SCT.
  2. L'évaluation s'est concentrée sur l'aspect 1.1.1 de l'architecture des activités concernant le rendement des IRSC, et se déroulera conformément à l'échéancier énoncé dans le Plan d'évaluation des IRSC 2010/11 – 2014/15.
  3. La moyenne des citations relatives (MCR) est fondée sur le nombre de citations d'un article publié sur une période de trois ans suivant son année de publication. Ainsi, pour les articles publiés en 2000, les citations obtenues de 2000 à 2003 sont comptées. Les citations d'auteurs qui se sont cités eux-mêmes sont incluses. Le nombre de citations obtenu par chaque article est normalisé selon le nombre moyen de citations récolté pour tous les articles publiés dans le même sous-domaine, de manière à tenir compte du fait que les pratiques en matière de citation sont différentes dans chaque spécialité. Lorsque la MCR est supérieure à 1, cela signifie qu'un article ou un groupe d'articles obtient un meilleur score que la moyenne mondiale dans sa spécialité; inversement, si la MCR est inférieure à 1, les publications sont citées moins souvent que la moyenne mondiale. Il faut également souligner que cet indicateur n'est pas considéré comme significatif (non significatif, ou n. s.) lorsque le nombre de publications en question est inférieur à 30. Lors de l'analyse des données, on effectue un test de Mann-Whitney afin de déterminer la signification statistique des différences observées, étant donné que la distribution des citations relatives est asymétrique. D'autres paramètres bibliométriques, comme l'indice de Hirsch (Hirsch, 2005) et le facteur d'impact relatif moyen, sont aussi souvent utilisés dans les analyses, mais ils produisent une mesure moins fiable de l'impact scientifique.
  4. L'évaluation de l'impact scientifique des articles publiés en 2010 ou en 2011 n'aurait pas été fiable au moment de la présente évaluation.
  5. Les données ont été téléchargées du site Web de la pétition (en anglais seulement) le 25 octobre 2011. À cette date, on comptait 1 938 signataires. Un total de 516 signataires avaient émis des commentaires, après le retrait des signataires sans commentaires (et des 4 répétitions d'un message déjà publié).
  6. Les données du SRR comportent plusieurs restrictions. La principale est l'utilisation d'une méthodologie qui repose surtout sur des données issues d'auto-évaluations et de souvenirs des titulaires d'une subvention du POSF. La collecte de données de l'« étude pilote » a été interrompue avant l'envoi de la quatrième vague d'invitations. De plus, les chercheurs répondant à la version actuelle du SRR ont jusqu'en octobre 2012 pour remplir leur rapport. Afin d'atténuer la possibilité que ces échantillons ne soient pas représentatifs de la population globale des chercheurs du POSF, nous avons effectué une comparaison des variables démographiques des deux ensembles de données du SRR avec celles de la population du POSF. Cette comparaison semble montrer que les deux échantillons incomplets sont en fait très représentatifs des chercheurs en général. Les variables à l'étude étaient le thème, la langue et la région; les différences entre les échantillons et la population étaient d'environ 5 %.
  7. Ces moyennes ont été calculées à l'aide des données de l'étude pilote du SRR, qui comprenaient des subventions un peu plus anciennes et de durée plus courte; il faut souligner que les récentes subventions ont tendance à être de plus longue durée. Par ailleurs, les données de la mise à l'essai du SRR ne tenaient pas compte des ECR, qui ont également une plus longue durée.
  8. Notons que les subventions d'une demi-année ont été exclues étant donné qu'elles sont des subventions finales. Des subventions finales ont été octroyées aux chercheurs dont la demande de renouvellement avait été refusée. Elles ont pour but de permettre la cessation progressive des projets de recherche non renouvelés.
  9. Notons que dans tous les thèmes, les chercheurs ont mis au moins huit ans après l'année du concours à produire 95 % de leurs publications ou plus (mais pas 100 %). Les nombres moyens de publications pourraient donc être légèrement sous-estimés pour tous les thèmes, et encore davantage pour les thèmes dont l'intervalle entre l'année du concours et la collecte des données du SRR était plus court - thèmes III (6,1 ans) et IV (6,5 ans) en comparaison avec les thèmes II (7,8 ans) et I (8,2 ans).
  10. On a demandé aux chercheurs de répondre en pensant aux programmes des IRSC pour lesquels ils avaient présenté une demande au cours des cinq dernières années, et 87 % d'entre eux ont déclaré avoir présenté une demande au POSF. Plusieurs avaient présenté des demandes à d'autres programmes également; il est donc possible que ces réponses ne portent pas uniquement sur le POSF.
  11. Il faut souligner que les questions de l'évaluation du programme des SOR portaient sur la « clarté des procédures liées aux demandes » par rapport à la « clarté des instructions pour la présentation d'une demande » pour le POSF, et sur la « facilité des procédures liées aux demandes » par rapport à la « facilité de présentation d'une demande ».
  12. Les données analysées sont tirées de demandes du Programme ouvert de subventions de fonctionnement présentées entre septembre 2005 et septembre 2010. La description complète de la méthodologie de cette analyse se trouve dans la reliure de données d'évaluation.
  13. Pour en savoir plus sur ces concepts, veuillez consulter le site Web de KT Clearinghouse.
  14. Les données ont été entrées dans un calculateur de statistiques en ligne du Center for Evidence-Based Medicine, financé par le Portefeuille de l'application des connaissances des IRSC.
  15. La valeur prédictive positive (VPP) désigne la proportion des demandes retenues par le modèle à la maison (a+b) ET ayant ultimement été retenues par le comité (a). On la calcule à l'aide de la formule suivante : a÷(a+b). Consulté le 22 février 2012.
  16. La valeur prédictive négative (VPN) désigne la proportion des demandes non retenues par le modèle à la maison (c+d) ET n'ayant ultimement pas été retenues par le comité (d). On la calcule à l'aide de la formule suivante : d÷(c+d). Consulté le 22 février 2012.
  17. Nous aimerions remercier le Dr Michael Kramer, ancien directeur scientifique de l'Institut du développement et de la santé des enfants et des adolescents des IRSC, qui a calculé cette statistique et l'a interprétée.
  18. Voir le site Web de Bean Around the World, page consultée le 22 février 2012.
  19. Une analyse bibliométrique a été effectuée par l'Observatoire des sciences et des technologies à l'aide des dossiers de publication reconstitués (2004-2010) de n = 1 500 chercheurs ayant présenté au moins une demande au POSF de mars 2006 à septembre 2008. Cette analyse utilise la moyenne des citations relatives (MCR) comme mesure de l'impact scientifique des publications. D'autres renseignements concernant la méthodologie se trouvent dans la reliure des données d'évaluation du présent rapport.
  20. Les répondants avaient trois choix de réponse : « Non », « Oui », ou « Peut-être à l'avenir ». Aux fins de l'évaluation, seules les réponses « Oui » ont été incluses dans l'analyse, puisqu'elles faisaient référence à quelque chose qui s'était déjà produit.
  21. L'Institut de la santé publique et des populations estime que cet exercice nécessite environ 50 heures annuellement pour la validation de 2 600 titres de demandes retenues par les IRSC pour son seul thème de recherche (IV), en plus du temps investi par l'Unité de la production de données. Cette analyse révèle un taux d'erreurs de 20 à 25 % pour les faux positifs (chercheurs qui indiquent comme principal thème de recherche le thème IV) et de faux négatifs (chercheurs qui indiquent comme principal thème de recherche un autre thème que le IV, même s'il s'agit bien de celui qui correspond à leurs travaux d'après la définition proposée dans la Loi sur les IRSC).
  22. Nos entretiens avec les directeurs scientifiques de l'Institut de la santé publique et des populations et de l'Institut des services et des politiques de la santé nous ont permis de tirer profit de leurs connaissances et de leur expérience approfondies de consultation auprès d'autres scientifiques, pairs évaluateurs, présidents de comités d'évaluation par les pairs et autres intervenants.
  23. Il ne s'agit pas nécessairement d'obstacles à la présentation de demandes au POSF; il peut s'agir d'obstacles rencontrés avant ou après la présentation d'une demande.
  24. D'après les données du concours du POSF de septembre 2010.
  25. Il est important de mentionner qu'il s'agit d'une estimation et non d'un nombre total d'individus. Les stagiaires pourraient participer à plusieurs projets et apparaître plusieurs fois dans cette estimation.
  26. Voir le site Web des IRSC.
  27. Au cours de la période visée par cette évaluation, aucun montant maximal n'était fixé pour les subventions. Cependant, lors des prochains concours, comme les IRSC ont créé une enveloppe spéciale pour les grandes subventions, la plus importante demande acceptable dans tout concours se verra accorder 12,5 millions de dollars. Cette modification entrera en vigueur lors de la possibilité de financement de juin 2011. Message personnel du directeur de la Direction des programmes de création de connaissances des IRSC, le 19 mai 2011.
  28. Données produites par l'Unité de la mesure d'entreprise et de la production de données des IRSC, reçues le 6 mai 2011.
  29. Données produites par l'Unité de la mesure d'entreprise et de la production de données des IRSC, reçues le 6 mai 2011.
  30. Source : Statistiques générales sur les IRSC 2009-2010. Consulté le 4 mai 2011.
  31. Les objectifs du POSF n'ont été mis à jour qu'en 2010-2011 pour comprendre les « programmes de recherche ».
  32. Il a été décidé d'utiliser la moyenne des citations relatives (MCR) tout au long du présent rapport d'évaluation. Celle-ci est une mesure plus directe de l'impact d'une publication que le FIRM, qui n'est en fait qu'une mesure indirecte.
  33. Cet élément a été remplacé par deux sondages indépendants auprès : a) des pairs évaluateurs participant à l'évaluation par les pairs de novembre 2011 et à la réunion du comité d'évaluation par les pairs sur le temps et les coûts liés à l'examen d'une proposition de subvention, et b) des chercheurs sur le temps consacré à la préparation et à la présentation d'une demande du POSF.
  34. Il a été décidé que le document de l'équipe de conception suffirait aux fins de la présente évaluation, étant donné que la haute direction y avait déjà fourni des commentaires détaillés sur les autres modèles possibles de programmes.
  35. Cette piste de recherche a été annulée afin d'éviter une potentielle confusion au sein du milieu de la recherche, étant donné que l'équipe de conception des IRSC était déjà en consultation avec les mêmes intervenants pour recueillir des commentaires quant à la réforme de la série de programmes ouverts des IRSC.
  36. Consulter les ouvrages suivants : MCDAVID, J. C. et L. R. L. HAWTHORNE. Program Evaluation and Performance Measurement: An Introduction to Practice. Thousand Oaks, Sage Publications, 2006.

    WHOLEY, J. S., H. P. HATRY et K. E. NEWCOMER. Handbook of Practical Program Evaluation. San Francisco, Jossey-Bass, 2004.
Date de modification :