Annexe C : Comité d’examen par les pairs en soins palliatifs et soins de fin de vie (SPSFV) pour le Comité des subventions de fonctionnement ouvertes des IRSC
[ Table des matières ]Le comité a été créé en 2005 en réponse aux représentations faites par l'entremise des Instituts touchant l'absence d'un comité approprié en mesure d'examiner de façon experte l'éventail des demandes en SPSFV. Antérieurement, ces demandes avaient été examinées par un certain nombre de comités, principalement du domaine des services de santé. Les fonds de fonctionnement de ce nouveau comité ont été fournis par Santé Canada par le truchement de la Stratégie nationale, ce qui a sans aucun doute rendu le nouveau comité d'examen plus acceptable aux yeux de la direction des IRSC.
Ce comité est d'une grande importance pour la poursuite du financement des SPSFV par les IRSC. Le concours de subventions de fonctionnement ouvertes se tient deux fois par année et attire de 1500 à 2000 demandes des différents domaines de recherche en santé. Les demandes sont assignées, selon la préférence du demandeur, à l'un des près de 40 comités d'examen, puis sont évaluées en concurrence avec les autres demandes examinées par chaque comité et reçoivent une cote de mérite allant de 0 à 4,99. Pour l'ensemble des comités, une cote de 3,5 à 4,5 est attribuée à la plupart des demandes. Selon le nombre total de demandes reçues et le budget disponible pour l'ensemble du concours, le premier des demandes examinées par chaque comité est financé du moment qu'elles atteignent une cote de qualité de 3,5 ou plus. Dans les concours récents, la valeur de n s'est située à un peu plus de 20. Ainsi, tant que le comité des SPSFV demeure actif, des projets de recherche en SPSFV seront toujours financés dans l'hypothèse où les demandes dépassent le seuil de qualité, et si le nombre de demandes relatives aux SPSFV augmente, le nombre de projets financés augmentera lui aussi.
Tendances en matière de demandes
Malgré les possibilités de financement offertes à la collectivité des chercheurs en SPSFV grâce à l'existence du comité d'examen par les pairs en SPSFV, la réponse a été tempérée. Les nombres de demandes ont été faibles, généralement de l'ordre de dix à quinze (figure C1), comparativement aux charges « usuelles » de 50 demandes et plus des autres comités, de sorte que l'avenir du comité est menacé si les IRSC devaient décider d'adopter une approche « utilisez-le ou perdez-le » en matière d'efficacité de l'examen par les pairs. Un grand nombre de retraits, c'est-à-dire d'avis d'intention de soumettre non suivis d'une demande, a été enregistré.
Classifiées en fonction des principaux domaines de recherche des IRSC, la majeure partie des 128 demandes totales sont liées au cancer (39), à la recherche en services de santé (32), aux sciences infirmières (14) et à la recherche psychosociale/comportementale (14). L'IC (64) et l'ISPS (23) ont été les instituts d'affiliation les plus favorisés, l'IV (14), l'ISCR (9), l'INMD (8) et l'IDSEA (5) étant également populaires.
Étant donné le faible nombre de demandes et les bas taux de succès qui prévalent aux IRSC, le nombre de demandes financées par voie de concours a varié de un à six, mais des demandes additionnelles ont été financées à l'occasion par l'entremise d'un financement additionnel ou d'un financement stratégique ponctuel fourni par plusieurs instituts des IRSC. Sans l'ombre d'un doute, la vive concurrence a dissuadé nombre de chercheurs en SPSFV d'entreprendre l'effort majeur nécessaire à la soumission d'une demande de subvention aux IRSC et les « histoires d'horreur » des demandeurs qui ont présenté des demandes de multiples fois sans succès même s'ils avaient obtenu d'excellentes cotes de mérite ont probablement exacerbé la situation. La cote de la demande la mieux cotée mais non financée s'est située dans la portion supérieure de l'échelon « excellent » dans plusieurs concours (figure C1).
La figure C1 illustre une autre source de frustration des demandeurs qui, encore une fois, n'est pas unique au comité des SPSFV. Dans plusieurs concours (p. ex., le concours no 8), les cotes attribuées aux demandes financées et aux demandes non financées étaient presque identiques, et n'étaient certainement pas le reflet d'une véritable différence de mérite scientifique. Répétons que ce résultat malheureux n'est pas le résultat d'un comportement pervers du comité, car les cotes sont une moyenne des cotes privées attribuées (limitées à l'intérieur d'une plage de consensus). Les membres du comité n'avaient aucun moyen de savoir que leurs cotes collectives donnaient lieu à des égalités entre des demandes.
Fig. C1 Cotes de l'ensemble des demandes examinées par le comité des SPSFV
Les demandes financées sont indiquées en rouge.
Biais?
Comme il est mentionné dans le rapport, nous avons entendu tant des louanges que des critiques de la part des chercheurs à l'endroit du comité des SPSFV, et il est important d'affirmer ici et maintenant que le comité ne peut pas être blâmé des bas taux de réussite : comme tous les autres comités d'examen des IRSC, le comité des SPSFV doit simplement coter les demandes comme il les voit, après quoi le taux de succès percentile est appliqué par le personnel des IRSC. Néanmoins, comme certaines des critiques étaient liées à des perceptions de biais contre certaines disciplines ou certains types de recherche, nous avons examiné de façon assez détaillée la composition et le comportement du comité dans le but de vérifier l'existence de toute preuve objective d'une dysfonction du comité.
Parce qu'il examine seulement un petit nombre de demandes, le comité est formé d'un nombre également petit de membres. Depuis sa création, seulement dix-sept personnes identifiables ont fait partie du comité, à l'inclusion du président et de l'agent scientifique. Pour réduire le risque de conflit d'intérêts et élargir les perspectives dans l'examen d'un domaine de recherche relativement petit, cinq de ces personnes ont été des non-Canadiens. Un large éventail de disciplines ont été représentées : nutrition, biochimie, oncologie, épidémiologie, radiothérapie, sciences infirmières, éthique médicale, psychologie, gériatrie, pédiatrie et pneumologie, et les membres ont utilisé des méthodes tant quantitatives que qualitatives dans leur propre recherche. Un examinateur issu de la collectivité a également contribué aux travaux du comité. Il est à noter qu'un membre a demandé l'anonymat et que pour le dernier concours, la liste des membres du comité n'a pas été publiée parce que le petit nombre d'examinateurs aurait rendu probable l'identification des responsables des différents examens. Ce manque de transparence inhabituel des IRSC implique que les membres du comité peuvent sentir la pression exercée par leurs collègues non-membres. S'il y a eu récemment un certain renouvellement du comité, nous suggérons qu'un plus grand renouvellement constant des membres serait bénéfique : les autres chercheurs en SPSFV pourraient être plus pondérés dans leurs critiques – et davantage prêts à soumettre des demandes – s'ils faisaient l'expérience du rôle ardu de membre du comité.
Dans l'ensemble, l'expertise représentée du point de vue des quatre thèmes de recherche en santé des IRSC1 est bien alignée sur le contenu thématique des demandes examinées (figure C2).
Figure C2 Répartition par thème
Les cotes attribuées par le comité des SPSFV au cours de ses diverses réunions ne montrent aucun signe de pathologie ou de dysfonction (figure C1). Les cotes s'étendent sur un large éventail et il existe relativement peu d'agglutination, sauf dans le concours no 7. La marge de cotation entre les demandes financées et les demandes non financées est malheureusement mince dans quatre concours, mais en raison de la procédure de cotation privée utilisée par les IRSC, ce résultat n'aurait pas pu être une décision délibérée du comité. Aucune tendance à l'inflation ou à la déflation des cotes n'a été observée. Une certaine variation a été relevée dans le taux de succès entre les demandes dans les quatre thèmes, d'un creux de 14 % pour la recherche biomédicale et la recherche sur les systèmes de santé à un sommet de 44 % pour les demandes en sciences sociales/santé de la population, mais aucune de ces variations n'a dépassé une variation attribuable à la chance. De la même manière, nous n'avons trouvé aucune preuve de biais dans les taux de succès pour les demandes affiliées à tout institut ou tout domaine de recherche principal, mais nous soulignons que les petits nombres de demandes exposent ces conclusions à un risque d'erreur de type 2. Nous avons également été incapables de trouver une preuve de biais systématique contre toute méthodologie donnée : le nombre de demandes financées utilisant des approches méthodologiques qualitatives ou mixtes se situait dans la fourchette attendue.
Si vous ne réussissez pas à la première tentative…
Figure C3 Historique des demandes présentées plus d’une fois
Les IRSC, contrairement aux NIH, permettent de soumettre la même proposition de projet un nombre indéfini de fois à des concours successifs. A en juger par les titres, les chercheurs et les condensés, les 128 demandes envoyées au comité des SPSFV incluaient 80 propositions uniques, dont treize ont été retirées avant que le comité les ait examinées. Nombre des propositions ont été soumises jusqu'à trois fois et, en général, ont reçu des cotes plus élevées à chaque tentative (teintes de vert à la figure C3), quoique des cas de cotes à la baisse ou stables aient également été relevés (lignes rouges). Les propositions qui ont fini par être financées sont représentées à la figure C3 par des traits gras.
Cette analyse du sort de chaque proposition fait ressortir une autre raison des commentaires négatifs à l'endroit du programme de subventions de fonctionnement en tant que possibilité de financement. En effet, le taux de succès des propositions présentées pour la première fois était très faible, seulement 15 %. Le taux de succès était beaucoup plus élevé pour les propositions présentées une deuxième fois, cependant, avec 31 %, et était de 40 % pour une troisième tentative. La persistance a ses avantages.
La figure C4 montre que pour les propositions pour lesquelles le processus d'examen a pris fin, parce qu'elles ont été financées ou parce que le demandeur a choisi de ne pas la présenter à nouveau, le taux de succès est de 22/80 (27,5 %), ce qui est beaucoup plus élevé que le taux de succès pour les demandes en concours individuels. Ce point devrait être gardé à l'esprit par les demandeurs découragés par les faibles taux de succès des concours. Si nous éliminons les demandes retirées avant le premier concours, le taux de succès était dans les faits de un sur trois.
La cote croissante de la plupart des demandes répétées (figure C3) suggère que le comité des SPSFV fournit des critiques constructives aux demandeurs, ce qui permet à ces derniers d'améliorer leur proposition et d'obtenir une cote plus élevée à la tentative suivante. Il convient toutefois de noter que le système d'examen des IRSC traite toutes les soumissions comme de nouvelles soumissions et le comité n'a donc pas accès aux examens antérieurs. Il est donc également possible pour un demandeur de satisfaire pleinement aux examens, mais de voir sa cote baisser lorsque sa proposition est examinée par des membres différents du comité dans le concours suivant.
Figure C4 Sort des demandes répétées soumises au comité des SPSFV
Conclusion
Nous concluons qu'il n'existe pas de preuves que le comité des SPSFV est autre qu'un comité qui fonctionne bien, dont la composition est appropriée à sa charge de travail, qui est exempt de biais flagrant et qui fournit de bons conseils aux demandeurs. Nous comprenons en même temps la frustration des chercheurs en SPSFV qui ont présenté une demande au comité, ont obtenu une excellente cote et n'ont pas encore reçu de fonds pour leur proposition, et sympathisons avec eux, mais ce n'est pas la faute du comité des SPSFV s'il en est ainsi.