Financement de la recherche : la taille compte mais ne fait pas tout

La qualité de la recherche scientifique britannique est au coeur de toute stratégie de croissance économique. Bien que la recherche britannique soit l’une des plus prospères au monde (1% de la population mondiale produit 7,9% des publications et reçoit 11,8% des citations, statistiques 2009), la question de l’allocation des ressources financières aux établissements d’enseignement supérieur reste très controversée : la taille de l’unité de recherche et la concentration des ressources sont deux sujets très débattus. Il a ainsi été suggéré que si les grandes unités de recherche sont plus performantes, les départements en-dessous d’une certaine taille critique ne sont pas à même d’utiliser de façon efficace, et par conséquent ne devraient pas recevoir de financement pour leur recherche. De plus, si certains prônent une concentration des ressources en un nombre restreints d’institutions, d’autres au contraire sont de l’avis qu’une concentration accrue endommagerait la qualité de la recherche britannique. Cependant, les résultats du RAE 2008 (Research Assessment Exercise, ou exercice d’évaluation de la recherche) montrent que les petites et moyennes unités de recherche sont aussi, voire plus, performantes que certaines grosses unités, et permettre à ces dernières de croître davantage ne signifierait pas forcément une amélioration de la qualité de la recherche qui y serait conduite.

Devant ce paradoxe et cette divergence d’opinions, University Alliance, un regroupement de 23 universités dont les activités sont essentiellement orientées vers le business, fondé en 2009 et éduquant plus de 25% des étudiants britanniques, a commissionné une étude sur les questions de masse critique, sélectivité et concentration des ressources. Cette étude a été conduite par Evidence, une filiale de Thomson Reuters, et a pour objectif de présenter aux institutions membres de University Alliance un consensus sur les questions de financement de la recherche et également de contribuer au débat sur la politique de l’enseignement supérieur. Le rapport, intitulé "Funding research excellence : research groups size, critical mass & performance" est scindé en trois parties, exposées succinctement dans cet article :
- analyse de la relation entre la taille des unités de recherche et leur performance/ productivité ;
- évaluation de la distribution des impacts de citations ;
- évaluation de la capacité de formation d’étudiants en doctorat.

Relation entre taille et performance

Indicateurs

=> Evaluation de la taille

La taille d’une unité de recherche peut être évaluée en fonction de plusieurs critères : nombre de chercheurs, nombre de principal investigators (PI, ou porteur de projet) ou montant du financement de la recherche perçu par l’unité en question. Le nombre de d’employés équivalent temps plein (ETP) de catégorie A a été choisi dans ce rapport comme critère d’évaluation de la taille de l’unité de recherche. Il s’agit des employés actifs au 31 octobre 2007, et concerne les PI et non les chercheurs post-doctoraux.

=> Mesure de la performance

Trois indicateurs de performance ont été conjointement considérés dans ce rapport :
- classement de la qualité de la recherche évaluée par un système de revue par les pairs (4*, 3*, 2*, 1* et non classée : 4* est la note la plus élevée, correspondant à une recherche de pointe à l’échelle mondiale, et "non classée" est la note la plus basse, en-dessous du standard nationalement reconnu). Le pourcentage de soumissions classées dans chacune de ces 5 catégories est utilisé pour calculer une note moyenne indiquant la qualité globale de la recherche dans l’unité en question ;
- nombre d’articles publiés entre 2001 et 2007 par employé de catégorie A soumis au RAE 2008 ;
- impact de citation normalisé. Pour permettre une comparaison en fonction de l’année de publication et de la discipline considérée, le nombre de citations par article a été normalisé par rapport à la moyenne mondiale pour l’année en question et la catégorie de journal appropriée. Cet indice est connu sous le terme "nci" (normalised citation impact ou impact de citation normalisé).

=> Disciplines considérées

Huit unités du RAE2008 ont été considérées dans cette étude :
- études et professions de la santé (sciences biomédicales, nutrition et diététique, optométrie, radiographie, physiothérapie...) ;
- pharmacie (sciences pharmaceutiques, chimie médicale, biochimie pharmaceutique, microbiologie pharmaceutique...) ;
- agriculture, sciences vétérinaires et alimentaires ;
- sciences informatiques (méthodes d’acquisition, de stockage, de traitement et de communication de l’information...) ;
- ingénierie et ingénierie minière et minérale (plus tout département incluant au moins deux types
- d’ingénierie chimique, civile, électrique, électronique, métallurgique, mécanique...) ;
- architecture et environnement construit (construction, urbanisme, paysagisme...) ;
- comptabilité et finances ;
- art et design.

Résultats

L’étude de la relation entre la taille de l’unité de recherche et sa performance, dans les huit disciplines considérées ci-dessus, a permis de mettre en avant les conclusions suivantes.

1.- Il n’y a pas de relation continue entre la taille de l’unité de recherche et sa performance au RAE2008 (voir figure 1). Au sein des petites unités de recherche, il peut y avoir une corrélation positive significative entre la taille et la performance, mais au-delà d’un certain seuil, aucune amélioration supplémentaire n’est observée. Il apparaît également qu’il existe des unités de petite ou moyenne taille qui sont aussi performantes, et dans certains cas, plus performantes, que de plus grosses unités de recherche. Il n’y a par conséquent pas d’évidence selon laquelle un financement proportionnel à la taille d’une unité améliorerait la productivié de celle-ci.

Test - PNG
Figure 1 : Cette figure suggère, dans le cas ici analysé des études et professions de la santé, qu’il y a une corrélation positive entre taille de l’unité de recherche et performance, mais il ne s’agit pas d’une relation linéaire. De plus, la performance de petites unités de recherche s’échelonne de faible à élevée, tandis que les grosses unités de recherche ont tendance à avoir une performance élevée. Cela suggère que la taille n’est pas le moteur de la performance.
Crédits : Funding research excellence : research group size, critical mass & performance, A University Alliance Report

2.- Il n’existe pas de corrélation significative entre productivité et taille de l’unité de recherche (voir figure 2). Les unités de petite et moyenne taille ont tendance à être au moins aussi productives que les grosses unités de recherche. De plus, un pic de productivité n’est généralement pas associé aux unités les plus importantes. D’après les données analysées dans cette étude, il semblerait qu’un financement proportionnel à la taille d’une unité de recherche n’améliorerait pas la productivité d’ensemble mais au contraire contribuerait à éliminer certaines des meilleures unités.

Test - PNG

Figure 2 : Des unités de petite et moyenne taille (cas ici analysé : études et professions de la santé) ont une productivité similaire aux grosses unités de recherche. Les unités ayant la productivité la plus élevée sont des unités ayant un nombre moyen d’employés de catégorie A.
Crédits : Funding research excellence : research group size, critical mass & performance, A University Alliance Report

3.- Il n’y a pas non plus de corrélation significative entre l’impact de citation normalisé et la taille de l’unité de recherche (voir figure 3). Les unités les plus performantes ne sont bien souvent pas les plus grosses.

PNG

Figure 3 : Si les petites unités de recherche (cas ici analysé : études et professions de la santé) ont en général un nci plus faible comparativement aux grosses unités de recherche, il apparaît que des unités de taille moyenne sont aussi bien, voire mieux classées que certaines grosses unités, et les très grosses unités de recherche ne sont pas plus performantes que les unités de taille moyenne.
Crédits : Funding research excellence : research group size, critical mass & performance, A University Alliance Report

Sur la base de ces résultats, l’analyse en question suggère que ce n’est pas la taille d’une unité de recherche qui est le moteur de son excellence, mais qu’au contraire, c’est l’excellence d’une unité qui lui permet de s’agrandir. Les petites unités peuvent, ou non, être très performantes. Celles qui sont très performantes attirent des ressources supplémentaires leur permettant potentiellement de s’agrandir. Les grosses unités de recherche qui ne sont pas performantes ne sont pas viables, et perdent rapidement leurs ressources, entraînant ou une fermeture ou un reclassement en ’petite unité’. Si le financement de la recherche devait être proportionnel à la taille d’une unité de recherche, les petites unités très performantes seraient amenées à disparaître. Par conséquent, il s’avère que la qualité est le moteur de l’échelle, et non l’inverse.

Répartition de la qualité de la recherche

La deuxième partie de l’étude utilise des profils d’impact pour évaluer la distribution de l’impact de citation. Cette méthodologie bibliométrique a été développée par Evidence et permet de mettre en avant le pourcentage d’articles non cités et le pourcentage d’articles correspondant à chacune des huit catégories de nci. Un profil d’impact ainsi élaboré permet de visualiser la répartition d’un impact de citation par rapport à une moyenne mondiale.

1.- Le premier résultat mis en évidence par cette étude est qu’il y a très peu de différences en termes de profil d’impact entre les établissements formant University Alliance, un groupe d’institutions ayant moins que la moyenne d’employés de catégorie A, et le Royaume-Uni dans son ensemble, et ce, pour les huit unités thématiques de recherche détaillées précédemment (voir figure 4 pour le cas des études et professions de la santé).

PNG

Exemple de profil d’impact pour les études et professions de la santé
Crédits : Funding research excellence : research group size, critical mass & performance, A University Alliance Report

2.- Le deuxième résultat suggère que le profil qualité de chaque groupe d’institutions analysé étant similaire, il n’y a aucune raison de penser que supprimer le financement pour l’un des groupes permettrait d’augmenter la performance dans son ensemble.

Capacité à former les étudiants en thèse

La dernière partie de l’étude se concentre sur l’évaluation de la capacité des unités de recherche à former les étudiants en thèse. Pour ce faire, les auteurs du rapport ont étudié la proportion d’étudiants britanniques en thèse, formés dans les établissements appartenant à University Alliance.

Il s’avère que les établissements d’enseignement supérieur appartenant à University Alliance contribuent de façon substantielle à la formation des étudiants en thèse du Royaume-Uni dans les sujets professionnels considérés dans cette étude. Dans certaines disciplines, notamment les professions de la santé, plus du quart des étudiants en thèse au Royaume-Uni effectuent leur thèse dans un établissement faisant partie de University Alliance.

Conclusion

Il ressort de cette étude qu’il n’y a pas suffisamment de preuves permettant de penser que la concentration des ressources de la recherche permettrait d’améliorer la performance de la recherche britannique dans son ensemble. Concentrer les ressources en fonction de la taille des unités de recherche contribuerait à éliminer d’excellentes petites unités qui forment le coeur, dynamique, de la recherche britannique. L’implication en terme de politique d’allocation des ressources pour la recherche est que le meilleur moyen d’améliorer la performance de la recherche britannique est de continuer de financer l’excellence, où qu’elle soit.


Sources :
- Funding research excellence : research group size, critical mass & performance, A University Alliance Report - Juillet 2011 - http://bit.ly/nGPmDN


Auteur : Dr Maggy Heintz

publié le 23/09/2011

haut de la page