> Réforme du RAE : le recours aux indicateurs métriques critiqué - mai 2006

Dans son document intitulé « Science and innovation investment framework 2004-2014 : next steps » publié en mars 2006, le gouvernement britannique faisait part de son intention de réformer le Research Assessment Exercise (RAE, cf. Actualités Scientifiques au Royaume-Uni, avril 2006, p. 8). Cet exercice d’évaluation est utilisé par les Higher Education Funding Councils (HEFC) des quatre principales régions britanniques pour allouer des financements de recherche, appelés Quality Related (QR), aux établissements d’enseignement supérieur britanniques. Depuis une vingtaine d’années, le RAE a pris une place prépondérante dans le monde de la recherche publique britannique : les HEFC se fondent sur ses résultats pour distribuer, grosso modo tous les 5 ans, des milliards de livres aux universités britanniques. Mais le RAE a largement dépassé sa seule vocation d’aide à la décision pour le financement et constitue maintenant un véritable outil d’évaluation des départements universitaires. Il a rendu les financements QR très sélectifs et a concentré la majorité des fonds distribués sur certaines universités. Ces universités, parce qu’elles reçoivent ces financements sous forme de blocs, peuvent les utiliser dans les domaines de leur choix. Mais on accuse ce système non seulement de ne pas suffisamment prendre en compte la recherche interdisciplinaire mais également d’ignorer la recherche appliquée orientée vers les besoins des utilisateurs. De plus, la préparation du RAE impose une charge de travail très importante aux universités britanniques.

A l’exercice actuel d’évaluation des départements de recherche par des pairs scientifiques, le gouvernement britannique souhaiterait donc substituer, à compter de 2008, un système plus simple reposant sur l’utilisation d’indicateurs métriques. Il a en particulier cité comme indicateur les revenus de recherche totaux reçus par les universités : il justifie ce choix par l’existence d’une corrélation à 98 % entre le volume des financements QR et les volumes des financements sur projet reçus par chacune des universités (les financements publics sur projet sont essentiellement distribués par les huit conseils de recherche). Les indices de citations des articles scientifiques pourraient constituer un autre indicateur.

Il semblerait bien que, suite à une réunion de représentants du Trésor et de Universities UK (UUK, l’organisme qui regroupe les universités britanniques), le gouvernement ait maintenant décidé de conserver grosso modo le RAE 2008 dans sa forme actuelle. Toutefois il n’exclurait pas une approche différente pour certains sujets. En parallèle, UUK travaille sur une proposition de système d’évaluation en deux étapes, à appliquer pour l’exercice suivant le RAE 2008 : un panier d’indicateurs métriques devrait être développé pour refléter étroitement les résultats du RAE 2008. Si un département universitaire venait à s’éloigner d’une bande de tolérance prédéfinie pour un ou plusieurs indicateurs métriques, ses activités de recherche seraient évaluées par des pairs.

Depuis l’annonce du gouvernement, de nombreux acteurs du monde de la recherche britannique ont réagi : certains se sont félicités de l’abandon du RAE dans sa forme actuelle (cf. Actualités Scientifiques au Royaume-Uni, avril 2006, p. 8) tout en restant très prudents sur le système des indicateurs métriques. En particulier, il est discutable que les financements pour les sciences humaines et sociales puissent être indexés sur les revenus de recherche (totaux ou non). De plus un certain nombre d’acteurs serait en faveur d’un système combinant un élément métrique et un élément d’évaluation par les pairs (c’est par exemple le cas de Gareth Roberts, président du Wolfson College de l’Université d’Oxford, ou encore de Martin Rees, le président de la Royal Society).

Le Higher Education Policy Institute (HEPI) s’est lui montré spécialement opposé aux projets du gouvernement ; en particulier, il remet fortement en cause la corrélation existant entre les financements QR et les financements sur projet. Dans un document publié le 27 avril 2006, intitulé « Using metrics to allocate research funds » et co-signé par Bahram Bekhradnia son directeur, l’HEPI réfute deux assertions du gouvernement : d’une part la corrélation des financements et d’autre part l’idée qu’un système reposant sur les indicateurs métriques contribuerait à réduire le coût d’allocation du financement QR. Et l’HEPI estime également que, quel que soit le principe du système d’allocation, les universités feront le nécessaire pour maximiser les financements qu’elles reçoivent, modifiant leur comportement si nécessaire.

Quels seraient les effets d’une allocation fondée sur des indicateurs métriques ?
L’HEPI estime que le système proposé par le gouvernement pourrait présenter un avantage : la concentration des ressources disponibles sur les travaux de plus grande qualité et les plus pertinents. Mais, l’HEPI énumère également de nombreux désavantages qui seraient, selon lui, créés par le nouveau système :

Les coûts  : selon l’HEPI, 29 % des demandes de financements auprès des conseils de recherche sont couronnées de succès. Le nombre des demandes risquant fortement d’augmenter, puisque ce sont les subventions de recherche reçues qui détermineront le montant des financements QR attribués, les coûts de financement de la recherche devraient s’envoler de même. L’HEPI évalue à 100 millions de livres (environ 146 millions d’euros) pour sept ans le coût maximal du RAE. Ce coût équivaudrait à environ 1 % des 10,5 milliards de livres (environ 15,3 milliards d’euros) de financement QR distribués durant les sept années qui suivent 2001. L’Institut estime que les coûts administratifs liés aux projets alloués par les conseils de recherche s’élèvent à 10 %, soit bien davantage (ce chiffre est contesté par les conseils de recherche).
La sensibilité des financements  : de modestes changements dans les coefficients appliqués aux différentes sources de financement (conseils de recherche, fondations et autres) modifieraient de façon importante la distribution des subventions fondée sur les indicateurs métriques.
Le type et la qualité des recherches menées  : les chercheurs universitaires pourraient hésiter à travailler sur des sujets peu à la mode, trop risqués ou pour lesquels les conclusions obtenues ne seraient pas en phase avec les organismes de financement. En outre, la qualité des résultats de recherche ne serait plus examinée car seule la capacité à obtenir de nouveaux financements et contrats serait prise en compte.
L’effet sur les autres activités des universités  : on dit souvent que le système actuel se concentre de façon excessive sur la recherche aux dépens d’autres activités (en particulier l’enseignement). Selon l’HEPI, il s’agit d’un problème structurel lié à l’allocation très sélective des financements de recherche. En augmentant la profitabilité de la recherche financée par des sources extérieures (conseils de recherche, fondations, industrie et autres), la réforme proposée risquerait de transformer la recherche en activité autonome, séparée de l’enseignement dans de nombreuses universités.

Le système fondé sur les indicateurs métriques et le RAE actuel produisent-ils les mêmes résultats ?
Non selon l’HEPI qui a modélisé les sommes qui seraient reçues par les universités en utilisant différents coefficients de pondération pour trois sources de revenus de recherche (respectivement les conseils de recherche, les fondations et les autres sources externes). Par exemple, les subventions QR attribuées à Imperial College pourraient rester quasi inchangées ou diminuer de 26 % suivant les coefficients de pondération appliqués.

Comment atténuer les effets d’un système fondé sur des indicateurs métriques ?
L’HEPI propose de limiter l’application des indicateurs métriques à une petite proportion des financements alloués. En effet, il estime que la capacité des indicateurs métriques à mesurer la qualité sera amenée à décroître au fur et à mesure que les organisations évaluées développeront des tactiques, sans amélioration réelle de la qualité.

Deux façons de réduire la sensibilité de l’allocation seraient soit de prendre en compte les volumes de financement obtenus sur plusieurs années soit de distribuer la grande majorité des financements QR (probablement plus de 95 %) sur la base des dotations de l’année précédente en allouant le reste aux institutions qui ont augmenté leur volume de financements pondéré par rapport à l’année précédente. Enfin, une autre méthode, plus simple et moins sensible, consisterait à fixer la majorité des fonds QR sur la base de l’année précédente et à allouer les fonds restants en proportion des subventions de recherche pondérées, sans tenir compte des hausses de revenus.

Toutefois, l’HEPI estime que ces méthodes ne fonctionneraient que si l’on dispose d’une bonne référence, comme celle qui serait établie par le RAE 2008 dans sa forme actuelle (c’est-à-dire avec évaluation par des pairs, cf. Actualités Scientifiques au Royaume-Uni, février 2006, p.16). A la suite de quoi, le nombre de citations (ou tout autre mesure qui ne serait pas utilisée dans la formule de calcul du financement) pourrait être utilisé pour vérifier que la distribution des fonds par un système d’allocation fondé sur des indicateurs métriques reflète la qualité des travaux de recherche.

Quelles alternatives aux indicateurs métriques ?
L’HEPI propose trois solutions pour faire évoluer le RAE.

a. L’utilisation des citations
Idéalement, le volume des financements de recherche sur projet serait déterminé par un panier d’indicateurs plutôt que par le seul indicateur métrique. Toutefois la nature de ces indicateurs reste pour l’instant peu claire. On cite parfois le nombre de citations comme mesure possible. Mais, selon l’HEPI, si l’indicateur « citations » peut s’avérer très utile à un niveau élevé d’aggrégation (par exemple au niveau d’un sujet particulier, afin d’évaluer la qualité relative de la recherche britannique), il devient très peu fiable sur des ensembles plus petits, tels le chercheur, le groupe de recherche ou même le département. Cet indicateur serait également facile à manipuler (notamment via les cercles d’autocitation) et pourrait éventuellement orienter la recherche vers des sujets « à la mode » et pénaliser des chercheurs qui prennent la peine de communiquer des résultats négatifs tout en récompensant des articles de qualité moindre, mais qui chercheraient à attirer l’attention. Enfin, le nombre de citations est censé mesurer la qualité académique des travaux de recherche, et non leur « utilité » ou leurs applications possibles : un des objectifs principaux du gouvernement concernant le RAE, à savoir la prise en compte des recherches appliquées, ne serait alors pas rempli.

b. Un RAE « allégé »
Le RAE est considéré comme trop bureaucratique : en 2001, il a évalué les performances de 160 universités et a pris en compte les travaux de 50 000 chercheurs. La solution pourrait donc consister à l’alléger plutôt qu’à le lier au système d’allocation des conseils de recherche. Dans ce cas, seule une partie du financement serait distribuée en fonction des résultats du RAE. Mais l’HEPI n’ignore pas qu’il sera difficile de faire accepter un tel exercice allégé par les universitaires, qui sont très attachés à des méthodes robustes d’évaluation par des pairs.

c. La réduction du rôle des conseils de recherche
En théorie, les conseils de recherche et les HEFC remplissent des rôles complémentaires : les premiers financent les recherches sur la base à la fois de leur qualité et de leur importance stratégique tandis que les deuxièmes se fondent uniquement sur la qualité. En pratique, il existe une exception à cette répartition des rôles : le financement par les conseils de recherche sur des appels d’offre « blancs ». Mais ce rôle pourrait être rempli par les HEFC : ceux-ci distribueraient ces fonds (auparavant gérés par les conseils de recherche) aux universités en même temps que leurs financements QR. Les universités pourraient ensuite les utiliser comme bon leur semble, en fonction de leurs priorités. Selon l’HEPI, cette nouvelle méthode d’attribution réduirait de façon conséquente les coûts administratifs : pour 100 millions de livres (environ 146 millions d’euros) de financements transférés des conseils de recherche aux HEFC, 9 millions de livres (environ 13 millions d’euros) de coûts administratifs seraient économisés.

En conclusion, l’HEPI considère que la méthode des indicateurs métriques serait plus onéreuse que le RAE actuel, pourrait mener à des dérives aussi regrettables que ceux engendrés par l’exercice actuel et pourrait conduire à une instabilité. Il estime qu’il est de la responsabilité du gouvernement d’identifier les effets possibles de ses propositions et d’indiquer comment les effets négatifs seront atténués. Mais si le gouvernement décide toutefois de modifier le RAE, il existe, selon l’HEPI, des alternatives préférables à un système seulement fondé sur des indicateurs métriques.

Le Higher Education Policy Institute
La fondation HEPI a été établie en novembre 2002 avec pour objectif d’assurer que les décisions politiques en matière d’enseignement supérieur au Royaume-Uni soient prises en toute connaissance des recherches menées et des connaissances accumulées sur le sujet. Son rôle consiste à :

  • identifier les questions de politique importantes dans le domaine de l’enseignement supérieur ;
  • identifier les travaux de recherche et les connaissances pertinentes pour ces questions, au Royaume-Uni et à l’étranger ;
  • identifier les travaux de recherche supplémentaires nécessaires, les favoriser ou bien mener des travaux de recherche en interne ;
  • sensibiliser les décideurs, et tous ceux qui influencent les prises de décision, à ces questions de politique ainsi qu’aux travaux de recherche pertinents et ce en publiant des rapports, en organisant des séminaires et conférences et autres.

A l’origine, l’HEPI était financé principalement par une dotation du Higher Education Funding Council for England (HEFCE) mais il reçoit maintenant la majorité de ses fonds d’autres sources.
Depuis sa création en 2002, l’HEPI est dirigé par M. Bahram Bekhradnia. Avant de rejoindre ce poste M. Bekhradnia a occupé, à partir de 1992, les fonctions de Directeur de la Politique au sein du HEFCE. Dans le cadre de ces fonctions, il a donc été particulièrement impliqué dans le RAE.


Sources : "Using metrics to allocate research funds", Higher Education Policy Institute, 27/04/06 ; The Independent, 30/03/06 et 13/04/06


Auteur : Dr Anne Prost

publié le 20/07/2006

haut de la page