> Publication de la consultation gouvernementale sur le Research Assessment Exercise - juin 2006

Après plusieurs mois de réflexion à la suite de la publication en mars 2006 du document gouvernemental intitulé « Science and innovation investment framework 2004-2014 : next steps », le Department for Education and Skills (DfES, le ministère de l’Education britannique) a publié le 13 juin 2006 le texte de la consultation qu’il va mener sur la réforme du Research Assessment Exercice (RAE). Dans le document « Science and innovation investment framework 2004-2014 : next steps », le gouvernement annonçait son intention de réformer le RAE (cf. Actualités scientifiques au Royaume-Uni, avril 2006, p. 8 et mai 2006, p. 9). Cet exercice évalue la qualité des départements de recherche des universités britanniques et sert de fondement à l’attribution d’une partie des financements publics de recherche (appelés Quality Related, QR, c’est-à-dire fondés sur la qualité).

Le texte de la consultation a été rédigé par un groupe de travail co-présidé par le professeur David Eastwood, vice-chancelier de l’University of East Anglia et nouveau directeur général désigné du Higher Education Funding Council for England (HEFCE, l’organisme chargé des financements de l’enseignement et QR des universités anglaises) et par Sir Alan Wilson, directeur général de l’enseignement supérieur au sein du DfES. Par ailleurs, le groupe rassemblait des représentants des Funding Councils pour l’Angleterre, l’Ecosse, le Pays de Galles, du ministère des Finances, du Department of Employement and Learning Northern Ireland et du Department of Trade and Industry (DTI, le ministère du Commerce et de l’Industrie en charge du financement public de recherche sur projet via les huit conseils de recherche). Il pose 8 questions (en italiques dans ce qui suit) à la communauté des chercheurs britanniques.

Maintien du RAE 2008
Après avoir rappelé les principales critiques adressées au RAE dans sa forme actuelle (coût financier et charge de travail pour les universités, inhibition de certaines stratégies ou approches de recherche ou tactiques de recrutement développées par les universités par exemple), les auteurs du texte confirment que le RAE prévu pour 2008 devrait se dérouler largement comme prévu. Une majorité claire d’universités favorables à une modification radicale du principe du RAE 2008 ne s’étant pas dégagée, le gouvernement a préféré conserver la forme actuelle de l’exercice, pour laquelle les établissements d’enseignement supérieur britanniques ont déjà engagé d’importants préparatifs.

Dans le cadre du RAE 2008, 67 unités d’évaluations (ou Units of Assessment, UoA) seront chargées d’évaluer les performances des chercheurs universitaires répartis dans 15 grandes disciplines. Selon le DfES, toutes ces unités prévoient déjà de prendre en compte certains indicateurs métriques. Le texte soumis à consultation les encourage à avoir recours à des indicateurs métriques, en parallèle des évaluations par des pairs ou à leur place s’ils le jugent pertinent. Cette proposition vise tout particulièrement les disciplines suivantes : sciences de l’ingénieur, physique, chimie, médecine et biologie.

1. Le DfES souhaiterait savoir quelles UoA devraient adopter une approche fondée davantage ou dans sa totalité sur des indicateurs métriques.

Le principe du nouveau système d’évaluation post RAE 2008
Même si le RAE 2008 est maintenu dans sa forme actuelle, un exercice jumeau fondé sur l’utilisation d’indicateurs métriques sera mené en parallèle.
Le nouveau système d’évaluation post RAE 2008 devrait répondre à deux objectifs (que remplissait déjà le RAE) soit :

  • donner aux décideurs politiques et aux dirigeants des universités des points de repère sur les performances de recherche des universités britanniques ;
  • servir de base à l’allocation sélective des financements de recherche QR pour les universités anglaises et pour les autres régions du Royaume-Uni si les autorités dévoluées compétentes le jugent approprié.

Les organismes de financement se serviront des résultats issus du RAE 2008 et de l’exercice parallèle pour déterminer le rôle que les indicateurs métriques devront jouer dans la nouvelle formule de calcul post RAE 2008. Les auteurs du document consultatif estiment que la transition vers un système purement fondé sur des indicateurs métriques devrait s’avérer assez simple et pourrait avoir lieu à partir de 2009/10 en Angleterre, pour les sciences dures et les sciences de l’ingénieur (STEM pour Science, Technology, Engineering and Mathematics) et dans les institutions de plus grande taille.

Les indicateurs métriques et les modèles possibles
Le document donne une liste des indicateurs qui, selon ses rédacteurs, pourraient être utilisés pour le nouvel exercice d’évaluation.
2. Le DfES souhaiterait savoir si le document identifie tous les indicateurs métriques importants ou s’il devrait en considérer d’autres.

En outre, le document soumet à consultation cinq modèles possibles d’allocation des financements QR, applicables aux STEM. Ces modèles sont tous fondés sur l’utilisation d’indicateurs métriques et prennent en compte, entre autres, les financements attribués aux universités par les fondations caritatives, l’industrie et les ministères. En utilisant les données disponibles pour la période 1996/97 à 1999/00, le HEFCE a modélisé les allocations de financement obtenues pour les cinq modèles et les a comparées aux dotations QR reçues par les universités en 2002/03. Selon les auteurs du rapport, les mesures de qualité générées par ces modèles ne sont pas très corrélées avec les évaluations individuelles faites par chaque UoA. Elles ne devraient donc pas être utilisées pour évaluer la qualité des travaux de recherche à un niveau trop détaillé.

Les résultats numériques sont pour le moins frappants puisqu’ils varient grandement d’un modèle et d’une université à l’autre. Ainsi, si l’Université d’Oxford voit systématiquement son budget augmenter quel que soit le modèle retenu (de 1,5 à 8 millions de livres), Imperial College London et l’Université de Manchester sont toujours massivement perdants tandis que l’Université de Cambridge et University College London voient leur fortune varier (Cambridge étant généralement perdante et UCL généralement gagnant). Quant aux nouvelles universités, issues de la transformation des Polytechnics en 1992, elles se trouveraient plutôt favorisées : en effet, un certain nombre d’entre elles se concentre sur des recherches appliquées, ne conduisant pas forcément à une bonne notation par le RAE actuel, mais sources de revenus de la part de l’industrie. Enfin, les universités de plus petite taille mais très actives en recherche se trouvent pénalisées par le poids important attribué aux revenus totaux de recherche dans les modèles proposés.

Pour la plupart des cinq modèles proposés, les universités abritant de grandes équipes travaillant en médecine gagneraient largement au change car ces activités attirent d’importants financements de la part des fondations caritatives. A contrario, les établissements disposant de larges équipes de mathématiciens ou d’informaticiens se trouveraient pénalisées car leurs activités nécessitent des budgets de recherche plus faibles.
3. Le DfES demande aux acteurs de la recherche britannique d’indiquer leur préférence en matière de modèle et de préciser s’ils souhaitent proposer des modèles alternatifs ou des raffinements des modèles proposés.

Par ailleurs, les auteurs du rapport reconnaissent qu’un système fondé sur des indicateurs métriques ne s’appliquerait pas aux sujets « non STEM ». Ils suggèrent un autre modèle qui s’appliquerait aux arts et aux sciences humaines et sociales.
4. Le DfES interroge les acteurs du domaine sur une base de calcul pouvant servir à l’évaluation et au financement des sujets « non-STEM ».

Le HEFCE et le conseil de recherche Arts and Humanities Research Council (AHRC) ont récemment établi un groupe de travail conjoint sur le sujet. De plus le conseil de recherche Economic and Social Research Council (ESRC) a manifesté son intention de développer, avec les Funding Councils, des indicateurs métriques plus applicables aux disciplines qu’il couvre.

Les auteurs de la consultation reconnaissent que les modèles d’allocation discutés sont susceptibles de modifier le comportement des chercheurs et des institutions auxquelles ils appartiennent. Il est donc important de reconnaître ces effets assez tôt afin d’être en mesure de les atténuer.
5. Le DfES souhaiterait connaître les possibles conséquences comportementales indésirables de ces différents modèles et souhaiterait savoir comment les atténuer.

Enfin, les résultats des modélisations indiqueraient que les corrélations obtenues sont correctes essentiellement pour les grandes universités mais se dégradent lorsque la taille des institutions diminue (ou lorsqu’il s’agit de grandes universités mais recevant de faibles financements QR).

6. Le DfES demande aux acteurs de la recherche s’ils pensent qu’une approche fondée sur des indicateurs métriques pourrait être utilisée pour toutes les institutions.

Quelques éléments du nouveau système
Les auteurs du document consultatif notent que les universités britanniques ont pour la plupart mis en place un système interne d’évaluation de la qualité des travaux de recherche menés en leur sein. En particulier, elles produisent des plans de recherche qui peuvent inclure une partie évaluant les indicateurs de réalisation des plans précédents.
7. Le DfES souhaiterait savoir si les Funding Bodies (le HEFCE et ses homologues régionaux) devraient recevoir et prendre en compte les plans de recherche dans le cadre du processus d’évaluation.

Enfin, la question de la comparaison internationale de la recherche britannique demeure en suspens. Jusqu’à présent le RAE attribuait des notes (de 1 à 5*) aux départements universitaires ce qui facilitait les comparaisons et servait de point de référence au niveau international.
8. Le DfES souhaiterait savoir si les acteurs de la recherche jugent qu’il est important de conserver une évaluation indépendante de la qualité de recherche universitaire britannique à des fins de comparaisons internationales. Y aurait-il d’autres moyens d’évaluation ?

En conclusion, le document consultatif estime que le RAE 2008 pourra être utilisé pour informer et gérer la transition vers un nouveau modèle de financement. Dans le cas des sujets STEM et au moins dans le cas des universités de grande taille, la transition devrait, selon les auteurs du document, s’avérer simple et avoir lieu en 2009/10 en Angleterre. Pour les autres sujets, les Funding Bodies pourraient mettre en place des groupes de travail chargés de considérer des paniers d’indicateurs. Des moyennes de revenus mobiles sur trois ans seraient utilisées pour éviter de trop grandes fluctuations des financements ; de plus, les résultats obtenus seraient modérés par les Funding Bodies afin de plafonner les variations de financement QR à plus ou moins 5 % d’une année à l’autre. La consultation est ouverte jusqu’au 13 octobre 2006.

Des réactions pas toujours enthousiastes...
Le moins que l’on puisse dire est que les réactions à la consultation ont été très variées et pas forcément enthousiastes (même si Universities UK, l’organisme qui regroupe les universités britanniques, a diplomatiquement réservé sa réponse). Elles se sont d’ailleurs manifestées vivement lors de la réunion organisée le 21 juin 2006 à Londres par le Higher Education Policy Institute qui regroupait les principaux acteurs du domaine (l’HEPI est un think tank spécialisé dans les problématiques de l’enseignement supérieur, cf. Actualités scientifiques au Royaume-Uni, mai 2006, p. 9). Les représentants des universités s’interrogent sérieusement sur la variabilité des financements suivant les différents modèles proposés, à tel point que certains en viennent même à préférer le maintien du RAE dans sa forme actuelle. Un danger bien identifié est également que chaque université choisisse le modèle qui la favorise le plus (ou la défavorise le moins) à la vue des résultats des simulations du HEFCE.

Les universitaires font également part de leur confusion quant au RAE 2008 dont le DfES semble vouloir qu’un certain nombre de ses évaluations utilisent largement les indicateurs métriques, malgré l’existence d’un exercice jumeau ; ils critiquent en particulier un certain manque de clarté du document consultatif. Par ailleurs, certains dirigeants d’université s’interrogent sur l’intérêt de consacrer d’importantes ressources au RAE 2008 : en effet, celui-ci pourrait ne déterminer les financements que pour un an s’il est remplacé dès 2009/10 par un système métrique.

Enfin, comme on pouvait s’y attendre, l’HEPI condamne vivement le texte de consultation. Dans un document publié le 23 juin 2006, il argue en particulier que l’application des modèles proposés nuirait à la recherche fondamentale, augmenterait les coûts d’évaluation, séparerait davantage la recherche de l’enseignement et conduirait les universités à se concentrer sur des chercheurs ramenant beaucoup de contrats de recherche, au détriment des chercheurs débutants. En conclusion, l’HEPI renouvelle sa proposition d’un système alliant évaluation par les pairs et indicateurs métriques, dans la ligne de ce qu’il avait proposé en avril 2006 (cf. Actualités scientifiques au Royaume-Uni, mai 2006, p. 9).


Sources : "Reform of Higher Education Research Assessment and Funding", 13/06/06 ; HEFCE, 13/06/06 ; Times Higher Education, 16/06/06 ; The Guardian, 13/06/06 ; Higher Education Policy Institute, 23/06/06 ; Universities UK, 13/06/06 ; The Scientist, 20/06/06


Auteur : Dr Anne Prost

publié le 14/09/2006

haut de la page