Développement des indicateurs bibliométriques de qualité de recherche

Le Royaume-Uni, par l’intermédiaire du Higher Education Funding Council for England (HEFCE, voir encadré), travaille depuis 2005 à réformer l’exercice d’évaluation de la recherche, connu sous le nom de RAE (Research Assessment Exercice). La dernière étude, publiée sous forme de rapport en septembre 2008, a cherché à analyser et à déployer une base de données contenant l’ensemble des universitaires et des publications soumis aux comités d’évaluation lors de l’exercice de 2001. Commandée par le HEFCE et menée par le Centre d’Etudes pour la Science et le Technologie (CWTS, Université de Leiden, Pays-Bas), les auteurs de cette étude ont exploré et tenté de résoudre une série de problèmes techniques dans l’optique de développer des méthodes bibliographiques permettant de produire les indicateurs appropriés de qualité de recherche. L’objectif est de conseiller le HEFCE sur les choix et l’utilisation de tels indicateurs lors d’un exercice pilote qui sera mis en place dans un avenir proche.

Les domaines de recherche, les universitaires et les publications évalués ont été classés en 8 groupes. Six rassemblent les sciences dures (médecine clinique, sciences de la santé, disciplines reliés à la santé, biologie, physique et sciences de l’ingénieur et informatique) et les deux groupes restants sont les mathématiques et les sciences sociales et sciences humaines.
Les questions soulevées dans ce rapport ont été regroupées en trois chapitres : les questions de méthodologies, les groupes de disciplines et leur agrégation, et les analyses de sensibilité.

Les Higher Education Funding Council (HEFC)
Les HEFC sont au nombre de quatre, un pour chacune des régions du Royaume-Uni, Angleterre, Pays de Galles, Ecosse et Irlande du Nord. Ils distribuent leurs budgets aux universités et institutions d’enseignement supérieur en fonction de l’importance de la charge d’enseignement et de la qualité de la recherche menée au sein de leurs départements.
La qualité de la recherche est évaluée pour chaque département de recherche par un exercice appelé Research Assessment Exercice (RAE), entièrement géré par le HEFCE (Higher Education Funding Council for England). La note obtenue au RAE sert de référence pour l’attribution des financements des départements universitaires par les HEFC.

1. Les questions de méthodologie

1.1 Pertinence du Web of Science (WoS)

JPEG

Pour démarrer, les auteurs ont créé une base de données des chercheurs et des publications d’après les listes complètes des départements pour le RAE 2001, qui leur avaient été fournies par le HEFCE.
Dans la catégorie des « meilleures » publications soumises au RAE 2001, les articles publiés dans les journaux scientifiques représentent en moyenne 73 % de l’ensemble des publications soumises à l’évaluation. Cette proportion atteint 92 % en sciences dures et en mathématiques. En revanche, en sciences sociales et sciences humaines, les livres et chapitres de livres représentent 15 et 24 %, respectivement.
Sur l’ensemble des publications soumises aux comités d’évaluation, 84,1 % sont publiées dans des journaux référencés dans le WoS pour les sciences dures, 81,8 % pour les mathématiques et 24,9 % pour les sciences sociales et sciences humaines. Dans les sciences dures, l’éventail de la couverture du WoS s’étend de 97 % pour la médecine clinique à 70 % pour les sciences de l’ingénieur et l’informatique. Il est à noter qu’en informatique et dans les sciences de l’ingénieur, les sous-disciplines sont remarquablement hétérogènes en terme de couverture par le WoS : 44 % en génie informatique, 86 % pour le génie électrique et électronique et 88 % pour le génie chimique.

Web of Science
Le Web of Science (WoS) propose aux chercheurs, administrateurs, universités et étudiants un accès rapide à cinq bases de données de citations les plus importantes mondialement : elles contiennent environ 10 000 journaux scientifiques, incluant les journaux en Open Access, et près de 110 000 actes de colloques.

1.2 Corrélation entre l’impact de citation des « meilleures » publications et le classement du RAE 2001

L’analyse de corrélation entre l’impact de citation des « meilleures » publications soumises à l’évaluation par un département d’université d’une part, et le classement de ce même département obtenu au RAE 2001 d’autre part, a porté sur les publications de la période 1996 à 2000 et les citations des périodes de quatre ans suivant chaque publication. Selon une tendance globale, l’impact de citation augmente en parallèle avec l’augmentation du classement du département au RAE. Les auteurs indiquent cependant qu’il existe des exceptions. Dans le groupe des sciences de l’ingénieur et informatique par exemple, les départements notés 2, 3a, 3b, 4 et 5 au RAE 2001 obtiennent des impacts de citations très comparables. Seuls les départements notés 5* obtiennent un impact de citation supérieur aux autres. Cette distribution se retrouve également dans le groupe médecine clinique : dans ce cas, cependant, les impacts de citation sont très supérieurs à ceux observés dans le groupe Sciences de l’ingénieur et informatique.
Par conséquent, les auteurs suggèrent que si le HEFCE souhaite que les méthodes d’évaluation par les pairs utilisées pour le RAE 2001 représentent la mesure de référence pour valider les indicateurs métriques nouvellement développés (pour les exercices d’évaluation à venir), l’approche consistant à s’appuyer sur les citations des « meilleures » publications d’un département sur la période de 4 ans suivant la publication n’est que partiellement valide en sciences de l’ingénieur et informatique et en médecine clinique, car elle masque la valeur incrémentale intrinsèque d’un département. En revanche, elle permet de distinguer les meilleurs départements des autres. Dans la majorité des cas, l’impact de citation diffère substantiellement si les auteurs ont pris en compte non pas les « meilleures » mais l’ensemble des publications.

1.3 Analyse de citations des publications publiées dans des journaux non référencés dans le WoS

Cette analyse a indiqué que le nombre de citations est supérieur pour un livre que pour un article référencé dans le WoS. Il est en revanche inférieur pour les chapitres de livres, les actes de colloques et les articles non référencés dans le WoS. En sciences de l’ingénieur et informatique, les actes de colloque et les articles non référencés dans le WoS sont beaucoup moins cités que ceux référencés dans le WoS. Il est a noter qu’une analyse des publications non référencées dans le WoS ne peut se faire de manière automatisée et que le besoin d’intervention humaine limite le nombre de publications pouvant être intégrées dans l’analyse.

1.4 Collecte des listes exhaustives de publication des personnels soumis au RAE 2001

Les auteurs du rapport ont développé une technique extrêmement sensible et presque entièrement automatisée leur permettant d’identifier la totalité des publications référencées dans le WoS pour un auteur donné. Cette technique, qui prend en compte les homonymes et synonymes, a démontré une grande précision mais un faible rappel, en particulier pour les auteurs ne possédant que peu de publications référencées dans le WoS.
JPEG

Au cours de l’analyse d’un échantillon de publications collectées dans plusieurs grandes universités britanniques, les auteurs ont découvert que dans 70 % des cas environ, l’adresse de l’institution indiquée sur l’article correspondait à l’adresse du chercheur au moment de l’évaluation. Dans le sous-groupe des « meilleures » publications référencées dans le WoS, cette proportion montait à 78 %. En d’autres termes, entre 20 et 30 % des publications soumises à l’évaluation par un département sont le fruit d’un travail qui n’a pas été effectué dans le département. Il est donc crucial que l’exercice d’évaluation prenne en compte ces différences et que soit décidé, en amont de l’exercice, quelle approche sera utilisée : les performances passées d’un département ou celles du personnel actif dans le département au moment de l’évaluation.

2. Regroupements de disciplines et agrégation

2.1 Constitution des groupes de disciplines

Dans un premier temps, les auteurs ont établi une corrélation entre les catégories de journaux répertoriés dans le WoS et les groupe de disciplines scientifiques du RAE 2001. Chaque article soumis à évaluation était ainsi assigné dans un groupe de disciplines scientifiques, en fonction du journal dans lequel il avait été publié. Cette corrélation a ensuite été élargie en utilisant les co-citations et en redistribuant chaque article publié dans un journal multidisciplinaire dans des catégories uniques de journaux , sur la base de la nature des journaux cités en références. Par exemple, un article citant en majeure partie des articles publiés dans des journaux d’astronomie serait classé en astronomie. Quoi qu’il arrive, un article sera souvent classé dans plus d’une catégorie, car les frontières entre les disciplines sont de plus en plus floues.

2.2 Répartition des chercheurs dans les groupes de disciplines

Les auteurs ont utilisé deux méthodes pour classer les chercheurs évalués, chacune fondée sur les publications de ces derniers :
classification du chercheur dans le groupe de disciplines dans lequel il présente le plus de publications ;
fractionnement proportionnel de la classification du chercheur entre les groupes de disciplines dans lesquels sont classées ses publications.
La corrélation des deux méthodes démontre que seuls 77 % des résultats sont corrélés en Sciences de l’ingénieur et informatique, 75 % en sciences physiques, 68 % en biologie, 67 % en sciences en santé, 65 % en médecine clinique, 64 % en sciences sociales et humaines, 58 % en sciences reliées à la santé et 55 % en mathématiques.

2.3 Agrégation des indicateurs bibliométriques dans les groupes de disciplines

Les profils d’impact de citation d’une institution ou d’un groupe de disciplines reflètent clairement la distribution du personnel soumis au RAE et leurs publications, quel que soit le facteur d’impact du journal dans lequel l’article est publié. Ils apportent une vision nouvelle de comparaison entre les institutions ainsi que les différences ayant lieu lorsqu’on change la période analysée.
Les auteurs ont développé une méthode d’agrégation des indicateurs bibliométriques par groupe de disciplines scientifiques. Cette méthode s’appuie sur les chercheurs et les publications. Les étapes sont les suivantes :
- assigner à chaque chercheur ou publication une catégorie d’impact de citation ;
- allouer une valeur à chaque catégorie d’impact ;
- calculer la somme des valeurs de l’ensemble des chercheurs ou publications par institution et par groupe de disciplines ;
- enfin, calculer la part de chaque individu ou publication au sein d’une institution et la comparer au nombre total d’individus ou d’articles dans un groupe de disciplines donné.

3. Analyses de sensibilité

Un cadre de travail est établi permettant d’examiner la pertinence des résultats en fonction d’un éventail de variations méthodologiques. Ce cadre crée des profils de groupes de disciplines scientifiques pour une série d’indicateurs bibliométriques, profils reflétant la distribution d’un indicateur de performance parmi les institutions. Ces profils sont comparés deux à deux.
Des différences minimes ont été observées lorsque les paires d’indicateurs comparées représentent le nombre d’articles publiés entre 1992 et 2001 d’une part, et ceux publiés entre 1997 et 2002 d’autre part. En revanche, des différences plus importantes ont été démontrées lorsque l’on compare le nombre total de chercheurs au nombre de chercheurs évalués par le RAE, et à la valeur de la catégorie d’impact de citation qui leur est attribuée. Cette différence suggère que la prise en compte de l’impact de citation assigné aux chercheurs évalués influence le score de l’institution. Les résultats sont donc substantiellement différents de ceux obtenus lorsque seul le volume des indicateurs est pris en compte.
La comparaison du nombre de chercheurs ayant une valeur d’impact de citation assignée et le nombre d’articles publiés dans le top 5 % mérite une attention particulière : si les deux indicateurs représentent une sélection de l’excellence, ils différent cependant dans les approches utilisées d’une part, et d’une institution à l’autre, d’autre part. Il est donc important de décider en amont quelle approche sera la plus appropriée en fonction des résultats souhaités.■


Source : Development of Bibliometric Indicaors of Research Quality, A report to HEFCE by CWTS, Leiden University, septembre 2008


Dr Claire Mouchot

publié le 05/01/2009

haut de la page