Comment l’information scientifique est-elle vérifiée ? #2 : la bibliométrie

La bibliométrie : à quoi ça sert ?

Comment sont évalués l’enseignement supérieur et la recherche ? Comment savoir si un article scientifique a été utile à d’autres chercheurs ? Comment connaitre la notoriété d’un chercheur ou d’un laboratoire ?

Des analyses statistiques, qu’on regroupe sous le terme de bibliométrie, mesurent la production des chercheurs et leur réputation en dénombrant leurs publications dans des revues scientifiques. De nombreux outils permettent de comptabiliser les articles écrits par un chercheur, au sein d’un laboratoire ou d’une université. Ces calculs sont facilités par les technologies de l’information et le regroupement des articles dans de grandes bases de données. Sont également comptabilisées les citations que reçoivent les articles publiés, citations qui apparaissent comme un gage de sérieux et de notoriété. Les indicateurs bibliométriques, en mettant en rapport les publications et les citations, permettent d’estimer rapidement à la fois la productivité des chercheurs et leur reconnaissance par leurs pairs.

Parmi les indicateurs bibliométriques les plus utilisés, on peut citer :

• Taux de citation (Citations per Output) : C’est le nombre moyen de citations reçu par un article publié.
• Facteur d’impact (ou impact factor) : Le facteur d’impact mesure l’importance d’une revue dans un champ disciplinaire donné. Il se calcule en divisant le nombre de citations reçues par une revue sur une période donnée, par le nombre d’articles publiés. 
• Indice h (ou h-index) : l’indice h renseigne sur le nombre de publications d’un chercheur (ou d’un laboratoire) et le nombre de citations reçues par ces publications. Par exemple, un indice h de 10 signifie que parmi les articles publiés, dix ont été cités au moins dix fois.

Des indicateurs contestés

Les indicateurs bibliométriques, essentiellement quantitatifs, ont pu être critiqués pour leur manque de finesse. Établis sur les grandes bases de données anglo-saxonnes, ils vont par exemple favoriser les articles anglophones. Dans les sciences humaines et sociales, où les langues nationales sont plus souvent employées, certaines revues sont ainsi invisibilisées. 

Par ailleurs, les indicateurs bibliométriques peuvent pousser les chercheurs à des pratiques à la limite de la déontologie pour multiplier leur nombre de publications et de citations : découper leurs articles en plusieurs unités, s’auto-citer, citer seulement les chercheurs de leur laboratoire, etc. 

Enfin, les risques sont nombreux de voir les indicateurs bibliométriques mal compris ou mal utilisés. Sachant que ces indicateurs sont particulièrement déterminants pour les agences d’évaluation de la recherche, ou pour les classements d’universités (comme le classement de Shangai) – qui bien souvent décident des financements accordés –, certains chercheurs s’inquiètent des dérives d’un usage trop systématique de la bibliométrie. Celle-ci, disent-ils, ne peut rendre compte de l’ensemble d’un travail de recherche (qui ne passe pas uniquement par des publications), ni des spécificités de chaque domaine. Par exemple, les stratégies de publications et de citations sont très différentes en mathématiques (ou on publie peu et cite peu) et en médecine (avec un rythme de publication plus élevé et des citations nombreuses). 

La bibliométrie participe ainsi de la logique du Publish or perish (publier ou périr), qui conduit les chercheurs à publier le plus possible, sans forcément prendre le temps d’analyser et de vérifier finement leurs résultats.

Les nouveaux indicateurs bibliométriques

En réponse à ces critiques, de nouveaux indicateurs ont été mis en place pour compléter le panel des indicateurs existants, ou pallier les biais de ces derniers. Ces indicateurs alternatifs, nommés altmetrics, prennent en compte les publications en ligne et l’activité sur les réseaux sociaux. Ils comptabilisent les mentions d’une publication sur Twitter, le nombre de vues ou de téléchargements, les citations sur Wikipédia ou Google scholar (qui inventorie les articles scientifiques). Les tests sur les altmetrics ont permis de s’assurer de leur fiabilité et de leur cohérence avec les indicateurs bibliométriques.

---

Pour aller plus loin

---

---