Du bon usage de la bibliométrie pour l'évaluation des chercheurs


L’Académie des Sciences a publié le 17 janvier 2011, à l’attention de la Ministre de l’Enseignement supérieur et de la Recherche, un rapport extrêmement intéressant sur la bibliométrie et son usage.
             
On sait que la bibliométrie est largement utilisée, en particulier pour l’évaluation des chercheurs.

Cette méthode présente l’avantage de la simplicité, et propose quelques chiffres après un traitement approprié effectué dans certaines banques de données.

Le ton est donné dès la première page du rapport. On y lit, en effet, que «la bibliométrie ne peut en aucun cas se substituer à l’évaluation qualitative par les pairs, c’est-à-dire par des experts de la discipline qui pourraient cependant utiliser la bibliométrie avec toutes les précautions nécessaires, comme un outil d’aide à la décision».
            
Puis dans le paragraphe «Avantages et dérives potentielles de la bibliométrie» on lit que «La bibliométrie est ‘apparemment’ facile d’usage et fournit des nombres attrayants pour une évaluation en raison de leur simplicité et de leur nature factuelle ».
             
Nous ne rentrerons pas dans le détail ici renvoyant à la lecture de ce très intéressant rapport qui signale, notamment, tous les biais liés à telle ou telle méthode.
             
Signalons quand même l’influence difficile à prendre en compte de l’âge du chercheur, la difficulté – dans le cas (très fréquent) d’auteurs multiples –, qu’il y a à identifier l’apport réel de chacun, la quasi impossibilité d’appliquer la bibliométrie dans les SHS (sciences humaines et sociales), faute de banques de données au contenu suffisant et à la difficulté propre à ce secteur de catégoriser de façon fiable les publications.
             
Par ailleurs, le rapport ne manque pas de souligner que l’usage de la bibliométrie ne saurait dispenser de l’examen de publications «réelles » des auteurs.
            
Le rapport mentionne aussi qu’il existe plusieurs indicateurs bibliométrique qui, comme on le verra, ne sont pas nécessairement intuitifs.
             
Citons par exemple le «facteur H» (pour Hirsch, auteur de cet indice), qui est calculé en classant les publications par ordre décroissant en fonction du nombre de citations auxquelles elles ont donné lieu. Le rang de la publication pour lequel le nombre de citation est égal à ce rang est le facteur H. Ainsi, un chercheur ayant un facteur H de 47 a publié 47 articles ayant chacun été cités au moins 47 fois.
           
Le «facteur G» a été introduit par L. Egghe pour pallier certains défauts du facteur H. Un chercheur aura par exemple, un facteur G de 83 si ses 83 articles les plus cités totalisent au moins 6 889 citations, c’est-à-dire G au carré.
             
Nous ne connaissons pas dans le détail la façon dont ont été élaborés ces facteurs et sur quelles bases et nous ne sommes pas des spécialistes de la bibliométrie, mais cela nous fait irrésistiblement penser aux débuts de la physique expérimentale, au moment ou les chercheurs testaient différentes formules plus ou moins baroques pour mettre les phénomènes en équation.
             
Pour ceux que le sujet intéresse, nous ne saurions trop recommander la lecture de ce rapport, librement accessible sur le site de l’Academie des Sciences.
             
INFORMATIONS
             
L’Académie des Sciences propose au format PDF
            
- le texte intégral du rapport, 67 pages, http://goo.gl/KPdRX
- sa synthèse : 2 pages PDF, http://goo.gl/hF7d0.

François Libmann
Publié dans le n°278 de Bases (Janvier 2011)

Aucun commentaire:

Enregistrer un commentaire