LE PARFAIT TROMPE-L’ŒIL DU CLASSEMENT DE SHANGHAI

 

La dernière mouture du classement de Shanghai vient de nous être servie. Si le haut du tableau reste occupé par des universités anglo-saxonnes, essentiellement américaines et britanniques, quelques universités françaises apparaissent maintenant dans les 100 premiers établissements mondiaux. Ce classement présente néanmoins des biais importants et la progression récente des universités françaises n’est qu’une progression en trompe-l’œil qui masque une assez triste réalité.

Le classement de Shanghai date du début des années 2000. Il a été crée par une université chinoise cherchait un moyen d’objectiver les financements d’État reçus afin de la hisser parmi les meilleures universités mondiales. Le groupe de chercheurs à l’origine de ce classement créait ensuite une entreprise privée,  la Shanghai Ranking Consultancy, qui publie tous les ans au 15 août le classement des « 1000 meilleures universités du monde ».

Les problèmes que pose ce classement sont multiples. Il y a d’abord la question des critères retenus parmi lesquels figurent le nombre de prix Nobel, de médailles Fields, le nombre d’auteurs publiant dans les prestigieuses revues Nature et Science, et le nombre d’articles publiés par une institution dans l’ensemble des revues scientifiques. Sur ces critères, de nombreux biais existent. Tout d’abord une institution pourra être créditée d’un prix Nobel ou d’une médaille Field dès lors que le récipiendaire se trouvera dans son établissement, même si les recherches qui ont permis l’obtention de ces prix ont été effectuées très majoritairement dans d’autres établissements. Par ailleurs, ne retenir que les revues Nature et Science comme revues de prestige, est un choix discutable. Certes, comme je l’écrivais plus haut, ce revues sont effectivement remarquables et les articles qui y sont publiés généralement très lus. Cependant beaucoup d’autres revues de très haute qualité existent, publiant des articles au moins aussi lus que ceux des deux revues majeures, et tout autant à même de faire progresser la connaissance scientifique. Une remarque similaire peut être faite pour la seule comptabilité des publications de l’ensemble des revues scientifiques, qui ne prend en compte ni l’impact des revues, ni le taux de citation des articles. Il ne s’agit là que de quelques unes des critiques que l’on peut faire à ce célèbre classement.   

Pour poursuivre sur le sujet, il semble aussi que ce classement défavorise les universités françaises, non pas de façon intentionnelle, mais pour plusieurs raisons. Tout d’abord, celui-ci ne prend en compte que la « qualité » des recherches menées au sein des établissements, avec une pondération tenant compte du nombre d’enseignants-chercheurs, mais en aucun cas de la répartition des temps de recherche et temps de travail. Or, contrairement à une idée reçue bien établie, les enseignants-chercheurs français comptent parmi ceux dont l’implication dans l'enseignement est la plus forte, autour de 190 heures de cours par an. Dit comme cela, j’entends déjà rire les détracteurs systématiques de l’activité de recherche en disant que cela ne représente qu’un peu moins d’un mois et demi de travail. Je passe bien sûr sur le temps de préparation des cours (en moyenne une demi-journée de préparation par heure de cours sur un sujet nouveau), sur les surveillances d’examen, les corrections, les réunions pédagogiques, la production des maquettes d’enseignement, etc. Tout ceci fait globalement que l’on estime en France à 50 % du temps de travail le temps que passent les enseignants-chercheurs en enseignement. De mes séjours aux États-Unis, je me rappelle que les professeurs avec lesquels je travaillais là-bas avaient une charge d’enseignement bien plus légère, autour de 50 à 60 heures par an. Un enseignant-chercheur américain est donc naturellement plus productif en termes de recherche qu’un enseignant-chercheur français, c'est mathématique ! Par ailleurs, le classement de Shanghai - qui s’applique pourtant à des universités - ne prend pas en compte la qualité de l’enseignement délivré autrement qu’au travers des critères que j’évoquais plus haut. Si un médaillé Fields ou un prix Nobel est sans aucun doute un chercheur qui a très largement contribué à l’avancement des connaissances de son domaine, celui-ci n’en est pas pour autant, forcément, un excellent enseignant.

Deux autres points défavorisent sensiblement les universités françaises. En premier lieu, l’organisation de la recherche fait qu’au sein des universités, celle-ci est conduite très largement par les chercheurs des organismes de recherche telle que le CNRS, l’INSERM, l’INRIA, le CIRAD, voire l’INRA. Les prix Nobel, les médailles Fields, les publications de ces chercheurs ne sont pas prises en compte dans le classement de Shanghai si la filiation officielle de ses personnels est celle des organismes de recherche puisque ceux-ci ne sont pas considérés comme des universités. On peut donc estimer qu’une part non négligeable des items mentionnés plus haut, fruit de l’activité des personnels des organismes, passe sous les radars de la Shanghai Ranking Consultancy.

Enfin, quid de la fameuse efficacité de l’euro investi ? Ainsi que je décrivais plutôt dans des articles dédiés au fonctionnement de la recherche (1-3), les moyens attribués aux organismes comme aux universités en France sont limités, pour ne pas dire plus. Ainsi, le budget annuel de l’Université Paris-Saclay, première université française du classement, est de l’ordre de 330 millions d'euros auquel s’ajoutent les salaires des 9000 enseignants, soit autour de 450 millions, d’euros, donnant un budget consolidé de l’ordre de 900 millions d’euros. En comparaison, l’université d’Harvard à un budget consolidé de l’ordre de 4 milliards de dollars, auxquels s’ajoutent les donations de ses riches anciens élèves lors d’appels à dons pouvant atteindre ponctuellement 2 à 3 milliards de dollars, le tout permettant de rémunérer environ 3000 enseignants. L’université d’Harvard accueille environ 18 000 étudiants, celle de Paris-Saclay, un peu moins de 50 000. Le coût annuel par étudiant est donc de 18 000 euros à Paris-Saclay et de.... 220 000 dollars à Harvard, soit 200 000 euros environ. Cette formation est-elle d'une qualité 10 à 12 fois supérieure à celle dispensée à Saclay, ce que son coût suggère, telle est la question ? Or cette efficacité par euro ou dollar investi en matière d’enseignement n’est pas du tout comptabilisée dans le classement de Shanghai. Il est vrai que ce critère, s’il était retenu, poserait un problème d’indicateur(s) bien simplifié en regard du seul comptage des prix Nobel et publications dans des revues dites prestigieuses...

Les biais du classement de Shanghai sont encore bien plus nombreux que ceux que j’évoque ci-dessus. Je voudrais cependant conclure cet article en précisant que cette apparente et satisfaisante 13eme ou 14eme place pour Paris-Saclay cache, en trompe-l'œil,  une vraie misère universitaire*. En sus des difficultés de la recherche en France évoqués plus tôt (1-3), il faut comprendre que cette place qui semble honorable n’a été obtenue qu’aux prix d’artefacts multiples. Le premier, qui a fait du bruit parmi les personnels de la recherche, a été de demander à l’ensemble des chercheurs CNRS, INRIA, INSERM, CEA, etc. travaillatn des des structures liées à Paris-Saclay d’abandonner leur affiliation à leurs organismes, pour ne conserver que l’affiliation à Paris-Saclay. Devant les protestations des chercheurs, bien plus vigoureuses d’ailleurs que celles des organismes de recherche dont les directions ont assez lâchement conservé le petit doigt sur la couture du pantalon, un motus vivendi a été trouvé. C’est l’affiliation à Paris-Saclay qui apparaît la première, suivie de l’affiliation à l’organisme de recherche... Ceci permet donc de gonfler très artificiellement le « CV » de Paris-Saclay en y incorporant le nombre des publications, et des publications de qualité, ainsi que les prix Nobel ou autre médailles Fields, obtenus par des chercheurs rémunérés par d’autres entités. Deuxième biais, et non des moindres, ce classement élogieux a été obtenu en agrégeant à l’université d'origine, Paris-Sud, des structures non universitaires. Ainsi, à Paris-Saclay, des laboratoires entiers du CEA, du CNRS, de l’INRA, des services des hôpitaux tels que le Kremlin-Bicêtre, de l’Institut de physique, pour n’en citer que quelque uns, originellement laboratoires appartenant en propre à ces organismes, ont été regroupés, pour certains à marche forcée, dans l’université. Bref, méfiance donc en ce qui concerne la signification et les interprétations relatives à ce classement. Je rappelle d'ailleurs que l’annexe du décret de création de Paris-Saclay proposait cette création regroupant « 13 % du potentiel de recherche français » avec pour objectif clair de « figurer parmi les plus grandes institutions universitaires mondiales » (4), mais sans une augmentation drastique de ses moyens, ce super « think-tanker » comme je l’appelle, pourrait ressembler à une coquille non pas vide, mais bien creuse, et ce quels que soient les efforts méritoires de mes anciens collègues. 

__________________

* ce que je dis de Paris-Saclay est en grande partie également vrai pour tous les regroupements récents d'universités françaises.

 

Références :

1. Misère de la recherche publique française. I. Organisation et financements
Ce blog :
https://dessaux.blogspot.com/2021/05/misere-de-la-recherche-publique.html

2. Misère de la recherche publique française. II. La méconnaissance des dirigeants.
Ce blog :
https://dessaux.blogspot.com/2021/06/misere-de-la-recherche-publique.html

3. Misère de la recherche publique française. III. Entre défiance et évaluation permanente.
Ce blog :
https://dessaux.blogspot.com/2021/06/misere-de-la-recherche-publique_5.html

4. Soazig Le Nevé. Paris-Saclay, première université française à percer dans le classement de Shanghai. Le monde. Août 2020.

 

Crédit illustration :

Salle de TP-Université Paul Sabatier de Toulouse.
https://universiteenruines.tumblr.com/