La sénatrice chargée du rapport sur le projet de loi sur l’enseignement supérieur et la recherche, Mme Dominique Gillot, a annoncé récemment que la suppression de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES), prévue par le texte du gouvernement, devrait encore faire l’objet d’un « débat » : « Nous n’avons pas entendu, dit-elle, de demande de suppression de cette évaluation au sein de la communauté universitaire. »
Étrange surdité : s’il est une institution née du dit « pacte pour la recherche » de 2005 qui suscite la protestation générale, c’est bien celle-là. C’est en 2007 que l’AERES a été mise en place : après cinq années d’expérience, universitaires et chercheurs savent assez bien maintenant comment fonctionne et à quoi sert cette agence. C’est d’abord un bref bilan de leur expérience commune que je voudrais proposer.
Noter, c’est pour exclure
Il est bon de commencer l’histoire par la fin, car c’est seulement en 2011 que le rôle de l’AERES dans la restructuration de l’université française est apparu dans toute son ampleur : au moment de la mise en place des « laboratoires d’excellence » (labex) et des « initiatives d’excellence » (idex) à qui reviendraient les ressources virtuelles du « grand emprunt ». Au moment donc, où le gouvernement de M. Sarkozy a voulu imposer le partage entre les « excellents » et les autres, entre les gagnants et les perdants, les vainqueurs et les vaincus, dans la concurrence libre et non faussée qui devrait désormais régir ce que nous pensions être un service public.
Je serai bref sur les « jurys internationaux » chargés de sélectionner les candidats : nommés par le ministère (sous les espèces de l’Agence nationale pour la recherche) pour entériner les choix du ministère, leurs moindres erreurs était corrigées par des coups de téléphone bien placés, leur rôle se bornant à vérifier que les projets étaient rédigés dans la langue du nouveau management de la science : « gouvernance resserrée », « innovation thématique », « démarche qualité ». Dans les communautés scientifiques concernées, y compris parmi les candidats, ces caricatures de jury étaient d’ailleurs l’objet d’un scepticisme général, voire d’un mépris mérité.
Et l’AERES dans cette affaire ? (...)
Etait ainsi instaurée une concurrence au couteau non seulement entre établissements, mais aussi à l’intérieur de chacun d’eux. Certains présidents d’université l’ont bien compris, qui commencent à moduler les ressources de leurs unités de recherche en fonction de la note de l’AERES.
Les « initiatives d’excellence » nous ont donc appris quelque chose d’important : quand l’AERES note, c’est pour exclure. Toutes les agences de notation du monde se ressemblent, à cet égard : les notes de Moody’s et Standard & Poor’s sont performatives. Lorsque celle d’un État ou d’une entreprise est dégradée, le coût de ses emprunts s’élève et ses difficultés s’accroissent. Une agence de notation a toujours raison. (...)
Le 15 décembre 2011, l’AERES a déclaré renoncer à la notation globale des entités (établissements, formations, unités de recherche), remplacée par « une appréciation textuelle courte bâtie sur les notes multicritères » : moins de 1800 caractères, c’est la « pensée tweet ». Bien entendu, elle continue à donner des notes séparément pour chacun de ses « critères » : que pourrait faire d’autre une agence de notation que noter ? Mais n’est-ce pas merveilleux : les évaluateurs s’évaluent, s’améliorent en écoutant les objections, vous voyez bien que ça marche ! (...)
Remarquons simplement que cette manœuvre en recul a eu lieu après que furent distribuées les bonnes et mauvaises notes nécessaires au grand partage qui devait casser en deux l’université française. Cette mauvaise action étant accomplie, l’AERES pouvait renoncer sans trop d’inconvénient à la notation globale. (...)
Nous avions naguère la liberté de concevoir nos rapports comme nous l’entendions et d’y mettre du contenu autant que nécessaire : il y a maintenant un plan imposé, des calibres, des fiches, des indicateurs à calculer et, cerise sur le gâteau, l’exercice grotesque de l’« auto-évaluation » qui consiste, en substance, à s’administrer à soi-même des critères auxquels on ne croit pas. Tout cela pour remplir un dossier que les membres du comité de visite n’auront de toutes façons pas le temps de lire. (...)
Ainsi, les rapports que nous écrivons pour l’AERES, perte de temps et surtout d’estime de soi, bâtissent des villages Potemkine, des fictions. Peu importe : ce qui compte, c’est que nous les ayons écrits dans la crainte infantile de mal faire. Ce qui compte, c’est que s’implante dans les esprits la « culture de l’évaluation ». Jamais je n’ai vu une telle fébrilité dans les labos qu’avant le passage de l’AERES : on répète la visite à l’avance, parfois même, à l’échelle des établissements, on fait appel à un cabinet de conseil pour remplir le rapport comme il faut. Dans l’ensemble, les collègues trouvent l’exercice inutile ou ridicule, mais c’est comme si nous avions peur de ne pas réussir un examen. On s’applique donc à répondre à toutes les questions, on finit par croire un peu qu’elles se posent réellement. C’est ainsi que les managers de la science espèrent nous reprogrammer. Voilà la vraie nouveauté, et elle est assez grave. (...)
L’agence de notation n’est pas seulement faite pour exclure certains. Elle est faite pour infantiliser tout le monde. Elle peut espérer ainsi qu’on ne se posera plus la question essentielle : que valent les notes qu’elle distribue ?
L’AERES évalue mal
Le vrai problème que pose l’existence de l’AERES, c’est une dégradation profonde de la qualité de l’évaluation scientifique dans notre pays. C’est une affaire très sérieuse. (...)
la mise en scène du comité de visite fonctionne bien : nous pouvons croire que nous avons été évalués par nos pairs !
Le problème, c’est qu’il n’en est rien. Ce n’est pas le comité de visite qui a la responsabilité de rédiger le rapport, c’est son seul président. Le comité, formé pour cette seule occasion et qui ne s’est donc jamais réuni avant, n’a souvent pas le temps de se réunir après la visite, ou alors un très bref moment en fin de journée. Le président n’est pas tenu de soumettre son rapport aux membres du comité, sauf s’il souhaite le faire pour des raisons déontologiques. Il n’y a évidement pas de vote, ni sur le rapport, ni sur la note. (...)
Ce n’est pas lui qui a le dernier mot sur le texte, ce n’est pas lui non plus qui attribue la note. La validation du rapport et l’attribution de la note se font en « groupe thématique » de l’AERES. C’est ce qu’on appelle les « réunions de restitution » : le directeur de la section concernée réunit des présidents de comités d’experts par thème ou discipline, avec la participation des permanents de l’agence. C’est dans ces réunions que l’on fixe les notes – en appliquant la politique de l’agence en matière de critères et de quotas. L’AERES a pour objectif des proportions maximales de notes A et A+, il faut qu’elles soient respectées.
Ces procédures, en tout cas, signifient une chose très simple et très fondamentale : l’agence de notation a dépossédé les scientifiques de la maîtrise de leurs critères de jugement, de leur capacité à délibérer collégialement, et finalement de leur compétence à évaluer en dernier ressort. (...)
Ainsi, loin derrière les aimables collègues qui viennent nous rendre visite, et sans que ceux-ci s’en rendent très clairement compte, il y a une très vaste machinerie. Elle comprend des institutions européennes puissantes, une constellation d’agences publiques ou privées d’ « assurance qualité », des cabinets conseils, dont certains travaillent indifféremment pour des universités, des administrations et des entreprises industrielles ou de services. C’est tout un monde, qu’Isabelle Bruno et d’autres chercheurs ont récemment analysé avec précision ( La grande mutation. Éducation et néolibéralisme en Europe, Syllepse, 2010 ; Benchmarking. L’État sous pression statistique, La Découverte, 2013 ) : des gens et de l’argent, des techniques et des formations, des débats doctrinaux, des logiciels, une idéologie proliférante. (...)
ce sont donc des gens directement nommés par le ministre qui sont appelés à approuver les notes et avis édictés par l’agence sur les unités de recherche ou les universités de ce pays !
L’indépendance des présidents de l’AERES ? Qu’on en juge. (...)
l’institution est devenue une très grosse et coûteuse machine (16-17 millions d’euros l’an) où convergent de nombreux intérêts : c’est une arme précieuse pour les zélotes du nouveau management public, un moyen d’influence sans risque pour les ambitieux, un refuge pour les fatigués de la recherche, une source de revenus substantiels pour certains. (...)
Une évaluation digne de ce nom nécessite que l’on reconsidère ensemble la question des critères et procédures et celle du mode de désignation des évaluateurs. (...)
ce qui menace nos institutions universitaires si les professionnels de la qualité restent au commandes, c’est la progressive dissolution de nos normes professionnelles, c’est l’anomie. Quelques années encore de ce régime et les communautés scientifiques françaises auront perdu leur capacité à élaborer, discuter, transmettre leurs propres critères de jugement.
Il est donc grand temps de mettre ou de remettre au centre de toute évaluation la délibération collective, au sein de collèges dotés d’une pérennité suffisante et légitimés par l’élection – des instances pour lesquelles évaluer ait pour finalité de faire mieux et non de créer artificiellement des perdants. Cela, le Comité national de la recherche scientifique (CoNRS) sait le faire depuis des décennies (...)
(comme les instances équivalentes des autres organismes nationaux de recherche) et le Conseil national des universités (CNU), au-delà de ses missions actuelles, peut parfaitement aussi s’y engager. Ce ne sont pas des institutions parfaites, tant s’en faut. Mais elles ont ceci d’irremplaçable que les scientifiques en élisent la majorité des membres. Choisies par les communautés qu’elles ont la charge d’évaluer, elles ont des comptes à rendre à celles-ci, pas aux agences bruxelloises d’assurance de la qualité.
CoNRS et CNU constituent le cadre institutionnel qui rend possible ce que le sociologue Nicolas Dodier a décrit comme une « objectivité collégiale basée sur la constitution de petites communautés de chercheurs réunis dans des commissions et placés en position d’évaluateurs le temps d’un mandat ». Un groupe de personnes, majoritairement élues, travaille ensemble dans la durée. Ce groupe élabore lui-même ses critères et méthodes et les rend publics. (...)
Des normes professionnelles, constamment reprises et modifiées résultent de ce processus. Au fil des années, des centaines d’enseignants-chercheurs, de chercheurs, d’ingénieurs ont contribué à les élaborer et à les transmettre (...)
l’autorité attribuée à l’ « expert » repose sur une double supercherie : d’abord faire croire que les savants sont toujours d’accord entre eux, ensuite faire le silence sur la procédure de l’arbitrage entre leurs opinions. Ce dernier point est crucial dans les machines que la politique actuelle a mises en place : les « experts » remplissent leurs fiches et l’administration, bien à l’abri, décide. À ces fictions grosses de dangers, il convient d’opposer une vision claire : l’enseignement supérieur et la recherche ont besoin d’évaluations élaborées de façon collective, contradictoire et publique, au sein d’instances mandatées pour cette tâche par la communauté au nom de laquelle elles portent des jugements, jugements dont elles ont à répondre.
Alors, adieu à l’AERES et à ses « experts » et bienvenue aux institutions représentatives des communautés savantes, que la loi d’orientation bientôt débattue au Parlement se doit de remettre au cœur du dispositif d’évaluation scientifique dans notre pays.