Evaluation des entités de recherche par le HCERES
Depêche AEF de janvier dernier, concernant l'évaluation des entités de recherche :
Dépêche AEF:
Évaluation des unités de recherche : les propositions du rapport Pumain-Dardel
LA NOTE, UNE DES QUESTIONS LES PLUS CONTROVERSÉES
Ils proposent également que « les tutelles qui souhaitent disposer d'un classement plus précis destiné par exemple à allouer des moyens aux établissements puissent le faire, non pas en agrégeant les résultats de ces rapports destinés aux laboratoires, mais en employant des indicateurs plus accessibles et à plus gros grain, qu'il faudra normaliser après concertation avec les établissements, à partir d'indicateurs résultant d'autres procédures d'évaluation reconnues, comme par exemple le nombre des contrats européens déposés ou d'ANR financées, le nombre des docteurs issus de l'établissement, celui des personnes membres de l'IUF, des lauréats de l'ERC… etc., tous indicateurs dont la réunion semble étroitement corrélée à ceux auparavant construits à partir de la notation des unités ».
Frédéric Dardel et Denise Pumain font remarquer que cette question de la notation des laboratoires « est certainement l'une des plus controversées et des plus sensibles au sein de la communauté ». L'instauration de cette notation « répondait entres autres à un besoin par les tutelles d'avoir une grille pour décider des arbitrages en matière d'allocation des moyens ». Aujourd'hui, elle est « largement rejetée » par les organisations syndicales, elle « n'est pas réclamée par les organismes de recherche » et si « la position des universités est plus multiforme », elles pourraient s'accommoder d'une suppression de la note. En revanche, pour ce qui est des organismes internationaux d'accréditation, ils « attendent qu'une évaluation synthétique, sur critères multiples et adaptés, soit produite in fine par l'agence indépendante, et non pas par d'autres instances ». De même, « une bonne gestion des moyens publics exigerait que les procédures d'évaluation qui aboutissent au jugement global produit par le Haut Conseil ne soient pas de nouveau opérées par d'autres instances ».
LES AVANTAGES ET INCONVÉNIENTS DE LA NOTE
Les auteurs du rapport listent les avantages et les inconvénients de la note mono ou multi-critères. Parmi les avantages, ils citent « la transparence » puisqu'auparavant certains établissements avaient leur propre grille de notation « souvent interne et non-publique » ; « la diffusion de la culture de l'amélioration » ; et « la simplicité opérationnelle ».
Les inconvénients de la notation sont plus nombreux. Ainsi, la note a un « caractère réducteur » et « déresponsabilise les tutelles et les autres opérateurs (collectivités, fondations caritatives, mécènes…) » qui ne se penchent pas sur l'analyse du rapport et se contentent de la note. Elle a aussi un « caractère prescriptif » pour les tutelles, ce qui va à l'encontre « de la séparation voulue entre évaluation et décision ». « La notation cristallise aussi pour cinq ans [l']instantané de l'évaluation », créant une « stigmatisation à long terme » ou « une rente de situation ». La mise en oeuvre de la notation est aussi difficile car elle nécessite souvent « des réunions de notation/interclassement dont le fonctionnement, les modalités et la transparence ont été critiqués ». En outre, certains présidents de comité ont été « plus parcimonieux dans l'attribution des notes B et C, souvent synonymes de restructuration voire de fermeture de laboratoire ». Enfin, les auteurs font remarquer que la notation a généré des « effets de seuil » conduisant certains responsables scientifiques à faire disparaître de leur organigramme « des collègues jugés moins performants » pour faire « remonter leur moyenne ».
Voici les autres recommandations principales de Denise Pumain et Frédéric Dardel à propos de l'évaluation des unités de recherche :
Une concertation préalable à l'évaluation et des expérimentations. « L'évaluation des laboratoires devrait être précédée d'une phase de concertation préalable permettant de prendre éventuellement en compte les demandes concertées des tutelles sur le cadrage en fonction du contexte et des missions de l'unité et sur les principes d'organisation du comité », estiment les auteurs. Cette concertation doit permettre de décider si l'évaluation est faite directement par le HCERES ou par d'autres instances « selon des modalités internes et concertées entre les tutelles » et validées par le HCERES.
À ce propos, Denise Pumain et Frédéric Dardel affirment qu'au vu de leurs entretiens, il est « très probable que, pour une grande part, l'évaluation des laboratoires restera largement organisée par le HCERES. Ceci tient principalement à ce que de nombreuses tutelles sont attachées au caractère uniforme, externe et indépendant des acteurs que garantit l'évaluation organisée par une autorité indépendante (…) Ceci n'empêche cependant pas d'envisager que localement des expérimentations puissent être menées, si les parties sont d'accord et que le processus est conforme au cahier des charges du Haut Conseil et validé par ce dernier. »
« La granularité de l'analyse dépend des disciplines ». « Dans certains cas, les laboratoires sont vus comme des regroupements d'équipes qui font l'objet d'évaluations indépendantes, ensuite agrégées dans celle du laboratoire et de sa politique globale. Dans d'autres disciplines au contraire, la notion d'équipe a moins de sens et les communautés sont attachées à une évaluation globale du laboratoire, pris comme un collectif », écrivent Denise Pumain et Frédéric Dardel. Partisans de ne « pas imposer un modèle unique », ils estiment que « la granularité de l'analyse dépend des disciplines ».
Évaluation de l'activité présente et passée des laboratoires. L'évaluation doit-elle porter sur les projets des laboratoires ou seulement leur activité passée ? L'évaluation des projets pose la question de « la confidentialité de certains d'entre eux que certaines tutelles ne souhaitent pas voir compromise par leur communication aux membres du comité de visite qui peuvent s'avérer des concurrents potentiels », notent les auteurs. En outre, cela peut conduire à une « ingérence dans le pilotage par certaines tutelles qui souhaitent conserver un contrôle des moyens et de la stratégie et considèrent donc avoir un droit de regard sur le projet qui ne relève pas de la seule compétence des équipes de recherche ». Pour autant, « il semble difficile de solliciter un comité d'experts compétents et de lui demander de regarder l'activité de recherche d'un laboratoire en faisant complètement abstraction de toute projection dans l'avenir ».
Ainsi, le comité pourrait, « sauf cas très particulier justifiant la confidentialité », examiner « de manière macroscopique les grandes orientations envisagées par le laboratoire et donner un avis sur leur pertinence et leur faisabilité, au regard des compétences et outils dont il dispose et de ses productions antérieures ». L'examen détaillé des projets risquerait de « faire doublon avec les demandes de moyen auprès des tutelles ou des agences de financement (ANR) ».
Un dossier allégé à remplir. Par ailleurs, alors que le rapport plaide pour que le HCERES élabore un cahier de charge de l'évaluation, il préconise que le dossier demandé aux unités soit « allégé, en étant pré-rempli, à partir des bases de données du ministère ou des établissements » et vérifié ensuite par les directeurs d'unités.
Évaluation hors métropole. Alors que les comités d'évaluation pour les instituts et unités hors métropole (IFRE, Umifre, UMI, LMI…) se sont plutôt tenus « sur pièces », le rapport plaide pour que soit étudiée « la possibilité d'adapter le processus pour envoyer au moins une fraction du comité de visite sur site (a minima, l'un des membres). En outre, il pourrait être envisagé d'évaluer de manière consolidée « l'ensemble ou des parties cohérentes de ce dispositif déployé à l'international ou en outremer ».
Rattachement de l'OST au HCERES. Denise Pumain et Frédéric Dardel citent le groupe de réflexion présidé par Jean-Marc Monteil sur le devenir de l'OST qui préconise de lui confier de nouvelles missions dans le cadre du HCERES. Les auteurs du rapport préconisent de rattacher l'OST au HCERES. Cela permettrait « de mieux concevoir et utiliser l'ensemble des bases de données utiles à l'exercice d'évaluation en épargnant un temps précieux pour tous les acteurs, par exemple en utilisant des indicateurs scientométriques, là où ils ont une valeur reconnue par la communauté (…). L'intervention de l'OST constituera ainsi un apport essentiel pour des travaux préparatoires aux évaluations, ou encore pour réaliser des évaluations sectorielles par grand domaine de recherche disciplinaire. Cela pourrait améliorer sensiblement la légitimité des éclairages apportés à l'évaluation des politiques scientifiques de site ou d'établissements, par rapport aux procédures antérieures d'interclassement des unités produites par les réunions de présidents de comité, dont la légitimité scientifique a pu être fortement contestée. »
--