SOMMAIRE INTRODUCTIONp.3
I - L'EVALUATION, UNE DEMARCHE NOVATRICEp.4
A. UNE PREOCCUPATION RECENTEp.4
B. DES REALISATIONS NOVATRICES 4
3. L'EVALUATION DES POLITIQUES REGIONALES .
C. L'OBJECTIF DE L'EVALUATION : LE DEVELOPPEMENT DURABLE p.10
II - UNE DEMARCHE ENCORE EMBRYONNAIREp.12
A. UNE ACCULTURATION LENTE, MAIS NECESSAIRE p.12
B. LES DELAIS p.14
C. L'HOMOGENEITE DES INDICATEURS p.15
D. QUELLES SUITES A DONNER ?p.17
E. LES PROGRES A REALISER p.18
EXAMEN PAR LA DELEGATION p.21
LISTE DES PERSONNALITES ENTENDUES PAR LA DELEGATION p.24
PERSONNALITE ENTENDUE PAR LE PRESIDENT p.24
CONTRIBUTION ECRITEp.24
AUDITIONSp.25
ANNEXESp.78
La Délégation à l'aménagement et au développement durable du territoire est composée de : M. Philippe Duron, président ; MM. Félix Leyzour, Jean-Michel Marchand, Patrick Ollier, vice-présidents ; MM. Yves Coussain, Nicolas Forissier, secrétaires ; MM. Pierre Cohen, Jean-Claude Daniel, Jean Espilondo, Gérard Hamel, René Mangin, Henri Nayrou, Mme Marie-Françoise Pérol-Dumont, MM. Serge Poignant, François Sauvadet.
MESDAMES, MESSIEURS,
Au terme de cette législature, il a paru indispensable à la Délégation à l'aménagement et au développement durable du territoire de réfléchir à l'évaluation des politiques publiques et aux indicateurs du développement durable.
La LOADDT* du 25 juin 1999 prévoit, en effet, dans son article 10, que les Délégations parlementaires sont chargées d'évaluer les politiques d'aménagement et de développement du territoire. L'évaluation étant une discipline récente, et encore quelque peu embryonnaire, il lui a semblé nécessaire de tirer quelques conclusions sur les travaux déjà effectués, les difficultés rencontrées, notamment méthodologiques, les résultats obtenus et les suites apportées aux études ainsi réalisées.
Il ne s'agit pas, dans ce bref document, de faire un bilan exhaustif des politiques d'évaluation et de la mise en place d'indicateurs du développement durable, mais plutôt, au terme de cette législature, de "défricher" en rappelant rapidement les grandes lignes des derniers travaux réalisés en la matière, en recensant les principales difficultés rencontrées, et en formulant quelques suggestions... à charge pour l'Assemblée qui sera élue dans quelques mois et pour la nouvelle Délégation à l'aménagement du territoire de poursuivre cette tâche.
I - L'EVALUATION, UNE DEMARCHE NOVATRICE
A. UNE PREOCCUPATION RECENTE
Elle a été importée des Etats-Unis au cours des années 1970, en même temps que le "Planning-Programming-Budgeting-System" (PPBS), adapté en France sous la dénomination "rationalisation des choix budgétaires" (RCB). La plupart des pays d'Europe du nord ont d'ailleurs suivi le même chemin à cette époque.
En France, la RCB a été abandonnée au début des années 1980 et de ce fait, l'évaluation également, ce qui n'a pas toujours été le cas dans les pays comparables. A la fin des années 1970, la culture de l'évaluation s'est répandue dans les milieux ouverts aux courants internationaux, tels que la recherche et l'aide aux pays en voie de développement ; l'OCDE, dans ces domaines, en a permis une large diffusion.
La politique régionale européenne, et, plus particulièrement, les fonds structurels, ont donné une réelle impulsion à l'évaluation. Les règlements de 1988 ont rendu obligatoire l'évaluation systématique, même si, dans la pratique, leur application n'a pas été immédiate. L'Union européenne propose que l'évaluation soit partie intégrante de la politique communautaire.
Un règlement de 1993 prévoit que les aides seront octroyées lorsque l'appréciation ex ante aura démontré les avantages socio-économiques à retirer à moyen terme, eu égard aux ressources mobilisées. De 1993 à 1998, le nombre d'évaluations a été multiplié par cinq ou six par rapport à la période 1989-1993.
De la même façon, les prêts de la Banque mondiale étaient associés à des évaluations ex ante et ex post, ce qui a permis à certains pays, tels que la Grèce et le Portugal, de développer une culture favorable à cette pratique.
B. DES REALISATIONS NOVATRICES
L'évaluation est apparue comme indispensable et susceptible de répondre à trois impératifs : la rigueur - les citoyens demandent le résultat des politiques menées - la transparence - le débat est de plus en plus nécessaire et de plus en plus réclamé - et l'efficience des politiques - il est de plus en plus impératif de savoir si les objectifs ont été atteints.
1. L'évaluation au niveau national
a) La relance de l'évaluation par le Conseil national de l'évaluation
En France, l'évaluation a pris son véritable essor, comme le souligne la circulaire du 7 septembre 1998, après l'entrée en vigueur du décret du 22 janvier fixant les principes de l'évaluation interministérielle des politiques publiques.
Le décret a également défini l'évaluation : "l'évaluation d'une politique publique a pour objet d'apprécier, dans un cadre interministériel, l'efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en oeuvre". Le rapport du Conseil national de l'évolution (CNE) de 1999 complète cette définition en précisant que "l'évaluation n'est pas une liste de résultats, mais une interrogation sur le "pourquoi" : pourquoi tel résultat existe-t-il ?". Il ajoute que "l'évaluation commence avec l'analyse objective des causes".
L'évaluation n'est ni un contrôle, ni un contrôle de régularité, ni un contrôle administratif ni une vérification comptable, ni un contrôle de gestion, ni une analyse financière.
L'évaluation peut intervenir à différents stades (ex ante, à mi-parcours, ex-post) et à des niveaux de décision variable (évaluation de politique, de programme, de projet), comme le précise la circulaire du 7 septembre 1998.
Elle doit s'effectuer dans un cadre interministériel.
Le décret du 18 novembre 1998 a assigné au Conseil national d'évaluation (CNE) la mission de relancer l'évaluation et prendre la suite du conseil scientifique d'évaluation. Plusieurs points ont changé, dont la composition du Conseil qui a été renouvelée, puisqu'il fait place, en particulier, à des représentants de la société civile (trois représentants du Conseil économique et social) et des collectivités territoriales (trois représentants de chacune des grandes associations de ces collectivités).
Le CNE propose au Premier ministre un programme annuel d'évaluations à partir des propositions des ministères et des associations de collectivités collectées par le Commissariat général du Plan (CGP). Une sélection est opérée entre les sujets en fonction de la place qu'ils peuvent prendre dans un processus de décision. L'évaluation devant éclairer l'action, certains thèmes paraissent prioritaires par rapport à d'autres.
Le CGP doit ensuite arrêter la composition des instances sur la base des orientations du CNE en s'efforçant de faire respecter le principe de représentation suivant : un tiers d'administration, un tiers d'experts universitaires et un tiers d'acteurs ; l'objectif était d'introduire des représentants des collectivités territoriales, des établissements publics et des associations d'usagers. Ces instances sont des lieux où les différentes parties prenantes d'une politique peuvent avoir une confrontation de logiques et de points de vue.
Puis, le CNE formule ensuite un avis sur les évaluations lorsqu'elles sont achevées et le CGP adresse des recommandations au Premier ministre sur les suites à leur donner.
Le CNE a fait approuver quinze évaluations en trois ans (contre neuf entre 1990 et 1998 pour le Comité scientifique d'évaluation, qui l'a précédé), les thèmes les plus fréquents étant les aides aux entreprises, les aides à l'emploi et à la formation et les aides à l'agriculture (cf. annexe).
Parmi les projets du CNE pour l'an 2002 figurent la construction d'un site Internet relatif à ces évaluations et à celles des contrats de plan Etat-régions, ainsi que l'élaboration de divers guides méthodologiques, notamment pour les régions, dont l'un sur les aides aux entreprises et un autre sur l'évaluation de la politique de la ville.
b) La réforme de l'ordonnance organique du 2 janvier 1959
La réforme de l'ordonnance du 2 janvier 1959 portant loi organique relative aux lois de finances, par la loi du 1er août 2001, facilitera le développement de l'évaluation.
Lors de son entrée en vigueur en 2006, les quelque 850 chapitres budgétaires utilisés pour présenter les crédits seront remplacés par 100 à 150 agrégats appelés programmes, eux-mêmes inclus dans des missions. L'instauration de programmes ministériels aura pour effet de rendre plus lisible, pour l'administration elle-même et pour les observateurs extérieurs, l'utilisation des crédits publics. La possibilité de transferts dans le cadre d'un même programme permettra la mise en oeuvre de programmes interministériels.
Cette nouvelle procédure permettra de mieux associer les dépenses budgétaires à des objectifs et à des indicateurs de résultats. Pour obtenir des crédits, les gestionnaires devront en justifier la bonne utilisation, puis ensuite rendre compte du respect de leurs objectifs dans un rapport annuel de performance qui éclairera la loi de règlement. En contrepartie, ils bénéficieront d'une plus grande souplesse dans l'utilisation des ressources.
Cette réforme aidera à la construction d'indicateurs de gestion, même s'il ne faut pas oublier que l'évaluation doit être transversale, que l'action publique ne dépend pas du seul acteur "Etat" et qu'il faut donc se garder de prévoir des indicateurs globaux associés aux seuls crédits de l'Etat : pour la politique de l'emploi, par exemple, les crédits de l'Etat ne sont pas les seuls mobilisés.
Elle conduira également à réaliser des évaluations ex ante pour faire le point sur la mise en place d'un programme ministériel, les systèmes d'acteurs concernés, les objectifs visés par l'action publique et les indicateurs destinés à qualifier ces objectifs et à mesurer les résultats. Elle permettra en outre de réduire les délais des évaluations.
2. L'évaluation des contrats de plan Etat-régions
La circulaire du 31 juillet 1998 (parue au J.O. du 13/9/98) précise que les programmes inclus dans les contrats de plan Etat-régions feront l'objet d'évaluations à l'initiative des comités régionaux de l'évaluation ; elle prévoit également qu'une synthèse du suivi et de l'évaluation sera réalisée à l'issue des quatre premières années du contrat et à la fin de la période contractuelle, au niveau régional par les préfets de région et au niveau national par le Commissariat général du Plan et la DATAR.
La circulaire du 25 août 2000 définit le champ de l'évaluation, qui doit englober les contrats de plan ainsi que les contrats de ville, d'agglomération et de pays, et ceux conclu avec les parcs naturels régionaux. Elle rappelle que l'objet de l'évaluation est de "mesurer l'adéquation de chaque composante d'un programme aux objectifs affichés", les priorités définies par les circulaires du 11 mai et du 27 août 1999 étant l'emploi, la solidarité et le développement durable, ainsi que l'impact sur l'effet de serre.
Elle doit, enfin, être concomitante à la mise en oeuvre des actions engagées.
a) Le renouvellement de la procédure
Premièrement, dans chaque région, le montant consacré par l'Etat à l'évaluation des actions du CPER 2000-2006 s'élèvera à six dix millièmes du montant de la contribution de l'Etat à ce contrat - il s'agit de crédits hors contrat de plan, inscrits sur le budget du Commissariat général du Plan (cf. annexe) ; le principe du financement à parité avec les collectivités territoriales devra toutefois être maintenu dans la mesure du possible pour les programmes évalués sur la durée du contrat. Des guides d'aide seront élaborés. 75 % des crédits affectés à chaque région seront délégués directement aux préfets de région.
Deuxièmement, ceux-ci auront, au préalable, défini une programmation de leurs évaluations, qui devront être, si possible, glissantes et porter sur plusieurs années.
Troisièmement, une section spécialisée de la conférence régionale d'aménagement et de développement du territoire (CRADT) assurera les fonctions de comité de pilotage des évaluations des contrats de plan. Y participeront le représentant de l'Etat, le président du conseil régional, le trésorier-payeur-général et les élus des collectivités concernées par l'évaluation n'appartenant pas à la conférence, de même que des experts, un membre du Conseil économique et social régional et des chefs d'administrations déconcentrées.
Une instance nationale sera chargée d'examiner les différents projets d'évaluation proposés par les CRADT et de formuler les recommandations qui lui apparaîtront nécessaires "notamment au regard des principes de pluralisme des points de vue, d'indépendance et de transparence qui doivent présider à toute évaluation". Elle devra également mutualiser les pratiques et développer les transferts d'expériences.
Quatrièmement, l'évaluation devra être prise en compte pour la révision des CPER en 2003. Il devra en être de même pour celle des documents uniques de programmation (DOCUP), en 2004. La circulaire du 31 juillet 1998 souligne à cet égard que les CPER et les DOCUP devront, en pleine cohérence, être les instruments d'une stratégie unique. Il faudra disposer pour 2004 des résultats d'analyses précises concernant l'impact des politiques communautaires actuelles sur la cohésion des territoires français, la compétitivité et la politique régionale. Par ailleurs, le bilan intermédiaire des schémas de services collectifs pourrait intervenir dès 2005.
Enfin, la même circulaire prévoit que des indicateurs d'alerte seront sélectionnés par le comité de pilotage et validés par les services de l'Etat et de la région.
b) Les réponses apportées aux observations de la Cour des Comptes
Le rapport public de la Cour des comptes de 1998 avait relevé plusieurs dysfonctionnements du suivi des contrats de plan, parmi lesquels le défaut de tableaux de bord de suivi stables, l'absence d'une nomenclature comptable unique pour les crédits de l'Etat et des régions, le manque de comptabilisation des contributions des partenaires autres que l'Etat et la région, le maintien d'une logique de financement sectorielle, et l'agrégation de crédits de nature différente (affectés, engagés ou mandatés).
En réponse à ces remarques, la DATAR a élaboré avec les ministères une présentation financière commune à toutes les régions, permettant un suivi des crédits de l'Etat dans chaque région, des comparaisons entre les régions et des agrégations au niveau national. En outre, afin de tenir compte de la double nature des contrats de plan (outil d'aménagement régional décentralisé et déconcentré et outil de péréquation entre les régions au niveau national), les préfectures ont un double suivi des crédits, (d'une part, le suivi national et d'autre part, le suivi régional, souvent conjoint avec la région), afin de mieux les articuler entre eux. C'est ainsi que les différents intervenants - DATAR, ministères et services extérieurs - peuvent travailler sur une structure identique de suivi des crédits de l'Etat.
c) La procédure engagée pour la révision des contrats de plan en 2003
Un bilan doit donc être disponible pour l'été 2003, ce qui suppose d'engager la procédure l'été prochain. Elle s'articulera en deux parties.
Il va être demandé aux préfets de dresser le traditionnel bilan annuel des contrats de plan auquel devra s'ajouter un bilan triennal concernant les années 2000, 2001 et 2002. Il devra développer trois thèmes :
- la conformité des réalisations par rapport aux objectifs ;
- la mise en oeuvre des procédures, avec une analyse des causes des éventuels retards dans l'application des contrats et des réflexions sur le partenariat avec le conseil régional ;
- l'articulation avec les DOCUP, et, notamment, les contradictions pouvant exister entre les deux documents, les CPER ayant été signés avant les DOCUP.
Il sera également élaboré une circulaire qui comportera un mandat de négociation pour ce bilan intermédiaire, proposera un cadre au niveau national pour la procédure à suivre et demandera aux préfets de formuler des propositions. La négociation entre les préfets et les différents ministères concernés donnera lieu à arbitrage du Premier ministre, cette procédure devant s'achever à l'été 2003.
Les préfets devront en informer les présidents de région qui eux-mêmes auront à effectuer une démarche identique et procéder à un bilan des contrats de plan.
Ces différents bilans pourront permettre de faire le point sur les modifications à apporter aux contrats de plan, qui feront l'objet d'avenants.
Il s'agit donc de bilans comptables qui contiennent également une analyse qualitative des réalisations effectuées ; contrairement à la procédure suivie pour les évaluations, il n'est pas fait appel à un tiers extérieur qui apporte un regard différent.
Ces bilans devront se doubler d'évaluations. Le Commissariat général du Plan a la charge de gérer des crédits pour financer des études demandées par les préfets. Certaines ont déjà été lancées. Il devra effectuer la synthèse de ces évaluations, en soulignant les carences existantes, en formulant des propositions, et en suggérant des travaux complémentaires à mener région par région ou au niveau national.
d) L'évolution des thèmes des évaluations des contrats de plan
Parmi les thèmes les plus fréquemment traités pour l'évaluation de la période 1994-1999, on pouvait relever la politique de la ville, les aides aux entreprises, les aides à l'emploi et à la formation et les aides à l'agriculture. Aucune évaluation n'a porté sur le développement durable. Seules ont été réalisées quelques évaluations environnementales (régions Ile-de-France et Picardie) ou agri-environnementales (Bourgogne, Franche-Comté, Ile-de-France). Quant à la région Nord-Pas-de-Calais, elle a élaboré un guide méthodologique sur l'évaluation environnementale.
Un groupe de travail mis en place en 1995 au sein du ministère de l'aménagement du territoire et de l'environnement et composé de représentants des directions centrales et régionales du ministère, du Commissariat général du Plan et de trois experts a fonctionné pendant plus de deux ans. Sa mission a été de réfléchir à l'organisation du suivi environnemental au niveau régional, dans le cadre des contrats de plan 1994-1999 et aux dispositifs à mettre en place pour la génération 2000-2006. Il a analysé les démarches d'évaluation entreprises dans différentes régions (Basse-Normandie, Rhône-Alpes, Bretagne, Nord-Pas-de-Calais, Ile-de-France) et a adressé un questionnaire à l'ensemble des directions régionales et des secrétaires généraux des affaires régionales pour faire le point sur celles-ci, et, notamment, sur les méthodes utilisées.
Quatre régions ont prévu la mise en place d'instances spécifiques d'évaluation environnementale : la Bretagne, l'Ile-de-France, le Nord-Pas-de-Calais et le Limousin. Elles ont également, excepté le Limousin, mené une évaluation des impacts environnementaux des autres actions du contrat de plan.
Les thèmes les plus souvent inscrits dans la programmation 2000-2006 sont la territorialisation, l'environnement et, de nouveau, la politique de la ville, les aides aux entreprises, l'emploi et la formation, et, plus rarement, tout ce qui a trait aux infrastructures.
Le thème de l'environnement apparaît fréquemment. En outre, deux régions (Provence - Alpes-Côte d'Azur et Rhône-Alpes) ont entrepris une évaluation sur le thème du développement durable.
e) Quelques exemples
Dans la région Nord-Pas-de-Calais, l'évaluation est réalisée en partenariat avec l'Etat et les deux départements, qui ont signé le contrat de plan.
L'évaluation est commune aux différents partenaires ; une cellule d'évaluation rassemblant l'Etat, la région et les deux départements a donc été créée.
Le contrat de plan comporte deux niveaux : le contrat de plan lui-même, qui contient les objectifs, les partenariats, les financements et les moyens d'action, et la convention générale d'exécution, de suivi et d'évaluation qui récapitule les résultats attendus et la série d'indicateurs retenus pour l'évaluation.
Dans la convention, les quatre partenaires se fixent, à côté de l'obligation de moyens, une réelle obligation de résultats pour l'ensemble des objectifs du contrat de plan 2000-2006. Ils s'engagent à mettre en oeuvre un dispositif partenarial de programmation et un processus renforcé de suivi et d'évaluation. Le but est d'appliquer les actions décidées, de mieux connaître les effets des politiques et de mettre en oeuvre des ajustements nécessaires pendant le contrat de plan. L'élaboration d'indicateurs sera à la base des travaux d'évaluation. La convention met également l'accent sur la dimension territoriale du suivi des politiques.
Un programme pluriannuel d'évaluation du contrat de plan a été élaboré pour les années 2001 à 2003 et 2004 à 2006. Il comporte quatre types de travaux :
- des évaluations transversales au regard des priorités retenues, au nombre de quatre : l'environnement, l'équité sociale, l'emploi et la territorialisation ;
- des évaluations thématiques sur un objectif ou un moyen d'action : il s'agit pour les années 2001 à 2003 du programme de création et de transmission des entreprises, du tourisme, de l'eau et de l'agriculture, des actions collectives à l'exportation. Ces choix sont acceptés par l'ensemble des partenaires, le chef de file étant différent selon les évaluations : il s'agit du département du Pas-de-Calais pour le tourisme, du département du Nord pour l'eau et l'agriculture, de l'Etat pour la création et transmission des entreprises et de la région pour l'exportation. D'autres évaluations ont été retenues pour les années 2004 à 2006 : le transfert de technologies, les nouvelles techniques d'information et de communication, la politique régionale de la ville, l'intermodalité dans le secteur des transports ;
- des évaluations sur une opération significative. Pour 2001 à 2003 ont été retenus les thèmes suivants : "quartiers d'été" (animation sociale et culturelle) et cyber-centres. Il est prévu pour 2004 à 2006 une évaluation sur la plate-forme multimodale européenne de Dourges ;
- des travaux méthodogiques visant à améliorer les évaluations. Ils concernent, en particulier, la fiabilisation des indicateurs, le croisement des bases de données.
Dans la région Limousin, la plupart des évaluations ont été conduites en étroite collaboration entre les services du conseil régional et ceux de la préfecture. L'évaluation réalisée sur les évaluations note toutefois qu'il ne semble pas que les services de l'Etat aient développé dans cette région une pratique spécifique.
Sept évaluations relatives au contrat de plan ont été menées pendant la période 1994-2000 ; le maître d'ouvrage en a été la région pour cinq d'entre elles, l'Etat pour un et le comité régional du tourisme pour une autre.
Pour le contrat de plan actuel, sept évaluations devraient probablement être déjà lancées ou prévues, sur des sujets variés : l'apprentissage au féminin, la formation professionnelle, la création et la transmission d'entreprises, la politique de soutien aux entreprises de la première transformation du bois, les conséquences des politiques territoriales en matière culturelle et l'impact du CPER sur l'égalité des chances.
3. L'évaluation des politiques régionales
Des évaluations ont, également, été menées par les régions de manière indépendante. Certaines sont très dynamiques, parmi lesquelles le Nord-Pas-de-Calais, le Limousin, les Pays de Loire, la Bretagne, et ont jugé les évaluations nécessaires. En Limousin, elle a paru indispensable pour compléter un exercice de prospective territoriale, pour savoir si on avait atteint les objectifs fixés auparavant.
a) Le Limousin
La région a joué un rôle dynamique depuis 1994. Seize évaluations ont été réalisées en tout (dans le cadre du contrat de plan et hors contrat de plan) dont la procédure en est la suivante : l'initiative émane du Président, du service concerné ou du chargé de mission évaluation. Un chef de projet est nommé ; il prend contact avec les personnes concernées au sein du conseil régional, afin de réfléchir à la finalité de l'information disponible, de réaliser une reconstitution historique et logique de la politique évaluée et de sélectionner les futurs membres du comité de pilotage. Il mène également des consultations au sein des services de l'Etat, même quand ce dernier n'est pas cofinanceur. Puis un comité de pilotage est désigné. Un cahier des charges est rédigé, comportant les motifs, le dispositif et le calendrier de l'évaluation, ainsi que les indications méthodologiques ; le chargé d'évaluation est ensuite choisi par le comité de pilotage après mise en concurrence au niveau national. Les réunions de pilotage sont consacrées à la discussion des rapports intermédiaires et du rapport final. Celui-ci sera ensuite transmis aux membres du conseil régional.
Un rapport évaluant les diverses évaluations réalisées en Limousin et commandé par le conseil régional en montre les aspects positifs : elles s'intéressent aux effets des politiques menées et touchent à des enjeux stratégiques, les thèmes sont choisis en fonction des décisions à prendre, les partenaires ont été intégrés dans des comités de pilotage. Elle souligne également que le coût n'en est pas excessif, puisque le coût moyen d'une évaluation s'élève à 1,7 % du budget de la politique évaluée.
Les approches sont en fait très variables. C'est ainsi que - d'après le même rapport - les évaluations de la région Rhône-Alpes sont beaucoup plus axées sur les budgets et les politiques de la région elle-même, alors que le Limousin fait une place plus grande à ses partenaires extérieurs.
b) Le Nord - Pas-de-Calais
La région réalise des évaluations depuis 1996. Elle vient d'achever l'évaluation de son champ de coopération décentralisée avec la Pologne, le Mali, le Vietnam et va en entreprendre une à propos de la coopération avec le Sénégal. Elle prévoit une évaluation sur l'environnement, et plus particulièrement, sur les contrats-rivières et sur les emplois jeunes et l'environnement. Un programme finalisé doit prochainement être arrêté.
L'évaluation est réalisée par des prestataires externes aux services régionaux (universitaires et/ou bureaux d'études) ; une animation est également prévue au sein des services. La direction du plan et de l'évaluation établit un cahier des charges et des bilans préparatoires.
La procédure est identique pour les évaluations du contrat de plan ou hors contrat de plan : un mandat rappelle les grandes orientations et les objectifs retenus, fixe la répartition des tâches et les responsabilités de chacun, ainsi que les délais souhaités. Il est validé soit par le président et le vice-président de la région dans le cas des évaluations régionales, soit par un comité de pilotage regroupant les différents partenaires dans le cas des évaluations du contrat de plan.
La phase d'élaboration du projet comporte l'examen de la faisabilité, l'élaboration du questionnement, la définition des travaux à mener, ce qui permet d'appréhender le coût et la durée de la future évaluation. La commission permanente délibère à la fin de cette phase.
Le cahier des charges est ensuite réalisé par le comité de pilotage qui est limité à la région en cas de politiques régionales ou étendu aux autres partenaires pour les contrats de plan. Le choix du prestataire est effectué conformément au code des marchés publics.
C. L'OBJECTIF DE L'EVALUATION : LE DEVELOPPEMENT DURABLE
a) La définition du développement durable
L'évaluation n'est évidemment pas une fin en soi. Comme le fait remarquer la circulaire du 11 mai 1999, le développement durable " ne se réduit pas à la protection de l'environnement ou à la conduite écologique des chantiers. Le développement durable, c'est d'abord une conception patrimoniale ou responsable du monde dans lequel nous vivons. De ce fait, les politiques publiques doivent déterminer les conditions d'utilisation, de préservation, de partage et de transmission de ce patrimoine collectif, dans des conditions qui permettent la nécessaire satisfaction de nos besoins d'aujourd'hui sans compromettre celle des générations futures...
Le développement durable est un mode de croissance qui garantit, à la fois, et à long terme, le progrès économique, social et environnemental de la société".
Pour atteindre cet objectif, il faut procéder à une estimation complète de l'intérêt et de l'impact de chaque projet. La circulaire recommande la définition d'une grille du développement durable applicable à tout projet, l'analyse de l'impact environnemental de celui-ci et la mise en place des indicateurs de suivi destinés à fournir quelques signaux d'un tableau de bord.
La prise en compte du développement durable suppose une démarche nouvelle, qui, au-delà d'une meilleure articulation des champs traditionnels, économiques, sociaux et environnementaux, consiste à revoir les objectifs de chaque domaine, en passant, par exemple, de la rentabilité économique à court terme à l'efficacité à long terme. Elle nécessite toute une série d'indicateurs de suivi des politiques.
La construction d'indicateurs de développement durable n'est pas une tâche aisée car la notion de développement durable fait l'objet de multiples interprétations, il n'existe pas de modèles incontestables et le champ couvert est large et complexe.
b) L'approche française
En France, la démarche de l'Institut français de l'environnement (IFEN) vise à concilier trois exigences : la construction d'un cadre méthodologique susceptible d'intégrer les différentes dimensions du développement durable, l'implication des acteurs concernés dans ce processus et l'élaboration d'indicateurs chiffrés facilement utilisables.
L'Institut propose une structure en neuf modules (1). L'idée est d'évaluer dans quelle mesure un certain mode de développement (module 1) peut satisfaire les besoins des générations futures (modules 6 à 8), ce qui suppose un renouvellement approprié des différentes formes de capitaux et de patrimoines. Quant au module 9, il essaie d'apprécier la capacité du système décrit à réagir à des événements extérieurs.
c) Les indicateurs de l'OCDE
L'OCDE, dans ses rapports "Développement durable : quelle politique ?" et "Développement durable et grandes questions" note qu'il est admis que le produit intérieur brut (PIB) n'est qu'un indicateur limité du bien-être des populations, puisque certaines activités contribuant au PIB réduisent le bien être (par exemple, la pollution).
D'autres indicateurs sont donc indispensables, d'autant que, face à la perspective d'une concurrence accrue pour l'exploitation des ressources naturelles rares, il est urgent d'agir, même si, dans quelques pays, on commence à assister à un "découplage" entre la croissance économique et les conséquences sur l'environnement.
Toutefois, on ne dispose pas encore d'indicateurs détaillés combinant des informations sur les différents types d'actifs et les flux de revenus qui fassent autorité, malgré les divers travaux entrepris.
Le rapport fait remarquer que la mise en place d'une comptabilité nationale intégrant les évolutions économiques, sociales et environnementales reste un objectif à moyen ou long terme. Il suggère à plus court terme de choisir un petit ensemble d'indicateurs pour chacun de ces trois domaines, regroupés en indicateurs de ressources et indicateurs de résultats, comme le font déjà certains membres de l'OCDE, ou même en un indicateur unique.
Il faut à la fois développer des indicateurs de performance et des indicateurs d'efficacité des politiques. Un indicateur isolé ne donne pas la solution d'un problème. L'important est de confronter les indicateurs. Ces indicateurs doivent conduire à décider quelles politiques de développement on souhaite. Ils doivent servir de base à la définition de stratégies territoriales de développement "gagnant-gagnant" (bon pour l'environnement, bon pour l'économie, bon pour le social).
d) Les indicateurs de la Commission européenne
Le Conseil européen de Lisbonne, en mars 2000, a demandé à la Commission d'évaluer les politiques menées afin d'obtenir "une croissance économique durable accompagnée d'une amélioration quantitative et qualitative de l'emploi et d'une plus grande cohésion sociale à partir d'indicateurs structurels définis d'un commun accord". La commission a ainsi adopté une liste de 35 indicateurs.
En mars 2001, le Conseil européen de Stockholm a recensé plusieurs priorités nouvelles en matière d'indicateurs structurels.
Puis en juin 2001, le Conseil européen de Göteborg a ajouté "une troisième dimension, celle de l'environnement, à la stratégie de Lisbonne". Les conclusions de Göteborg ont mis en évidence quatre grands domaines d'action en matière de développement durable (la lutte contre le changement climatique, l'utilisation de modes de transport respectueux de l'environnement, la réduction des menaces pour la santé publique, une gestion plus responsable des ressources naturelles).
Compte tenu de ces ajouts et de certains abandons, les chefs d'Etat et de Gouvernement ont finalement choisi quarante-deux indicateurs structurels pour évaluer le développement durable (cf. annexe). Sept d'entre eux concernent le pilier environnemental. Sur la base de ces quarante-deux indicateurs, la Commission européenne a adopté le premier rapport de synthèse sur les trois piliers du développement durable. Les chefs d'Etat et de Gouvernement ont décidé que toutes les propositions "majeures" seraient soumises à une étude d'impact sur le développement durable. Cette étude doit être entreprise conformément à la directive, avec une consultation obligatoire du public, mais aussi d'une autorité de compétence environnementale installée dans l'Etat membre concerné.
La Commission présentera en 2002 une méthodologie relative à l'examen des impacts des politiques sur le développement durable.
Il existe d'autres sortes d'évaluations au sein de l'Union européenne ; la première est réalisée depuis longtemps, c'est l'étude d'impact environnemental dont la réglementation a été adoptée dans les années 1980 : elle couvre tous les grands projets. L'Etat membre est obligé de procéder à une étude d'impact du projet qu'il envisage, il reste cependant libre de son choix, qu'il doit justifier.
Une nouvelle directive prévoit également, à l'avenir, une étude semblable pour les plans et les programmes. La Commission a d'ailleurs décidé de s'obliger elle-même à cette étude. La réforme de la politique agricole commune y sera aussi soumise, de même que la réforme de la politique commune de la pêche.
II - UNE DEMARCHE ENCORE EMBRYONNAIRE
Toute procédure en voie d'élaboration est à la fois stimulante et source de multiples interrogations au fur et à mesure qu'on l'explore.
A. UNE ACCULTURATION LENTE, MAIS NECESSAIRE
1. La difficile acceptation de l'évaluation
L'évaluation est parfois difficile à accepter de la part des gestionnaires dont le travail est évalué. Longue, lourde, complexe, l'évaluation paraît en outre trop souvent synonyme de "contrôle" et de "jugement". Elle est perçue comme une démarche dont on ne maîtrise pas forcément tous les effets. Elle revêt donc parfois une connotation négative. A cette crainte d'être jugé, s'ajoute celle des préfets, des élus, ou des fonctionnaires des administrations centrales ou territoriaux de perdre leur indépendance. Il n'est pas toujours aisé de faire comprendre aux intéressés qu'ils ont intérêt à suivre la démarche, qu'il s'agit d'une approche positive, destinée à aider et à permettre de progresser plus facilement vers une étape nouvelle.
Il semblerait d'ailleurs que ceux qui en ont déjà fait l'expérience sont, en fait, plutôt disposés à la renouveler, ce qui est encourageant. Les ministères qui proposent le plus de sujets au CNE sont ceux qui sont déjà dotés de grandes directions de l'évaluation, comme le ministère de l'emploi et de la solidarité, celui de l'équipement, des transports et du logement et celui de l'éducation nationale.
En revanche, ceux qui ont une culture de l'évaluation moins ancrée semblent parfois plus réticents, tels que les ministères de l'économie, des finances et de l'industrie, le ministère de l'intérieur et celui de la justice.
Pour ce dernier d'ailleurs, l'indépendance juridictionnelle pose forcément problème.
De la même façon, à côté de régions moins motivées, d'autres sont beaucoup plus dynamiques et se sont engagées résolument dans cette voie, avec des initiateurs de qualité, qui constituent d'ailleurs des réservoirs de compétences.
Un effort important de pédagogie s'impose donc afin de mettre en lumière les objectifs de l'évaluation, et la démarche positive qu'elle sous-entend. Il faut dédramatiser, faire comprendre qu'il ne s'agit pas d'une sanction, mais que l'évaluation est un outil d'aide à la décision. Il faut donc que les fonctionnaires soient formés à l'évaluation, qu'ils puissent nourrir les tableaux de bord élaborés par les évaluateurs et en assurer le suivi, même si des prestataires privés les révisent périodiquement.
Quelques régions en ont pris conscience. Par exemple, la région Nord- Pas-de-Calais a réalisé dès les premières années un séminaire de sensibilisation. Elle va lancer un programme de formation de ses agents de 2002 à 2004, les formateurs étant choisis par appel d'offre, qu'il s'agisse d'universitaires ou de cabinets d'évaluation ; certains services de la région eux-mêmes seront également formateurs, et un séminaire inter-services est prévu. Le programme portera sur les méthodes de l'évaluation, la rédaction du cahier des charges, le questionnement, la diffusion de la culture de l'évaluation. Un guide méthodologique sera publié.
Les élus eux-mêmes doivent probablement être davantage impliqués dans le processus d'évaluation, afin de mieux le suivre. Le dialogue doit se nouer entre élus et experts, alors qu'actuellement, la situation est très diverse, même au sein des régions les plus dynamiques en matière d'évaluation. D'après le rapport sur les évaluations en Limousin, il semble que, dans cette région, bien que l'initiative vienne souvent du président du conseil régional, l'évaluation n'ait pas modifié la perception par les élus des problèmes régionaux. Dans d'autres, au contraire, (Nord - Pas-de-Calais ou Rhône-Alpes), ils paraissent plus impliqués. Il faudrait qu'ils se mobilisent plus, dès le choix des thèmes. Certains élus estiment qu'ils sont évalués par les électeurs et qu'un autre type d'évaluation ne s'impose pas forcément. Souvent, élus et experts suivent des chemins parallèles ; or il serait souhaitable qu'ils coopèrent plus étroitement.
Le dialogue avec les élus est d'autant plus indispensable que la plus grande partie de l'évaluation est décentralisée : elle concerne en effet les contrats de plan Etat-régions, les fonds structurels communautaires, les programmes de formation, les programmes locaux d'insertion, etc....
Enfin, ce n'est que si les élus s'y intéressent que les évaluations auront un suivi, et produiront un effet positif.
2. La mobilisation des compétences
Le gisement en matière de compétences évaluatives n'est pas considérable chez les fonctionnaires, ni dans les universités, ce qui a posé problème pour la constitution de certaines instances, - et expliqué les délais parfois très longs - d'autant que le CNE et le CGP attachent une grande importance à la diversité de leurs membres.
Quant à la composition des équipes régionales, force est de constater que le milieu dans lequel on peut puiser est relativement restreint, tant au niveau universitaire qu'à celui des fonctionnaires, même si, dans certains cas, les initiateurs sont performants ; il peut en résulter une grande instabilité des personnels chargés de l'évaluation.
Ces problèmes sont indissociables de celui de la rémunération.
Traditionnellement, le Commissariat général du plan ne rémunère que de façon exceptionnelle ce type de concours. Cette question se pose désormais. D'ailleurs, dans les demandes de crédits des régions, apparaît la rémunération des conseils scientifiques.
La mobilisation des compétences, le plus souvent, n'est pas institutionnalisée. Elle dépend des initiatives des uns et des autres.
La difficulté à mobiliser des compétences conduit à recourir, notamment dans les régions, à des prestataires privés, formés à des méthodes européennes, qui ne sont pas forcément celles que le Commissariat général du Plan voudrait développer en France. Or, il est souhaitable de maintenir trois sources d'information au sein des instances : les inspections générales, les prestataires et l'expertise universitaire.
Il semble donc important de créer une véritable filière d'évaluateurs. D'ailleurs, le Commissariat général du Plan commence à recruter des étudiants nouvellement diplômés comme rapporteurs des instances, avec l'idée que ces personnels, une fois formés, deviendront par la suite des relais.
L'Institut des hautes études d'aménagement du territoire propose depuis deux ans aux préfets, aux fonctionnaires et aux autres intervenants concernés de leur fournir une aide. En outre, la DATAR réfléchit actuellement à la propagation des bonnes pratiques pour la phase d'évaluation des contrats de plan et des DOCUP. Les collectivités locales qui sont à la recherche de méthodologie pour évaluer les projets pourront ainsi être aidées. Le but est de travailler avec toutes les têtes de réseaux capables de faire de la pédagogie dans ce domaine.
3. L'évaluation participative
Les instances constituées par le CNE comportent des universitaires, des prestataires privés et des membres d'inspections générales. Les évaluations réalisées en région mobilisent des prestataires privés, voire des services de la région.
En revanche, les usagers, ceux qui profitent de ces politiques publiques - ou les subissent - ne sont pas toujours suffisamment entendus, alors qu'ils pourraient l'être, suivant leur degré de représentativité. Cette démarche, pour indispensable qu'elle soit, risque d'être compliquée, plus encore au niveau central qu'à l'échelon régional. Il est difficile de faire participer les associations. Les résultats en ce sens sont variables : certains exercices de prospective régionaux sont parfois fondés sur une réelle participation des citoyens.
En effet, l'évaluation participative apporte un "plus", tout au moins dans certaines situations. Une évaluation participative aura une plus grande validité car elle prendra en compte les analyses de toutes les parties prenantes à une politique publique et elle a d'autant plus de chances d'être utilisée que les participants s'en seront approprié les résultats. Elle peut en outre avoir une valeur démocratique supérieure car toutes les parties prenantes y ont accès.
L'approche participative est adaptée lorsqu'il faut fédérer autour d'objectifs communs des acteurs qui n'ont pas les mêmes logiques. Elle est également nécessaire lorsque l'évaluation s'applique à différents échelons territoriaux. Elle apporte la connaissance des processus qui se passent sur le terrain et permet de comprendre la logique des acteurs.
En revanche, dans certaines évaluations, les parties prenantes sont trop nombreuses pour être associées au même titre à l'évaluation. Par ailleurs, l'objectivité de l'approche scientifique permet de dépasser les clivages de valeurs trop marqués. Il est en outre difficile d'obtenir une représentativité équilibrée des différents publics.
Il faut surtout une bonne coordination entre les deux types , participative et scientifique.
B. LES DELAIS
La circulaire du 28 décembre 1998 privilégie "les évaluations visant à répondre à des questions claires, permettant d'aboutir dans des délais brefs à des réponses précises susceptibles de conduire à des décisions opérationnelles". Reconnaissant que l'un des dysfonctionnements du dispositif antérieur d'évaluation a été la durée excessive des travaux, elle indique qu'elle doit être maintenant limitée à un an, du lancement du projet à l'achèvement du rapport.
Lors des deux premières années de fonctionnement du CNE, la seule constitution des instances avait duré de six à neuf moins ; cette durée a ensuite été réduite à trois ou quatre mois. Il n'en demeure pas moins qu'il est malaisé de recruter président et rapporteur et de rassembler les différents membres qui représenteront au sein de l'instance des points de vue équilibrés et variés.
La mobilisation des experts universitaires, compte tenu des modes de passation des marchés et du consensus à établir au sein de l'instance, requiert un délai trop long, qui implique parfois de se priver de ce type d'expertise.
Cette contrainte, qui n'est pas satisfaisante car elle n'assure pas encore suffisamment la brièveté et la réactivité requises, a l'inconvénient d'obliger à faire davantage appel à des prestataires privés et de rendre difficile le maintien de trois sources d'information différentes dans les instances.
Ce temps trop important d'évaluation - dix-huit mois - entraîne une déception du politique qui estime que les évaluateurs travaillent trop lentement et une déception des évaluateurs qui ont l'impression que leur travail est peu utile s'il ne peut être pris en compte en amont de la décision politique.
Le délai paraît long, surtout dans un monde dont les évolutions sont de plus en plus rapides. L'élu, pour prendre une décision, a besoin de réponses promptes, tout au moins pour certains types d'évaluations ; il est vrai, toutefois, qu'un délai de quinze mois reste raisonnable eu égard aux calendriers des contrats de plan ou des politiques structurelles.
La réforme de l'ordonnance organique, qui conduira à plus d'évaluations ex ante, permettra en partie de répondre au souci de rapidité, puisque la démarche méthodologique sera effectuée avant l'évaluation, lors de l'élaboration des programmes.
Il faut noter toutefois que la durée des évaluations réalisées en région semble être plus brève. Elle peut par exemple, se limiter à douze à treize mois, en Limousin et dans le Nord - Pas-de-Calais.
Une réflexion reste à mener sur ce thème.
C. L'HOMOGENEITE DES INDICATEURS
1. La question de la comparabilité
La circulaire du 25 août 2000 prévoit pour la mise en oeuvre de l'évaluation dans les procédures contractuelles "la construction d'indicateurs qui permettra d'aider à la sélection et à la programmation des évaluations ultérieures ainsi qu'à la préparation des études de faisabilité et des cahiers des charges d'évaluations.
Elle contribuera également à un meilleur pilotage de la procédure de gestion et d'exécution des contrats de plan. Des indicateurs d'alerte seront sélectionnés par le comité de pilotage et validés par les services de l'Etat et de la région.
Cette approche doit permettre, tout à la fois, d'apporter un soutien aux régions qui se sont jusqu'ici peu engagées dans le travail d'évaluation, et d'améliorer l'appui méthodologique mis à la disposition des collectivités qui sont plus familiarisées avec la procédure. Elle assurera également une meilleure articulation de l'évaluation des contrats de plan Etat-régions et des programmes communautaires. Enfin, elle pourra conduire les régions à envisager d'évaluer des domaines jusqu'à présent peu explorés".
Il semble ressortir de ces lignes qu'une certaine compatibilité entre les indicateurs des différents niveaux, régionaux, nationaux, et même européens est souhaitable. Toutefois, le problème de l'éventuelle homogénéité des indicateurs se pose et les avis divergent sur ce point.
Selon certains, il n'est ni souhaitable, ni possible de construire des indicateurs homogènes et s'articulant entre eux.
L'avis du CGP est que nous ne sommes plus à une époque où les indicateurs des uns doivent s'imbriquer dans les indicateurs des autres, qu'il ne faut rien figer, qu'il est plus important pour l'Etat d'en surveiller quelques uns.
Le CGP souhaite, en outre, éviter le recours à certaines méthodes européennes qui consistent à présenter des indicateurs ex ante auxquels les projets doivent forcément correspondre, ce qui ne lui paraît pas satisfaisant. Le CNE a fait remarquer à la Délégation que l'addition d'évaluations territoriales ne correspondrait pas à une évaluation nationale, d'autant que les politiques sont définies au niveau national et qu'il faut les évaluer à cet échelon.
Un autre argument en ce sens consiste à souligner qu'il convient de laisser une grande liberté aux échelons territoriaux pour définir leurs propres objectifs, puisqu'ils ont une dynamique de projet. Dans cette optique, il faut prévoir un aller-retour entre l'échelon local et l'échelon national, afin que le projet national soit mieux cerné et que le Parlement fixe l'objectif assigné à l'échelon national, grâce aux outils prévus par l'ordonnance organique modifiée.
On peut aussi penser que la construction d'indicateurs homogènes à l'échelle nationale ou européenne n'est pas suffisante dans la mesure où le succès ou l'échec d'une politique dépend à la fois de facteurs locaux nationaux et européens, et qu'il est difficile de construire des indicateurs valables dans des situations très différentes.
Ces arguments ont un réel poids. Néanmoins, on peut se demander si certains critères ne devraient pas être validés par le CNE et ensuite, reconnus par les différents acteurs de l'évaluation. En effet, la pratique de l'évaluation va devoir se diffuser dans les collectivités territoriales, les régions, évidemment, mais aussi, vraisemblablement, à l'échelon infra-régional, notamment dans les agglomérations et les villes. Il semble donc nécessaire de parler un langage commun, de comparer ce que l'on fait et de pouvoir construire des tableaux de bord cohérents et comparables, qui puissent évoluer, non pas de façon identique, mais parallèle.
Il est permis aussi de s'interroger dans la mesure où nous devons défendre nos territoires dans le cadre européen. C'est ainsi que le produit intérieur brut (PIB) n'est certainement pas un indicateur suffisant pour mesurer le développement des territoires. En effet, certains d'entre eux bénéficiant d'aides structurelles substantielles, telles que l'objectif 1, se sont rapidement développés. Il serait dangereux que demain les aides européennes ne soient pas proportionnelles aux difficultés des territoires : il s'en suivrait un effet déstabilisateur qui pourrait pénaliser les plus fragiles dans un pays aussi vaste que le nôtre et dont les densités sont peu élevées.
Des indicateurs comparables nous permettraient de disposer d'une véritable vision des politiques publiques et des différenciations régionales qui peuvent apparaître et nous fourniraient des arguments pour mieux défendre nos régions et nos politiques publiques face à la Commission européenne.
Au cours d'une audition devant la Délégation, le ministre a plaidé pour des indicateurs homogènes sur l'ensemble du territoire, indispensables pour les comparaisons entre régions, non seulement françaises, mais européennes ; il estimait en outre que pour certains objectifs fondamentaux, il fallait pouvoir comparer les résultats en tenant compte des standards européens, tout en soulignant que des études locales et régionales étaient nécessaires pour prendre en compte les spécificités propres aux différents échelons. Une étude a d'ailleurs été lancée pour pouvoir comparer les objectifs inscrits dans chaque région au titre des CPER et des DOCUP ; elle apportera une contribution positive à l'instance que le CNE met en place sur ces sujets.
Quant aux quarante-deux indicateurs élaborés par la Commission européenne, ils sont soumis à un contrôle de qualité. Ne figurent sur la liste que ceux qui sont comparables d'un Etat membre à l'autre, et couvrent cinq années.
La réflexion sur la comparabilité doit donc être poursuivie.
2. La territorialisation de l'évaluation
Le gouvernement avait souhaité que les trois niveaux de collectivités territoriales - régions, départements et communes - soient représentés au sein du CNE pour qu'elles puissent exprimer un point de vue sur le choix et la méthodologie des sujets. Or, ces trois niveaux ont peu participé, à l'exception du niveau communal, pendant la première année.
Cela est regrettable, même si, dans la composition des instances d'évaluation, figurent très régulièrement des acteurs locaux. Pour certaines évaluations toutefois, telles que celle sur la sécurité routière, on a pu instaurer une démarche itérative entre le diagnostic local et le diagnostic national.
Pour promouvoir l'évaluation à un échelon infra-régional, on pourrait souhaiter que les régions jouent un rôle pédagogique pour qu'à leur tour, les pays, les agglomérations et les collectivités infra-régionales commencent à s'évaluer et à mieux mesurer l'efficacité des politiques qu'ils mettent en oeuvre. Actuellement, en effet, la mobilisation des compétences est souvent malaisée.
Toutefois, quelques régions ont déjà avancé sur cette voie. C'est ainsi que la convention d'exécution, de suivi et d'évaluation du contrat de plan Etat-régions du Nord - Pas-de-Calais souligne que la dimension territoriale du suivi des politiques nécessite, de la part de chaque partenaire, la fourniture et l'échange d'informations localisées géographiquement. Un comité de pilotage partenarial local a été constitué : chargé de valider les programmes et plans d'action annuels proposés par les structures territoriales intéressées, il est composé d'élus représentant le territoire (agglomération, ville, pays), de représentants de l'Etat, de la région et du département. Au niveau régional a été mis en place un groupe technique de programmation et de suivi du volet territorial.
D. QUELLES SUITES A DONNER ?
Les évaluations n'ont de sens que pour orienter des politiques futures, c'est pourquoi d'ailleurs les autorités politiques doivent pouvoir en disposer dans un délai relativement bref, comme on l'a souligné.
1. La publicité
Les évaluations réalisées dans le cadre des CPER ne sont pas toutes publiées. Il faut l'accord du président et du préfet de région. Cette non-diffusion relative est un problème important, qui a d'ailleurs été évoqué devant le CNADT.
C'est une question éminemment politique, que se posent en particulier les régions, puisque les évaluations, une fois connues, alimenteront le débat politique. Il est vrai, d'ailleurs, que plus l'unité sur laquelle on travaille est restreinte, plus l'impact de l'évaluation risque d'être fort. Il peut être plus dangereux d'évaluer une politique communale dans une commune moyenne qu'une politique sectorielle dans une région.
Certaines régions ont tranché. Le Limousin a choisi de communiquer chaque année au conseil régional en séance plénière les résultats des évaluations effectuées. Les signataires de la convention de suivi du contrat de plan Etat-régions du Nord - Pas-de-Calais se sont engagés à publier les travaux d'évaluation dans un délai maximal de quatre mois après validation, afin qu'ils gardent leur valeur et leur utilité.
Ces publications, malgré les craintes qu'elles peuvent faire naître du fait de leur nouveauté, sont en effet réellement souhaitables, dans la mesure où elles permettent un véritable travail pédagogique en direction des citoyens qui seront, de ce fait, mieux informés et qui pourront apprécier la transparence de l'action politique.
Il faudra peu à peu les faire accepter. Il est vrai que des progrès restent à réaliser, comme on a pu le constater avec les programmes de maîtrise des pollutions d'origine agricole (PMPOA) que les agences de l'eau acceptent difficilement, car elles les considèrent parfois comme une mise en cause de leur action.
Les évaluations peuvent être un moyen de remédier aux difficultés du débat public. Une évaluation bien conduite peut alimenter un débat public plus sain.
2. L'éventuelle inflexion des politiques
Les suites sont la raison d'être de l'évaluation, qui ne doit surtout pas exister pour elle-même. Les conclusions des évaluations devraient être toujours intégrées dans le calendrier de décision politique. C'est ainsi qu'on constate une très grande hétérogénéité des situations selon les régions à propos de la connexion entre évaluation et prospective. Rares sont les régions où les deux types de travaux sont également développés et où la prospective peut se nourrir de l'évaluation, comme en Limousin.
On ne peut que déplorer que les liens entre évaluation et contractualisation n'aient pas été assez développés à l'occasion du renouvellement des contrats de plan en 2000.
Une réflexion est engagée par le CGP et la DATAR sur les suites à donner aux évaluations des contrats de plan, une lettre devant être transmise au début de l'année au Premier ministre sur la procédure à suivre pour en intégrer les conclusions dans la négociation de 2003.
Pour les évaluations nationales interministérielles achevées, il existe un suivi institutionnel : le CGP fait des propositions au Premier ministre. Indépendamment de cette procédure formalisée, il existe beaucoup de contacts entre les instances d'évaluation et les milieux ministériels concernés.
Le plus souvent, donner des suites à une évaluation n'est pas aisé, au niveau régional, et encore moins au niveau national.
Les évaluations n'ont pas toujours suffisamment d'impact sur les décisions politiques, même si, parfois, évidemment, certaines d'entre elles ont permis de corriger les politiques entreprises : il en est ainsi, par exemple, pour le dispositif de formation professionnelle du Nord - Pas-de-Calais.
Mais souvent, les retombées ne sont pas satisfaisantes pour plusieurs raisons.
Il faut ne pas oublier que les propositions d'une évaluation sont une information intéressante, mais qu'elles ne constituent pas un programme politique. L'autorité politique doit conserver son autorité de décision et c'est pourquoi certains élus peuvent montrer de la réticence à publier les travaux réalisés. Ils ont en effet la crainte que l'évaluation n'induise une perte de leur autonomie politique, alors qu'elle est, en fait, un outil pour la prise de décision. Il ne faudrait d'ailleurs pas que les experts réalisant les évaluations, l'on passe d'une démarche politique à une démarche d'experts.
Les suites peuvent également être malaisées à décider car il est plus facile de décrire, dans un rapport, ce qu'il faudrait faire dans l'idéal que de le réaliser ensuite, dans la mesure où il faut tenir compte du contexte, des partenaires, de l'impact sur les autres politiques : ainsi des mesures visant à protéger l'environnement peuvent avoir un impact négatif sur la répartition des revenus, l'emploi, la compétitivité des entreprises. Des problèmes très interdisciplinaires peuvent freiner les réformes. D'autres, tels que le développement durable, peuvent relever d'enjeux mondiaux. Il est donc difficile, à partir d'une évaluation, de réorienter une politique, d'infléchir un dispositif ou d'en changer.
Enfin, les conclusions des évaluations ne sont pas toujours faciles à analyser. Si, par exemple, en évaluant les aides à l'emploi, on remarque que ces aides n'ont suscité "que" 30 % de créations d'emplois, on peut avancer beaucoup d'analyses : on peut estimer que cela a permis de créer 30 % d'emplois en plus, mais aussi que cela a représenté un coût par emploi exorbitant. Faut-il se réjouir des résultats obtenus, ou les trouver trop faibles ? L'interprétation des chiffres en politique est toujours complexe.
Les suites dépendent également de la qualité de l'évaluation. Dès l'établissement du cahier des charges de l'évaluation, on doit se poser la question des suites. De la précision de ce document et du questionnement dépend l'intérêt de l'évaluation. Il faut, dès ce niveau, retrouver les objectifs fondamentaux de la politique menée, se poser la question des résultats attendus, des indicateurs les plus adaptés.
De même, du fait de la multiplicité des acteurs, il est difficile d'établir les responsabilités de chacun.
L'implication des élus devra probablement se renforcer, non seulement tout au long du processus de l'évaluation mais également et surtout dans la définition des suites à lui donner. Le rapport sur les évaluations en Limousin formule à cet égard plusieurs propositions intéressantes : proposer au vote de l'assemblée régionale un texte établissant les règles du jeu de l'évaluation, présenter le rapport d'évaluation aux élus des commissions spécialisées ainsi qu'en séance plénière et le soumettre au débat, et en faire de même avec le programme des évaluations futures.
E. LES PROGRES A REALISER
1. L'évaluation des contrats de plan
Le démarrage de l'évaluation des contrats de plan 2000-2006 s'est avéré difficile en 2000 parce que les sections spécialisées des CRADT n'étaient pas constituées. On a ensuite constaté un rattrapage puisque, en 2001, l'équivalent de plus d'une année de crédits a été délégué aux régions.
Toutefois, force est de constater que l'évaluation des contrats de plan n'a pas commencé selon le même rythme dans toutes les régions.
Le dialogue entre la région et l'Etat varie considérablement selon les cas. L'évaluation est parfois partagée (par exemple, en Basse Normandie, dans le Nord - Pas-de-Calais) ; dans ce cas, les deux partenaires -Etat et région - se mettent d'accord sur une méthode de présentation, avec des tableaux communs validés par les deux.
Dans le cadre d'une évaluation partagée, la région peut faire appel à des prestataires privés. L'Etat et la région peuvent même se mettre d'accord sur les outils externes à employer.
Le plus souvent, le dialogue est moins avancé : l'évaluation partagée reste minoritaire.
De surcroît, le Commissariat général du Plan n'a pas fourni de cadres précis, si bien que les travaux différent beaucoup d'un cas à l'autre. Parfois chacun des deux partenaires évalue de son côté, parfois même, la région ne se livre pas à ce type d'exercice.
Quant à l'articulation entre les contrats de plan et les fonds structurels, elle risque d'être malaisée. Les objectifs ne sont pas tous les mêmes. Or les crédits des contrats de plan doivent servir de contrepartie nationale aux crédits des fonds structurels et la Commission européenne a demandé à ce que la preuve soit faite de la cohérence entre les deux. En revanche, du fait du principe de subsidiarité, la Commission n'a pas de droit de regard sur les contrats de plan.
Pour parvenir à une meilleure compatibilité entre CPER et DOCUP, une étude a été lancée par la DATAR sur la définition d'une grille d'objectifs harmonisée entre CPER et DOCUP afin de disposer d'un système simple et efficace de suivi financier par objectif.
Pour la première fois, en effet, les deux procédures -contrats de plan et programmes régionaux cofinancés par les fonds structurels communautaires - coïncident étroitement sur la période 2000-2006. Le but est donc de rendre compte des objectifs effectivement retenus dans les documents contractuels, de cerner le degré d'intervention et de complémentarité des deux modes d'intervention, d'organiser le suivi de la mise en oeuvre de ces programmes grâce à un dispositif de collecte d'informations harmonisées provenant des régions, et, enfin, d'agréger des données régionales à l'échelon national.
L'étude devrait donc permettre de constituer une base initiale de connaissances pour assurer le suivi des CPER et des DOCUP, de comparer le contenu des programmes et de vérifier la cohérence géographique des interventions.
La mise en place de la base de données de la DATAR sur un site Internet à accès personnalisé et sécurisé permettra de disposer d'un outil unique pour les différents acteurs du suivi.
La plus grande transparence du suivi des crédits de l'Etat réalisée grâce aux différentes mesures mises en oeuvre pose la question du suivi de ceux des régions. Ce problème va être examiné par le groupe de travail constitué par la DATAR.
Le calendrier de l'évaluation correspondant à une plus longue période que celui du suivi de la mise en oeuvre des crédits, la DATAR et le Commissariat général du Plan auront à étudier l'articulation des données de l'évaluation et du suivi, notamment à l'occasion de la révision à mi-parcours.
2. Les schémas de services collectifs
Les schémas de services collectifs prévoient - à des degrés différents, il est vrai, et selon des modalités variables - qu'un suivi sera réalisé. L'évaluation dans ce domaine reste souvent encore limitée. Il faudra donc la développer afin que ces schémas puissent suivre au plus près l'évolution du secteur qu'ils couvrent. Une cohérence est souhaitable entre contrats de plan, DOCUP et schémas.
Le bilan intermédiaire réalisé à propos des contrats de plan et des DOCUP pourrait servir de base à la première révision des schémas, puisqu'ils sont révisables à tout moment. Par exemple, les schémas sur les transports pourraient être plus précis à propos de l'internalisation des coûts, et au sujet du doublement du transport du fret. Le schéma de l'information et de la communication aurait d'autant plus besoin d'être révisé qu'il s'agit d'un domaine dans lequel les évolutions sont très rapides, de même que celui sur la recherche. Quant au schéma sanitaire, il pourrait approfondir la réflexion sur la présence médicale sur le territoire.
3. Le recueil de l'information
Le recueil de l'information reste parfois difficile, malgré les progrès réalisés. Même au niveau central, il faut consacrer beaucoup de temps et des moyens financiers importants pour recenser les crédits et les indicateurs disponibles.
En ce qui concerne l'aménagement du territoire, toutefois, la refonte du système d'information du ministère a été engagée en 2001 et se poursuivra jusqu'en 2003. Elle porte en particulier sur l'amélioration du suivi financier et de l'aide à l'évaluation dans le cadre des programmes. Par exemple, il conviendra d'évaluer l'attribution de la prime à l'aménagement du territoire (PAT) dont les critères ont changé, et de réaliser le suivi des politiques décidées dans le cadre des comités interministériels de l'aménagement et du développement du territoire (CIADT).
A ceci s'ajoute l'amélioration du système informatique de suivi physique par objectif qui permettra de déceler les écarts dans la mise en oeuvre des programmes relatifs aux CPER et aux DOCUP.
Enfin, l'observatoire proposé en 2002 par la DATAR et le ministère de l'aménagement du territoire et de l'environnement tentera de rassembler les indicateurs disponibles en France et en Europe pour recenser les effets de nos politiques dans les territoires.
En région, le problème reste d'autant plus aigu que les collectivités territoriales ne peuvent souvent travailler qu'avec des données de l'INSEE qui leur sont facturées. L'Etat est parfois amené à financer des systèmes d'information locaux qui, en fait, ne correspondent qu'au paiement de bases de données de l'INSEE.
Par ailleurs, dans beaucoup de domaines, on constate encore un manque de connaissances scientifiques, des lacunes importantes, par exemple, quant à la compréhension des conséquences de l'activité humaine sur les écosystèmes terrestres et humains. On ne sait pas encore vraiment mesurer la biodiversité. Les informations sur la réversibilité ou l'irréversibilité de certains phénomènes font défaut. Ce sont autant d'obstacles à l'évaluation.
Un travail substantiel reste donc à accomplir pour développer des indicateurs fiables et reconnus de tous. Des recherches scientifiques doivent donc être poursuivies sur de nombreux thèmes afin de parvenir à une meilleure connaissance de certains phénomènes.
4. L'évaluation dans les départements d'outre-mer
Il existe d'autre part une difficulté propre à l'évaluation dans les DOM : elle coûte beaucoup plus cher, car il faut y envoyer des équipes. Il en résulte qu'on utilise les données locales, si bien qu'on ne dispose pas forcément du recul suffisant pour une évaluation. A cet obstacle s'ajoute le fait que, le plus souvent, les experts ne connaissent pas forcément parfaitement les législations spécifiques.
EXAMEN PAR LA DELEGATION
Au cours de sa séance du mardi 12 février 2002, la Délégation à l'aménagement et au développement durable du territoire a examiné le rapport de M. Philippe Duron, Président, sur l'évaluation des politiques publiques et les indicateurs du développement durable.
M. Philippe Duron, Président, a rappelé que la Délégation avait tenu des réunions nombreuses et régulières depuis sa création au second semestre de 1999, publié quatre rapports sur des sujets dont elle s'était auto-saisie et dix avis sur les schémas de services collectifs. Il a remercié de leur travail les membres de la Délégation, ainsi que les personnels de l'Assemblée qui y ont participé.
M. Philippe Duron a ensuite présenté son rapport, soulignant que l'évaluation était devenue un élément indispensable de la planification territoriale et qu'elle avait vocation à s'inscrire dans les habitudes administratives françaises.
L'évaluation est une démarche novatrice. Importée des Etats-Unis au cours des années 1970, elle a surtout reçu une véritable impulsion de l'Union européenne qui a lié l'octroi des aides à une appréciation exacte des avantages à retirer d'un projet par rapport aux ressources mobilisées.
En France, l'évaluation a été relancée par le décret du 22 janvier 1998 qui a créé le Conseil national de l'évaluation. Celui-ci, prenant la suite du Conseil scientifique de l'évaluation, a été ouvert à la société civile et aux collectivités territoriales ; il propose au Premier ministre un programme annuel. Quinze évaluations ont ainsi déjà été réalisées. Quant à la réforme de l'ordonnance organique du 2 janvier 1959, elle facilitera le développement de cette démarche grâce au remplacement des chapitres budgétaires par des programmes.
L'évaluation des contrats de plan Etat-régions se caractérise par une procédure renouvelée : des crédits d'Etat sont prévus à cet égard et le principe du financement à parité avec les collectivités territoriales est réaffirmé. L'évaluation des contrats de plan devra être prise en compte pour leur révision en 2003 ; il devra en être de même pour celle des documents uniques de programmation européens (DOCUP). Les préfets devront dresser un bilan des années 2000 à 2003.
Certaines régions sont particulièrement dynamiques pour évaluer leurs politiques. C'est le cas, par exemple, de la Bretagne, du Nord - Pas-de-Calais, du Limousin, des Pays de la Loire. Il s'est avéré que l'évaluation était d'autant plus intéressante que son coût n'était pas très élevé, eu égard à celui des politiques concernées.
L'évaluation est essentielle pour promouvoir le développement durable, défini par la circulaire du 11 mai 1999 comme un mode de croissance qui garantit à la fois, et à long terme, le progrès économique, social et environnemental de la société. Pour atteindre cet objectif, il faut estimer l'impact de chaque projet, grâce notamment à la mise en place d'indicateurs appropriés. En France, l'Institut français de l'environnement (IFEN) a construit une batterie d'indicateurs en neuf modules. L'OCDE propose des indicateurs pour les domaines économiques, sociaux et environnementaux, regroupés en indicateurs de ressources et indicateurs de résultats, ou même en un indicateur unique ; elle souligne que l'important est de confronter les indicateurs afin de dégager des politiques "gagnant-gagnant" (c'est-à-dire positives dans ces trois domaines à la fois).
La Commission européenne a présenté une liste de quarante deux indicateurs structurels. Toutes les propositions majeures devront être soumises à une étude d'impact sur le développement durable. L'évaluation reste toutefois une démarche embryonnaire.
L'acculturation, nécessaire, demeure incomplète. Elle paraît trop souvent synonyme de contrôle : il faudra s'attacher à démontrer qu'il s'agit d'une approche positive, destinée au contraire à aider. La mobilisation des compétences est malaisée, il semble donc important de créer une véritable filière d'évaluateurs. L'évaluation doit en outre davantage tenir compte des usagers, qui ne sont actuellement pas assez entendus et pourraient utilement apporter des suggestions.
Les délais restent souvent trop longs, de l'ordre de quinze à dix-huit mois pour les évaluations nationales ; le développement de l'évaluation ex ante pourrait permettre de les réduire.
L'homogénéité éventuelle des indicateurs suscite le débat : le Commissariat général du Plan, par exemple, estime que chaque évaluation doit générer ses propres indicateurs. Cet avis n'est pas toujours partagé : le ministre de l'aménagement du territoire et de l'environnement s'est prononcé au contraire en faveur d'indicateurs homogènes. La comparaison des politiques grâce à des indicateurs similaires semble souhaitable, même s'il faut pouvoir tenir compte des spécificités régionales. D'ailleurs, la territorialisation de l'évaluation doit être mise en place, et les régions ont un rôle important à jouer à cet égard.
La suite à donner aux évaluations est un problème essentiel. Leur publication faciliterait le débat public. Il conviendrait de mieux mettre en évidence le lien existant entre évaluation et prospective. L'infléchissement des politiques après l'évaluation est délicat, car cette dernière est difficile à interpréter, et elle ne peut constituer, en elle-même, un programme politique.
Quant aux schémas de services collectifs, l'évaluation des contrats de plan qui sera réalisée en 2003 pourrait constituer une base opportune pour les revoir, tout au moins ceux d'entre eux qui couvrent un domaine évoluant rapidement, comme la recherche ou les technologies de l'information et de la communication.
Le recueil des données n'est pas toujours aisé, malgré les progrès réalisés. Cette année, un observatoire tentera de rassembler les indicateurs disponibles en France et en Europe pour recenser les effets de nos politiques dans les territoires.
Enfin, l'évaluation dans les DOM n'est pas assez développée, car elle coûte cher, et les experts connaissent mal les législations spécifiques.
M. Jean-Michel Marchand a souligné qu'il était nécessaire d'inventer de nouveaux indicateurs, différents de ceux qui existaient précédemment pour mieux tenir compte du développement durable et de l'économie solidaire. Le produit intérieur brut ne peut plus être le seul indicateur. En effet, alors que certains pays souhaitent une "autre mondialisation", on ne peut plus se référer aux indicateurs existants.
M. Philippe Duron, Président, a souligné que cette démarche commençait à être engagée. Par exemple, l'Institut français de l'environnement propose une structure d'indicateurs en neuf modules, afin d'évaluer dans quelle mesure un certain mode de développement peut satisfaire les besoins des générations futures, grâce à un renouvellement approprié des différentes formes de capitaux et de patrimoines. L'OCDE confronte plusieurs types d'indicateurs, par exemple économiques et sociaux, économiques et environnementaux, pour montrer l'efficacité des politiques en termes de développement humain.
M. Pierre Cohen a fait remarquer que l'évaluation était trop souvent ressentie de la part des agents dont les travaux étaient évalués comme un contrôle ou une remise en cause de leurs actions. Il a jugé indispensable que l'évaluation soit effectuée en amont, de telle sorte qu'un projet se construise avec ses propres moyens d'évaluation, afin que les acteurs d'une politique s'évaluent eux-mêmes. Il a souligné qu'en ce qui concerne la politique de la ville, on ne disposait pas à cet égard de méthodologie satisfaisante.
M. Philippe Duron, Président, a précisé que les différents acteurs devaient être impliqués dans l'évaluation, ce que souhaite d'ailleurs la Commission européenne à propos de la mise en oeuvre des documents uniques de programmation. Il a souligné qu'on était très encore très loin en France des évaluations qualitatives, qu'on manquait d'expertises, de spécialistes pour les mettre en oeuvre, d'une culture de l'évaluation, les agents concernés n'ayant pas conscience que c'était un outil pouvant les aider à construire des tableaux de bord afin de rendre leurs travaux plus efficaces.
M. Henri Nayrou a indiqué que les citoyens demandaient de plus en plus de comptes aux élus, qui eux-mêmes en réclament aux gestionnaires ; les uns et les autres s'émeuvent du décalage entre la décision prise et les effets obtenus. Il a souhaité l'élaboration d'indicateurs précis. Il a ajouté qu'à l'heure du bilan, il tenait à souligner qu'il avait apprécié le travail fourni par la Délégation depuis sa création.
M. Jean-Michel Marchand a estimé que la Délégation avait montré son utilité et a souhaité qu'elle poursuive ses travaux lors de la prochaine législature.
La Délégation à l'aménagement et au développement durable du territoire a autorisé à l'unanimité, en application de l'article 7 de son règlement intérieur, la publication du rapport sur l'évaluation des politiques publiques et les indicateurs du développement durable.
LISTE DES PERSONNALITES ENTENDUES PAR LA DELEGATION
- 19 décembre 2001 :
- M. Yves Cousquer, Président du Conseil national de l'évaluation
- Mme Véronique Chanut, Rapporteure générale du Conseil national de l'évaluation
- Mme Véronique Hespel, Commissaire adjointe au Plan.
- 16 janvier 2002 :
- M. Robert Savy, Président de la région Limousin, Président de la Commission permanente du Conseil national d'aménagement et de développement du territoire.
- 22 janvier 2002 :
- M. Yves Cochet, Ministre de l'aménagement du territoire et de l'environnement.
- 23 janvier 2002 :
- Mme Martine Durand, Directrice adjointe du Cabinet du Secrétaire général de l'OCDE.
- 29 janvier 2002 :
- M. David Grant Lawrence, directeur de l'environnement à la Commission européenne.
PERSONNALITE ENTENDUE PAR LE PRESIDENT
- M. Yves Duruflé, Conseiller technique au cabinet du Premier ministre.
CONTRIBUTION ECRITE
- Conseil régional du Nord - Pas-de-Calais
AUDITIONS
Audition de M. Yves Cousquer, Président du Conseil national de l'évaluation, Mme Véronique Chanut, Rapporteure générale du Conseil national de l'évaluation, et Mme Véronique Hespel, Commissaire adjointe du Plan
Réunion du mercredi 19 décembre 2001
Présidence de M. Philippe Duron, Président
M. le Président : Nous sommes heureux de vous recevoir aujourd'hui, puisque la Délégation a souhaité réaliser une série d'auditions sur l'évaluation des politiques publiques, mais aussi sur les indicateurs de développement durable, deux éléments qui nous avaient amenés à beaucoup nous interroger lors de la préparation de la LOADDT du 25 juin 1999 et lors des avis sur les schémas de services collectifs. En effet, ceux-ci comportaient des dispositifs d'évaluation, mais nous avions constaté une grande disparité entre les dispositifs prévus dans chacun de ces schémas de services collectifs.
Le Conseil national d'évaluation (CNE) a été créé en 1998 et le Commissariat général du Plan travaille en étroite collaboration avec lui. Vous avez déjà traité de très nombreux sujets : la ressource en eau, les emplois jeunes et l'aide à l'emploi dans le secteur non marchand, et votre rapport annuel de 1999 en a tiré les premières conclusions.
Ce matin, je souhaiterais d'abord que, trois ans après la création du CNE, vous puissiez faire le point sur vos travaux, sur les difficultés rencontrées, notamment sur le plan méthodologique, sur les résultats obtenus, bien sûr, et sur les suites que vous entendez apporter à ces études.
Notre Délégation s'intéresse aussi aux pistes qui pourraient être suivies à l'avenir afin d'améliorer les dispositifs existants.
Je propose que vous nous fassiez un exposé liminaire sur les travaux du Conseil national d'évaluation et qu'ensuite, nous puissions avoir un échange sur les difficultés et les perspectives de ce sujet assez nouveau mais assez complexe.
M. Yves Cousquer : Merci, Monsieur le Président. Je m'exprimerai tout d'abord en tant que Président du Conseil national d'évaluation et Mme Véronique Hespel interviendra après moi en tant que Commissaire adjointe du Plan, le Commissariat au Plan ayant, vis-à-vis du Conseil, un rôle de secrétariat mais aussi, vis-à-vis du gouvernement, un rôle plus large qui est d'impulser et de mettre en oeuvre une politique d'évaluation au sein de l'appareil d'Etat. Cela se marque dans les responsabilités respectives du Conseil national d'évaluation et du Commissariat au Plan.
C'est un décret du 18 novembre 1998 qui a relancé l'évaluation, le dispositif du CNE succédant au dispositif du Conseil scientifique d'évaluation, qui avait été mis en place en 1989 par le gouvernement de M. Michel Rocard.
Le rôle du CNE est double : il consiste à proposer au Premier ministre un programme annuel d'évaluations qui sont mises en place par les soins du Commissariat général au Plan, sur la base du cahier des charges proposé par le CNE au Premier ministre, et le Conseil national d'évaluation formule un avis sur les évaluations une fois terminées. Il appartient alors au Commissariat général au Plan - Mme Véronique Hespel va le détailler - de formuler des recommandations au gouvernement, donc au Premier ministre, sur les suites à donner à ces évaluations.
J'éprouvais le besoin de faire état de ces éléments de base du CNE, mais je pense que cela mérite d'être replacé dans la politique d'évaluation conduite au sein de l'Etat par le Commissariat Du Plan.
Mme Véronique Hespel : Nous nous étions dit qu'il était peut-être utile de replacer les problèmes les uns par rapport aux autres, parce que tout cela n'est pas d'une lisibilité évidente. J'avais donc proposé à M. Yves Cousquer et à Mme Véronique Chanut de commencer par une présentation des dispositifs d'évaluation dont le Commissariat du Plan a la charge, de vous montrer le chemin que nous avons essayé de parcourir, puis de vous faire part de nos difficultés concrètes et, enfin, de vous parler de nos chantiers de l'année 2002.
Par ailleurs, M. Yves Cousquer insistera davantage sur les inflexions de jurisprudence que, d'un commun accord, nous avons essayé de donner à l'évaluation au sein du CNE, qui est la tête de pont pensante de toute cette politique.
M. le Président : C'est la structure de validation.
Mme Véronique Hespel : C'est la structure d'impulsion et de validation, étant entendu que nous sommes entièrement d'accord sur les inflexions qu'il faut donner. Au passage, quitte a être un peu longue ou à le développer ensuite devant vous, j'essaierai de vous faire apparaître ce qui existe en région.
Concernant cette relance des procédures d'évaluation, nous gérons deux textes et deux procédures dont la philosophie d'ensemble mérite d'être rappelée, l'un relative aux évaluations interministérielles, l'autre à celles des contrats de plan.
Les textes sont le décret du 18 novembre 1998 et la circulaire du 28 décembre de la même année, qui fixent la procédure d'évaluation interministérielle des politiques publiques. Trois points ont changé particulièrement.
Premièrement, le Conseil a été renouvelé dans sa composition, puisqu'il fait place à des représentants de la société civile, avec trois représentants du Conseil économique et social (CES), en la personne de M. Jean-Claude Bailly, de M. Edouard Salustro et de M. Jean-Claude Bury, et des collectivités territoriales, avec trois représentants de chacune des grandes associations de collectivités, dont on peut souligner au passage que la participation n'a pas toujours été très grande.
Deuxièmement, la procédure de sélection des sujets d'évaluation a été renouvelée et assouplie par rapport à la précédente, un peu au-delà des textes, d'ailleurs. Nous associons assez en amont le CNE dans la procédure de détermination des sujets, mais c'est le Plan qui doit susciter les demandes des différents ministères ; le CNE approuve le cahier des charges et propose le programme qui, lui, est arrêté par le Premier ministre et non plus en comité interministériel, comme auparavant.
Troisièmement, la procédure de suite est un peu différente puisque, d'une part, on fait apparaître dans le rapport non seulement l'avis du CNE mais aussi celui des ministères qui précisent les suites qu'ils envisagent de donner au rapport et que, d'autre part, le Commissariat au Plan est en principe chargé de proposer des suites au Premier ministre.
Cependant, le texte ne dit pas ce que fait ensuite le Premier ministre, alors qu'auparavant, un comité interministériel était mis en place.
Dans cette procédure d'évaluation interministérielle des politiques publiques, le rôle du Commissariat consiste à :
- collecter les propositions des ministères et des associations de collectivités,
- les aider à élaborer les cahiers des charges selon les orientations du CNE, ce qui est un lourd travail, parce qu'en réalité les ministères n'ont pas toujours les moyens de le faire,
- arrêter la composition des instances sur la base des orientations du CNE, en s'efforçant de faire respecter le principe de représentation suivant : un tiers d'administrations, un tiers d'experts universitaires et un tiers d'acteurs ; nous essayons, en effet, d'introduire des représentants de collectivités territoriales, des établissements publics et des associations d'usagers, et c'est une formule satisfaisante (sachant que le Premier ministre donne une contrainte importante mais utile, que nous n'avons pas tout à fait respectée dans la première phase et que nous essayons de respecter dans la seconde : le nombre des membres de l'instance ne doit pas être trop élevé, de l'ordre de douze ou quinze)
- faire fonctionner les instances, ce qui est assez lourd puisque cela comprend l'organisation des déplacements et des séminaires et, surtout, la passation des marchés d'études, (dont les conditions se sont nettement formalisées dans la période récente) ainsi que, une fois l'évaluation terminée, l'organisation de la conférence de presse et la définition des suites à donner.
La deuxième procédure est celle définie par la circulaire du 25 août 2000 et relative à l'évaluation des contrats de plan Etat-régions, avec quatre caractéristiques essentielles à mes yeux.
La première, qui est profondément nouvelle, est la déconcentration au niveau régional de la gestion des crédits et la substitution d'un contrôle a posteriori de l'utilisation des crédits au contrôle a priori qui existait auparavant. C'était une demande forte de tous les échelons régionaux. Il faut en effet savoir que les crédits sont en grande partie délégués, en dehors d'une enveloppe conservée au niveau central pour éventuellement encourager des régions qui vont plus vite que d'autres et redistribuer ces crédits.
La deuxième est l'intervention des commissions régionales d'aménagement et de développement du territoire (CRADT) dans les procédures de choix et de suivi, ce qui n'a pas été sans difficultés concrètes la première année.
La troisième est le rendez-vous fixé en 2003, qui est formellement prévu dans la circulaire. Le bilan des évaluations réalisées devra être pris en compte, normalement, dans la négociation de la deuxième phase des contrats de plan.
La quatrième consiste en deux éléments nouveaux : d'une part, l'accent sur la nécessité d'une programmation pluriannuelle des évaluations par les régions, puisqu'on développe plus facilement les crédits quand il existe une programmation pluriannuelle, en tenant compte du rendez-vous de 2003 ; d'autre part, une aide à la formalisation d'indicateurs globaux et d'évaluations ex ante des contrats de plan, ce qui a été beaucoup demandé par les régions dans la programmation 2001 et qui n'existait pas jusqu'à présent.
Voilà pour ce qui est de la présentation de ces deux procédures. De facto, nous sommes arrivés, en trois ans, à impulser - mais c'est une oeuvre sans cesse recommencée pour laquelle il faut beaucoup d'énergie - le processus d'évaluation dans l'administration. Cela reste modeste, mais cette modestie est à apprécier au regard des résultats antérieurs.
Au niveau interministériel, nous avons fait approuver quinze évaluations en trois ans, contre neuf entre 1990 et 1998 (dont sept avaient été décidées en 1990 et 1991). Dans cette statistique concernant les années 1990 à 1998, je ne compte pas quatre évaluations qui avaient été décidées hors CSE et hors procédures. Pour être tout à fait exacte, je précise qu'il y en avait eu treize sur la période antérieure, dont quatre avaient été déjà lancées dans le cadre de procédures qui n'étaient pas aussi formelles que celles du CSE.
Nous en avons donc lancé quinze en trois ans, dont cinq la première année, en 1999, trois en 2000 et sept en septembre 2001. Cela représente beaucoup de travail. Par ailleurs, en ce qui concerne les contrats de plan Etat-régions (CPER), le démarrage a été très difficile en 2000 parce que les CRADT n'étaient pas constituées et que la circulaire a donné lieu à des allers retours interministériels nombreux, mais nous avons rattrapé le retard en 2001 puisque, grâce à la nouvelle procédure, nous avons pu déléguer aux régions plus que l'équivalent d'une année de crédits. J'ai fait faire le point hier : nous avons délégué 11 102 000 F pour des crédits annuels de 9 150 000 F.
Cela dit, toutes les régions ne se sont pas mobilisées de la même manière et il faut relever une exception notable dans les départements d'outre-mer : l'évaluation n'a pratiquement pas commencé dans les DOM. En outre, au 26 octobre - et je précise que le point a été actualisé depuis -, trois régions métropolitaines ne s'y étaient pas lancées non plus, mais je précise que depuis, la région Poitou-Charentes s'est rattrapée.
M. le Président : Je n'ai rien vu à ce sujet dans la CRADT où je siège, en Basse-Normandie.
Mme Véronique Hespel : Cette région est en effet une des régions auxquelles je faisais allusion.
Nous disposons de très peu d'informations, à ce stade, sur la consommation effective en régions, puisque les crédits sont délégués, et nous avons peu d'informations sur les cahiers des charges approuvés sur la période 2001, ce qui est normal puisqu'il faut le temps de décider et de mettre les procédures en place. Nous commençons seulement à avoir quelques précisions.
Pour votre information, je vous précise que les thèmes les plus fréquents pour la période 1994-1999 étaient la politique de la ville, les aides aux entreprises, les aides à l'emploi et à la formation et les aides à l'agriculture, et que les thèmes les plus fréquents dans la programmation 2000-2006 sont ce qu'on appelle la "territorialisation" ou la politique territoriale, le thème de l'environnement, de nouveau le thème de la politique de la ville, de nouveau le thème des aides aux entreprises, de nouveau le thème de l'emploi et de la formation et, de façon beaucoup plus marginale, tout ce qui a trait aux infrastructures, sur lesquelles on rencontre des difficultés méthodologiques d'évaluation propres.
Quelles sont les difficultés concrètes auxquelles nous nous heurtons pour diffuser une culture d'évaluation ? J'en ai identifié trois mais il en existe certainement beaucoup d'autres.
La première est une difficulté culturelle pour comprendre la démarche. C'est une procédure qui est souvent ressentie, aussi bien au niveau central qu'au niveau local comme longue, lourde, complexe, dont on ne maîtrise pas forcément tous les effets et qui ne s'intègre pas toujours dans le processus de décision public et politique. Dans le mot "évaluation", on entend souvent, dans notre culture française, le mot "contrôle", alors que ce n'est pas forcément l'esprit de la démarche évaluative, ou le mot "indépendance", ce qui ne plaît pas forcément aux préfets, aux élus ou aux administrations centrales. Une évaluation échappe aux décideurs et il est donc difficile de faire comprendre aux gestionnaires qu'ils ont intérêt à suivre la démarche.
Cela dit, on s'aperçoit, ce qui est positif, que ceux qui s'y lanceront sont plutôt ceux qui ont déjà fait l'expérience. Nos partenaires les plus fiables et les plus réguliers et ceux qui apportent le plus de sujets sont les ministères qui ont déjà de grandes directions de l'évaluation, comme le ministère de l'emploi et de la solidarité, avec la direction de l'animation, de la recherche, des études et des statistiques (DARES) et la direction de la recherche, des études de l'évaluation et des statistiques (DREES), celui de l'équipement et celui de l'éducation nationale. La relance de la direction de la programmation et du développement (DPD) fait que nous avons trouvé un partenaire très ouvert sur les sujets d'évaluation.
En revanche, certains ministères sont plus réticents, notamment le ministère de l'économie, des finances et de l'industrie, qui n'a pas une culture d'évaluation forcément très ancrée, le ministère de l'intérieur, qui commence à se lancer dans des évaluations prudentes, et le ministère de la justice qui, lui, souffre surtout d'une culture de gestion embryonnaire ; l'indépendance juridictionnelle pose en outre forcément problème quand on veut lancer des procédures d'évaluation ou de contrôle de gestion.
Certaines régions sont très dynamiques et, pour nous, deviennent des réservoirs, puisque nous envisageons même de recruter certains de leurs initiateurs au niveau central pour bénéficier de leur expérience de terrain. Je pense au Nord/Pas-de-Calais, au Limousin, aux Pays de Loire et à la Bretagne, mais il en existe en a sûrement d'autres.
M. le Président : Vous êtes restée d'une parfaite neutralité, puisque vous avez cité deux exemples dans la majorité et deux exemples dans l'opposition.
Mme Véronique Hespel : L'évaluation traverse les partis politiques.
Par conséquent, il nous reste à accomplir un effort de pédagogie extrêmement important.
La deuxième difficulté est liée à la mobilisation des compétences en matière d'évaluation. En effet, le gisement en matière de compétences évaluatives n'est pas considérable chez les fonctionnaires ni dans les universités, et il faut bien dire que, pour les acteurs, c'est vraiment du chinois.
En ce qui concerne la constitution des instances, nous avons mis beaucoup de temps pour les deux premières années et moins de temps pour la troisième vague. En effet, le Parlement nous avait reproché d'avoir mis six à neuf mois pour constituer les instances, ce qui est vrai, et, cette fois -ci, nous avons réussi à le faire en trois ou quatre mois, mais il n'est vraiment pas facile d'arriver à attirer des présidents et des rapporteurs et à constituer le cocktail de gens qui représenteront des points de vue équilibrés au sein de l'instance, car nous attachons beaucoup d'importance à la diversité. C'est un vrai métier.
Pour ce qui est des équipes régionales, on constate que le milieu dans lequel on peut puiser est relativement restreint, aussi bien au niveau universitaire qu'au niveau des fonctionnaires et, que, de ce fait, on constate une très grande mobilité et instabilité des personnels qui s'occupent d'évaluation. On a l'impression que des équipes se constituent, mais il suffit que le pilier change pour que l'on soit obligé de tout reconstituer.
Parmi les pistes d'avenir lointaines - nous en avions parlé quand nous étions allés en Poitou-Charentes -, il nous semble important de créer une filière d'évaluateurs. Nous commençons à recruter quelques jeunes sortant des universités comme rapporteurs des instances, puisque nous avons eu trois postes créés dans la loi de finances, avec l'idée que, si nous formons des gens entre 25 et 30 ans, ils deviendront ensuite des relais.
Cela étant, je pense que, malgré tout, on se heurte à un problème de rémunération, puisque nous avons des règles assez contraignantes en ce qui concerne celle des chercheurs. Pour l'instant, au Plan, nous ne rémunérons jamais, ou très exceptionnellement. En effet, c'est encore un honneur et une chance du Plan de réunir des commissions et des présidents sans les rémunérer. C'est une question que nous n'avons jamais explicitement posée à la tutelle, mais nous nous la posons et nous voyons d'ailleurs apparaître dans les demandes de crédits des régions des demandes de rémunération des conseils scientifiques.
Le ministère des finances, qui fait partie de l'instance nationale d'évaluation, est réservé sur ce point. C'est donc un sujet à traiter.
De ce fait, on a recours à des prestataires privés, notamment dans les régions, qui sont formés aux méthodes européennes, alors que ce ne sont pas tout à fait celles que nous souhaitons voir développer en France. Nous y reviendrons.
Nous avons donc tout un effort de formation, de méthodologie et de développement des ressources humaines à engager.
Dans les mobilisations de compétences, un autre sujet encore plus important émerge : celui des systèmes d'information au niveau régional, mais également au niveau central, qui sont souvent insuffisants et non pertinents. Il nous faut, dans les évaluations, consacrer beaucoup de temps et d'argent pour recenser ne fût-ce que les crédits et les indicateurs disponibles.
En région, cela se double d'un autre problème : la prééminence des données INSEE facturées aux collectivités territoriales. Nous finançons quelquefois, par des crédits d'Etat, des mises en place de systèmes d'information locaux qui, en fait, ne correspondent qu'au paiement de bases de données INSEE. Je soumets à votre Assemblée ce sujet qui me paraît extrêmement important et qui n'a vraiment rien d'évident.
Enfin, nous avons de réelles interrogations sur les suites données aux évaluations. Le temps d'évaluation - souvent trop long par rapport à celui de la décision politique - entraîne une déception du politique, qui pense que les évaluateurs pourraient se dépêcher, et des déceptions des évaluateurs qui pensent que ce qu'ils font ne sert à rien puisque le politique a déjà décidé.
Malheureusement, il n'existe pas de solution simple. Nous nous apercevons en effet que si on veut mobiliser l'expertise universitaire, compte tenu des modes de passation des marchés et du consensus à établir dans une instance d'évaluation qui prend du temps, on ne sait vraiment pas le faire en moins de quinze à dix-huit mois, comme l'a demandé le Premier ministre. Le problème, c'est qu'en le faisant en quinze à dix-huit mois, cela implique de se priver, malgré tout, d'une certaine expertise universitaire, car rares sont les universitaires qui savent répondre en six mois à une question ou une interrogation.
Finalement, en respectant la contrainte de quinze à dix-huit mois, nous sommes de plus en plus - nous le constatons dans nos premiers appels d'offres d'instances nationales - dépendants de prestataires privés.
Or on sait qu'il nous faut maintenir trois sources d'information dans les instances. La première est la source des inspections générales, qui nous permet malgré tout d'avoir d'excellents recensements des crédits et des pratiques, mais évidemment...
M. le Président : ...dans une vision pro domo ?
Mme Véronique Hespel : Pas toujours. En fait, ce sujet dépend beaucoup de l'indépendance des inspecteurs qui existent et aussi des sujets. Si vous demandez un recensement de crédits, l'inspection ne sera pas pro domo. Si vous commencez à demander des évaluations de pratiques territoriales, ce sera différent. Quand vous faites une inspection interministérielle, l'aspect pro domo disparaît. Cela donne donc un certain produit sur certains champs.
La deuxième source est la compétence des prestataires, mais vous savez tous comment cela peut se passer : c'est parfois un peu rapide ou cela consiste à plaquer une certaine grille de lecture, ce qui n'est pas excellent.
La troisième, c'est l'expertise universitaire mais, malheureusement, sur notre dernier appel d'offres sur le développement rural, nous n'avons pas eu une seule réponse d'universitaires, ce qui est complètement lié au délai. Cela dit, le temps est très important pour le politique, parce qu'une évaluation qui arrive trois ans après son lancement ne représente pas grand chose pour lui.
Le deuxième sujet, qui est plus propre aux évaluations des CPER, est la publicité. Toutes les évaluations ne sont pas publiées : il faut l'accord du président de région et du préfet de région et nous avons nous-mêmes parfois du mal à récupérer les évaluations financées. Les résultats ne sont donc pas diffusés. C'est un problème que j'avais posé devant le CNADT et je pense qu'il est relativement important.
Par ailleurs, les conclusions des évaluations ne sont pas toujours intégrées dans le calendrier de décision politique. C'est le problème de la connexion de l'évaluation et de la prospective dans les régions, où on constate une très grande hétérogénéité de situations.
Dans certains endroits, l'évaluation est satisfaisante, et, dans d'autres, on est mieux armé en prospective, qui sont deux disciplines nouvelles pour les régions, et les connexions ne se font pas toujours, d'autant plus dans les endroits où il n'y a pas de prospective quand il y a de l'évaluation et pas d'évaluation quand il y a de la prospective.
Cela dit, je peux citer un exemple intéressant, celui du Limousin, où il y a eu une connexion des deux, mais c'est très rare.
J'ajoute que les liens entre évaluation et contractualisation ont été faibles à l'occasion du renouvellement des contrats de plan.
Enfin, les réponses souvent nuancées des évaluations ne sont pas toujours faciles à prendre en compte dans notre système de gouvernance. Par exemple, en évaluant des aides à l'emploi, on va considérer qu'il y a eu des effets d'aubaine et que ces aides n'ont suscité que 30 % de créations d'emplois. Evidemment, on peut avancer beaucoup d'analyses à propos de ce chiffre. On peut dire que cela a permis de créer 30 % d'emplois en plus, mais aussi que cela a représenté un coût par emploi exorbitant. L'interprétation des chiffres est toujours complexe et n'est jamais évidente en politique.
De même, comme l'évaluation est toujours transversale et fait apparaître des systèmes d'acteurs, il n'est pas complètement évident, quand on fait apparaître des corégulations, de définir ensuite le système de responsabilité qui va l'accompagner. Par conséquent, les réponses des évaluations ne sont pas des réponses forcément simples parce qu'elles posent des questions de gouvernance.
J'en viens aux projets de l'an 2002.
Premièrement, dans l'effort pédagogique, nous allons lancer une mise en réseau plus systématique et nous avons un projet de construction d'un site Internet aussi bien à propos des contrats de plan Etat-régions que des évaluations CNE, sur lequel on pourra trouver la liste des correspondants, la liste des programmes, les cahiers des charges et les rapports publiés et publiables, site qui s'adressera aux conseils régionaux, aux conseils économiques et sociaux régionaux et aux préfectures de région. Nous avons lancé un questionnaire en juillet dont le taux de réponse est très positif.
Nous sommes aussi en train d'amorcer un rapprochement avec la Caisse des dépôts et consignations pour bénéficier de ses expertises dans le fonctionnement d'un site, avec l'idée qu'il faudrait ultérieurement créer des liens avec tous les sites des organismes publics qui font de l'évaluation. Il s'agit pour nous de constituer d'abord un noyau et de faire ensuite un site qui pourrait accueillir ou renvoyer sur d'autres sites dans ce domaine.
Deuxièmement, nous développons un appui méthodologique aux régions sur trois thèmes qui nous paraissent avoir été repris abondamment.
Sur la politique de la ville, nous engageons un partenariat avec la Délégation interministérielle à la ville (DIV) pour mettre au point un guide méthodologique de l'évaluation de la politique de la ville dans les contrats de plan, afin de bien articuler l'évaluation "ville" et l'évaluation "contrat de ville". Nous allons faire aussi une journée que l'on appellera "Info-Plan", en réunissant tous les secrétariats généraux des affaires régionales et les conseils économiques et sociaux régionaux, en mars, avec la DIV et dont nous espérons ensuite tirer le guide méthodologique.
Par ailleurs, nous allons lancer un guide méthodologique sur les aides aux entreprises en nous appuyant sur les travaux de la Commission de contrôle des fonds publics accordés aux entreprises qui va être mise en place au Commissariat du Plan : nous espérons pouvoir faire bénéficier les régions de l'expertise qui va se développer à propos de l'aide aux entreprises.
Enfin, la direction des études économiques et de l'évaluation environnementale du ministère de l'aménagement du territoire et de l'environnement est d'accord pour animer un groupe de réflexion sur les politiques environnementales.
Il faut savoir que l'élaboration d'un guide de méthodologie nécessite au moins un an si on veut le faire de façon concertée avec les régions.
En ce qui concerne le lancement d'une réflexion au sein du CNE sur le positionnement respectif des évaluations des fonds structurels et de l'évaluation des CPER, je laisserai peut-être M. Yves Cousquer en parler davantage, mais la Commission européenne ayant mis beaucoup de moyens humains alors que nous allons dégager des moyens informatiques pour les évaluations des fonds structurels, nous nous demandons si nous ne pouvons pas en tirer beaucoup d'enseignements, tout en conservant une grande robustesse ainsi qu'une grande fiabilité et en évitant certains travers de l'évaluation européenne. Nous y reviendrons.
Enfin, nous commençons seulement à réfléchir aux suites à donner aux évaluations réalisées. Nous engageons une réflexion avec la DATAR sur les CPER, sachant que nous allons transmettre, en janvier, au Premier ministre une lettre commune sur la procédure à suivre pour intégrer les évaluations dans la renégociation de 2003. Pour les trois évaluations interministérielles terminées, nous commençons les contacts avec les administrations concernées pour proposer le "bleu" au Premier ministre. Il faut que vous sachiez qu'indépendamment de ce suivi institutionnel, il exis te déjà beaucoup de porosité entre les instances d'évaluation et les milieux ministériels concernés. Pour l'instance "eau", par exemple, on a mobilisé tous les services dans une réunion administrative, et la Direction de l'eau est en train de demander, en liaison avec le Parlement, quelles seront les conséquences du projet de loi sur l'eau. Ce n'est pas institutionnel mais cela se passe ainsi.
De même, au cours d'une grande réunion, M. Robineau, président de l'instance de l'emploi non marchand, a présenté aux 200 participants de la Délégation générale à l'emploi et à la formation professionnelle (DGEFP) les conclusions de l'instance, avant même que nous ayons saisi le Premier ministre.
Nous voudrions poursuivre en territorialisant les évaluations nationales. Si nous réalisons notre guide de méthodologie environnementale, par exemple, il s'agira de tirer des enseignements de l'évaluation "déchets" et de l'évaluation "eau potable" dans le guide méthodologique que l'on fournira aux régions.
Ensuite, nous envisageons de recruter quelqu'un qui ne s'occuperait que de la diffusion des guides et des séances de formation locales.
Il faut savoir que la réflexion sur les suites à donner est compliquée dès l'amont, parce qu'on s'aperçoit que, dans le questionnement sur le cahier des charges et le choix du sujet, il faut se poser la question des suites, en termes à la fois de calendrier et de type de questionnement. A cet égard, nous rencontrons parfois des difficultés, parce que nous avons souvent de purs chercheurs qui sont intéressés par le seul côté intellectuel de la recherche sur un pan de politique publique.
La nouvelle jurisprudence du CNE à laquelle le commissariat général du Plan et complètement favorable consiste à avoir une démarche incarnée parfaitement par Mme Véronique Chanut qui mette l'accent sur l'évaluation pragmatique, sachant que c'est dans le questionnement évaluatif qu'il faut poser les problèmes. Nous n'y sommes pas complètement arrivés dans les premières évaluations, mais, dans les dernières, nous essayons de bien montrer que l'évaluation ne se résume pas qu'à un problème intellectuel.
M. le Président : Pouvez-vous donner un exemple de la façon dont vous procédez ? Vous pourrez le faire tout à l'heure, si vous préférez.
Mme Véronique Hespel : Nous le ferons tout à l'heure, si vous le voulez bien.
Le commissaire m'avait demandé d'insister sur un sujet très important, mais il ouvre tout un débat alors que j'ai été déjà beaucoup trop longue et qu'à mon avis, M. Yves Cousquer va le développer bien mieux que moi ; il s'agit de notre grand chantier de l'année prochaine et des années ultérieures : savoir comment mieux connecter l'évaluation à la réforme de l'ordonnance du 2 janvier 1959 portant loi organique relative aux lois de finances.
Je ferai une simple remarque (et c'est l'ancienne budgétaire qui parle) : je pense que ce serait tuer l'évaluation que de la connecter de trop près au contrôle de gestion. En revanche, elle peut, bien évidemment, s'appuyer sur tout ce qui va se mettre en place au titre du contrôle de gestion et être extrêmement utile pour aider à la construction de ces indicateurs de gestion dans les domaines dans lesquels ce sera difficile.
Ma deuxième remarque, c'est que, bien entendu, le lancement de programmes au sein de la réforme de l'ordonnance organique va nous permettre de bien mieux nous "caler" sur ces programmes approuvés par le Parlement, mais qu'il ne faudra peut-être pas oublier que le CNE est le Conseil national d'évaluation des politiques publiques et que les politiques publiques ne sont pas exactement des programmes.
Par ailleurs, il ne faut pas oublier que l'évaluation nous apporte la transversalité : l'action publique ne dépend pas que du seul acteur "Etat" et si, par conséquent, dans la réforme de l'ordonnance organique, on prévoit des indicateurs globaux associés aux seuls crédits de l'Etat, on faussera le jugement. En effet, il est évident que, pour évaluer la réussite de la politique de l'emploi, par exemple, on ne peut pas considérer seulement les crédits de l'Etat. En l'occurrence, l'évaluation peut être une aide, un positionnement intéressant et nécessaire pour ne pas enfermer la vision des crédits de l'Etat dans des démarches de type rationalisation des choix budgétaires.
M. le Président : Je vous remercie. Vous avez été complète pour une introduction à cette problématique. Voulez-vous que nous engagions dès maintenant la discussion ou que M. Yves Cousquer poursuive en parlant de la jurisprudence de l'évaluation ? Cela nous permettra d'avoir une discussion globale à la fin.
M. Yves Cousquer : Je vais continuer par les questions que vous avez posées, en particulier celle sur les critères de choix des sujets proposés à la décision du Premier ministre. Je reviendrai ensuite sur la dimension territoriale de ce que nous faisons, je dirai un mot de la philosophie de nos avis au terme des évaluations et, enfin, je ferai des observations plus diverses qui, peut-être, prendront place après vos questions.
Sur les critères de choix des sujets, nous avions d'abord à choisir à l'intérieur d'un ensemble assez vaste. En effet, avant même que le Conseil ne soit installé, en février 1999, la circulaire du Premier ministre avait invité les diverses administrations à proposer des thèmes d'évaluation. Nous nous sommes donc trouvés riches d'une trentaine de thèmes ou d'idées d'évaluation dès le départ.
Nous avons ainsi été amenés à faire une sélection pour déboucher sur les cinq thèmes de la première proposition de juillet 1999 en portant un avis sur l'opportunité de tel ou tel sujet, non pas pour son intérêt rétrospectif mais pour la place qu'il prendrait dans un processus de décision. L'évaluation devant éclairer l'action, certains thèmes nous paraissaient prioritaires par rapport à d'autres.
En même temps, tous les thèmes étaient loin d'être formulés d'une manière telle qu'ils puissent conduire à une évaluation dans les délais prescrits, c'est-à-dire de l'ordre de douze à dix-huit mois.
L'un des critères pour la qualité et le mûrissement des projets est l'implication des commanditaires. Même quand il s'agit de sujets interministériels, certains ministères sont plus porteurs du sujet que d'autres, et ce sont ces ministères qui ont à articuler les propositions du cahier des charges, qui est mis au point par le Commissariat du plan et ses commanditaires avec l'intervention du Conseil national d'évaluation.
J'avais fait le choix très tôt, dans le fonctionnement du Conseil national d'évaluation, d'assigner un binôme de rapporteurs internes au Conseil sur chaque sujet, afin que notre propre débat soit précédé du débat entre les rapporteurs, que nous n'ayons pas une pensée unique au sein du Conseil. On sait bien quels sont les mécanismes de fonctionnement des conseils et des commissions : quand on ne désigne qu'un rapporteur, on se fie largement à son opinion. Nous avons donc voulu cette dualité de rapporteurs par construction.
Il est difficile d'assurer cette dualité dans la durée. Or le binôme des rapporteurs n'est pas simplement là, au début, pour porter un avis sur un cahier des charges ou un questionnement mais pour assurer le suivi. Sans être membre de l'instance, il garde un oeil sur l'instance et il a un rôle important au terme de l'évaluation, quand le Conseil produit un avis. Tout cela qualifie la robustesse du projet d'évaluation.
Le caractère interministériel des sujets est aussi l'un des critères de choix des propositions au Premier ministre. Certains thèmes étaient simplement ministériels et nous avons donc estimé qu'ils étaient intéressants mais que chaque ministère avait les moyens de les traiter par lui-même.
Il faut savoir que le financement de ces évaluations est partagé en deux moitiés : une moitié financée par le fonds national d'évaluation, que gère le Commissariat du Plan, l'autre moitié relevant des divers commanditaires.
Voilà ce que je peux dire sur les critères de choix des sujets, qui illustrent ce souci de pragmatisme dont parlait Mme Véronique Hespel tout à l'heure.
Cela débouche sur la composition des instances et le choix des présidents. De ce point de vue, on a évolué. Le premier groupe des instances avait donné lieu à une décision du Premier ministre en juillet 1999 et la mise en place des instances s'est échelonnée sur une assez longue période.
Cela a donc été assez long et nous nous sommes dit qu'il ne pouvait pas en être ainsi. Nous avons vu aussi les conditions dans lesquelles les présidents d'instance s'étaient appropriés les cahiers des charges et avaient hérité d'un projet qui avait été composé sans leur demander leur avis.
Nous avons donc "rectifié le tir" avec le deuxième peloton, sans vouloir "lécher" jusque dans le détail tous les cahiers des charges, en disant qu'il était plus important d'avoir un choix plus précoce des présidents d'instance pour une meilleure appropriation du sujet, d'abord par les présidents eux-mêmes, pour qu'ils constituent une équipe, en particulier celle des rapporteurs (le rapporteur général ou le rapporteur adjoint). C'est un gage de travaux plus rapides et cela se passe plutôt bien.
Nous aurons mis en place une bonne partie des instances avant la fin de l'année, en quatre mois, c'est-à-dire que nous avons gagné beaucoup de temps à cet égard.
Dans la dernière instance, dont j'assistais à l'installation, voici quinze jours, le président, dès la première réunion, connaissait bien le sujet, bien sûr, et proposait aux membres de l'instance, qui se réunissaient pour la première fois, un calendrier des travaux qui allaient embrasser une année d'exercice.
Voilà ce qui nous a conduits, en 1999, à choisir un sujet sur la protection de la ressource en eau et deux sujets sur l'emploi : les emplois jeunes et l'aide aux emplois non marchands. Ces trois études sont achevées ; deux ont été publiées (celle sur l'eau et celle sur les emplois jeunes) et celle sur les emplois non marchands le sera très bientôt, en janvier ou février.
Il était prévu deux autres études dans ce lot de 1999. La première concernait la politique de lutte contre le SIDA et elle était en fait programmée, puisque le programme à cinq ans sur le SIDA prévoyait une évaluation. En la retenant, nous étions donc conforme à l'esprit du programme, comme à une demande du conseil national du SIDA de 1996.
Cependant quand cette disposition a été prise, l'arrivée heureuse des trithérapies n'avait pas été anticipée, or elle la complètement bouleversé la problématique dans ce domaine. Cela a eu des conséquences, pour la conduite de l'instance, pour la mobilisation des données qui a été particulièrement difficile et a conduit à un changement de président de l'instance : un épidémiologiste a passé la main à quelqu'un d'autre parce qu'il estimait, en son âme et conscience, qu'il n'avait pas suffisamment de données pour conduire valablement son instance.
Les conditions dans lesquelles il est venu présenter au CNE les raisons de sa démission étaient d'ailleurs en elles-mêmes une remarquable évaluation, une évaluation un peu "sauvage" dans sa forme mais très instructive pour les membres du CNE qui en étaient tous très impressionnés.
La deuxième instance d'évaluation difficile est celle qui concerne le logement dans les départements d'outre-mer. Il se peut que, dans l'ensemble des quinze évaluations dont nous avons parlé, celle-ci avorte, d'une certaine manière. Cela fait partie de la vie des évaluations.
M. le Président : Cela vient-il de la difficulté de mettre en place une méthodologie ou du refus des acteurs d'être évalués ?
M. Yves Cousquer : Cela ne vient pas d'un refus des acteurs, mais d'une difficulté propre au fonctionnement de l'instance qui a perdu, à la suite d'un décès, son rapporteur général il y a trois mois ; cela est venu s'ajouter à un cheminement cahoteux.
Mme Véronique Hespel : On constate une difficulté propre à l'évaluation dans les DOM : cela coûte beaucoup plus cher parce qu'il faut y envoyer des équipes et, souvent, les experts ne connaissent pas forcément très bien les législations spécifiques. De ce fait, on se repose sur les données locales, auquel cas on ne dispose pas forcément de l'objectivité requise pour une évaluation.
Il faudra réfléchir à la manière de résoudre ce problème. Les régions elles-mêmes ont la même difficulté.
M. Léonce Deprez : Tout d'abord, j'essaie de vous comprendre. Vous avez en effet un langage extraordinairement abstrait pour exposer votre méthodologie et il faut essayer de se brancher sur votre réflexion pour bien vous comprendre.
Deuxièmement, si je comprends bien, vous avez une fonction qui domine plusieurs thèmes, dont celui de l'aménagement du territoire, et nous sommes ici que compétents en matière d'aménagement du territoire. C'est bien cela, monsieur le Président ?
M. le Président : Nous évaluons aussi les politiques publiques.
M. Léonce Deprez : D'accord. Troisièmement, je suis élu régional. Alors que le corps des fonctionnaires régionaux dispose d'esprits instruits, éduqués et ouverts à toutes ces évaluations, je ne comprends pas pourquoi on ne fait pas d'abord appel à ceux qui, à longueur d'année, traitent ces questions et devraient logiquement réaliser l'évaluation des résultats des actions menées tant au niveau de l'Etat que de la région.
Je peux parler du contrat de plan Etat-régions, sachant que j'ai présidé une commission régionale pendant des années et que j'ai demandé sans arrêt quelles étaient les évaluations réalisées. En tant que président de la commission, j'ai essayé de traduire cela en langage très concret à l'échelle de territoires, d'agglomérations, de pays (avant qu'ils soient aussi bien définis), de communautés urbaines, de communautés de communes... Il était d'ailleurs très difficile d'avoir l'évaluation par territoire et je n'obtenais souvent pas les tableaux que je demandais, parce que, parfois pour des raisons politiques, on ne voulait pas faire de comparaisons d'un territoire à l'autre.
Je vous pose donc la question avant de vous laisser continuer : logiquement, n'est-il pas dans la fonction première des fonctionnaires, qui sont tous dotés d'une formation adéquate, de donner les évaluations au niveau régional et n'a-t-on pas, au niveau national, la même obligation d'évaluer les résultats tout en distribuant les crédits ?
D'après ce que j'entends, je m'aperçois que vous êtes obligés de faire appel à des universitaires, qui sont extérieurs à tout ce que nous traitons à longueur d'année et qui viennent de leur université évaluer ceci ou cela avec la hauteur de vue nécessaire mais souvent pas avec le temps voulu, et même à des prestataires privés. J'ai du mal à comprendre pourquoi l'évaluation n'entre pas dans les attributions des fonctionnaires. C'est ma question. Est-elle hors sujet ?
M. Yves Cousquer : Non, elle est pleinement dans le sujet.
M. le Président : Toutes les questions sont possibles dans cette enceinte.
M. Yves Cousquer : Je parle du CNE, c'est-à-dire du Conseil national d'évaluation des politiques publiques. Le gouvernement avait souhaité, par construction, que les trois niveaux de collectivités territoriales soient représentés au sein du Conseil d'évaluation pour que les régions, les départements et les communes puissent exprimer un point de vue dans le choix et la méthodologie des sujets.
Or, comme nous l'avons souligné tout à l'heure, les trois niveaux ont peu participé, à l'exception du niveau municipal, pendant la première année.
Cela dit, nous avons eu le souci de compenser cette carence de deux manières.
Dans la composition des instances d'évaluation figurent très régulièrement des acteurs locaux : dans l'instance sur les déchets, celle sur la protection de l'eau potable et celle sur la sécurité routière, nous avons choisi de privilégier des groupes d'évaluation décentralisés.
L'évaluation sur la sécurité routière ne se fait pas tous azimuts ; elle porte sur les dispositifs de sanctions influant sur le comportement des conducteurs sous l'oeil de la justice, de la gendarmerie et autres. Nous avons donc pris comme champ géographique des juridictions de la justice pour pouvoir nous nourrir d'une réalité locale très précise.
C'est notre première démarche au niveau des instances d'évaluation elles-mêmes, et le rôle de l'instance est d'assimiler cette réalité locale. Une partie des études qui sont financées prend en compte non seulement des agrégats macro-économiques mais aussi l'analyse de systèmes d'acteurs, qui est toujours très locale.
La deuxième démarche de territorialisation, pour nous, s'est concrétisée par des rapports directs du CNE. Nous avons eu deux réunions régionales, l'une à Rouen et la deuxième à Poitiers, organisées avec les présidents de région et les préfets de région et associant aussi bien les services de la région que les services de l'Etat dans les régions pour échanger sur notre pratique d'évaluation, mais également sur la pratique d'évaluation conduite au niveau régional. Nous avons fait cela au cours d'une journée de travail pour voir comment l'un nourrit l'autre.
Ces échanges sont une autre forme que celle qui est organisée par le Plan dans l'évaluation des contrats de plan Etat-régions.
Cela secrète une demande d'échanges, et ceux-ci seront d'autant plus riches que nous aurons progressé dans la livraison d'un certain nombre de nos évaluations.
Mme Véronique Hespel : Pour compléter ce que vient de dire M. Yves Cousquer, j'ajoute que, sur le groupe "sécurité routière", nous avons fait faire des diagnostics par les acteurs locaux dans chaque ressort judiciaire, en prenant, certes, un prestataire pour faire des constats. Cela a été passionnant parce que, dans un premier temps, les groupes locaux disent ce qu'ils pensent dans la façon dont la chaîne fonctionne, puis le prestataire dit : "voilà comment je vois que cela fonctionne d'après les dossiers", il va ensuite faire réagir les groupes locaux sur ces constats et tout cela va "remonter" au niveau central. C'est une démarche très itérative entre un diagnostic local et un diagnostic national.
M. le Président : Pour essayer d'éclairer la question de notre collègue Léonce Déprez, peut-être faut-il dire que nos fonctionnaires sont plutôt aptes à mettre en avant le niveau d'engagement des politiques publiques et à faire une évaluation quantitative, mais ce qui manque sûrement, probablement parce qu'ils n'en ont ni le temps ni, parfois, les compétences, c'est une évaluation qualitative, pour voir également l'impact du résultat de ces politiques sur le territoire et quelle prospective on peut faire pour tenter d'infléchir ces politiques à l'avenir.
C'est là que les universitaires sont importants, de même que les cabinets privés, pour construire des méthodologies, ce que les fonctionnaires publics n'ont pas forcément le temps de faire ou ce qu'ils ne peuvent pas faire, faute de compétences.
M. Pierre Cohen : Je vais me permettre de continuer sur ce terrain. Il me semble qu'il y a des différences fondamentales entre les résultats ou les bilans, d'une part, et l'évaluation, d'autre part. C'est peut-être le hiatus qui existe entre quelqu'un qui est juge et partie. En effet, même un fonctionnaire très compétent, honnête et intègre, en faisant le rapport de son activité, produira rarement une sorte d'auto-critique, une comparaison entre la commande et le résultat, c'est-à-dire une évaluation.
De même, je pense maintenant que le contrôle est entièrement admis dans nos objectifs et nos obligations, mais qu'il est plus difficile d'être jugé. Il existe donc une différence entre le contrôle et le fait d'être jugé. Je pense que le pari sur l'évaluation sera gagné le jour où elle sera considérée comme positive...
Mme Véronique Hespel : ...comme un élément qui aide.
M. Pierre Cohen : ...qui permet d'aller vers une étape nouvelle. On l'a vu avec les contrats de ville. On s'est aperçu qu'il fallait réaliser des évaluations, mais on les a mal faites. Maintenant, on les inscrit complètement dans les futurs contrats de ville et on les intègre parce qu'on sent que c'est nécessaire.
Dans le monde de la recherche, l'évaluation existe très fortement depuis longtemps. En effet, on ne peut pas envisager un organisme de recherche sans évaluation, le CNRS étant le plus habilité à le faire. J'avais fait un rapport avec M. Jean-Yves Le Déaut sur la recherche pour le Premier ministre et nous avions pensé que l'évaluation, au lieu d'être uniquement une évaluation relative à la carrière ou à un certain nombre de problèmes internes, devait devenir un "lieu ressources", permettant aux décideurs d'y puiser et de décider. C'est très important.
Je voudrais donc savoir si vous y avez réfléchi, puisque vous avez parlé de base de données et d'informations, le problème étant de savoir, si les régions et autres décideurs seront capables de faire un "lieu ressources".
Enfin, vous avez parlé des trois niveaux que sont l'inspection générale, les prestataires privés et les universitaires, et je voudrais y ajouter une "puissance évaluatrice" qui n'a pas de compétence mais qu'il faudra intégrer : celle des usagers. Il y aura bien un moment où il faudra arriver à faire en sorte que les gens qui sont concernés par les politiques publiques puissent dire ce qu'ils pensent, même si, évidemment, les universitaires peuvent le faire par des sondages, des questionnements ou des enquêtes.
Mme Véronique Hespel : Cette question fait partie des suites de l'évaluation. Elle fait l'objet d'une réflexion.
M. Pierre Cohen : Le problème, c'est que je considère que cette période de dix-huit mois est trop longue, qu'elle sera toujours trop longue et même qu'elle sera inacceptable, parce que notre monde va de plus en plus vite. Il faudra donc que vous trouviez des méthodologies d'évaluation qui aillent très vite.
Il faudra donc, d'une part, en tenir compte dans les contrats ; d'autre part, il faudra faire en sorte que ceux qui profitent de ces politiques publiques ou les subissent puissent être entendus au fur et à mesure en fonction de leur représentativité. Cette richesse ou cette compétence ne sera ni professionnelle, ni universitaire mais elle sera à mon avis assez forte.
M. Yves Cousquer : Vous avez commencé par évoquer le risque d'être à la fois juge et partie. Il est sûr que le commanditaire d'une étude qui porte un champ de responsabilité court ce risque. Comment parer à ce risque ? Principalement par le choix du président de l'instance. C'est le président de l'instance qui assure à celle-ci l'indépendance d'esprit qui nous paraît indispensable et, en même temps, la déontologie qu'exprime chacun des membres de l'instance. Il n'est pas là pour être le mandataire de son organisme mais pour être un évaluateur, avec le statut critique qui doit accompagner l'évaluateur. Le meilleur garant, dans cette affaire, c'est le président de l'instance.
Mme Véronique Hespel : C'est vrai, mais en réalité, je pense qu'il existe plusieurs formes d'évaluation et qu'elles ont toutes leur légitimité. J'avais dit devant le CNADT, mais je m'étais peut-être un peu avancée, qu'avec l'évaluation des aides aux très petites entreprises, nous allions faire une évaluation militante, une évaluation de société civile. En effet, c'est une évaluation qui a été lancée par Mme Maria Nowak, dont vous connaissez peut-être le rôle en tant que présidente de l'Association pour le droit à l'initiative économique (ADIE), (un livre a été publié à son sujet, intitulé "La banquière des pauvres"). Elle est conseillère auprès de M. Laurent Fabius, mais c'est surtout une militante des aides aux très petites entreprises, pour des gens créant leurs activités.
Or elle a choisi comme président M. André Mulliez, qui n'a pas un profil de fonctionnaire ni de chercheur, nous installons l'instance demain et je peux vous dire que ce sera vraiment très intéressant.
M. Pierre Cohen : Ce sont des logiques différentes.
Mme Véronique Hespel : Exactement. Ce ne sera pas forcément une évaluation scientifique, encore que nous ayons mobilisé des experts, mais ce sera en tout cas passionnant, parce que nous avons fait en sorte que les acteurs des trois ou quatre grands réseaux qui s'occupent de cette question soient présents.
M. Léonce Deprez : Et la suite concrète ? Dans quel délai cela aboutira-t-il ?
Mme Véronique Hespel : Je peux vous dire que Mme Maria Nowak a le souci du concret. Au début, les administrations avaient l'idée d'évaluer un système d'aide, mais tout le travail d'élaboration du cahier des charges a consisté à considérer les bénéficiaires finaux au regard des systèmes qui les concernent. C'est extrêmement productif, parce qu'ensuite, la société civile pourra se saisir de ces images que l'on va lui donner et qui, pour l'instant, n'existent pas.
On va par exemple se demander si les typologies utilisées correspondent à la perception qu'ont les gens de leur trajectoire.
Maintenant, pourra-t-on le faire en trois mois ? On sent bien qu'il faudra approfondir les diagnostics territorialisés.
Nous avons introduit une idée simple qui n'existait pas : il faut bien étudier le rôle des experts-comptables dans cette affaire. Les entrepreneurs individuels ne sont rien sans eux. Nous allons donc prévoir un financement à cette fin. Evidemment, les experts-comptables sont ravis, ils sont acteurs et ils vont venir dans l'instance pour essayer de donner le point de vue des comptables de base sur les dispositifs que l'on met en face des très petites entreprises.
M. Yves Cousquer : Le questionnement préalable qui a été le nôtre a été d'identifier les bénéficiaires.
On retrouve le même souci dans la manière dont nous avons abordé la contractualisation à l'université. Il ne s'agissait pas de réaliser une évaluation interne à l'Education nationale : elle est capable de le faire, et ce depuis longtemps. Nous avons donc eu un regard sur les bénéficiaires de l'université, c'est-à-dire les étudiants, avec des considérations sur les sorties de l'université et les emplois qui sont ensuite proposés. C'est ce qui a commandé le cahier des charges que nous avons élaboré sur ce sujet. Le souci des cibles, des bénéficiaires et des publics visés est donc premier dans notre démarche.
M. Pierre Cohen : Je présume que, lorsqu'on évalue, on tient compte du public représentatif. Ce serait indispensable. On ne peut plus ignorer la représentativité des gens qui sont l'objet de politiques publiques. C'est compliqué, mais indispensable.
Mme Véronique Hespel : C'est plus facile à faire au niveau régional qu'au niveau central. Nous avons, nous, une représentation du Conseil économique et social au sein du CNE et des instances à douze ou quinze membres. Nous essayons d'y faire participer les associations, mais ce n'est pas évident. Je pense donc que c'est plus une question qu'il faut se poser au niveau régional.
Quand on considère les exercices de prospective régionaux, on constate que certains sont quand même très participatifs. Je travaille dans le groupe de M. Bailly, de la DATAR, sur les prospectives territoriales, et je peux vous dire que M. Jean-Paul Bailly et Mme Edith Heurgon, sa conseillère en matière de prospective, ont compris qu'il fallait qu'ils y intègrent aussi l'évaluation. En effet, il n'y a pas de raison que l'on parle de l'entrée de la société civile dans ces exercices de prospective sans réfléchir aux connexions entre prospective et évaluation, mais c'est compliqué à mettre en oeuvre, parce qu'il faut produire un diagnostic.
M. Yves Cousquer : Je voudrais faire une autre observation sur la mission que nous avons vécue pendant trois ans : la relance au niveau national de l'activité d'évaluation des politiques publiques, qui embrassent de nombreux systèmes d'acteurs, lesquels ne sont pas simplement ceux de l'Etat.
L'intervention de la nouvelle loi organique, au 1er août dernier, change complètement la perspective pour les années à venir et c'est une question qu'aura à se poser le CNE, lorsqu'il sera renouvelé, au cours de l'année 2002. Je pense d'ailleurs qu'il sera bon que le gouvernement vienne, par une lettre de mission, réorienter une partie de ces travaux. En effet, nous avons fait principalement de l'évaluation ex post, une fois la politique conduite. Nous avons fait une évaluation en cours de route sur la politique des emplois jeunes, et les conclusions dégagées par l'instance que présidait M. Anicet Le Pors ont été utiles dans le dialogue qu'il a eu avec la ministre, son cabinet et le gouvernement pour infléchir cette politique. C'était donc déjà un progrès, mais il est certain que la loi organique imposera plus d'évaluations ex ante pour bien comprendre la mise en place de tel ou tel programme ministériel ou telle politique à l'intérieur d'un programme, les systèmes d'acteurs qui sont en cause, les objectifs que vise l'action publique et les indicateurs qui permettent de qualifier ces objectifs et de mesurer les résultats.
C'est sans doute l'une des clefs pour répondre à votre souci de rapidité. Si on a fait auparavant une bonne partie de la démarche méthodologique, les choses sont plus faciles. En effet, je suis frappé de voir le temps que les instances d'évaluation passent à rassembler des données, y compris à recenser tous les textes administratifs qui définissent les missions publiques. Ce travail d'élagage après inventaire accompagnera donc nécessairement les programmes.
La difficulté sera de fixer les priorités, parce qu'on ne peut pas tout faire en même temps - les ressources sont limitées pour faire ce travail d'élagage et d'inventaire des évaluations -, mais je pense que cette dimension consistant à développer l'évaluation ex ante va prendre beaucoup de place.
M. Léonce Deprez : Dans ce contexte, n'y aurait-il pas un rôle à donner aux préfets, à ceux que l'on appelait jadis les "sous-préfets économiques" ? Est-ce que ce ne sont pas eux qui doivent faire les évaluations en permanence, aux côtés des préfets, pour apporter ce matériau à votre Conseil national ? Logiquement, n'est-ce pas dans leur fonction ?
Mme Véronique Hespel : Bien sûr, mais ils ne sont plus très nombreux. Les équipes des secrétariats généraux des affaires régionales sont démunies.
M. Léonce Deprez : Pour notre part, en tant qu'élus, nous sommes là pour faire en sorte de corriger les défauts et de combler les manques. Que font les sous-préfets économiques et les SGAR à ce sujet ?
M. le Président : Monsieur Deprez, vous êtes un libéral et un décentralisateur. Vous ne voulez donc pas confier toutes les données et tous les moyens d'évaluation aux agents de l'Etat...
M. Léonce Deprez : Je suis un social libéral.
M. le Président : Il faut aussi une mutualisation des expertises.
M. Léonce Deprez : Normalement, l'Etat a un rôle fondamental à jouer à travers ses préfets et ses sous-préfets économiques. Je vous pose la question mais vous ne me répondez pas.
Mme Véronique Hespel : Si. Ce sont nos correspondants. Nous les recevons tous les deux mois. Ce sont nos piliers. Simplement, leurs équipes sont peu étoffées. En fait, nous les recevons en même temps que les régions. Nous recevons simultanément les services économiques des préfectures, des régions et des conseils économiques et sociaux régionaux.
M. le Président : Je suis très sensible à ce que vous disiez auparavant sur les problèmes de données. Personnellement, en ce qui concerne le recensement sur l'eau, j'avais constaté un nombre croissant de lieux de production de données. On peut aussi s'interroger sur la qualité de ces données.
Par conséquent, celles et ceux qui veulent apprécier telle ou telle politique ou comparer les choses entre elles ont beaucoup de mal à trouver des données solidement établies...
Mme Véronique Hespel : ...robustes et fiables.
M. le Président : Deuxièmement, on relève aussi des problèmes de critères. Sur quels critères va-t-on évaluer et évalue-t-on de la même façon partout ?
Vous avez évoqué le problème entre les méthodologies européennes et les méthodologies nationales, et on pourrait aussi s'interroger sur la comparativité entre les méthodologies régionales.
Ne serait-il pas nécessaire de mettre en place, à côté du Conseil national d'évaluation, des conférences de validation d'un certain nombre de ces données et de ces critères de telle manière que ces critères soient validés par vous et, ensuite, reconnus par les différents acteurs de l'évaluation ? En effet, nous avons bien compris que vous aviez ici un rôle de pionniers et que cette pratique de l'évaluation va devoir se diffuser dans les collectivités territoriales, les régions d'abord, bien sûr, mais aussi, vraisemblablement, à l'échelon infra-régional, notamment dans les agglomérations et les villes.
Il y a donc vraisemblablement besoin de parler un langage commun, de comparer ou de changer ce que l'on fait et, éventuellement, de pouvoir construire, pour avoir une évaluation ex ante, des tableaux de bord à peu près cohérents et comparables qui puissent évoluer non pas de façon identique mais parallèle. On peut effectivement imaginer que telle région sera plus en avance dans ses pratiques d'évaluation et qu'elle souhaitera aller un peu plus loin dans son investigation ou l'appréciation de ses politiques, sachant que la question qui se posera ensuite sera de savoir comment on pourra remettre à niveau celles et ceux qui n'y sont pas.
N'est-il pas nécessaire de construire ce lieu de validation et de prospective de l'évaluation, qui fera en sorte que la diffusion de cette méthode nécessaire puisse être relativement homogène sur l'ensemble du territoire national ?
Mme Véronique Chanut : De ce point de vue, il faut sans doute concevoir un prolongement des premières évaluations que nous avons menées. En effet, nous sommes très fiers de produire nos premiers rapports, mais ils ne sont pas du tout une fin en soi et il faut les concevoir comme une étape. Sur la politique de l'eau, par exemple, on a rassemblé de façon inédite des données éparses dont personne ne possédait la synthèse. Je pense qu'à partir de là, il s'agit de mener tout un travail pour essayer de concevoir des indicateurs en essayant d'articuler des indicateurs nationaux, car ces évaluations restent assez jacobines malgré tout, et de travailler avec des acteurs locaux dans le cadre de groupes mixtes pour mettre au point des indicateurs territoriaux et les articuler avec des indicateurs nationaux
Cela nous donne une bonne base de travail.
Mme Véronique Hespel : C'était le projet que nous avions sur les trois sujets dont je vous ai parlé.
A propos de l'environnement, c'est évident. En 1998, le travail fait sur l'environnement peut constituer une base. De même, nous avons fait faire un travail sur les aides aux très petites entreprises à travers les contrats de plan, et le groupe sur les aides aux très petites entreprises nous aidera dans l'élaboration.
Cependant, il ne faut pas confondre le moment de la construction de ces informations et le moment de leur validation. En effet, nous avons besoin d'une validation et cela pourrait être très intéressant, mais il s'agit de ne rien figer.
Ayant géré, au Commissariat à l'énergie atomique, un budget de programmes versus un budget de moyens, j'ai pu voir aussi bien les limites d'un budget de moyens que celles d'un budget de programmes. Je pense que nous avons à méditer des expériences étrangères en matière de budgets de programmes (je pense à la Grande-Bretagne et même aux Etats-Unis). En effet, il est dangereux de figer une gestion par programmes.
C'est là que je vois un rôle très important pour l'avenir de l'évaluation, mais aussi de la prospective, évidemment, parce que l'évaluation vient bousculer les frontières. On en a besoin : il n'y aurait rien de plus triste qu'une France décidée par programmes, et c'est la commissaire adjointe du Plan qui vous le dit.
M. Léonce Deprez : Toute votre action nationale sous le signe du Conseil national de l'évaluation ne devrait-elle pas avoir une projection à l'intérieur de chaque région, comme le disait le président ? Vous dites que le SGAR et le sous-préfet économiques sont vos correspondants, mais, chaque collectivité territoriale étant maintenant bien définie et chacune d'elle commençant à se structurer sur tout le territoire, ne devrait-il pas y avoir, au niveau de la région, de l'agglomération, du pays ou des communautés de communes, un indicateur pour évaluer et éclairer les élus ? Finalement, ce sont eux qui décident, proposent et demandent des crédits. Ne devrait-il donc pas y avoir un indicateur au niveau de chaque structure territoriale et correspondant, au niveau national, à vos indicateurs nationaux ? En réalité, il faut remonter à partir du territoire.
Je trouve que votre travail est extraordinairement centralisateur. Le Conseil national d'évaluation a une ambition formidable, que vous avez d'ailleurs beaucoup de mal à exposer à des élus territoriaux. Je ne conteste pas votre compétence, mais c'est très difficilement traduisible - je suis bien obligé de vous le dire - tout simplement parce que cela ne se vit pas au niveau des territoires. Si cet effort de recherche et d'évaluation se vivait au niveau des territoires et s'il remontait vers le haut, comme une espèce de règle à respecter ou de mode d'emploi pour obtenir des crédits, avec les évaluations nécessaires à chaque niveau, nous arriverions peut-être à mieux nous comprendre et à faire un travail plus organisé, plus planifié, si je puis dire.
M. Yves Cousquer : Il existe une limite à une démarche d'évaluation du terrain qui ne serait que territoriale. L'addition d'évaluations territoriales n'est pas une évaluation nationale, dans la mesure où des politiques sont définies au niveau national et où il faut bien les évaluer.
Mais il y a une deuxième limite : celle des compétences à mobiliser. Quand on parcourt ce document sur la politique de préservation de la ressource en eau, on s'aperçoit que beaucoup de compétences ne peuvent pas être distribuées à l'échelle de cent départements ou de vingt régions. Une économie d'échelle conduit donc à la réaliser au niveau national. Par ailleurs, on gagne beaucoup de temps. C'est d'ailleurs l'une des recommandations de cette instance : il faut rassembler les données sur l'eau au niveau local et, à partir du moment où ce travail préliminaire a été fait, cette mise en ordre au niveau local est beaucoup plus facile.
Un aller-retour doit donc être fait entre la démarche nationale et les démarches territoriales.
Mme Véronique Hespel : Ce que je vais dire n'est peut-être pas très orthodoxe pour quelqu'un qui est censé représenter la cohérence nationale du Commissariat du Plan, mais je crois que nous ne sommes plus dans une époque où les indicateurs des uns doivent s'imbriquer dans les indicateurs des autres. Il est beaucoup plus important - et vous avez tout à fait raison de le souligner -, pour nous, de bien nous positionner sur les indicateurs que l'Etat doit continuer de surveiller. Notre rôle est plutôt celui-là.
Cela dit, il faut laisser une grande liberté aux échelons territoriaux pour définir leurs propres objectifs, parce que c'est une dynamique de projet. Au niveau national, nous pouvons dire aux régions : "vous nous demandez ce que nous pensons de l'indicateur que vous avez choisi et nous vous répondons qu'il est fiable, pertinent et robuste. Nous pouvons également vous aider à repérer les compétences universitaires pour vous aider à construire votre démarche", mais nous n'avons absolument pas la prétention, ni au CGP, ni au CNE, de construire l'indicateur universel.
C'est ce que, personnellement, je reproche à certaines méthodes européennes. On présente des programmes avec des évaluations et des indicateurs ex ante, on tord les projets territoriaux afin qu'ils rentrent dans les cases prévues à l'avance et on ne fait que s'évaluer soi-même. On se dit : "il faut que je réponde à tel ou tel critère pour rentrer dans tel programme". Si on fait cela, on n'a pas avancé d'un iota !
L'idée est que, dans l'aller-retour entre l'échelon local et l'échelon national, le besoin de direction nationale et de projet national puisse être mieux identifié et que cela incombe au Parlement qui, à travers l'ordonnance organique, fixe l'objectif assigné à l'échelon national, et qu'ensuite, on laisse se décliner autrement et par toutes sortes de formes les projets des acteurs en suscitant leur mobilisation et leur autonomie et en leur disant : "vous vous fixez cet objectif et on va y parvenir un peu mieux cette année par rapport à l'année dernière".
Il reste que, sur tous ces sujets, la question centrale est celle du temps, mais je dirais que le délai de l'évaluation en quinze ou dix-huit mois n'est pas très long par rapport au temps qu'il faut pour que les impulsions politiques se traduisent par des changements réels dans la vie des gens.
M. le Président : Un délai de quinze mois reste raisonnable eu égard aux calendriers des contrats de plan ou ceux des politiques structurelles. J'ai bien compris ce qui vous gênait dans les évaluations européennes et votre souci de garder une originalité de l'évaluation française. Dans ce qui se fait dans les autres pays européens, avez-vous repéré un certain nombre d'expériences qui vous semblent intéressantes et transposables ou qui méritent d'être regardées d'assez près pour servir de point d'appui dans une démarche qui, chez nous, est embryonnaire ?
Mme Véronique Chanut : Il se trouve que nous avons intégré récemment un réseau d'évaluateurs nationaux européens qui est en train de se constituer auprès de la direction générale du budget à Bruxelles, avec des expériences assez contrastées et des degrés d'avancement assez différents.
Alors que nous avons eu notre première réunion en novembre dernier, il est assez frappant de constater que des pays comme la Suède ou la Grande-Bretagne ont une avancée considérable et que les problèmes qui se posent actuellement sont de savoir comment gérer leur stock d'évaluations, avec l'idée que trop d'information tue l'information. Ces pays réfléchissent à d'autres problèmes que nous, avec une approche très tournée vers ce qu'ils appellent "les clientèles", alors que nous utilisons beaucoup plus le terme "d'acteurs".
Les Anglais nous ont parlé par exemple de l'évaluation des politiques de lutte contre l'exclusion. Ils prennent une clientèle comme les personnes âgées ou les jeunes, ils la segmentent et, à partir de là, ils remontent aux différents problèmes : logement, santé, etc. C'est donc une approche assez séduisante et foisonnante.
Toutefois, même si nous avons pu nous inspirer d'un certain nombre de leurs avancées, l'expérience française, qu'ils connaissaient peu, les a intéressés sur deux plans.
Le premier est nos instances d'évaluation. Nous en parlons très naturellement, mais c'est un élément qui nous est spécifique et, maintenant, familier ; ces instances d'évaluation ont beaucoup séduit les Anglais, notamment parce qu'ils y voient des lieux où les différentes parties prenantes d'une politique peuvent avoir une confrontation de logiques et de points de vue qu'ils ont du mal à avoir dans d'autres processus.
Le deuxième, c'est l'approche qualitative, même si elle nous laisse souvent, nous, assez sceptiques. Il est vrai que l'évaluation, en France, s'est développée largement à travers les sciences sociales et la sociologie, alors que nous souffrons de certaines lacunes en gestion ou en économie. C'est donc très différent de ce qui se passe dans d'autres pays européens.
Malgré tout, nous avons mis en évidence des jeux d'acteurs et des niveaux d'articulation de compétences assez différents dans la mise en oeuvre des politiques publiques. Nous avons également mis l'accent sur la nécessité de décortiquer la mise en oeuvre de politiques dans un paysage institutionnel assez complexe. C'est un apport qui nous paraît tout à fait intéressant, mais il est vrai que cela demande un détour par la connaissance universitaire ou par une expertise et que cela prend du temps.
Je pense donc qu'il faut que nous nous inspirions aussi de l'efficacité et de la rapidité des autres pays, mais j'ai constaté que des pays très décentralisés, comme l'Espagne ou le Portugal, ont été séduits par notre expérience.
M. Léonce Deprez : Les observatoires qui se créent dans tous les pays, mais aussi dans toutes les régions, n'ont-ils pas pour but de fixer les évaluations et de les formaliser par politique ?
Vous parlez de l'Espagne. J'ai été en Catalogne avec une mission régionale, il y a un mois, et j'ai été très frappé par tout ce qui s'est construit et ce qui se structure en termes d'évaluation. Sur le critère "haute qualité environnementale" (HQE), par exemple, on nous fait des conférences à longueur de journée d'études. On évalue toutes les mesures et tous les crédits accordés en vue de l'ambition HQE. Il y a des observatoires qui se créent en vue de l'HQE. Cela fait-il partie de votre ambition ? Dans ces observatoires, avez-vous un rôle à jouer ?
M. Yves Cousquer : Non, les sujets sur l'environnement qui sont sortis sont, pour nous, ciblés. La préservation de la ressource en eau potable était un aspect. Le traitement des déchets ménagers en est un autre. Nous n'avons pas pris un aspect global qui correspond à une compétence ministérielle, à savoir la haute qualité environnementale.
Nous nous focalisons vraiment sur ce qui est interministériel. Certes, la haute qualité environnementale, dans sa conduite, est aussi interministérielle, mais elle relève clairement de la responsabilité d'un ministre. La compétence du ministre de l'environnement comporte, comme celle de n'importe quel ministre, une dimension interministérielle, mais ce n'est pas automatiquement à relayer par le CNE, du moins dans la vision que j'en ai.
Mme Véronique Hespel : Je pense que nous n'avons pas vocation à créer des systèmes d'information, alors qu'un observatoire crée de l'information. Nous n'avons pas non plus vocation à définir des normes, à dire que toute mesure devra s'examiner au regard des critères de développement durable.
Si le Premier ministre ou le Parlement nous le demande, nous travaillerons mais, pour l'instant, ce n'est pas le cas. Nous sommes là pour qu'un acteur, que ce soit l'Etat ou la région, nous dise : "j'ai tel objectif, j'ai voulu faire cela, de quelle façon y suis-je arrivé ?" Généralement, on lui répond : "en fait, vous n'avez pas vraiment dit que vous vouliez faire cela et vous l'avez fait pour telle raison mais en fait, c'est plutôt pour telle autre raison et on vous suggère de faire autrement"...
Mme Véronique Chanut : Je vous livre un complément sur le paysage européen qui sera peut-être utile pour vos travaux.
Il se trouve que les directions, à Bruxelles, ont une politique assez autonome en matière d'évaluation, chacune étant responsable de ses choix et de ses modalités d'évaluation. La nouveauté, c'est que la Commission essaie actuellement de constituer ce qu'elle appelle des évaluations stratégiques, c'est-à-dire des évaluations transversales. C'est aussi pour cela qu'elle était intéressée par l'expérience française d'évaluation des politiques publiques interministérielles, puisque nous avons un dispositif gouvernemental qui intervient sur des sujets transversaux.
Dans le programme que la Commission vient d'établir, elle a choisi deux sujets : l'évaluation des aides aux PME et le développement durable.
M. le Président : Monsieur le Président, madame la Directrice adjointe, madame la Rapporteure générale, je tiens à vous remercier de nous avoir consacré un temps aussi important et de nous avoir bien fait comprendre quel était le dispositif qui a été mis en place autour du CNE et du Commissariat du Plan.
Ceci est maintenant, pour moi en tout cas, clair et va permettre à la Délégation de prolonger sa réflexion. Si nous en avons le temps avant la fin de la session, nous n'excluons pas d'avoir un entretien peut-être plus bref avec vous pour compléter nos questions en fonction des auditions qui auront lieu d'ici la fin du mois de janvier.
Mme Véronique Hespel : Je ferai un complément sur le développement durable. La seule région qui a une démarche vraiment très intéressante est le Nord/Pas-de-Calais. C'est celle qui a la démarche la plus élaborée. Une autre démarche s'amorce en Rhône-Alpes, mais elle est encore embryonnaire.
M. le Président : Monsieur le Président, Mesdames, merci beaucoup.
* Loi n°99-533 du 25 juin 1999 d'orientation pour l'aménagement et le développement durable du territoire dite LOADDT ou "loi Voynet".
(1)
- 1-efficaité de l'appareil productif (couplage-découplage),
- 2-prélèvements et pollutions critiques,
- 3-gestion patrimoniale,
- 4-répartitions et inégalités spatiales,
- 5-globalisation et gouvernance,
- 6-accès aux serveurs, services et patrimoines, inégalités et exclusions,
- 7-satisfaction, préférences, engagement, politiques et gouvernance,
- 8-principes de responsabilité et de précaution,
- 9-résilience, adaptabilité, flexib
