Navigation – Plan du site

Evaluation et développement durable :Retour d’expérience de la pratique de l’évaluation à l’ADEME

Eric Plottu

Résumé

L’ADEME a une expérience de l’évaluation des politiques publiques d’une douzaine d’années marquée par la création dès 1993 d’un service central dédié à l’évaluation. Ces évaluations visent à apprécier la pertinence, l’efficacité et l’impact des actions de l’Agence sur l’ensemble de ces champs d’intervention (énergie, déchets, air et transport, développement durable).  

L’objectif de cet article sera de tirer des enseignements de ce retour d’expérience.  Nous nous appuierons notamment sur les études les plus récentes, en particulier les évaluations de démarches territoriales à forte composante développement durable (évaluation des Contrats Territoriaux Déchets, évaluation à mi-étape de la démarche ATEnEE) pour discuter du lien entre évaluation et développement durable. Plus généralement, les évaluations menées au sein de l’Agence permettront de tirer deux types d’enseignements :

sur les conditions de mise en œuvres et les attentes des cibles bénéficiaires relativement à une action publique visant à  favoriser le développement durable, en nous appuyant sur les résultats et les recommandations des évaluations menées ;

sur la pratique elle-même de l’évaluation des politiques publiques, en particulier les spécificités de la conduite d’évaluations dans le domaine de l’environnement et du développement durable.      

Outre les évaluations précitées de démarches territoriales visant à favoriser une approche globale des problématiques liées à l’environnement au sein d’un territoire, des évaluations d’actions de l’ADEME visant plus spécifiquement le citoyen et la sphère privée (entreprises) seront étudiées. Elles permettront de dresser un panorama des conditions du développement de comportements favorables au développement durable de l’ensemble des acteurs présents sur un territoire.

Haut de page

Plan

Image5
2. Enseignements sur la pratique de l’évaluation de politiques publiques dans le domaine de l’environnement et du développement durable
Haut de page

Texte intégral

Quelques mots de l’évaluation à l’ADEME…

1L’évaluation des politiques publiques répond à un souci de connaissance, d’efficacité et de transparence de l’action. Elle permet d’éclairer les différents temps forts de la vie d’un programme : elle assure un premier retour d’expériences sur les conditions de mise en œuvre des programmes en phase de lancement et permet d’apporter des inflexions aux actions plus matures (évaluation à mi-parcours); elle permet pour les programmes en fin de cycle de tirer des enseignements utiles pour la négociation et la génération de nouveaux programmes.

2Dès sa création, l’ADEME a accordé de l’importance à l’évaluation en se dotant d’un service « évaluation » et, plus récemment, en participant activement à la création en 1999 de la Société Française de l’Evaluation. Chargé de la programmation, du pilotage et de la valorisation des évaluations, le service évaluation joue un rôle de centre de ressources et de soutien méthodologique aux autres départements de l’Agence dans leurs activités évaluatives. Ces évaluations sont systématiquement menées par un bureau d’études externe et pilotées par un comité de suivi le plus souvent ouvert à des personnalités externes à l’Agence.

3Ces évaluations permettent de confronter la mise en œuvre, les résultats et les impacts de l’action avec les moyens mobilisés, les objectifs visés et les attentes des bénéficiaires et des partenaires. Ces évaluations chemin faisant ou ex-post sont ainsi autant d’opportunités de recueillir auprès des acteurs (décideurs et chargés de la mise en œuvre), des partenaires et bénéficiaires de l’action de l’Agence des informations sur leurs attentes, leurs perceptions et les facteurs de succès et d’échec des actions sur le terrain.

4C’est ce retour d’expériences des évaluations d’envergure nationale menées par le service évaluation (en qualité de pilote ou de co-pilote) que nous livrons ci-dessous. Depuis 2003, cela représente une quinzaine d’évaluations couvrant l’ensemble des champs d’intervention de l’ADEME. Ce retour d’expériences ne prétend pas couvrir l’ensemble de l’activité évaluation de l’Agence (notamment les études que peuvent lancer chaque délégation au niveau régional), il n’aborde pas non plus les chantiers internes sur l’évaluation du développement durable notamment les réflexions en cours sur les grilles d’indicateurs pour l’expertise et l’instruction des projets.

1. Enseignements tirés des évaluations sur les conditions de mise en œuvre d’une approche DD sur le territoire :

5La diversité des actions évaluées se situe au niveau :

  • des thématiques concernées (déchets, énergie, transport, …). Le champ de l’évaluation peut être plus transversal et tourné vers le développement durable.

  • de leur degré d’ancrage dans une approche territoriale : la dimension territoriale est au cœur des Contrat Territoriaux Déchets  (CTD) ou des démarches ATEnEE.

  • de la nature de l’objectif visé : organisationnel, information et sensibilisation, ou visant à plus court terme des investissements et des changements de comportements.

  • des cibles bénéficiaires : collectivités locales, entreprises, grand public.

6Les principaux enseignements des évaluations menées sur ces actions s’articulent autour de cinq axes :

  • L’importance d’un cadre formalisé pour impulser une approche territoriale

7Certains programmes, comme le contrat ATEnEE, constituent avant tout un cadre (obligeant à établir un programme d’actions) qui accélère la mise en œuvre des projets (évaluation d’étape de la démarche d’ATEnEE). La souplesse de la démarche est alors ressentie à la fois comme un avantage -elle peut s’adapter à tout type de territoire quel que soit l’avancement des projets- et un inconvénient pour les territoires les moins avancés qui ont besoin d’un cadre et de lignes directrices plus marqués.   

8L’évaluation des CTD a également mis en évidence l’importance, pour les acteurs, du rôle de structuration d’un programme d’actions. Les CTD obligent à formaliser la démarche sur le territoire selon différentes étapes: diagnostic, plan d’actions, mise en œuvre, suivi/évaluation; étapes dont l’importance pour la réussite des projets est soulignée par le document « cadre de référence pour les projets territoriaux de développement durable » du MEDD.

Image1

9Les collectivités soulignent l’intérêt de disposer de tels cadres qui, en les contraignant, les poussent à l’action. Sans de telles contraintes, l’initiative serait quelquefois étouffée par les contraintes de gestion des problèmes plus quotidiens qui accaparent les énergies. Il apparaît ainsi important de se fixer un agenda d’autant plus précis pour ce type de démarches qui ne revêtent pas le caractère d’urgence que présente le traitement technique de problèmes de gestion au quotidien (déchets,…).         

  • L’attente d’un accompagnement dans le montage de projets

10Au-delà de l’aide financière accordée par l’ADEME qui permet aux projets d’être plus ambitieux d’un point de vue environnemental, l’expertise et le conseil de l’ingénieur ADEME dans la phase de montage de projets sont mis en avant par les cibles bénéficiaires.

11Cette activité de conseils directs qui concerne l’« ingénierie de projets » favorise l’émergence de projets individuels comme celle de démarches collectives (territoriales, filières, réseaux d’acteurs).

12Cet accompagnement dans le montage du projet prend des formes diverses : mise à disposition d’études comparatives, aide dans le choix d’un prestataire (fourniture de listes de bureaux d’étude…), mise à disposition de cahiers des charges-types, d’outils de diagnostics, de guides méthodologiques ou encore expertise et soutien directs qui permettent par exemple, dans le cas des CTD, d’encadrer l’EPCI dans ses réflexions préalables (réglementation, coûts).

13Cette demande d’accompagnement en amont témoigne avant tout d’un besoin de soutien  technique. Les résultats des évaluations mettent en lumière une autre motivation : cette demande d’accompagnement exprime le besoin de se rassurer, en amont du projet et auprès d’un interlocuteur impartial, sur la fiabilité des informations disponibles.

  • Un besoin de s’informer et de s’assurer auprès d’un interlocuteur impartial de la fiabilité des informations avant de s’engager dans une démarche

14Avant de passer à l’acte pour un système plus performant sur le plan environnemental, les cibles bénéficiaires (individus, collectivités, entreprises) ont besoin de compléter mais aussi de confirmer, auprès d’interlocuteurs neutres, les informations déjà à leur disposition.

15L’évaluation des EIE illustre ce phénomène : si la recherche d’informations est la motivation première du contact avec un EIE, une part importante des personnes faisant une démarche d’informations (informations qui concernent le plus souvent un projet concret lié à l’habitat) se déclare déjà bien informée.

Image2

16L’ADEME (ou d’autres structures comme les Espaces Info-Energie par exemple) apparaissent ainsi comme des interlocuteurs indépendants permettant de vérifier la qualité d’informations, de sollicitations et d’offres diverses émanant d’autres types d’acteurs (bureaux d’études par exemple).

17L’évaluation  menée en 2003 des déterminants d’achat de chauffe-eau solaire individuel -CESI- a souligné l’intérêt de développer une communication « testimoniale » basée sur le témoignage de personnes étant passées à l’acte (par exemple, les visites de maisons déjà équipées).  Ce besoin de voir concrètement « comment ça marche chez les autres »  procède de ce besoin d’être rassuré.

18Il ne s’agit pas seulement de démontrer la fiabilité technique du système (chauffe–eau solaire individuel par exemple) mais la fiabilité de l’ensemble de la chaîne des intervenants (installateurs, service après vente,…). Cela souligne l’importance de la sensibilisation, de la mise à disposition d’outils et de la formation à apporter aux acteurs de la chaîne. La création d’une charte et d’un réseau permet d’affirmer et d’afficher cette recherche de qualité (réseau Qualit’ENR par exemple dans le cas des CESI).

19Si les porteurs de projet ont besoin d’être rassurés, les financeurs ont également besoin d’être rassurés pour accompagner les projets innovants.

20A ce niveau, l’évaluation des opérations exemplaires menée en 2004-2005 a montré l’apport de crédibilité que représente le soutien de l’ADEME à un porteur de projet pour la mobilisation d’autres partenaires.

  • L’attente d’une « communication par l’exemple » basée sur le partage des retours d’expériences.

21Les développements précédents montrent l’importance de développer une « communication par l’exemple ». A ce niveau, le soutien aux opérations exemplaires visant à démontrer et à favoriser la reproductibilité de telles opérations apparaît comme un mode d’intervention particulièrement pertinent pour mobiliser les acteurs.

22Les individus attendent que les acteurs publics montrent l’exemple. Les collectivités territoriales ont ainsi un rôle important à jouer dans cette exemplarité : les individus seront d’autant plus rassurés si les bâtiments publics (mairies, gymnases, hôpitaux,…) sont équipés des systèmes environnementaux performants.

23Ce besoin de voir  « comment ça marche chez les autres » est aussi perceptible du côté des collectivités locales qui souhaitent s’engager dans des démarches territoriales. Il existe un besoin fort d’échanges et de partage d’expériences des initiatives innovantes.

24Par exemple, l’évaluation des CTD menée en  2003 a mis en évidence le besoin d’une animation renforcée fondée sur le partage d’expériences régionales entre EPCI. Ce partage d’expériences et une plus grande médiatisation de ce qui est fait sont des conditions nécessaires à la mobilisation des producteurs locaux de déchets et à l’impulsion d’une dynamique territoriale.

Image3

25Favoriser les retours d’expériences et développer une communication testimoniale supposent de disposer des informations nécessaires sur les performances environnementales, les gains énergétiques réalisés, …. Or, les bénéficiaires des aides ne disposent pas spontanément des éléments nécessaires pour établir un tel bilan (absence de suivi des économies d’énergie réalisées). Un accompagnement aval s’avère nécessaire pour produire ces informations (campagnes de mesure notamment).    

  • Un besoin d’animation sur le terrain de démarches souvent nouvelles, transversales, cherchant à intégrer des initiatives jusqu’alors disjointes dans une approche globale de territoire.

26Le chargé de mission (CTD, ATEnEE) (financé partiellement par l’ADEME et pour une période donnée) est souvent le seul moteur de la démarche territoriale. Sans cette animation sur le terrain, les projets ne pourraient pas véritablement émerger et engendrer une dynamique sur le territoire. Les raisons sont multiples :

      • D’une part, parce que la démarche n’est pas vécue au quotidien comme une priorité par l’EPCI plus préoccupé à donner, à court terme, une réponse technique à un problème qu’à investir sur le long terme dans une approche intégrée au sein d’un projet global de territoire. Les conditions de réussite des approches territoriales dépendent souvent de la qualité des relations et de l’articulation entre le politique / les services techniques / le chargé de mission. Le travail du chargé de mission doit être porté par une volonté politique au sein de l’EPCI. Sans cela, le risque est en effet que le chargé de mission soit détourné de sa vocation initiale et accaparé par un traitement « technique » classique de telle ou telle problématique. L’approche développement durable n’est portée, dans une majorité de cas, que par le chargé de mission. Son statut -il est recruté le plus souvent pour une durée déterminée dans le cas des CTD, ATEnEE-  peut fragiliser la pérennisation de la démarche si le poste n’est pas reconduit.

      • D’autre part, parce que ces approches globales nécessitent une mobilisation d’acteurs diversifiés, nécessitant de fait un fort travail d’animation et de mobilisation  sur le terrain. Cette force de mobilisation demande d’autres qualités que les compétences généralement techniques disponibles au sein des services des collectivités. Les évaluations montrent ainsi un besoin de formation des chargés de mission eux-mêmes sur ces dimensions organisationnelles. Elles soulignent également le besoin de leur mettre à disposition des outils d’animation et de concertation pour mobiliser les énergies autour de la démarche territoriale mais aussi des outils de suivi et d’évaluation afin de pouvoir améliorer en continu la démarche engagée.

27L’évaluation des Plans de Déplacement Entreprises (PDE) montre que l’existence d’un pilote et animateur local des démarches est, là aussi, une condition de l’apparition et de succès des projets.

28Le PDE est un projet complexe dont la mise en œuvre nécessite des compétences en ingénierie et de management de projets. Les retombées et les conditions de mise en œuvre sont à la fois organisationnelles, économiques, sociales et environnementales. Or, le PDE est traité de manière trop souvent technique et le volet ingénierie et management de projet est souvent trop faible pour accompagner efficacement la démarche PDE. Là encore un besoin d’outils et de formations existe sur ces dimensions non techniques.

Image4

29Ce rapide retour d’expériences des évaluations les plus récentes menées par l’Agence nous a permis d’identifier quatre conditions pour impulser une dynamique de développement durable répondant aux attentes de terrain exprimées par les acteurs, maîtres d’ouvrage ou porteurs de projets (grand public, entreprises, collectivités) :

  • Sensibiliser, informer, rassurer (par un acteur impartial)

  • Accompagner le montage de projets (expertise et conseil, mise à disposition d’outils)

  • Animer la démarche sur le terrain (favoriser le travail d’un chargé de mission, sa formation)

  • Faire connaître, partager (favoriser les retours d’expériences, développer une communication par l’exemple)

Image5

2. Enseignements sur la pratique de l’évaluation de politiques publiques dans le domaine de l’environnement et du développement durable

30L’évaluation de politiques publiques dans le domaine de l’environnement et du développement durable soulève un certain nombre de contraintes et de difficultés. Certaines difficultés sont spécifiques au champ de l’environnement, d’autres sont communes à l’évaluation de toutes politiques publiques mais se révèlent encore plus prégnantes dans le champ de l’environnement et du développement durable.

31Délimiter le champ de l’évaluation : Une phase critique du travail amont de l’évaluation est de définir le périmètre d’étude et la profondeur du questionnement évaluatif (Que va t-on chercher à évaluer : la pertinence, l’efficacité, l’impact, la cohérence, l’efficience de l’action menée ?). Délimiter le champ d’étude est particulièrement délicat pour les évaluations portant sur des démarches transversales et intégrées. En effet, une multitude d’acteurs est concernée sur des thématiques et domaines divers. Deux écueils sont alors à éviter dans la délimitation du champ d’étude:

      • Vouloir embrasser l’ensemble du dispositif au risque de survoler chacun des points et d’être incapable de formuler des recommandations d’évolution opérationnelles.

      • Se focaliser sur un type d’actions ou d’acteurs au risque de passer à côté de ce qui fait la valeur ajoutée et la raison d’être d’une démarche transversale et intégrée.

32L’évaluation chemin faisant ou ex post est une opportunité rare dans le cycle de vie d’un programme et il est dommage de passer à côté d’informations par un périmètre trop restreint. De fait, la tendance naturelle est plus à étendre le champ d’investigation qu’à le restreindre. Un périmètre d’étude étendu (thématiques, questions évaluatives) soulève deux difficultés :

  • La compétence des prestataires :  Appréhender une démarche transversale multi thématique et multi acteurs suppose de disposer des compétences nécessaires pour à la fois saisir la dimension organisationnelle et estimer, de manière plus quantitative, les résultats et impacts de l’action. S’agissant de la dimension environnementale, les résultats et les impacts ne sont pas forcément, lorsqu’il s’agit de les mesurer, simples à cerner. En effet, les évaluations menées ont mis en lumière que les informations sur les performances énergétiques ne sont généralement pas disponibles ou non homogènes chez les bénéficiaires et qu’il appartient souvent au bureau d’études de les identifier (impliquant des visites sur site). S’agissant du développement durable, il faut évidemment avancer sur les trois dimensions sociale, économique et environnementale, travailler sur les aspects qualitatifs et quantitatifs, et réussir à croiser ces informations pour aboutir à des conclusions argumentées et des recommandations d’évolution de l’action : de fait, la tâche n’est pas aisée. Le bureau d’études doit posséder une double compétence et expérience en évaluation des politiques publiques et dans le domaine de l’environnement. En pratique, les équipes de chargés d’études possèdent les qualités requises à la bonne réalisation de leur mission. On peut cependant regretter le faible nombre de bureaux d’études compétents sur le marché. Si la commande publique se développe dans le domaine, l’offre devrait naturellement se diversifier.    

  • Faire coïncider le temps de l’évaluation et de la décision : Outil de pilotage stratégique de l’action, l’évaluation doit éclairer les décisions aux différents moments clefs du cycle de vie d’un programme (à mi parcours pour recadrer et réorienter l’action ou ex post pour éclairer le renouvellement ou la génération de nouveaux programmes). Le défi est alors de concilier le temps court du cycle de vie d’un programme et de la décision avec le temps long de l’évaluation des résultats et des impacts de l’action publique.  L’objectif de disposer rapidement des conclusions d’une évaluation peut être antinomique avec un champ d’études large nécessitant des investigations sur les dimensions environnementales, sociales et économiques des projets. Dans le cas de l’environnement et du développement durable où l’appréciation des résultats et des impacts ne se conçoit que sur le long terme,  les évaluations menées ne peuvent identifier que des résultats et des impacts prévisionnels ou partiels. Disposer de données réelles nécessiterait un recul qui ne correspondrait plus à l’agenda de la décision. Il faut donc arbitrer et faire un compromis entre deux objectifs antagonistes : caler l’évaluation sur le temps de la décision publique pour éclairer les choix et disposer de données fiables sur les résultats et les impacts réels de l’action.  L’expérience montre qu’il est difficile dans une même étude de récolter à la fois des données quantitatives et qualitatives sur les conditions de succès des projets et de procéder à un chiffrage des économies d’énergies (problème de disponibilité et d’homogénéité des données souligné ci-dessus). Selon les ressources (temps, budget) dont on dispose, il peut être utile de limiter l’ambition de l’évaluation à l’une ou l’autre facette. Cette difficulté de faire coïncider temps de l’évaluation et temps de la décision confère d’autant plus d’importance au travail amont de cadrage et de programmation annuelle et pluri annuelle des évaluations.

Conclusion

33En guise de conclusion et d’ouverture sur une discussion plus fondamentale du lien entre pratique de l’évaluation et développement durable, on pourrait enfin se poser la question de savoir si l’on peut évaluer une action visant un développement durable comme une autre action. La bonne gouvernance et l’idée de démocratie participative quelquefois présentées comme le quatrième pilier du développement durable ne doivent-elles pas amener à adopter une évaluation participative ?

34Il nous semble que la pratique de l’évaluation du développement durable devrait encourager a minima l’expression des différentes parties prenantes et le respect de la pluralité des points de vue dans la conduite de l’évaluation. Un certain nombre d’éléments sont importants pour garantir la multiplicité des points de vue : la constitution au sein des organismes de cellules d’évaluation chargées d’apporter en interne une certaine distanciation par rapport à l’objet évalué, la participation de personnalités extérieures à l’institution aux comités de pilotage des évaluations, le recours à des chargés d’étude externes et la diffusion la plus large des résultats des évaluations.

35Les principes énoncés dans la charte de l’évaluation de la Société Française de l’Evaluation (transparence, distanciation, compétence, respect des personnes, pluralité, responsabilité) fournissent le cadre de référence dans lequel doit se développer une évaluation de qualité, utile pour le décideur public mais aussi pour le contribuable et le citoyen. L’évaluation devient alors elle-même un outil au service de la bonne gouvernance et du développement durable.

Haut de page

Bibliographie

ATEnEE Infos (2006), « Une évaluation d’étape de la démarche des contrats ATEnEE », Lettre d’information des Actions Territoriales pour l’Environnement et l’Efficacité Énergétique, n° 4.

Ministère de l’Ecologie et du Développement Durable (2006), « Un cadre de référence pour les projets territoriaux de développement durable et agenda 21 locaux », Paris,  30 pages.

Société Française de l’Evaluation, « Charte de l’évaluation des politiques publiques de la SFE » disponible sur le site www.sfe.asso.fr

Références des évaluations citées* :

ADEME (2005), « Evaluation nationale des Plans de Déplacements Entreprise » réalisée par ATEMA conseil et MHC conseil.

ADEME (2005), « Evaluation d'étape de la démarche ATEnEE » réalisée par Ernst & Young.

ADEME (2005), « Evaluation des opérations exemplaires de l’ADEME entre 2000 et 2002 » réalisée par ADAGE Environnement.

ADEME (2003), « Evaluation des Contrats Territoriaux Déchets » réalisée par Algoé.

ADEME (2003), « Première évaluation de l’activité de conseil des « Espaces Info-> Energie » réalisée par IDE Environnement.

ADEME (2003), « Evaluation des déterminants d’achat de chauffe-eau solaire individuel » réalisée par BVA.

Rapports consultables au centre de documentation de l’ADEME à Angers.

Fiches synthétiques des évaluations disponibles courant 1er trimestre 2007 sur le site www.ademe.fr

Haut de page

Notes

* En collaboration avec Florence Veillet et Grégory Chédin du service évaluation de l’ADEME.
Haut de page

Pour citer cet article

Référence électronique

Eric Plottu, « Evaluation et développement durable :Retour d’expérience de la pratique de l’évaluation à l’ADEME », Développement durable et territoires [En ligne], Points de vue, mis en ligne le 08 janvier 2007, Consulté le 27 novembre 2009. URL : http://developpementdurable.revues.org/index3115.html

Haut de page

Auteur

Eric Plottu

Eric Plottu est économiste au service évaluation (Direction Exécutive de la Stratégie et de la Recherche) de l’Agence de l’Environnement et de la Maîtrise de l’Energie (ADEME) eric.plottu@ademe.fr

Haut de page

Droits d'auteur

© Développement durable et territoires

Haut de page