Cadre évaluatif, indicateurs SMART, méthodes de mesure et calendrier
L'évaluation du Plan de Gestion Stratégique repose sur un cadre méthodologique robuste articulant 4 niveaux évaluatifs (processus, outputs, outcomes, impacts) et 42 indicateurs SMART mesurés selon 3 temporalités (court, moyen, long terme). Approche inspirée de la théorie du changement (Weiss 1995) et des standards internationaux OCDE-CAD (efficacité, efficience, pertinence, cohérence, durabilité).
L'évaluation distingue 4 niveaux selon chaîne causale : Ressources investies → Activités déployées → Produits immédiats → Changements observés → Impacts durables. Méthodologie inspirée logique d'intervention (Commission Européenne) et théorie du changement (Theory of Change).
Question évaluative centrale : La mise en œuvre du PGS respecte-t-elle les principes de bonne gouvernance (participation, transparence, efficience) ?
8 Indicateurs processus :
| Indicateur | Cible 2024 | Cible 2027 | Source données |
|---|---|---|---|
| Taux réalisation actions programmées | ≥75% actions lancées (mi-parcours) | ≥90% actions achevées | Tableau bord EPMP (suivi mensuel) |
| Respect calendrier actions | ≤20% retards >6 mois | ≤10% retards >6 mois | Diagramme Gantt COTECH |
| Taux consommation budgétaire | 45-55% budget consommé (mi-parcours) | ≥95% budget mandaté | Comptabilité analytique M57 EPMP |
| Taux participation instances | ≥70% présence COPIL/COTECH | ≥70% présence | Feuilles émargement, comptes rendus |
| Satisfaction acteurs impliqués | ≥65% "satisfaits" ou "très satisfaits" | ≥70% | Enquête annuelle (300 répondants) |
| Délai réponse contributions citoyennes | ≤30 jours moyen | ≤30 jours | Registre numérique EPMP (horodatage) |
| Nombre conflits usage signalés/résolus | ≥60% conflits résolus dans 6 mois | ≥70% | Registre conflits Collège Hydraulique |
| Publications transparence (rapports, CR) | 100% CR publiés <15j | 100% | Site web EPMP (vérification dates) |
Méthodes collecte : Extraction bases données administratives EPMP (tableaux bord, comptabilité), enquêtes satisfaction annuelles (questionnaire 25 questions, 300 répondants cible : élus, techniciens, membres CTE, acteurs MOA), entretiens semi-directifs échantillon 30 acteurs clés
Question évaluative centrale : Quelles sont les réalisations concrètes du PGS (surfaces restaurées, exploitations accompagnées, ouvrages réhabilités, etc.) ?
12 Indicateurs outputs (réalisations physiques) :
| Indicateur | Référence 2021 | Cible 2024 | Cible 2027 | Source |
|---|---|---|---|---|
| Surfaces zones humides restaurées (ha) | 0 ha | ≥200 ha | ≥500 ha | SIG EPMP (polygones géoréférencés) |
| Ouvrages hydrauliques réhabilités | 0 | ≥60 | ≥120 | Base données patrimoniale EPMP |
| Exploitations converties agriculture bio | 287 (23% SAU) | 380 (+93) | 467 (+180) | DDT (déclarations PAC), Agence Bio |
| Surfaces bio + MAE (ha) | 19 600 ha | 25 800 ha | 29 200 ha (35% SAU) | RPG (Registre Parcellaire Graphique) |
| Exploitations équipées irrigation économe | 12 | 45 | 80 | Chambres Agriculture (suivi aides) |
| STEP mises aux normes | 0/8 | 4/8 | 8/8 (100%) | EPCI (maîtres ouvrage assainissement) |
| Sites sensibles aménagés régulation | 0/12 | 6/12 | 12/12 | PNR, Gestionnaires RNN (rapports) |
| Prestataires touristiques labellisés | 18 | 35 | 60 | PNR (marque "Valeurs Parc") |
| Hectares acquisitions foncières conservation | 0 | 80 ha | 200 ha | Conservatoire Littoral, CEN (actes notariés) |
| Km ripisylves plantées/restaurées | 0 | 15 km | 35 km | EPMP, Fédérations Pêche (suivis terrain) |
| Personnes formées (agriculteurs, techniciens) | 0 | 420 | 850 | Organismes formation (feuilles émargement) |
| Nombre partenariats nouveaux formalisés | 12 (2021) | 25 | 40 | EPMP (conventions signées) |
Méthodes collecte : Extraction bases données administratives sectorielles (DDT pour PAC, RPG pour surfaces agricoles, Agence Bio pour conversions, EPMP pour SIG zones humides), vérifications terrain échantillonnées (10% réalisations contrôlées in situ), photos géolocalisées avant/après travaux
Question évaluative centrale : Les actions du PGS produisent-elles les changements attendus sur état environnemental, pratiques agricoles, dynamiques socio-économiques ?
14 Indicateurs outcomes (résultats intermédiaires) :
| Indicateur | Référence 2021 | Cible 2024 | Cible 2027 | Méthode mesure |
|---|---|---|---|---|
| Débits étiage rivières (m³/s, moyenne 5 stations) | 2,8 m³/s (août) | 3,0 m³/s (+7%) | 3,3 m³/s (+18%) | Débitmètres automatiques DREAL (mesure continue) |
| Niveaux piézométriques moyens (m NGF, 12 piézomètres) | -0,8 m vs normale | -0,5 m | -0,2 m (stabilisation) | Piézomètres BRGM (mesure bimestrielle) |
| Concentration nitrates masses eau (mg/L, moyenne 18 stations) | 42 mg/L | 38 mg/L (-10%) | 32 mg/L (-24%) | Analyses physico-chimiques Agence Eau (4 campagnes/an) |
| % masses d'eau bon état écologique DCE | 38% (18/47) | 48% (23/47) | 62% (29/47) | Évaluation DCE DREAL (protocoles normés) |
| Indice oiseaux prairies STOC (base 100 en 2010) | 78 (-22%) | 84 | 92 (+18% vs 2021) | Protocole STOC MNHN (62 points écoute, printemps) |
| Richesse spécifique amphibiens (nb espèces, 24 mares témoins) | 7,2 esp./mare | 8,0 | 9,5 | Inventaires nocturnes OFB + associations (3 passages/an) |
| Surfaces habitats naturels prioritaires bon état (ha) | 42 800 ha | 48 200 ha | 56 400 ha | Cartographie habitats EPMP + DREAL (tous 3 ans) |
| IFT moyen (Indice Fréquence Traitement pesticides) | 3,8 | 3,2 (-16%) | 2,85 (-25%) | Enquêtes pratiques Chambres Agriculture (échantillon 120 exploitations) |
| Volumes irrigation prélevés (Mm³/an) | 12 Mm³ | 11,1 Mm³ (-7,5%) | 10,2 Mm³ (-15%) | Compteurs volumétriques ASA + DDT (relevés annuels) |
| Revenus moyens agriculteurs (€/UTH, échantillon 80 exploitations) | 28 400 € | 30 200 € (+6%) | 32 800 € (+15%) | Enquêtes comptables Chambres Agriculture (réseau RICA local) |
| Taux mortalité huîtres conchyliculture (%) | 38% | 32% (-16%) | 28% (-26%) | Enquêtes SRC (240 producteurs, déclarations semestrielles) |
| Fréquentation touristique (M visiteurs/an) | 2,1 M | 2,25 M (+7%) | 2,4 M (+14%) | Comptages 12 Offices Tourisme + 18 sites payants |
| Emplois territoriaux totaux (ETP) | 18 200 | 18 800 (+3%) | 19 600 (+8%) | INSEE CLAP + Pôle Emploi DEFM (extraction annuelle) |
| Taux acceptabilité sociale PGS (% habitants favorables) | 68% (2021) | 72% | 75% | Enquête représentative 600 habitants (institut sondage, méthode quotas) |
Question évaluative centrale : Le PGS produit-il des transformations durables du territoire (résilience écologique, transitions économiques, nouvelles pratiques institutionnalisées) ?
8 Indicateurs impacts (mesure 2030, post-PGS) :
| Indicateur impact | Cible 2030 (3 ans post-PGS) | Méthode mesure |
|---|---|---|
| Résilience écologique zones humides (indice composite) | ≥70/100 (vs 48/100 en 2021) | Indice composite (diversité habitats, connectivité, régénération naturelle, résistance perturbations). Expertise scientifique INRAE + Universités |
| Pérennité conversions agriculture bio (% maintien après 5 ans) | ≥80% exploitations converties 2022-2025 maintenues bio en 2030 | Suivi longitudinal cohorte 180 exploitations converties (enquêtes annuelles Chambres Agriculture) |
| Émissions GES territoriales (ktCO₂eq/an) | -25% vs 2021 (stockage carbone ZH restaurées + réduction intrants + transitions pratiques) | Bilan carbone territorial méthode ALDO ADEME (3 bilans : 2021, 2027, 2030) |
| Attractivité résidentielle (solde migratoire annuel) | Solde positif +150 habitants/an (vs -80 en 2015-2020, +20 en 2027) | INSEE recensement + fichiers électoraux (flux entrées-sorties) |
| Niveau conflictualité usage ressources (conflits/an) | ≤8 conflits signalés/an (vs 24 en 2018-2020, 12 en 2027) | Registre conflits Collège Hydraulique + contentieux juridiques tribunaux administratifs |
| Ancrage gouvernance participative (institutionnalisation) | Conseil Territorial Élargi pérennisé au-delà 2027, inscrit statuts EPMP, budget dédié ≥50 K€/an | Analyse délibérations CS EPMP, budgets primitifs, participation effective membres CTE |
| Notoriété/image territoire (enquête nationale) | 60% Français connaissent Marais Poitevin comme "territoire exemplaire gestion durable" (vs 12% en 2021) | Enquête représentative nationale 2 000 personnes (institut sondage), notoriété assistée + image perçue |
| Réplication modèle autres territoires | ≥5 territoires zones humides France ont adopté démarche inspirée PGS Marais Poitevin (gouvernance participative + gestion adaptative) | Recension réseaux nationaux (Ramsar, PNR, EPTB), analyse similitudes méthodologiques |
Calendrier évaluation impacts : Mesures 2030 (soit 3 ans après fin PGS 2027) pour capturer effets durables. Évaluation post-PGS commandée 2029, résultats 2030. Budget 120 K€ prévu conventions pluriannuelles (clause spécifique financement évaluation ex-post).
L'évaluation mobilise 6 méthodes complémentaires (triangulation méthodologique) garantissant robustesse conclusions : données quantitatives + données qualitatives, regards croisés experts + citoyens, analyse rétrospective + prospective.
Principe : Suivi continu 42 indicateurs SMART via dashboard numérique interactif (technologies Chart.js + D3.js)
Fréquence mesure :
Valorisation : Graphiques évolutions temporelles, comparaisons cibles vs réalisé, alertes automatiques dépassements seuils, export données open data
Responsable : COTECH (collecte données, alimentation dashboard mensuelle)
3 enquêtes annuelles distinctes :
Enquête 1 : Acteurs impliqués gouvernance
Enquête 2 : Habitants territoire
Enquête 3 : Visiteurs/touristes
Analyse : Statistiques descriptives (tris à plat, tris croisés), analyses textométriques questions ouvertes (logiciel IRaMuTeQ), évolutions longitudinales (comparaisons années N vs N-1)
Principe : Compréhension fine perceptions, recueil récits expériences, identification effets non anticipés (sérendipité)
Échantillon : 40-50 entretiens par évaluation (mi-parcours 2024 + finale 2027)
Grille entretien : 45 questions semi-ouvertes, 3 thèmes (bilan actions réalisées, effets perçus sur territoire, recommandations amélioration), durée 1h30-2h, enregistrement audio (accord préalable), anonymisation citations
Analyse : Analyse thématique contenu (codage manuel + logiciel NVivo), identification récurrences/divergences, verbatims illustratifs, synthèse par catégorie acteurs
Principe : Co-évaluation participative impliquant acteurs terrain dans jugement résultats (empowerment evaluation, Fetterman 2001)
Organisation : 6 focus groups thématiques (1 par axe PGS + 1 transversal gouvernance), 12-15 participants/groupe, durée 3h, animation binôme évaluateur externe + élu EPMP
Déroulement :
Productions : Grilles AFOM co-construites (Atouts/Faiblesses/Opportunités/Menaces), listes recommandations hiérarchisées, verbatims participants
Principe : Comparer coûts investis (28,5 M€) aux bénéfices générés (environnementaux, sociaux, économiques), apprécier efficience allocation ressources
Analyse Coût-Bénéfices (ACB) :
Analyse Coût-Efficacité (ACE) :
Principe : Évaluation de l'évaluation (méta-évaluation) par comité scientifique indépendant, garantie rigueur méthodologique et impartialité conclusions
Comité Scientifique : 5 chercheurs (écologie, hydrologie, sociologie, économie environnementale, sciences politiques), recrutés appel manifestation intérêt (critères : publications scientifiques zones humides, indépendance vis-à-vis EPMP)
Missions :
Rémunération : Vacation 8 000 €/chercheur (total 40 K€), inclus dans budget évaluation
| Évaluation | Période réalisation | Évaluateur | Budget | Livrables | Valorisation |
|---|---|---|---|---|---|
| Évaluation Mi-Parcours 2024 | Jan-Juin 2024 (6 mois) | Bureau études externe (sélection appel offres déc 2023) | 180 K€ | Rapport 120 pages + synthèse 8 pages + 12 recommandations opérationnelles | Présentation COPIL (juin 2024) + séminaire public restitution (sept 2024) + publication intégrale site EPMP |
| Évaluation Finale 2027 | Juil-Déc 2027 (6 mois) | Bureau études externe (sélection appel offres mai 2027, clause interdiction bureau ayant fait mi-parcours = indépendance renforcée) | 220 K€ | Rapport 180 pages + synthèse 12 pages + bilan chiffré 64 actions + 15 recommandations stratégiques | Présentation CS EPMP (déc 2027, vote délibération bilan) + colloque national (jan 2028, 200 participants) + publications scientifiques |
| Évaluation Impacts Post-PGS 2030 | Jan-Juin 2030 (6 mois) | Consortium recherche (universités + INRAE, convention cadre recherche partenariale) | 120 K€ | Rapport scientifique 90 pages + 3 articles revues à comité lecture + guide transfert méthodologie autres territoires (40 pages) | Séminaire scientifique national (juin 2030) + diffusion réseaux Ramsar/PNR/EPTB + communications colloques internationaux |
| TOTAL BUDGET ÉVALUATION 2024-2030 | 520 K€ | 1,8% budget total PGS (28,5 M€) | |||
Par souci de transparence épistémologique, les limites et biais potentiels du dispositif évaluation sont explicités :
| Limite / Biais | Description | Stratégies atténuation |
|---|---|---|
| 1. Absence groupe contrôle | Pas de zone témoin strictement comparable (pas méthode expérimentale randomisée), difficile isoler effets PGS d'autres facteurs (climat, PAC, dynamiques spontanées) | Comparaisons zones PGS vs zones hors périmètre (appariement statistique), analyses séries temporelles (ruptures tendances), modèles statistiques contrôlant facteurs confondants |
| 2. Délais réponse écologiques | Effets pleins biodiversité/écosystèmes nécessitent 10-30 ans, évaluations 2024-2027 prématurées pour impacts durables | Cibles 2024-2027 modestes (premiers signaux), évaluation impacts 2030 programmée, reconnaissance explicite limites temporelles |
| 3. Biais déclaratif enquêtes | Réponses enquêtes = perceptions subjectives (≠ réalités objectives), biais désirabilité sociale (surestimation effets positifs), biais rétrospectifs (mémoire sélective) | Triangulation enquêtes + données objectives (indicateurs biophysiques), anonymisation réponses (libération parole), questions contrôle cohérence |
| 4. Surreprésentation acteurs engagés | Participants enquêtes/entretiens = souvent acteurs déjà impliqués PGS (biais sélection), sous-représentation opposants ou désintéressés | Échantillonnage raisonné incluant non-participants (agriculteurs conventionnels, habitants non mobilisés), relances ciblées populations sous-représentées |
| 5. Monétarisation services écosystémiques contestable | ACB nécessite attribuer valeurs monétaires biodiversité/services écosystémiques = exercice controversé scientifiquement et éthiquement (réductionnisme économique) | ACB fournie titre indicatif (pas critère unique décision), explicitation hypothèses et limites, évaluation multicritères privilégiée (critères qualitatifs + quantitatifs) |
| 6. Risque complaisance évaluateur | Évaluateur externe payé par EPMP pourrait autocensurer critiques (conflit intérêt latent), complaisance pour futures commandes | Sélection compétitive transparente, clause contractuelle liberté conclusions, Comité Scientifique méta-évaluation (garde-fou indépendance), publication intégrale rapports (réputation évaluateur engagée) |
| 7. Coût évaluation vs moyens limités | 520 K€ budget évaluation (1,8% budget PGS) = investissement conséquent, arbitrage vs actions terrain supplémentaires possibles | Justification utilité évaluation (pilotage adaptatif, apprentissage, redevabilité démocratique), mutualisation coûts (données collectées servent aussi suivi opérationnel), valorisation scientifique (articles, transfert) |