Welfare & Lavoro
Cooperazione internazionale, per cominciare a valutare l’impatto serve un metodo
Presentato il dossier voluto da Link2007 e Social Value Italia che si pone come primo tassello nel cammino di promozione di una cultura dell’impatto a livello italiano, che renda la valutazione una pratica quotidiana e consolidata tra coloro che attuano ad ogni livello interventi di cooperazione allo sviluppo
di Redazione
Il dossier “Valutare l'impatto della cooperazione internazionale” realizzato dalla rete di ONG Link 2007 e da Social Value Italia, presentato oggi al Ministero degli Affari Esteri e della Cooperazione Internazionale, vuole essere una utile sintesi di quanto oggi esiste a livello internazionale, con particolare riferimento agli strumenti più applicabili alla cooperazione italiana.
I rappresentanti delle istituzioni, la dr.a Laura Frigenti, direttrice della Agenzia Italiana della Cooperazione Internazionale e il Vice Ministro della Cooperazione Internazionale, min. Luca Maestripieri, hanno voluto sottolineare l'importanza dell'iniziativa, voluta da chi della società civile si occupa di cooperazione internazionale. Il fatto che la proposta, culturale prima che tecnica, venga "dal basso" ha un valore particolare. Questo significa infatti che le Ong di Link 2007 non intendono più la valutazione come un metro che possa incidere negativamente sul giudizio che i donatori possono dare sui loro progetti, ma come un percorso che, facendo tesoro anche dei possibili errori derivanti dalla complessità dei contesti, serva all'organizzazione per migliorare e crescere.
Determinante è stata la scelta di voler costituire un gruppo “misto” tra chi lavora sul campo (le ONG) e chi si occupa di valutazione d'impatto dal punto di vista più accademico (Social Value Italia). I punti salienti sono ampiamente condivisi: la valutazione d'impatto è uno strumento di management, che deve coniugare etica e competenza tecnica. Non è uno strumento di sanzione, né di marketing.
Link 2007 e Social Value Italia vogliono avviare un processo con le istituzioni che si occupano di cooperazione internazionale, non presentare uno standard rigido, applicabile a qualsiasi realtà e contesto. Si tratta di un punto di partenza aperto a istituzioni e a società civile che prevede un ampio e condiviso dialogo.
Il Dossier
Margherita Romanelli, Policy Advisor e Responsabile Asia di GVC, Irene Bengo, Ricercatrice di Tiresia-Politecnico di Milano, che hanno guidato il gruppo di lavoro di esperti che hanno redatto il documento e Valentina Langella di ALTIS
Perché un documento sul tema della valutazione di impatto?
Coerentemente con la missione delle ONG aderenti alla rete LINK2007, la misurazione dell’impatto delle azioni realizzate per sradicare povertà e disuguaglianza, assicurare i diritti fondamentali dell’uomo e della donna, rispondere alle crisi umanitarie e promuovere uno sviluppo sostenibile, ricopre un ruolo fondamentale nella ricerca costante di indurre cambiamenti positivi.
Con questa finalità, a partire dalla firma della “Carta sul cammino verso l’accountability” di LINK2007 sottoscritta il 16 ottobre 2013, si è rafforzato l’impegno nella realizzazione di alcune misure che pongono la valutazione al centro delle nostre strategie di intervento. Partendo da importanti premesse, intendiamo identificare e condividere principi, linee guida comuni e un percorso che individui un set di strumenti utili per la valutazione di impatto. Questi sono stati elaborati in un dossier che mette in sinergia le conoscenze maturate e sistematizza le molteplici metodologie disponibili.
Nel presente documento, utilizziamo come definizione d’impatto quella data dalla OECD che lo identifica come: “the positive and negative, intended and unintended, direct and indirect, primary and secondary effects produced by an intervention” misurato attraverso: a) indicatori di risultato (outcome), che identificano i benefici diretti che l’intervento si propone di raggiungere, e concorrono, insieme agli output di progetto e agli indicatori di impatto, ad identificare l’efficacia; b) indicatori di lungo periodo che “misurano la qualità e la quantità degli effetti generati dall’intervento e descrivono i cambiamenti nelle vite delle persone e lo sviluppo a livello globale, regionale e nazionale, tenendo conto delle variabili esogene che lo Influenzano” (OECD, 1991).
Consapevoli della complessità di introdurre un impianto di valutazione, abbiamo scelto un percorso graduale che prevede un sistema di valutazione d’impatto orientato, in una prima fase, all’analisi dei risultati ottenuti in relazione ai bisogni prioritari espressi e successivamente all’analisi degli effetti di lungo periodo.
Prima di tutto abbiamo sintetizzato i principi che, sulla scorta anche dei numerosi studi internazionali, reputiamo importanti per guidare una buona valutazione:
Principi per una buona valutazione:
-
Le agenzie di cooperazione dovrebbero avere una propria policy sulla valutazione, definire e diffondere chiare linee guida e metodologie, definire ruoli e responsabilità all’interno del processo valutativo;
-
Il processo di valutazione dovrebbe essere imparziale e indipendente rispetto al processo di policy-making, per una maggiore credibilità;
-
Il processo di valutazione deve essere il più aperto possibile rispetto a risultati conseguiti e resi disponibili;
-
La valutazione deve essere utilizzata per influenzare i policy maker;
-
La valutazione deve coinvolgere i beneficiari, i partner (in particolare quelli locali) e i donatori e consentire un apprendimento che porta ad una migliore efficienza ed efficacia nel raggiungimento dei risultati condivisi;
-
La valutazione deve essere parte integrante nel disegno del programma fin dall’inizio. L’identificazione degli obiettivi che l’attività si propone di raggiungere è prerequisito essenziale per gli obiettivi della valutazione. Il disegno della valutazione deve definire le attività da valutare (istituzioni, settori, programmi, progetti) e contenere informazioni come l’analisi di contesto, gli obiettivi, le risorse, l’impatto atteso;
-
Il reporting, oltre a dover essere molto chiaro, deve contenere in particolare il profilo delle attività valutate, una descrizione della metodologia utilizzata, i risultati principali, le lezioni apprese, una serie di conclusioni e raccomandazioni.
Il risultato finale del nostro lavoro, che qui riassumiamo brevemente, è una proposta metodologica, concretamente applicabile agli interventi dei soggetti della cooperazione allo sviluppo.
Proposta metodologica
In primo luogo abbiamo pensato fosse utile passare in rassegna diverse tipologie di modelli/framework e buone pratiche al fine di ampliare la gamma di modelli e approcci di misurazione utilizzabili dalle organizzazioni. In questo senso, la percezione che la valutazione sia un processo eccessivamente dispendioso può essere mitigata dalla vasta scelta di framework esistenti, altamente diversi in termini di scopo, dati richiesti, prospettiva dell’analisi, tra i quali le organizzazioni possono essere orientate nella selezione del più idoneo tenuto conto delle caratteristiche e della dimensione dell’iniziativa da valutare e delle risorse a disposizione. Infatti, nonostante la crescente importanza attribuita alla valutazione, ciò che limita spesso l’utilizzo di una buona valutazione d’impatto è soprattutto la quantità di risorse, in termini economici ma anche di tempo, di capitale umano e di competenze necessarie per condurla, che devono essere sottratte al progetto stesso.
Inoltre, il documento propone una guida operativa per accompagnare passo passo le organizzazioni nell’implementazione del modello scelto in coerenza con il principale strumento di progettazione degli interventi di cooperazione internazionale, il Project Cycle Management. L’intento è quello di integrare le attività e le modalità di progettazione già poste in essere dalle organizzazioni con la valutazione dell’impatto, ovvero andare a rivedere gli elementi del ciclo del progetto (processo) sin dall’inizio con la lente della misurazione dell’impatto.
La scelta di presentare e approfondire una pluralità di framework di misurazione parte dalla convinzione che non si può ritenere applicabile la filosofia del “one size fits all”: l’individuazione del modello deve essere frutto di un processo di riflessione interna all’organizzazione e di coinvolgimento degli stakeholder. Nel contesto della cooperazione internazionale appare più opportuno standardizzare il processo valutativo a partire dalla scelta della metodologia da utilizzare, piuttosto che il singolo metodo di misurazione/analisi quantitativa o qualitativa. Non esiste, infatti, un’unica maniera di valutare, così come non esiste un unico punto di vista da dove guardare il mondo. Se il processo di valutazione messo in pratica risulterà completo e robusto, e rispondente alle esigenze e obiettivi di misurazione, allora sicuramente comprenderà tutte le componenti proprie del settore della cooperazione internazionale (ad es. sostenibilità, empowerment, crescita della popolazione beneficiaria).
Contestualmente alla metodologia da utilizzare, è necessario tenere in considerazione alcune variabili che possono orientare l’organizzazione a propendere per un modello specifico e combinare fra loro metodi di misurazione e analisi differenti. In primis, occorre considerare la tipologia di attore beneficiario (richiedente) della misurazione, rispondendo agli obiettivi per cui viene effettuata e riflettendo il set di valori e principi sottostanti ai soggetti coinvolti. Ad esempio, l’utilizzo di metodi che includano tecniche partecipative è coerente ad un preciso concetto di sviluppo. Un’ulteriore variabile di scelta è connessa al perimetro di misurazione che può essere relativo all’intera organizzazione o allo specifico progetto; nell’ambito del presente report ci focalizziamo sulla dimensione di progetto.
A partire dalla dimensione interna dell’organizzazione, i soggetti (decisori, project manager, operatori) che implementano le attività e il processo di misurazione stessa hanno come obiettivo l’individuazione di indicatori e metriche che supportino le decisioni interne, migliorino l’efficienza e l’efficacia delle attività, l’apprendimento della comunità e favoriscano il raggiungimento di risultati sociali migliori.
L’applicazione di metodi partecipativi presuppone un paritetico ruolo dei traget group di beneficiari e degli stakeholder espressione della comunità di riferimento nelle fasi di progettazione ed implementazione. Essi stessi sono dunque attori che possono essere considerati interni alla fase di realizzazione e come tali, assieme ai manager e staff di progetto sono i diretti interessati alla misurazione. L’apprendimento che un processo valutativo determina, assicura il rafforzamento in termini di coerenza ed intensità di impatto, quindi di capacità di rispondere sempre meglio ai bisogni della popolazione target e di coinvolgere e raggiungere il maggior numero di beneficiari diretti e indiretti, priorità di ciascun intervento di cooperazione internazionale.
Ulteriori direttrici nella selezione del modello sono connesse alle caratteristiche stesse della metodologia. Approcci troppo complessi e onerosi, per quanto sofisticati, non renderebbero la misurazione fattibile, sostenibile e replicabile. Il modello, inoltre, dovrebbe possedere la capacità di rappresentare la molteplicità di obiettivi (sociale, economico, ambientale) perseguiti da un progetto che, come noto, genera valore per differenti stakeholder, tanto più tenuto conto delle differenze valoriali connesse con la molteplicità dei contesti culturali in cui gli interventi di cooperazione internazionale operano. Il sistema di valutazione deve permettere il costante allineamento con la mission sociale, minimizzando il rischio di “mission drift”. Deve, inoltre, consentire di individuare e “popolare” gli indicatori specifici di progetto ed essere coerente con il sistema di monitoraggio, al fine di restituire la natura pluri-soggettiva dell’intervento. Infine, il disegno di modelli specifici per settori potrebbe risultare utile nella scelta degli indicatori più appropriati, integrandoli con modelli non settoriali.
Un’ulteriore nota metodologica importante risiede nella reale opportunità di misurare gli impatti sociali che, per definizione, sono intercettabili e quindi correttamente misurabili in un orizzonte temporale di lungo periodo. Tale orizzonte supera sicuramente i tempi di realizzazione e quindi di conclusione dei progetti di cooperazione; per poter misurare sarebbe necessario impostare un sistema di monitoraggio che copra dai 3 ai 5 anni la conclusione del progetto. Tale approccio non può essere a carico esclusivamente dell’organizzazione che realizza il progetto ma, deve divenire una pratica condivisa sposata e supportata in primis dagli enti finanziatori, prevedendo l’allocazione di risorse finalizzate allo svolgimento di tale attività.
Ad oggi, il sistema nel suo complesso non supporta le organizzazioni nel poter “ritornare” sui risultati a distanza di tempo. Per tale motivo ci poniamo come primo obiettivo l’intercettazione e quindi la misurazione degli outcome come migliori proxy del potenziale impatto futuro generabile dall’intervento.
In sintesi, quindi, un approccio alla valutazione dell’impatto per i progetti di cooperazione internazionale dovrebbe possedere le seguenti caratteristiche:
-
Supportare l’apprendimento e il rafforzamento interno all’organizzazione
-
Supportare la crescita e lo sviluppo della comunità di riferimento
-
Valorizzare i contributi di tutti i soggetti coinvolti (beneficiari, partner, istituzioni, comunità)
-
Assicurare un impatto positivo sui beneficiari e incardinarlo ai loro bisogni
-
Determinare un metodo di analisi proporzionale, sostenibile e replicabile
-
Ricorrere a metodi di analisi misti quali-quantitativi
-
Rappresentare la finalità multi – obiettivo dell’intervento
-
Misurare gli impatti sui differenti stakeholder
-
Rappresentare la coerenza tra la missione sociale e i risultati
-
Individuare indicatori di impatto specifici e rilevanti
-
Procedere in coerenza con il sistema di monitoraggio
-
Comunicare l’impatto ad investitori e finanziatori
-
Comunicare l’impatto ai beneficiari
-
Comunicare l’impatto alla comunità e ai policy-maker
-
Rappresentare la natura dell'intervento (sviluppo, ricostruzione…)
Sulla base delle considerazioni espresse e dei criteri sopracitati, il documento propone una “sistematizzazione” e valutazione dei modelli/framework presentati, per guidare ed aiutare le organizzazioni nella scelta della metodologia più appropriata. La tabella sinottica, presente nel documento, ha la finalità di mettere in luce la rispondenza degli approcci di valutazione esistenti rispetto ai criteri menzionati.
