PavoneRisorse

I problemi della valutazione dopo la legge 169

14.04.2013

Valutazione delle scuole e miglioramento: l’immagine e lo specchio
di Franco De Anna
 

Avevo forse 15 anni. Una domenica pomeriggio mio padre mi invitò a fare un giro con lui, offrendomi una birra (!). Seduti a un tavolino, ad un certo punto mi disse “ho finito le sigarette, me ne daresti una delle tue?”. Mi si gelò il sangue. Era tempo che fumavo di nascosto. Lui se ne era accorto, ma aveva trattenuto ed elaborato i suoi pensieri per decidere come e quando rivelarli. Non mi rimproverò (anche lui fumava), né, ovviamente, mi incoraggiò nel vizio. Ma con quella scelta riconsegnò alla mia autonomia e responsabilità le condizioni per la decisione, per trovare la misura del desiderio e della sua soddisfazione, per l’impegno alla disciplina ed al controllo, ed al “miglioramento”. Quel giorno mi fece da specchio. (Recalcati o Lacan direbbero: il Padre, la Legge, il Desiderio… ma certo lui non li aveva letti e quanto ad “evaporare” non ci pensava neppure).
So che allarmati cultori del “politically correct” orripilano al pensiero della pedagogia del fumo e dell’alcool. Anche se, dati alla mano, non pare che il cumulo di proibizioni e prescrizioni dia risultati confortanti. D’altra parte non è necessario essere grandi antropologi per ricordare il ruolo che l’alcool etilico, in mille forme, ha avuto nella storia della cultura e delle civiltà dell’uomo.

Certo, quando si colloca la questione del rapporto valutazione-miglioramento sul piano di un “sistema organizzato”, si è costretti a superare il livello della “clinica” dei rapporti interpersonali.
Ma ciò non significa abbandonarne la “sapienza” retrostante. Anzi: la stessa scientificità (la potenzialità predittiva) e l’appropriatezza tecnica di un disegno valutativo di sistema dipendono largamente dalla capacità di “tener conto ed elaborare” (soprattutto nel caso della scuola) la “complessità” del sistema stesso e l’influenza determinante delle variabili interpersonali e soggettive nel suo concreto funzionamento.
A meno di essere portatore di rudimentali concezioni funzionaliste delle organizzazioni complesse (ahimè è circostanza ricorrente in alcuni “ricercatori sociali” che vanno per la maggiore, singolarmente e a nome di alcune prestigiose Fondazioni) è sempre bene ricordare che nella “ricerca sociale” non è applicabile il paradigma della “variabile indipendente” (le condizioni del laboratorio scientifico). Nello studio dei fenomeni sociali la condizione “ceteris paribus” manda fuori significanza ogni diagnosi. La stessa complessità multivariabile dei fenomeni ricercati obbliga alla “cautela di verità” che spinge alla ricerca della “migliore inferenza” (come direbbe H.Putnam, vedi p. es. “La filosofia nell’età della scienza” o il dibattito odierno sul “realismo”). E non c’è raffinatezza di tecniche quantitative che restituisca certezze nella ricostruzione dei fenomeni studiati e dei meccanismi causa-effetto ipotizzabili.

Occorre affrontare la questione del rapporto valutazione-miglioramento che viene proposto come cardine del modello di valutazione di sistema per l’istruzione, in corso di elaborazione (vedi “Della faticosa costruzione del sistema di valutazione VALES ed altro”,  www.educationduepuntozero.it)  con tale accortezza scientifica e trarne le debite conseguenze nella determinazione dei protocolli.

Quel nesso viene proposto dal superiore Ministero e dai suoi tecnici come base di una possibile “accettabilità sociale” verso la pratica valutativa, che, come sappiamo, è sempre portatrice di inquietudini, di riserve mentali e psicologiche, di coagulo di interessi collettivi oppositori.
Dare alla valutazione la finalità del miglioramento la rende, insomma, più accettabile e condivisibile.
Ma è così nei processi reali e dentro organizzazioni reali, quali sono le istituzioni scolastiche autonome? Solo in parte e in via subordinata. In ogni organizzazione (che sia una impresa o una scuola autonoma) si “valuta per decidere” e per dare alle procedure decisionali il maggior grado di razionalità possibile. La scelta del miglioramento è solamente una possibile ed auspicabile subordinata.

Una organizzazione sensibile alle procedure valutative incontra la necessità del miglioramento quando riscontra che uno o più obiettivi espliciti del proprio lavoro non sono raggiunti. Ma tra tale riscontro e l’impegno al miglioramento è necessario esplorare un itinerario complesso.

In primo luogo ricostruire una sensata inferenza tra la misura del fallimento di un obiettivo (fallimento totale, parziale, frazionario, ecc..) e le possibili cause. E non è lavoro semplice. Vedi considerazioni precedenti sulla complessità delle variabili, delle loro relazioni, sulla compresenza di cause “oggettive-strutturali” e di dinamiche organizzative in dimensione intersoggettiva. Insomma la ricerca della “migliore inferenza” per dare qualche livello di scientificità alla diagnosi è lavoro impegnativo per l’organizzazione, e la dimensione collettiva ne mette in evidenza componenti cliniche inevitabili.

In secondo luogo, esaurito tale lavoro analitico, il suo trasferimento sul piano della “decisione” apre a una dimensione “economica”: come collocare un obiettivo di miglioramento nel set di obiettivi che ogni organizzazione ha e come ripartire le risorse necessarie, dimensionandole, trasferendole, selezionandole.
Ogni organizzazione opera infatti attraverso un set di obiettivi. Essi possono essere più o meno esaurientemente definiti nella loro varietà (si confrontino tra loro diversi modelli di POF…), ma, per comodità argomentativa potremmo raggrupparli in tre tassonomie: 1) obiettivi di mantenimento e manutenzione (guai se una organizzazione non si ponesse almeno il compito di mantenere le prestazioni raggiunte e di mantenerne le condizioni operative); 2) obiettivi di ricerca e sviluppo. A parte il Regolamento dell’autonomia che fa di questa voce un presidio dell’autonomia stessa, una organizzazione che non esplorasse il fronte dell’innovazione sarebbe semplicemente inerte; 3) obiettivi di miglioramento (vedi sopra).
La composizione di tali tassonomie nella decisione organizzativa (la programmazione  e la gestione) è oggetto di “bilanciamento economico” che deve valutare costi e benefici di tale composizione, posto che ci si muove (sempre) in condizioni di risorse date. Certo il “miglioramento” come istanza generale può essere trasferito per esempio negli obiettivi di manutenzione e mantenimento, oppure (come ovvio) è implicito negli obiettivi di innovazione. Ma il “miglioramento” come obbiettivo specifico si pone come una voce tra le altre nella economia decisionale. Il non raggiungimento di un certo obiettivo può presentarsi in misura parziale o comunque non tale da rendere conveniente lo spostamento degli equilibri di tale economia. Nessun  automatismo dunque. Al contrario di quanto sembrerebbe nella ovvietà dello slogan “si valuta per migliorare”. In realtà “si valuta per decidere”.

In terzo luogo non si può dare per scontato che una organizzazione che venga posta di fronte al riscontrato non raggiungimento di un proprio obiettivo reagisca secondo modelli razionali-funzionali. Al contrario. Esattamente come gli esiti dei processi decisionali in ogni organizzazione sono frutto dell’operare complesso di variabili strutturali e di variabili intersoggettive (in termini sintetici la  “cultura organizzativa”)  allo stesso modo saranno complesse e su piani diverse le reazioni che si riverberano nell’organizzazione a fronte di un dichiarato non raggiungimento di un obiettivo.
Esattamente come mi trovai io nell’aneddoto personale raccontato all’inizio: lo specchiamento non da alcuna garanzia di oggettività ed immediatezza razionale. Anzi: speculum, speculare… L’etimo è prezioso. Lo specchio propone tutt’altro che l’immediatezza della realtà. E’invece  l’avvio di un faticoso esercizio di pensiero e di critica, di sforzo analitico.
Ma anche, all’estremo opposto, un possibile annuncio di morte. Il silenzio del bosco turbato dal pianto delle ninfe per Narciso che è andato al di là dello specchio… Lo specchiamento, inevitabilmente propone una dimensione di duplicità. Narciso può sempre scegliere di non affrontare lo specchio e di salvarsi.
Ma anche: il pianto che turba il bosco potrebbe essere quello dello stagno che si lamenta del non potersi più godere l’immagine della bellezza di Narciso…
Chi si occupa di dinamiche organizzative non deve mai dimenticarsi la duplicità dell’osservazione: l’icona del contadino che tira e bastona il mulo che non vuole muoversi è letta comunemente come “testardo come un mulo”; ma, guardandola dal lato del mulo “testardo come un contadino” è una affermazione che ha il medesimo livello di “scientificità”.

Della consapevolezza di tale complessità del nesso valutazione-miglioramento vi sono scarse tracce nel protocollo di valutazione di sistema che si sta mettendo a punto. Ciò rende urgente qualche esercizio di falsificazione allo scopo di pervenire a maggiori consapevolezze.

In alcuni progetti sperimentali che stanno dando ispirazione e contenuto al progetto VALES (VSQ e VALSIS tra questi), che vorrebbe essere l’introduzione alla valutazione di sistema a regime, la complessità del nesso viene esplorata attraverso l’individuazione di funzioni di supporto affidate a tutor esterni.
La definizione di tali figure sotto il profilo scientifico è tutt’altro che esauriente (si mescolano in modo indifferenziato profili propri del tutor, del counsellor, del mentore). Ma non è questo il vero punto critico: nella comune cultura organizzativa tali figure sono tipicamente “on demand”. Anzi una delle condizioni del successo della loro opera di affiancamento ai processi organizzativi sta proprio nel fatto che sia l’organizzazione stessa a chiederne l’intervento (e a remunerarli).
In tali esperienze, al contrario, il tutor è indicato dall’esterno e dall’esterno remunerato (INVALSI, INDIRE). Di più ancora: le scuole coinvolte partecipano al progetto “in quanto” accettano tali figure esterne.
Nessuno scandalo ovviamente, purchè si tenesse conto della inevitabile deformazione che ciò produce dei rapporti tra singola organizzazione autonoma e “comando” esterno, e nel rapporto (che si vorrebbe lineare) tra valutazione e miglioramento.

Sempre su tale  nesso, nelle esperienze citate si innesta una variabile economica: il miglioramento è connesso a differenziali di finanziamento. Nel caso del VSQ si tratta di “incentivi premiali”; nel caso del VALSIS si tratta dei fondi europei per le regioni obiettivo (PON). E’ del tutto evidente (si veda più sopra) che in tal modo si introduce un elemento eterodeterminato nel bilanciamento economico della combinazione ottimale del set di obiettivi che l’organizzazione si dà, la cui influenza sul processo decisionale può essere variamente espressa nelle singole esperienze; ma inevitabilmente deforma il percorso decisionale che parte dalla considerazione del non raggiungimento di alcuni obiettivi.
Il “miglioramento” da istanza che muove dalla autonoma cultura organizzativa diventa così esso stesso oggetto di “convenienza” attraverso il differenziale di risorse aggiuntive (e le modalità concrete della loro distribuzione interna). Inutile tacere che tale deformazione può assumere (e spesso assume) connotati di vero e proprio moral hazard (fallire gli obiettivi può convenire) o di opportunismo progettuale.

Nelle proposte che si stanno mettendo a punto (VALES) la consapevolezza della complessità del rapporto tra valutazione e miglioramento sembrerebbe esprimersi attraverso la valorizzazione della dimensione dell’autovalutazione. Autovalutazione, miglioramento, valutazione esterna sono proposti come i tre vertici del protocollo di valutazione di sistema.
Ma anche in tale caso sono necessarie alcune notazioni critiche.
L’autovalutazione viene proposta come “dettato di un regolamento”. Ciò da un lato è del tutto pleonastico: la legge prescrive da tempo come obbligo di tutti gli Enti Pubblici (e la scuola autonoma lo è a tutti gli effetti) di dotarsi di procedure valutative e di appositi “nuclei interni” di valutazione.
Ma per altro verso tale affermazione è la spia di una implicita concezione dell’autovalutazione. Non a caso tale processo, “regolato” dal protocollo nazionale, dovrebbe esprimersi utilizzando un “fascicolo” di dati che “il Ministero mette a disposizione delle scuole”.

Il significato reale dell’autovalutazione ha invece altro fondamento, neppure esplorato dalla ipotesi di un regolamento e una raccolta esterna di dati.
L’autovalutazione, come terreno di autonomo impegno di ogni organizzazione è un “indicatore” fondamentale della misura della “propensione” e della disponibilità reale al miglioramento di quella organizzazione.
Dunque non un adempimento etero determinato, ma una premessa che dà “fondato realismo” alla progettazione del miglioramento.
Siamo cioè di fronte ad un rovesciamento di approcci. Gli oggetti elencati (valutazione, autovalutazione, miglioramento) conservano, ciascuno per sé,  tutto il loro spessore semantico specifico. Ma la sintassi che li collega deforma la significazione complessiva del disegno.
Nulla quaestio se da tale rovesciamento non emergessero da un lato tracce di una “strategia interpretativa” della politica pubblica del tutto irrisolta (per esempio: quale teoria dell’autonomia scolastica muove il decisore-finanziatore-valutatore e con quali conseguenze sulla politica di finanziamento); e, su altro versante, una possibile “inconsistenza scientifica” del protocollo stesso.
Qui il segnale è, per esempio, l’approssimazione con la quale si assume come significativo il “corpo di dati” etereo forniti alla scuola per condurre la propria analisi autovalutativa.
A parte la considerazione che tali dati /”scuolaz in chiaro”?), accorpati nel fascicolo inviato dal Ministero, provengono dalla scuola stessa e che dunque, in linea di principio non accrescono certo la sua conoscenza, ciò che si può guadagnare in “comodità”, nel fatto che vengano assemblati a carico di un soggetto esterno, si perde nello spessore significativo che si conquista solamente in una analisi ravvicinata e determinata, capace di collegare dati oggettivi e condizioni operative determinate.
Propongo in proposito un esercizio dirimente: confrontare le informazioni diagnostiche che può offrire la lettura di quel fascicolo ministeriale (le pagine di “Scuole in Chiaro”, sono, o dovrebbero, essere in linea sul sito del Ministero), con le informazioni diagnostiche ricavabili da letture analitiche e interrelate del Bilancio di una scuola opportunamente indicizzato, della relazione al Programma Annuale, e della lettura del POF.
Se si trattasse di garantirsi uno standard di lettura che consenta la confrontabilità dei dati sarebbe sufficiente la definizione di un set di indicatori nel quale collocare dati e informazioni, da proporre alle scuole stesse: sollevare dall’impegno analitico la singola scuola in valutazione, rischiando la significatività dei dati raccolti dal centro per grandi aggregati è francamente un errore scientifico e tecnico. (E di valore simbolico negativo rispetto all’autonomia)
Ma vi sono ragioni di questa perplessità (eufemismo) ancora più radicali: le scuole che in questi anni si sono cimentate con la scelta autonoma dell’autovalutazione, condotta attraverso protocolli espliciti e condivisi, soprattutto attraverso una rete di scuole (dunque esplorando la dimensione della confrontabilità  dei dati) sanno quale impegno fondamentale sia costituito dalla raccolta dei dati in un  monitoraggio interno organizzato, dalla loro trasformazione in informazioni diagnostiche attraverso l’elaborazione di indicatori, quale livello di coinvolgimento collettivo tale impegno richieda. Sono tutti elementi costitutivi del “valore aggiunto” rappresentato dalla scelta dell’autovalutazione come scelta “autonoma”. Tutto ciò che fa dell’autovalutazione un indicatore della propensione al miglioramento, e non l’adempimento previsto in un protocollo che parrebbe postulare il miglioramento come frutto di una necessità lineare.
(Invito il lettore che voglia cimentarsi con tale consapevolezza a vistare il sito www.aumi.it che raccoglie l’esperienza autovalutativa di una rete di oltre 140 scuole della mia regione).

Voglio concludere l’excursus analitico con tre osservazioni

La prima. Come emerge da quanto sopra io non credo che sia “scientificamente e tecnicamente” possibile costruire un sensato protocollo di valutazione delle scuole utilizzando strumenti “a distanza” e su report standard pre-disposti dall’alto/dall’esterno.
Sia perché il complesso delle variabili in gioco nella operatività concreta dell’organizzazione scolastica è apprezzabile pienamente solo con l’osservazione diretta sul campo, sia perché quegli strumenti “a distanza” diventano facilmente preda di “stereotipie”.
L’impegno di ricerca e di risorse andrebbe dedicato prioritariamente proprio alla predisposizione di un protocollo di “osservazione sul campo” ed alla formazione di osservatori/valutatori affidabili.

La seconda. Va sciolta l’ambiguità che ancora circonda il progetto, e che emerge a tratti, su quale sia la strategia del decisore pubblico e quale “teoria” la informi nel costruire il sistema di valutazione. Solo per fare due esempi: la valutazione è considerata condizione per migliorare gli standard di risultato, oppure la valutazione è condizione per migliorare i flussi di finanziamento? Sono due possibili “teorie” non contraddittorie, ma non equivalenti e ispirano protocolli valutativi diversi.

La terza. Le risultanze emergenti dalle sperimentazioni precedenti (quelle citate) sono disponibili ai tecnici che stanno elaborando il modello (INVALSI, INDIRE, ecc..). Innanzi tutto sui nodi critici enumerati in precedenza. Per esempio le difficoltà delle scuole nel costruire in tali contesti assennati progetti di miglioramento sono conclamate.
Certo l’esercizio critico su tali dati implica inferenze che si riflettono sulla “politica pubblica” e le sue responsabilità. E ciò andrebbe fatto ed esplicitato.
Sempre che si sappia distinguere tra policy e politics (l’uso dell’inglese sorvola le inevitabili malizie circa la responsabilità dei tecnici nel rapporto con la “politica”)
Un vecchio detto popolare recita che “non è il campanile a migliorare la cornacchia”. In altre parole non è sufficiente volare intorno al campanile per trasformare un corvo in un’aquila.