PavoneRisorse

Valutazione/autovalutazione di scuola

09.03.2016

Valutazione "esterna" delle scuole: si parte
di Franco De Anna

Come sempre una partenza preoccupa e tende a sequestrare l’attenzione con la cura e l’ansia dei preparativi. Come accade nella esperienza personale, spesso tali preoccupazioni rischiano di far calare dietro l’orizzonte la domanda fondamentale: si parte, ma per dove?
Sicché non pare inutile spendere qualche parola a esplorare l’orizzonte.

Nelle prossime settimane si avvierà la nuova fase di costruzione del Sistema Nazionale di Valutazione, con le visite che i Nuclei Esterni di Valutazione (NEV) cominceranno ad effettuare in circa 400 scuole. Si compie in tal modo, anche se solo in termini di “rappresentazione”, il conseguente “sviluppo” del processo iniziato con la fase di autovalutazione delle scuole (RAV), e con la individuazione sulla base di tale Rapporto del progetto di miglioramento definito secondo criteri “vincolanti e omogenei” (target triennali definiti in materia di esiti degli studenti e obbiettivi a breve coerenti e funzionali a consentire il raggiungimento dei primi, operando sui diversi processi di attività della scuola secondo la classificazione ed il modello del RAV).
A monte le rilevazioni standard dei livelli di apprendimento che pur tra molte contraddizioni si sono consolidate e che da quest’anno potranno “restituire” alle scuole, accanto ai dati della rilevazione annuale anche la “serie storica”. Un significativo apporto diagnostico (a patto che lo si usi in termini di autoanalisi…)
La valutazione delle organizzazioni scolastiche attraverso equipes di valutatori che procedono con visite e interazione diretta sul campo è un passo essenziale e connesso logicamente a quanto in questi anni si sta costruendo per consolidare un Sistema Nazionale di Valutazione. L’esiguo numero di scuole interessate da tali visite rischia di confinare il “significato pratico” di tale passo ad un valore quasi esclusivamente esemplare.
Si tratta di un elemento critico che richiama con forza la necessità di reperire ed organizzare risorse materiali ed umane per definire cadenze realistiche di valutazione di sistema (una valutazione periodica per esempio quinquennale…). E tuttavia va ricordato che il processo “strutturale” rappresenta sostanzialmente un inedito. In passato vi furono alcune sperimentazioni che utilizzarono lo strumento delle “visite” di “osservatori esterni” a partire dall’esperienza del monitoraggio nella fase di avvio della autonomia scolastica (il Monipof: interessò oltre 1000 scuole, con terne di osservatori a composizione mista); più recentemente e direttamente in rapporto con l’odierno sviluppo i progetti VALES e Valutazione e Miglioramento, realizzati sempre dall’INVALSI.
Riferendosi a questi ultimi attraverso necessarie e opportune modificazioni è stato elaborato lo “schema” (se non si vuol parlare di “modello”) che è posto come riferimento sia per il RAV, sia per la “traccia” degli “oggetti” e delle “griglie” di osservazione che guideranno il lavoro dei Nuclei Esterni di Valutazione.

Insieme all’impegno ed alla sfida che tale novità “strutturale” comporterà per molti che costituiranno le “terne” di valutatori sul campo (quorum ego..), credo sia il momento più opportuno per richiamare la necessità di mantenere una buona “soglia critica” su tale lavoro, che ci consenta di verificare, sagomare, nel caso correggere, porre rimedio a ciò che manca, integrare nell’esperienza, un “modello” e un “protocollo” che si misura nella esperienza concreta.
Non c’è mai un modello o un protocollo di valutazione (siamo nel campo della ricerca sociale e dunque dei suoi paradigmi legati ai sistemi complessi e multivariabili) esaustivo e perfetto: la valutazione richiede sempre un atteggiamento di ricerca e di verifica. Le notazioni critiche che seguono sono proposte in questa chiave.
Le raggruppo in tre “campi” problematici.

Modelli, strumenti, misure standard e realtà e culture organizzative

La valutazione in interazione ravvicinata con realtà complesse come l’organizzazione di una scuola autonoma, e contemporaneamente protesa a esitare (anche..) diagnosi sistemiche, e dunque attenta a riferimenti standard, ripropone una questione apparentemente “filosofica” ma in realtà significativamente influente sulle competenze dei valutatori, sul loro atteggiamento, sulla loro interpretazione di ruolo. Dunque sulla loro formazione e necessaria supervisione.
La questione è rappresentabile attraverso una coppia di opposizione sia concettuale che di approcci scientifici tra paradigma nomotetico e paradigma idiografico. ([1])
Confesso di “averla buttata” sul filosofico nella discussione sviluppata nel recente seminario di formazione per i valutatori esterni organizzato dall’INVALSI, per evitare di essere frainteso come “oppositore fastidioso” del modello proposto dall’Istituto (mi capita spesso…). Mi è valso una raccolta silenziosa di sguardi interrogativi…
Si tratta in realtà, come accede sempre nella ricerca sociale, di declinare due sguardi e di combinarli per una visione che restituisca la profondità della realtà. Uno sguardo è diretto a rilevare regole, costanti, permanenze, standard comuni; l’altro sguardo è diretto a rilevare la “unicità” dell’oggetto osservato, la sua irripetibilità e singolarità.
Vale per gli oggetti della ricerca sociale, per le organizzazioni complesse, ciò che vale per gli organismi viventi: la costanza del codice garantisce la riproduzione della specie e il mantenimento delle sue caratteristiche (l’appartenenza e pertinenza al sistema di istruzione, nel nostro caso). E’ questo il fondamento “nomotetico”.
La variabilità del codice costituisce invece il potenziale evolutivo. Dunque l’attenzione idiografica alle differenze individuali delle organizzazioni è di fondamentale importanza sia per la comprensione della loro specifica “cultura organizzativa” sia per il potenziale innovativo evolutivo che ognuna di esse declina.
Un elemento, quest’ultimo, di fondamentale importanza per i caratteri del SNV, se l’attenzione rivolta alla “valutazione per il miglioramento” non è (come a volte a me sembra che sia, specie in taluni interpreti) un puro richiamo “consolatorio” e cosmetico rispetto ai fantasmi che la valutazione suscita.
La pratica, l’allenamento, la sapienza di tale doppio sguardo costituiscono, a mio parere, il cuore dell’impegno professionale, e dunque di formazione clinica e di supervisione, per la costituzione di un “corpo” (e di un’anima…) di osservatori e valutatori. ([2])
Sotto tale profilo, mentre comprendo la necessità dell’INVALSI di consolidare in questa fase iniziale gli strumenti di osservazione e misura con prospettiva sistemica (griglie, indicatori, report standardizzati…), credo sia necessario declinare anche la preoccupazione del consolidamento del “doppio sguardo” attraverso la formazione di osservatori e valutatori, che deve essere ripetuta, alimentata da scouting attento e selettivo, supportata da indispensabile supervisione.
La composizione “mista” dei NEV (un ispettore, un valutatore proveniente dal mondo della scuola, profilo A; un valutatore esterno alla scuola, profilo B) che riprende l’esperienza positiva di VALES e Valutazione e Miglioramento (una coppia di valutatori A e B), è un elemento di grande interesse e valore, proprio per le ragioni su indicate. Il profilo B nelle sperimentazioni precedenti, riequilibrava le tentazioni “nomotetiche” del profilo A, che a sua volta manteneva nella equipe di valutazione, l’approccio alla significatività “sistemica”.
Oggi, con l’aggiunta di un ispettore, è inutile nascondersi che vi sia lo spostamento di equilibrio nel team di osservazione e valutazione. Giustamente si tratta di un tentativo di consolidamento (e di riscrittura..) delle funzioni del corpo ispettivo ( e l’anima?) in vista del consolidamento del Sistema di Valutazione. Ma, proprio per ciò, si tratta di essere avvertiti di tale spostamento di equilibrio e di porvi cura.
Se posso permettermi una critica sintetica: moderare “l’assiomatismo” dei protocolli, delle griglie, delle schede che oggi sembra sequestrare l’attenzione dell’INVALSI (se ne comprendono le ragioni…) e cimentarsi con la “clinica della valutazione” nella formazione dei valutatori.  ([3])

I limiti del “modello” RAV alla prova con la realtà.

La valutazione esterna e l’osservazione diretta devono cimentarsi non solo con la problematica della interazione osservato/osservatore cui si accennava più sopra, ma anche con i limiti intrinseci del “modello”, del “protocollo” e degli strumenti.
Del resto un “modello” è, per definizione, una rappresentazione approssimata della realtà ricostruita attraverso le variabili considerate influenti e determinanti, ed escludendone altre. Nel nostro caso si tratta del Rapporto di Autovalutazione (RAV) che costituisce la “traccia” della rilevazione “a distanza”, ma anche il materiale di partenza e il riferimento essenziale per l’osservazione diretta.
Il modello RAV, come tutti i modelli, ha alcune “mancanze” rispetto alla realtà che vorrebbe rappresentare. Le riprendo di seguito, proprio perché tali considerazioni critiche devono costituire altrettante “avvertenze” per chi si cimenta con l’interazione diretta con la realtà.
Con il pensiero e con lo sguardo si tenga dunque conto che:

1.      Il RAV corrisponde ad un modello di autovalutazione “indotto”. Molte scuole si sono cimentate negli anni con modelli e protocolli di autovalutazione scelti e rielaborati autonomamente, anche con supporto “amico”, e hanno acquisito sensibilità autoanalitica. Si tratta di una minoranza, ovviamente. Rispetto a tale sensibilità, il RAV è un protocollo etero determinato. Non poteva che essere così dovendo estendere a livello sistemico la pratica dell’autovalutazione. Ma ciò deve corrispondere ad una attenzione particolare che va posta nel proseguo dell’esperienza: occorre disporre di modalità, strumenti (la formazione innanzi tutto) capaci di scongiurare il pericolo di una lettura dell’autovalutazione come “adempimento formale”, tanto più presente quanto più la scuola è lontana da esperienze autonome di tipo auto valutativo. (La tensione all’adempimento da parte dei membri dei NIV è più che percepibile nei momenti di formazione dei nuclei stessi, almeno quanto quella verso la comprensione effettiva dei protocolli e degli strumenti)
Tale attenzione deve ovviamente costituire una avvertenza degli osservatori e dei valutatori che, visitando le scuole per la valutazione esterna, troveranno esiti e documenti auto valutativi come materiale essenziale di riferimento e di partenza nell’approccio con l’organizzazione scolastica.
Il “dichiarato” di tale documentazione ha evidentemente valore sintomatico e diagnostico da interpretare rispetto ad autentici processi autoanalitici che dovrebbero costituire l’essenza dell’autovalutazione. Ci vuole “occhio clinico” e non solo opportune “griglie” da riempire.

2.      Dal RAV nella sua prima edizione sono esclusi i contributi che provengono da strumenti di rilevazione di opinioni, percezioni, attese degli interlocutori fondamentali della vita della scuola come i docenti, gli studenti, le famiglie, gli stakeholders della comunità locale. Per la stesura del RAV non erano disponibili strumenti come i questionari finalizzati che invece avevano costituito materiale diagnostico importante nelle sperimentazioni VALES e Valutazione e Miglioramento.
O meglio: non erano a disposizione strumenti di quel tipo nel modello nazionale. Le scuole potevano predisporre tali strumenti autonomamente. (E alcune con esperienze auto valutative precedenti lo hanno fatto ottimamente).
Nella valutazione esterna la rilevazione delle variabili relative a opinioni atteggiamenti, attese, ecc… è affidata ai colloqui e alle interviste tra il NEV e gli interlocutori. E’ evidente che comunque queste ultime mancheranno di un “gancio” importante costituito da rilevazioni più allargate e codificate realizzate attraverso questionari. Occorrerà tenerne conto e usare con destrezza sintomatica il protocollo di interviste e colloqui.

3.      Nel modello aree/processi che costituisce la struttura del RAV e che alimenta il protocollo di osservazione e valutazione esterna, è sostanzialmente assente una area di indagine e di esame relativo ai caratteri della leadership e della direzione della scuola. Le poche tracce si riferiscono a elementi di gestione generale (incarichi, uso del FIS, Funzioni strumentali, ecc....) del tutto insufficienti a descrivere tipologie e caratteri della leadership e della Direzione.
Quasi inutile ricordare che, nell’osservazione di una organizzazione, si tratta di un’area essenziale di raccolta di informazioni, osservazioni, sintomi. Tutti sappiamo che a parità di condizioni “strutturali” spesso il carattere della leadership determina la qualità e la adeguatezza delle prestazioni e dei risultati di una organizzazione. E la scuola non fa differenza.
Che il NEV non abbia in dotazione strumenti standard per tale osservazione, non può significare che trascuri tali variabili. Dovrà sostituire la mancanza di strumenti standard con la propria sensibilità, appunto, “idiografica…” e collocare sensatamente gli esiti dell’applicazione di tale sensibilità entro il profilo valutativo definito per la scuola valutata. ([4])

4.      Ho più volte ricordato in diverse occasioni di dibattito politico e scientifico, che nei diversi “modelli” e protocolli di valutazione delle organizzazioni scolastiche messi a punto dall’INVALSI l’attenzione alla dimensione economica è a mio parere non del tutto adeguatamente approfondita.
Non a sufficienza per caratterizzare il profilo operativo, gestionale, di efficacia e produttività della scuola in termini di coerenza funzionale tra il complesso delle scelte didattiche e formative, relative al complesso dei processi di apprendimento e insegnamento, e la gestione delle risorse economiche, di diversa fonte e finalizzazione. ([5])
Si è compiuto un grande sforzo per ricondurre a declaratorie standardizzabili e a indicatori significativi processi operativi della scuola come la progettazione didattica, le iniziative di orientamento, la misura degli esiti dell’apprendimento, ecc… di rilevante contenuto qualitativo. Paradossalmente processi come quelli della gestione economica che meglio si prestano alla classificazione quantitativa non sono oggetto di approfondimento analogo.
Sono convinto, per esempio, che una assennata, appropriata e mirata, “indicizzazione” dei bilanci delle scuole potrebbe fornire un tratto essenziale per una rappresentazione più completa della operatività dell’organizzazione scolastica, della coerenza e funzionalità tra scelte economiche e priorità “di processo e prodotto”; tra composizione effettiva dei costi e qualità e quantità di “servizi formativi” offerti. Insomma una rappresentazione più completa e realistica della organizzazione osservata e valutata. I dati di “scuole in chiaro” vanno comunque disaggregati e indicizzati per coglierne il potenziale di significato.
So che la responsabilità di tale insufficienza chiama in causa prioritariamente la disponibilità del “finanziatore” principale (MIUR) e la sua apertura non tanto e non solo alla trasparenza e pubblicità interpretate oggi in Scuole in Chiaro (mancherebbe..), ma alla logica della accountability della quale le prime sono solo condizioni necessarie, ma non sufficienti.
Se davvero la Rendicontazione Sociale sarà la tappa finale del processo di costruzione del Sistema Nazionale di Valutazione, meglio sarebbe porvi attenzione per tempo e in modo significativo.

L’elenco precedente potrebbe continuare. Ma mi pare sia evidente l’istanza comune: attenzione sempre a considerare che report, griglie, schede, batterie di indicatori, sono strumenti di essenziale utilità, ma non sono la realtà e neppure sono in grado di contenerla e descriverla interamente.

Una prospettiva (?!)  della valutazione esterna delle scuola

Ripropongo qualche richiamo in relazione al significato ed al valore “sistemico” della costruzione di un Sistema Nazionale di Valutazione che è in corso d’opera, agganciando l’ultimo argomento del paragrafo precedente.
In sintesi estrema: l’impegno scientifico, professionale, organizzativo e economico che la costruzione di tale sistema comporta, sono socialmente, culturalmente e politicamente giustificabili se finalizzati, in ultima analisi, a migliorare la razionalità decisoria dei diversi decisori che operano nel sistema. Dal decisore politico e amministrativo a quello che porta la responsabilità della “produzione finale” in rapporto ai cittadini delle attività e servizi che corrispondono alla fruizione concreta del loro diritto all’istruzione.(Le scuole autonome)
La necessità di un sistema di valutazione strutturato e comune è in particolare vincolate nei sistemi di governance, di welfare territorializzato a titolarità mista, con compiti, responsabilità e funzioni distribuiti su più soggetti: stando alla nostra Costituzione, per esempio, tali sono la Sanità, l’Istruzione, l’Assistenza (art. 117 Cost). In questi casi la valutazione ha due aspetti fondamentali: supportare l’esigenza di erogare Livelli Essenziali di Prestazione (LEP) corrispondenti a diritti sociali “uguali” tra i cittadini, e supportare di conseguenza la razionalità della distribuzione delle risorse pubbliche necessarie, provenienti dalla fiscalità generale. (fabbisogni e costi standard).

I LEP (compito definitorio dello Stato) contemplano dunque due aspetti definitori: da un lato l’individuazione di “diritti” sociali; dall’altro appunto il “contenuto” di “prestazioni”.
Cioè di valutare strumenti, lavoro, e organizzazione (la combinazione dei primi due fattori) necessari a “produrre” i servizi, e la loro declinazione in termini di costi e di qualità erogata.
La questione fondamentale della decisione relativa alla distribuzione equa e razionale delle risorse pubbliche, è dunque legata alla fondamentale disponibilità di un repertorio di LEP, come base portante (sia pure non esauriente) della politica di spesa pubblica. Ciò vale anche per l’istruzione, anche se, ovviamente, la definizione di LEP trova un campo specifico e non riducibile ad altre esperienze. La domanda cui rispondere è: quali i “servizi” essenziali e comuni, eguali dall’Alpi alla Sicilia, al diritto di istruzione?
Ne ho scritto molto tempo fa ma la questione è riemersa perché recentemente sono stato invitato ad una audizione presso la Commissione Cultura della Camera, in occasione di una mozione riguardante proprio le politiche di spesa in relazione ai servizi connessi all’istruzione. L’invito nasceva proprio dalla lettura di quei miei “antichi” contributi. (Si veda per esempio “Federalismo e autonomia scolastica. Gli sviluppi” reperibile on line in http://storico.cidi.it/edicola/DeAnna16set08.pdf).

Nel confronto in Commissione della Camera è emerso il nesso tra impegno di ricerca sul campo necessario a pervenire ad un adeguato repertorio di LEP (la misura delle qualità delle prestazioni, il rapporto tra esse e i costi, la definizione di costi standard per prestazione richiedono l’esplorazione ravvicinata nei luoghi di “produzione”) e le attività di valutazione a livello sistemico. (a chi interessa il video della audizione è disponibile nel sito della Camera http://webtv.camera.it/evento/9063 )
L’inizio della esperienza della valutazione esterna potrebbe essere l’occasione per organizzare un sistema di comparazione allargata delle esperienze “produttive” relative, declinandone costi e qualità. Da qui il raccordo con le osservazioni relative alla attenzione della pertinente indicizzazione dei bilanci delle scuole del capitolo precedente.
Senza tale lavoro di ricerca il calcolo dei fabbisogni mantiene livelli di arbitrarietà che confliggono con l’istanza di equità e controllo di spesa. (La storia della spending review insegna: si taglia oggi con la stessa incongruenza con la quale ieri si è speso..)

Un lavoro in prospettiva per l’INVALSI? Non solo. La ricerca valutativa è un compito che appartiene all’Istituto, ma in tale prospettiva esso dovrebbe consolidare la sua funzione di “tecnostruttura” al servizio dell’intero sistema di governance e superare la mortificante (a mio parere e dal punto di vista dell’autonomia della ricerca) declinazione di “ente strumentale del MIUR”. I referenti interessati alla decisione sui trasferimenti di spesa pubblica, e interessati alla valutazione del servizio scolastico, sono tutti i titolari del governo misto del welfare territorializzato: le Regioni, il sistema delle autonomie locali, le stesse autonomie scolastiche.
Aggiungo che per affrontare un orizzonte di ricerca come quello qui delineato (valutazione e declinazione dei costi standard e dei trasferimenti di spesa) sarebbe essenziale la collaborazione tra soggetti di ricerca.

Per esempio (perché no?) tra INVALSI e SOSE, la società creata dal Ministero delle Finanze per la ricerca dei fabbisogni e dei costi standard per il sistema delle autonomie.
Forse un modo per pensare al futuro del sistema della ricerca educativa?