PavoneRisorse

Valutazione/autovalutazione di scuola

24.12.2015

Le prossime tappe del Sistema Nazionale di Valutazione: i nodi e i pettini.
di Franco De Anna

Dialogo immaginario (ma non troppo..) tra un autorevole valutatore e un vecchio ispettore

Valutatore: …..Poi, sa, le scuole hanno compilato il Rapporto di Autovalutazione non sempre in modo corretto … circa il 20% hanno scaricato sulla piattaforma  un RAV insoddisfacente…

Vecchio ispettore: …????

Valutatore:… per esempio, una scuola che sta facendo un progetto interessantissimo, che coinvolge il Ministero, una grande impresa e l’apprendistato (lo so perché lo sto seguendo io.. e le assicuro che è proprio un bel progetto)… ohh!! Sa che non l’ha neppure messo nel rapporto di autovalutazione… sicchè…

Vecchio ispettore : (tentando di assumere un’aria ingenua…) e… chi ha ragione in questo caso?

Valutatore: ???

Vecchio ispettore: (come proseguendo il discorso) si.. voglio dire: ha ragione lei a pensare che la scuola sia stata trascurata nel compilare il RAV… o ha ragione la scuola a considerare quel progetto come ininfluente e non importante rispetto al suo operare, al suo rapporto con la comunità locale, con le problematiche formative che affront6a quotidianamente?

Valutatore: ..(tra il meravigliato e il risentito..) Ma se le dico che è un progetto importantissimo!!

Vecchio ispettore: (cercando sempre un tono ragionativo) capisco, ma forse è importante per lei…

Valutatore: (brusco, alza anche un poco la voce) Ma le dico che è un progetto che coinvolge il Ministero e una grandissima impresa…

Vecchio ispettore: (un poco spazientito) ma scusi stiamo valutando la scuola, anzi “come quella scuola si autovaluta” o il progetto in questione?

Valutatore: ??? (sembra sorpreso della domanda)

Vecchio ispettore: (approfitta della sorpresa proseguendo il ragionamento senza interruzioni e affondando l’argomento)… vede è un classico errore di osservazione di cui chi si occupa di valutazione deve tenere conto “clinicamente” Tecnicamente si chiama “effetto proiezione”: l’osservatore estende su altri una scala di valori propria e valuta in base alla loro coerenza con essi. In questo caso il progetto è importante “per lei” e lei ritiene che tale importanza dovrebbe essere condivisa… non è in sé un male… solamente lo diventa se in base a ciò lei esercita la sua funzione di valutatore …occorre  clinica… clinica e supervisione…

Valutatore: (sempre più sorpreso) in che senso supervisione!?

Vecchio ispettore: (assumendo un’aria tra il paziente e il professorale) beh, vede, fare il valutatore, e soprattutto quando si valutino le persone, è mestiere rischioso per derive psicologiche che devono essere tenute sotto controllo e allora…


Valutatore (interrompe..) ma scusi quali derive psicologiche?… abbiamo un protocollo, una piattaforma, degli indicatori…Anzi: tanti indicatori….

Vecchio ispettore: (imperterrito prosegue) …per esempio una deriva sadica è sempre in agguato nella valutazione, ma anche quella pigmalionica… si sa… per tacere della deriva “risarcitoria” …sa?  quello che “ho dovuto faticare per arrivare fin qui… adesso tocca a te…”. Una specie di nonnismo valutativo. Inutile negare. Bisogna saperlo e provvedere in termini di clinica e supervisione…

Valutatore: (spazientito e tutto di un fiato, come per chiudere) si…però così non andiamo da nessuna parte… abbiamo il modello di autovalutazione dell’INVALSi… abbiamo i dati “oggettivi” distribuiti alle scuole… abbiamo i repertori e le scale di valutazione definiti… abbiamo una piattaforma informatica potentissima, senza confronti anche a livello europeo… abbiamo tutto per poter capire se le scuole hanno fatto il RAV per bene o no… e lei mi parla di clinica.!!.

Vecchio ispettore: (dopo un attimo di riflessione) ha ragione… non avevo realizzato che il “giudizio” non è rielaborato da lei… insomma dai valutatori con i possibili difetti di osservazione, ma dall’algoritmo della piattaforma…. E dalle corrispondenze con le tabelle di indicatori elaborate dall’INVALSI Ritiro tutto quanto detto prima… Solo….(si trattiene)

Valutatore (incalzando): solo??!! Dica su!!..

Vecchio ispettore (sommessamente): beh..sa… basta intendersi su cosa significhi autovalutazione  e valutazione esterna e che rapporto le connetta…

Il valore dei modelli

Ho sostenuto fin dall’inizio la necessità e opportunità di lavorare dentro il modello di valutazione disegnato dal SNV e che assume la elaborazione dell’INVALSI traducendola in un modello di autovalutazione che costituisce la prima fase di innesco della costruzione più estesa e complessa del Sistema Nazionale di Valutazione, con la quale si connettono in progress la valutazione delle organizzazioni (auto e etero) e la  valutazione delle persone (a partire dai Dirigenti).
Una necessità e opportunità cui rispondere positivamente anche in presenza di difetti e manchevolezze dei modelli adottati, sia per ragioni “politiche” (per sintetizzare: se aspettiamo di avere il modello perfetto di valutazione non cominciamo mai, e il nostro sistema di istruzione, su questo è in ritardo di almeno trent’anni..) sia per ragioni “scientifiche”: la valutazione ha sempre un “versante” di ricerca da esplorare permanentemente. Non c’è mai un “modello esaustivo”.
Anche perché, a rigore, i “modelli” non sono mai esaustivi.
Un “modello” è sempre una ricostruzione approssimata della realtà: per formularlo si opera sempre una selezione delle variabili che operano e si relazionano nel determinarla, se ne assumono alcune e se ne trascurano altre secondo un “apprezzamento” del loro grado di influenza.
I modelli sono sempre “approssimati”. Ciò costituisce l’avvertenza primaria da parte di chi fa ricerca e non deve mai essere lasciata cadere.
A maggior ragione se la ricerca di cui parliamo è ricerca sociale e su sotto sistemi sociali; dunque con possibili effetti di ricaduta pratica sulla vita delle persone. Alcune “approssimazioni scientifiche” dei modelli contengono, in tale caso alcuni elementi di moral hazard…
Al contrario, mantenere desta l’attenzione critica e la soglia analitica sui limiti dei modelli costituisce una possibilità di correggere, migliorare, impedire generalizzazioni indebite, e in definitiva rendere più efficaci i modelli stessi.
Se poi l’oggetto è la valutazione (delle organizzazioni e delle persone) è del tutto evidente sia il rischio di moral hazard connesso ad approssimazioni dei modelli, sia il rischio che opposizioni esplicite o opportunismi occulti mandino fuori bersaglio la valutazione stessa e le sue funzioni..

Nello specifico: fin dall’inizio, sulla base di quella scelta ho partecipato direttamente alla sperimentazione del modello (VALES, VALSIS, Valutazione e Miglioramento..)  e alla sua implementazione  in SNV (formazione di dirigenti e Nuclei, assistenza alle scuole nella compilazione RAV ecc..), e ho spesso sottolineato che un elemento critico del modello (da tenere dunque sotto osservazione clinica) era proprio il carattere della autovalutazione che, come scelta strategica, è stata posta come “innesco” del processo valutativo.
Per esperienze e prove sul campo ritengo che l’impegno auto valutativo e in particolare quello autoanalitico che è alla base di modelli autentici di autovalutazione, costituisca, per una organizzazione, una sorta di “indicatore” della propensione al miglioramento.
Tanto più è elevato, “originale” e costante l’impegno autoanalitico, tanto più elevato è il valore dell’indicatore “propensione al miglioramento”.
Sicchè, se stiamo ai criteri di fondo del modello del Sistema Nazionale di Valutazione, saremmo di fronte ad una scelta coerente di porre l’autovalutazione come primo passo (se l’obiettivo è il miglioramento). Solo che…. Occorre ricordarci sempre che stiamo sperimentando una sorta di “autovalutazione indotta” (lascio ai lettori approfondire il significato della contraddizione di termini..). Almeno in due sensi: prima di tutto il modello autovalutativo è eterodefinito (lo ha elaborato l’INVALSI, sia pure tenendo conto di modelli ed esperienze diffuse) e non il frutto dell’impegno autonomo di una scuola o di una rete di scuole (come nelle esperienze consolidate di questi anni). In secondo luogo, e proprio per questo, l’input autoanalitico è molto contenuto… Alla scuola vengono forniti dati eterodeterminati, viene fornito un set di indicatori distribuiti su aree e processi da valutare definiti nel modello… vengono dati alcuni strumenti rilevativi (questionari,,,) e vengono “restituite” elaborazioni comparative dei dati così ricavati.
Come più volte ribadito, nulla da eccepire proprio se consideriamo le condizioni per innescare la costruzione del sistema nazionale di valutazione: ci saranno scuole che già si sono misurate con autovalutazione e autoanalisi, anche su modelli diversi, e ci saranno scuole per le quali questa è l’occasione per provarcisi… evidentemente il modello dovrebbe, sensatamente, tenere conto che si tratta di compensare esperienze e prospettive diverse. E ciò si fa sia lasciando alcuni margini di autodefinizione di parti del “modello” (così è: la definizione di alcuni indicatori è a carico della scuola stessa) sia curando criticamente di impedire ogni deriva riduzionistica-deterministica che dimentichi che questo è “un” modello (vedi considerazioni precedenti) e non “il” modello, e tanto meno la “realtà” che si vorrebbe conoscere.

La tentazione è sempre in  agguato: il “modello” ha ovviamente prodotto repertori (indicatori, tabelle, valori..); su tale base si operano confronti, statistiche, rappresentazioni complessive che includono la singola scuola valutata come “una delle schede” o come “una serie” di valori e di rapporti.
Naturalmente tutto ciò ha grande e decisivo significato, in particolare per il “sistema” e i suoi decisori politici e amministrativi.
Ma la singola organizzazione in valutazione pur apprezzando tale significato, non può essere ricondotta, nella sua realtà di insieme di lavoro vivo, significati, valori, impegno, comunicazione, storia… al repertorio di tabelle e classificazioni.
Un buon valutatore, anzi, dovrebbe saper ricondurre i dati e le informazioni a sintomi e diagnosi sul “singolo e specifico” caso. Nell’esempio usato per il piccolo colloquio strumentalmente rappresentato in apertura, la valutazione dovrebbe poter risalire al motivo per il quale “quella” organizzazione non riconosce valore rilevante a “quel” progetto.
Siamo invece di fronte al rischio che il riduzionismo deterministico, sempre in agguato in ogni operazione di modellizzazione (riduzione della complessità della realtà) venga rinforzato e supportato proprio dalla “potenza” dell’apparato di report, schede, comparazioni, in particolare quando trasferito sul supporto di una piattaforma informatica che rielabora sulla base di propri algoritmi, giudizi di conformità o di non adeguatezza.
In questo caso, dunque, sommeremmo due pericoli: quello connesso ad una “autovalutazione etero determinata” (inevitabile per cominciare, ma i cui rischi vanno tenuti sotto controllo) e quello di una “autovalutazione” la cui conformità viene validata da uno strumento informatico che, ovviamente, collega report e tabelle, ma non è in grado di rielaborare diagnosi e clinica.
Insomma ci si troverebbe a “valutare l’autovalutazione” dimenticandosi di “valutare l’organizzazione” che l’ha prodotta (meglio: la cultura organizzativa che si esprime in quella organizzazione), i suoi criteri di elaborazione del giudizio, il suo approccio “fisiologicamente” olistico, lo sforzo di diagnosi specifica dal quale è scaturito il RAV: non solo, ovviamente la coerenza di repertori di indicatori con gli esiti delle comparazioni, ma anche (soprattutto direi) il confronto tra essi e la consapevolezza autoanalitica, senza la quale non vi è autovalutazione autentica.

Matite rosse e occhio clinico

Personalmente considero sbagliato, prima di tutto sotto il profilo scientifico, avere dato rilevanza di “errore segnalato” (le matite) che accompagna il RAV on line e che segnano le difformità tra le espressioni di giudizio formulate dalle scuole su se stesse e lo “schema retrostante” al “modello di autovalutazione”, considerato come il “modello giusto” di autovalutazione (!!!??).
La cui “appropriatezza” è per altro fondata (almeno per la maggior parte degli indicatori)  su tabelle e report di comparazione dei dati, rilevati sia dalla scuola stessa attraverso il questionario, sia dalle rilevazioni esterne (dati di contesto, esiti delle rilevazioni dei livelli di apprendimento, ecc..).

Le comparazioni statistiche sono ovviamente preziose per consentire assennati “posizionamenti”, per ovviare a tentazioni autoreferenziali sempre presenti in tutti i processi auto valutativi.
Ma è improprio ricondurre  e ridurre semplicemente a tali comparazioni due concetti fondamentali usati (abusati..) come quello di standard o (ancora di più..) di benchmark…
Un “dato” rilevato statisticamente e “confortato” da tutte le analisi statistiche più raffinate, può diventare benchmark solamente se declinato entro una “ipotesi di qualità”. A meno di ridurre quest’ultima alla considerazione del “così fan tutti..”.
A volte quando importiamo concetti e paradigmi da altre culture, come quella dei impresa rischiamo di essere ancora più “funzionalisti e riduttivi” delle elaborazioni originarie.
E’ certo che l’impresa ha, nel mercato e dunque nella maggiore diffusione o nel successo di un bene un prezioso indicatore; ma, si badi, neppure in quel caso la statistica è esaustiva nel definire un benchmark, o uno standard.
Ackerloff, Stiglitz, Spence vinsero un premio Nobel per l’economia per gli studi sul ruolo della simmetria informativa sul funzionamento del mercato. In assenza di tale simmetria (tra domanda e offerta..)  “vincono i bidoni” come sosteneva Ackerloff. E del resto che la diffusione quantitativa non sia criterio esaustivo lo si sapeva, in economia, fin dalla legge del Saw… “la moneta cattiva scaccia quella buona..” se non vi sono altre misure e altra politica o altra consapevolezza di qualità. 
Il riduzionismo statistico è spesso in agguato, quando si tentino “valutazioni di sistema”. Si pensi ad una questione cruciale come quella dei “costi standard” come riferimento per il governo della spesa pubblica segnatamente per i sistemi di welfare…Una questione cruciale che diventa “tormentone politico” quando si tenti di ridurla alla definizione di “costi medi” : un riduzionismo “comodo” (politicamente)  che esime da valutazioni e definizioni di qualità (inquietanti politicamente) ma che rimanda in continuazione a misure di “taglio”… Come dico sempre: si taglia con la medesima indifferenza e ignoranza alla qualità con la quale si spende…

Ma all’errore scientifico delle “matite” restituite dalla piattaforma (potentissima quanto si vuole, ma che raffronta una “elaborazione del giudizio” con una “misurazione statistica” di indicatori) alle scuole che hanno formulato il loro Rapporto di Auto Valutazione, si affianca anche un errore “politico”.
Ridurre la formulazione del giudizio alla lettura e raffronto di report e tabelle è particolarmente rischioso in un mondo culturalmente e intellettualmente avvertito come la scuola. Passato il primo tornante del sistema, prese le misure degli strumenti, non sarà certo difficile per nessuna scuola produrre e far produrre dall’algoritmo della piattaforma, report e tabelle confacenti al proprio giudizio…  Suvvia.. chi meglio di un gruppo di docenti “sa quale è la risposta giusta da dare”… Nelle valutazioni di sistema nulla come il “riduzionismo funzionalista” incentiva “l’adattamento opportunistico”. Ricordo sempre che, anni fa, circolava nelle scuole inglesi, una sorta di “manuale” di consigli utili per “ridimensionare il pericolo” delle ispezioni dell’OFSTED e contenere gli effetti della attività dei “terribili” ispettori di sua Maestà…
Dovremmo essere avvertiti della delicatezza politico culturale che accompagna la costruzione del SNV e porre il maggior impegno possibile sia per superare le ostilità pregiudiziali, sia impedire la cosmesi opportunista. Il problema di “fidelizzare” le scuole ad una cultura valutativa diffusa è ancora più rilevante di quello di avere una “piattaforma efficiente”.

Naturalmente è in prima battuta più semplice rielaborare report e tabelle (lo fa l’algoritmo…) che organizzare un sistema di “elaborazione del giudizio” che si raffronti direttamente con le organizzazioni (e le persone) da valutare.. In questo caso infatti non è superabile il vincolo del “rapporto diretto” tra valutato e valutatore. (la cosiddetta “valutazione esterna”).
Ma è ad essa che spetterebbe considerare la qualità, le caratteristiche, la completezza o le difformità del Rapporto di Auto Valutazione di una scuola come sintomi per una diagnosi valutativa capace di misurarsi con la cultura organizzativa che lo ha prodotto, e non (o non solo) con la conformità di tabelle e report.
Ma qui, si apre la riflessione relativa ad una fase cruciale della costruzione del SNV che è quella della valutazione esterna. Chi sono i valutatori, che qualità e tipologia professionale devono padroneggiare, che formazione e omogeneità di modelli professionali devono agire, quale supervisione viene messa in campo a contenere e correggere i difetti inevitabili dell’osservazione, quale rapporto tra tale lavoro di valutazione che ha “funzione istruttoria” e responsabilità del decisore politico e amministrativo…Una riflessione complessa, ma la sua trama la trovate, a ben guardare, nel piccolo dialogo proposto in apertura.