La costruzione del Sistema nazionale di valutazione
e il "pilota automatico"
Franco De Anna

 

Gli anni che ci separano dalla decisione di dare vita ad un Sistema Nazionale di Valutazione (DPR 80/2013) sono stati contrassegnati da un processo operativo complesso, intersecato da tensioni politiche e contraddizioni culturali (si pensi alla faticosa integrazione con la Legge 107/2015), che ha comunque prodotto un risultato iniziale importante: è stata costruita una prima componente del SNV, che riguarda la “valutazione delle organizzazioni scolastiche”. Mi riferisco ovviamente al sistema RAV/Piani di Miglioramento/ Nuclei Esterni di Valutazione. Si tratta, quali che siano i rilievi critici che si possono (e si devono…) sviluppare, di un inedito per il nostro sistema di istruzione.
Se non altro, si può cominciare a discutere non più solo su “idee” (attività fondamentale) ma anche su realtà. Il che necessita di attenzione ai “dati”, alle evidenze, alle esperienze. Insomma si può (e deve...) procedere alla “critica della realtà” e non (o non solo…) esercitarsi nella più confortevole e meno impegnativa “realtà della critica” ancorché popolata da illustri (?) interpreti.

Il procedere operativo di questi ultimi due anni è stato del resto preceduto da sperimentazioni sul campo, nelle quali lo “strumentario” è stato variamente collaudato (VALES, Valutazione e Miglioramento, VALSIS, VSQ, ecc…) Tutti hanno prodotto report conclusivi interessanti, anche se poco consultati dalla “realtà della critica”.

Riassumo, chiedendo scusa per la necessaria sinteticità

Il modello RAV.

Interpreta la scelta fondamentale di costruire un sistema di valutazione delle scuole diretto a promuovere consapevoli e responsabili processi di miglioramento, e (dunque) fondato sulla (problematica…) coniugazione di “autovalutazione” e di “valutazione esterna”.
La prima è (teoricamente) basata sull’impegno autoanalitico di una organizzazione, sia pure assistito (come da consolidata tradizione) da uno “sguardo” competente esterno (il famoso “amico critico). Un modello/processo auto valutativo fondato su tale capacità e impegno autoanalitico è da considerarsi come un autentico indicatore di “propensione” al miglioramento di una organizzazione.
La coniugazione tra auto ed etero valutazione e finalità di miglioramento, ha trovato una interpretazione particolare nel modello RAV che si è articolata in sostanza

1.      La produzione e generalizzazione di un modello auto valutativo comune, generalizzato a tutte le scuole con la forza di un adempimento e l’autorevolezza scientifica dell’Istituto di ricerca nazionale a cui è affidata l’intera disciplina della valutazione di sistema. Si è cioè prodotto un modello “etero determinato” di “autovalutazione”.
Riconoscere e condividere la sua necessità non significa sottovalutare il limite intrinseco di tale scelta, soprattutto rispetto alla essenzialità dell’impegno auto analitico in rapporto alla individuazione dei progetti di miglioramento. (vedi oltre)

2.      L’autovalutazione “eterodiretta” si è espressa attraverso un “questionario” che è stato proposto a tutte le scuole. Il questionario è stato costruito facendo riferimento ad un “modello” che coniuga sia elementi di sperimentazione, sia scelte “teoriche” (vedi riferimenti a modello CIPP consolidato nella ricerca internazionale). I dati di ciascuna scuola, così raccolti da INVALSI, sono stati utilizzati per il calcolo degli indicatori sottesi al modello, e restituiti attraverso una elaborazione che ha esplicitato le comparazioni tra scuole.
Altri dati “oggettivi” sono stati restituiti alle scuole utilizzando informazioni da ISTAT, da MIUR, o dal Ministero degli Interni. L’INVALSI ha trasmesso anche i dati relativi agli esiti delle prove standard relativi agli indicatori selezionati nel “modello” (ma le scuole già detengono i dati completi degli esiti delle prove)

3.      Alle scuole è stato dunque chiesto di costruire il RAV (Rapporto di Auto Valutazione) sulla scorta delle informazioni “restituite” (dunque in relazione al set di indicatori pre-determinato) e con la disponibilità ad aggiungere a quel repertorio altri indicatori eventualmente individuati ed elaborati dalla scuola stessa (ma ovviamente non utilizzabili per la comparazione nazionale e non compaiono nel RAV).
Il “modello” è corredato da “domande guida” e da repertori e scale di valutazione per ciascuna delle aree di valutazione definite

4.      Nella parte finale del RAV la scuola delinea il quadro di riferimento delle scelte e delle priorità che si impegna a trasferire in un vero e proprio Piano di Miglioramento
Il documento di Autovalutazione così “eterodiretto” è caricato sul sito “Scuole in chiaro” e dunque i report relativi sono pubblici e consultabili direttamente dai cittadini

Il Miglioramento

Mi sono già espresso in modo specifico ed esteso su tale problematica [1]

Qui richiamo solamente alcuni elementi della impostazione di fondo. Le scuole sono impegnate a definire target e obiettivi di miglioramento tenendo conto dei caratteri e dei vincoli del modello “auto valutativo”.

1.      I target di miglioramento (con orizzonte triennale) vanno individuati nelle aree relative agli esiti degli studenti, e cioè “Esiti scolastici; Esiti delle prove standardizzate INVALSI, Competenze di cittadinanza, Esiti a distanza. E gli obiettivi di miglioramento, nella loro temporizzazione vanno individuati sui Processi che, nel “modello” RAV descrivono l’operatività della scuola, e cioè: 1) Curricolo, progettazione e valutazione; 2) Ambiente di apprendimento; 3) Inclusione e differenziazione; 4) Continuità e orientamento; 5) Orientamento strategico e organizzazione della scuola; 6) Sviluppo e valorizzazione delle risorse umane; 7) Integrazione con il territorio e rapporti con le famiglie.

2.      Per la “redazione” del Piano di miglioramento è stato predisposto e suggerito alle scuole un modello formalizzato PDCA nel quale riportare a riscontro la coerenza con i vincoli su indicati. Il modello (non obbligatorio, ma oggetto di rilevazione specifica dunque con esigenze di comparazione “orizzontale”) è stato proposto da INDIRE che si è assunto anche (nominalmente, per ora..) il compito di offrire alle scuole attività di consulenza per la stesura e la gestione del piano stesso.

3.      L’intersezione temporale tra la prima costruzione del RAV e la l’approvazione della legge 107/2015, ha interpolato le scadenze per le scuole, e modificato la “triennalità”. Ma, soprattutto ha collocato il Piano di Miglioramento come parte integrante del PTOF, che a sua volta, a differenza del POF tradizionale,  acquisisce il valore di una “dichiarazione programmatica” impegnativa e con riflessi sulle risorse della scuola (organico).

4.      Infine il Piano di Miglioramento redatto rispettando vincoli e impostazioni del modello RAV acquista ulteriore carattere impegnativo venendo posto come riferimento per la definizione degli obiettivi inseriti nel contratto individuale dei Dirigenti Scolastici e dunque della loro valutazione

La Valutazione Esterna. I NEV

Rispetto al “modello ideale” il numero effettivo di visite alle scuole sarà notevolmente inferiore.
La valutazione esterna, con il NEV che visita la scuola per tre giornate, segue un protocollo parallelo alla struttura del RAV, incontrando i diversi protagonisti (personale della scuola, in tutte le sue componenti e articolazioni, genitori, studenti), effettuando osservazioni dirette (ambienti, laboratori, strutture…) esaminando ulteriore documentazione (dai Bilanci ai PEI, ai progetti…).

La visita segue un protocollo definito, ed è accompagnata da griglie di osservazione, repertori di rilevazione, rubriche di valutazione che consentono di confrontare le valutazioni effettuate in chiave auto da parte della scuola con quelle individuate dal NEV.
In particolare il nucleo misura la adeguatezza del Piano di miglioramento; può consigliarne variazioni e aggiustamenti, o anche radicali modifiche.

Come noto la composizione dei NEV prevede la guida di un Ispettore, un valutatore che proviene del mondo della scuola (docenti, dirigenti scolastici, ex ispettori)  e un valutatore che non appartiene a quel mondo (ricercatori sociali, professionisti, tecnici della qualità…) [2]

In prima applicazione per la costituzione dei NEV sono stati utilizzati valutatori/osservatori impegnati nei progetti sperimentali (VALES, VM, VALSIS ecc..).
Più recentemente l’INVALSI sta provvedendo al reclutamento specifico organico al SNV.

Le soglie critiche

Nel sintetico richiamo ai caratteri del modello RAV-Miglioramento-NEV sono presenti anche sotto traccia, elementi critici che, per altro ho già più volte evidenziato altrove [3]

Come detto in apertura alcuni di tali elementi costituiscono “prezzi” da pagare per tradurre in strategie operative e in realizzazioni conseguenti, i tanti richiami alla necessità di porre rimedio alla inesistenza di un Sistema di Valutazione del sistema nazionale di istruzione, ripetuti nel tempo da oltre 15 anni (a far data dalla autonomia scolastica…).

Dunque lo sguardo critico si muove a partire dalla lettura di ciò che si è costruito e come condizione per proseguire al meglio tale costruzione, con la consapevolezza che la dimensione di ricerca è necessaria ed appropriata ad una impresa – la valutazione – mai esaustiva ma che richiede intrinsecamente costanti miglioramenti e perfezionamenti.

Le analisi che INVALSI ha condotto e conduce su quanto realizzato del sistema RAV è di grande interesse e mi limito a richiamarne la lettura puntuale; per tutte cito quella contenuta in “Le Rubriche del RAV Prime analisi - validità e affidabilità, uso da parte delle scuole delle Rubriche del Rapporto di Autovalutazione” A cura di D. Poliandri, G. Epifani, S. Sette [4]

In quel rapporto, dopo avere illustrato i caratteri del modello implementato, le autrici affermano: “La messa a sistema del Rapporto di Autovalutazione, e del quadro di riferimento ad esso sotteso, si è misurata con le concrete richieste e istanze messe in campo dai diversi stakeholders, inclusi i decisori politici, che diverso peso possono avere nel momento in cui i sistemi di valutazione passano dal momento della sperimentazione a quello ancora più complesso della cosiddetta 'messa a regime'. Sia il nuovo quadro normativo, così come delineato dalla Legge 107/2015, sia le istanze di rendicontazione e di controllo espresse dalle Amministrazioni centrali e periferiche pongono nuovi interrogativi su come sia stata implementata nel concreto l’autovalutazione delle scuole nel SNV e su cosa da essa ci si aspetti”

Trovo che in tale affermazione sia contenuta sia pure sinteticamente l’intera problematica che occorre affrontare per avviare la continuità necessaria del sistema. Occorre continuare e mandare a regime, e contemporaneamente migliorare e correggere laddove necessario.

Ciò che occorre scongiurare è il pericolo che il decisore politico e amministrativo pensino che sia sufficiente innescare una sorta di “pilota automatico” semplicemente riproponendo il medesimo percorso, i medesimi strumenti, scavalcando le soglie critiche e limitandosi a confermare modelli, protocolli, procedure… Trasformando così “l’impresa” in un adempimento.
A parte l’inerzia a la pigrizia decisoria di cui ciò sarebbe segno (ancora?) si tratterebbe di inconsapevolezza del fatto che sul “tronco” RAV (Valutazione delle Organizzazioni) si sono innestate “arborescenze” impegnative (e inevitabili..), come la Valutazione dei Dirigenti, la Rendicontazione Sociale, ed altre “conseguenze” delle decisioni del legislatore contenute nella Legge 107/2015.

Lo sviluppo del modello

La vera sfida da affrontare per proseguire l’impegno è quella implicita nella stessa strategia di coniugazione auto-etero valutazione. La domanda cui occorre rispondere è se e quanto, e a quali condizioni, il RAV da modello di “autovalutazione eterodeterminato” possa svilupparsi come impulso e sviluppo della cultura e della capacità autoanalitica delle scuole.

Questo è infatti il valore fondante da promuovere. L’attitudine, la capacità e l’esercizio di autoanalisi e autovalutazione sono caratteri portanti della cultura organizzativa di qualunque organizzazione, e tanto più quindi per una organizzazione che opera in “soglia permanentemente critica” nella sua funzione sociale.[5]

Chi “detiene” gli indicatori?

Per perseguire tale risultato è evidente che non possa bastare la “replica” (Il pilota automatico) di quanto già sperimentato: riedizione di un nuovo questionario per la raccolta dei dati, restituzione di nuove tabelle con indicatori “aggiustati” e/o corretti… nuova edizione di RAV… ecc…
E’ naturalmente possibile ritenere che, realisticamente, occorra ancora procedere in chiave di “autovalutazione eterodeterminata” fino a consolidamento del sistema; ma alcuni passi andrebbero fatti in direzione di una autentica cultura autovalutativa.
Le informazioni richieste alle scuole e da esse fornite attraverso il questionario, producono la “restituzione” dei dati per compilare il RAV, perché il questionario stesso ha “alle spalle” un set poderoso di indicatori messi a punto e governati da INVALSI.
Una autovalutazione autentica richiederebbe una estensione della padronanza su tale repertorio di indicatori alle scuole stesse. La verifica sul campo (sia come esperienza dei NEV, sia come impegno alla formazione e più recente alla consulenza) racconta invece che spesso la procedura “compilazione del questionario-filtro degli indicatori-restituzione delle informazioni con comparazione” si è realizzata “in opacità”, e il RAV scaturisce così in una sorta di meccanicismo diagnostico.[6] Superare questa opacità consentirebbe tra l’altro di selezionare il repertorio di indicatori, sia alleggerendolo di quelli che si sono dimostrati meno significativi nella esperienza condotta, e altrimenti aggiungendone alcuni di cui si sente mancanza (e che sono nella padronanza delle scuole stesse). Ciò mette capo anche ad una problematica critica costituita dal rapporto tra le scuole chiamate alla responsabilità auto valutativa e l’INVALSI spesso percepito come soggetto distante e fonte di adempimenti burocratici più che di impegni di ricerca. Come dico spesso sarebbe necessario uno sforzo dell’Istituto diretto all’obbiettivo di “fidelizzare” le scuole in un rapporto di assistenza, consulenza, coinvolgimento e non di mera operatività esecutiva.

Le risposte delle scuole

La pubblicazione del report dell’INVALSI citata fornisce come si è detto una interessante panoramica delle caratteristiche generali dei RAV rielaborati dalle scuole.
Non si può qui che rimandare alla lettura analitica di quel report. Voglio solamente qui ricordare una sottolineatura più volte ricorrente con la quale gli estensori si interrogano analizzando in particolare le espressioni utilizzate dalle scuole nella formulazione dei giudizi e delle considerazioni affidate al linguaggio libero più che agli “indicatori”. Viene in sostanza avanzato l’interrogativo sulla effettiva corrispondenza semantica tra i termini e le parole usate nel “modello” RAV e quelle stesse parole usate nelle formulazioni delle scuole.
E’ argomento che riporta al punto precedente ed alla articolazione dialettica intrinseca al dispositivo di “autovalutazione eterodeterminata”. Si noti che tale “dubbio semantico” investe questioni di primo piano proprio del protocollo auto valutativo. Per fare solo un esempio: la risposta alla domanda se la scuola abbia elaborato un “proprio curricolo di scuola”, essenziale per la valutazione in una delle aree fondamentali (Curricolo, progettazione, valutazione), si dimostra carica di ambiguità. Non è affatto chiaro il significato che le scuole assegnano alla espressione “curricolo di scuola” così come per “progettazione didattica”. E non è solo un dubbio di chi scrive.
Basti ricordare che a fronte di tante risposte positive, che confermano sia la progettazione didattica che “il curricolo di scuola”, sta il dato della esiguità delle scuole (specie del primo ciclo…) che utilizzano il monte ore dell’autonomia o il grande numero di quelle che realizzano il tutto (progettazione e specificità del curricolo) entro l’orario standard, ed i contenitori (classi, discipline..) tradizionali. Una contraddizione che ha alla base differenze semantiche ma che può presto evolversi in “conformismo” adattativo alla domanda del valutatore. O ad alcune “giaculatorie” ricorrenti nella “narrazione della innovazione” come “il curricolo verticale”, “le competenze”, ecc…

Come si attenua e possibilmente dissolve tale ambiguità semantica tra chi determina “da fuori” il protocollo auto valutativo e chi dovrebbe attrezzare il proprio sguardo al rispecchiamento autoanalitico? La risposta è difficile, ma certamente non la si rintraccia nel “pilota automatico”.

Le domande alle scuole

L’avvio della prossima fase RAV, se non vuole limitarsi ad essere riproposizione del già fatto, potrebbe anche essere l’occasione per guardare non solo a ciò che le scuole rispondono, ma anche alla appropriatezza di ciò che ad esse si chiede e si restituisce.

Esempi.

·         Occorre ridurre “i dati” relativi al contesto, selezionando quelli davvero significativi. Per esempio il tasso di disoccupazione non “racconta nulla” del contesto socio economico in cui opera la scuola. (Fonte rilevazioni campionarie ISTAT su base provinciale). Occorre puntare sulla capacità della scuola di descrivere anche con indicatori opportuni, il contesto operativo.

·         Rendere effettivamente significativi (e più immediatamente leggibili) i dati economici (bene avere il monte stipendiale, ma non “mescolarlo” alle risorse effettivamente in padronanza della scuola. Vedi prospetto 1.3.a e sgg).
Produrre invece una “indicizzazione” del bilancio della Scuola, specie per la parte “progetti”: composizione delle risorse utilizzate per provenienza; composizione di costi, concentrazione rispetto al bilancio complessivo, ecc…Quello dell’analisi degli aspetti economici della operatività della scuola è un capitolo di estrema debolezza del RAV (rivedere i quadri 3.5.e e sgg)

·         La rilevazione ed il confronto sulle attrezzature e sugli ambienti di formazione va resa più significativa e dettagliata. (Laboratori, dispositivi digitali disponibili rispetto agli ambienti e alla popolazione scolastica…)

·         Analogamente vanno resi più significativi i dati relativi ad una ricostruzione delle caratteristiche del management e dei processi decisionali (Quadri 3.3.a e sgg.) Quelle indicate sono spesso “dichiarazioni” vincolate a “osservanze istituzionali” (a chi toccano le decisioni) piuttosto che a processi agiti; o slittamenti di indagine verso il monitoraggio dell’uso di dispositivi contrattuali (distribuzione e intensità del FIS..)

·         Come ricordato più sopra le informazioni relativi agli aspetti relativi al curricolo o alla progettazione didattica sono presentati in prospetti di scarsa significatività (vedi 3.1.a.1 e sgg e 3.1.c.1 e sgg)

·         I dati riportati sugli Esiti scolastici (uno dei target “vincolati”  del miglioramento) sono “rudimentali” (promossi e bocciati a fine anno o nei passaggi… vedi tavole 2.a.1 e sgg.). La scuola può recuperare, in autoanalisi, dati ben più significativi e fondanti l’eventuale scelta di miglioramento.

Naturalmente mi auguro che tale lavoro di “perfezionamento” sia elaborato dall’Istituto. Ma, per confermare quanto richiamato, mi augurerei anche che fosse oggetto di comunicazione, confronto, sollecitazione alla competenza delle scuole per definire e mettere a disposizione strumenti più approfonditi di autoanalisi.

La questione di fondo nella dialettica auto e etero valutazione: il punto di osservazione

Il processo di consolidamento del SNV non può che progressivamente portare in primo piano la questione del doppio sguardo e del “doppio riferimento” dei risultati del processo valutativo.
Il decisore sistemico (politico e/o amministrativo) e così pure il “ricercatore sistemico” sono ovviamente interessati ad una “mappatura” del panorama del sistema di istruzione nazionale, utile da un lato ad aumentare la razionalità decisoria (politica e/o amministrativa, o almeno così dovrebbe essere…) dall’altro ad una ricerca “sul” sistema complessivo e sulle sue caratteristiche e dinamiche generali. L’ispirazione e l’impostazione non può che avere carattere “nomotetico”.
L’approccio, l’ispirazione, la strumentazione dell’auto valutazione e auto analisi è al contrario concentrata sul “soggetto specifico”. Non può che avere dunque un carattere idiografico.
Sono naturalmente due sguardi che occorre ricomporre (lo sguardo monoculare non coglie la profondità della visione).
Come ricordo sempre tracciare le mappe è fondamentale per orientare il percorso; ma “la mappa non è la città” ed è insufficiente per “conoscerla e descriverla” realmente.
Il problema è costituito dal fatto che tale doppio sguardo si combina diversamente e diviene indispensabile fino ad essere “vincolante” quando la valutazione si eserciti su “soggetti specifici”, che si tratti di organizzazioni (“quella” scuola…), di processi specifici (le scelte di miglioramento che “quella” scuola individua per la “sua” operatività) e tanto più quando si tratti di valutare “persone nella organizzazione” (si pensi alla valutazione dei dirigenti scolastici ed ai protocolli e strumenti per essa definiti. Vedi richiami in nota a contributi analitici precedenti)
La combinazione del “doppio sguardo” è fondamentale soprattutto nella valutazione di interazione e contatto: i valutatori che visitano le scuole (NEV) o quelli che dovranno procedere alla valutazione dei dirigenti, interagiscono/interagiranno con “soggetti specifici” e non solo con “segmenti di sistema”. L’effetto del loro lavoro valutativo sarà tanto più significativo e appropriato, quanto più - certo applicando “la mappa” - sapranno conoscere e riconoscere “la città” nelle sue caratteristiche specifiche e spesso irripetibili.
L’esempio dell’approccio “nomotetico” è costituito dalla prevalenza del repertorio di “griglie”, “tabelle”, “report”, diagnosi standard. Si tratta di strumenti essenziali per descrivere un “sistema”. Ma occorre essere consapevoli dei loro limiti, in qualche caso mortificanti la stessa capacità di conoscere e comprendere, quando su di essi e sul loro inevitabile “riduzionismo” si finisca per fondare l’intera impresa valutativa.

Qui l’attenzione si sposta su quello che è il vero ”fattore limitante” dello sviluppo del Sistema Nazionale di Valutazione: la disponibilità di valutatori professionali, e il loro livello di professionalità e di esperienza.
Lo sviluppo, la “messa a regime” richiedono un investimento continuo in tale direzione: formazione, selezione, supervisione di un appropriato “corpo” di valutatori. Sarebbe anche questo un indicatore della capacità e volontà di evitare il “pilota automatico”.

L’esperienza fatta conferma l’avvertenza precedente: le visite valutative dei NEV sono guidate e corredate da un repertorio di “strumenti” codificati (griglie, report da compilare, repertori valutativi standardizzati…) per qualche verso più estesi di quanto sta alla base del modello RAV (A volte con effetti di “molestia da standard”). Quasi a scongiurare l’apporto idiografico. Insomma la dialettica del “modello” eterodeterminato si riproduce in tal caso delimitando la significanza e l’espressività dell’osservazione diretta sul campo.

Comprendo, naturalmente, che la sovra produzione di “strumentario” codificato sia anche a cautela di una, per ora, critica o insoddisfacente affidabilità dei valutatori rapidamente reclutati e formati. Ma, anche a risposta della nota citata dei ricercatori INVALSI, ribadisco la convinzione che solo innalzando la “composizione tecnica scientifica” del lavoro vivo di valutazione, si potrà equilibrare anche il peso che “le istanze di rendicontazione e di controllo espresse dalle Amministrazioni centrali e periferiche…” esercitano su  “l’autovalutazione delle scuole nel SNV e su cosa da essa ci si aspetti”. Ricordo che la valutazione è sempre (anche) una impresa scientifica e di ricerca.