Premessa e pregiudiziale

Scrivo queste note stando dalla parte dei tanti docenti e Dirigenti Scolastici che sono mobilitati in queste settimane e nei prossimi mesi, a dare corpo iniziale al Sistema Nazionale di Valutazione, mettendo a punto la prima parte Autovalutativa che è premessa e connessa alle altre due sostanziali: l’impegno verso il Miglioramento e quello alla Rendicontazione sociale.
Dalla parte, dunque, di chi sta lavorando per dare seguito ad un impegno istituzionale, ma anche culturale e professionale: le mie opinioni, i rilievi critici, finanche polemici espressi in  tutta la fase di costruzione del modello SNV, desunti anche, sempre “sul campo”, dalla partecipazione diretta come valutatore nelle sperimentazioni connesse, sono, se non noti, certo ricostruibili anche solamente dai materiali ospitati in questo sito (vedi pagine dedicate).
Non ho neppure funzioni “direttive” rispetto al progetto SNV. Sicchè non devo nè convincere né promuovere, né bocciare. Cerco di dare una mano a chi si trova di fronte a un compito istituzionale e culturale di grande rilevanza, a partire dai lavori della rete che nella mia Regione si occupa da quasi 15 anni di autovalutazione, miglioramento e rendicontazione sociale (Rete AUMI, oggi AUMIRE, circa 120 scuole della regione Marche).

L’ultimo prodotto: il questionario scuola

L’amministrazione e l’INVALSI sembrano, per ora, dare corpo al SNV mantenendo sia la struttura (metodologie e strumenti) previsti nel Regolamento, nella Direttiva e nella Circolare, già commentate in queste pagine, sia la tempistica.
E’ stato già reso noto il modello RAV che le scuole saranno chiamate a compilare come esito del loro impegno autovalutativo; è stato recentissimamente reso noto il Questionario Scuola  cui tutte le istituzioni scolastiche dovranno rispondere e che costituirà “una delle fonti” di dati e informazioni che sono poste alla base del processo autovalutativo.
Il meccanismo è noto: le scuole immetteranno le loro risposte on line, entro la fine di Febbraio. La piattaforma informatica che le raccoglie tratterà informazioni e dati, e “restituirà” alla scuola l’esito di tale trattamento che consisterà in sostanza nel confronto tra le informazioni specifiche della scuola e gli insiemi comparabili (ordini di scuola, dati nazionali, regionali, ecc,,). La restituzione è prevista per la fine di Marzo.

Cominciamo da quest’ultimo prodotto, il Questionario Scuola.
E’, tutto sommato, molto semplice.
E’ evidente la sua struttura isomorfa con il modello autovalutativo assunto dall’INVALSI come riferimento nella sua rielaborazione tecnico-scientifica: il modello CIPP che articola l’autovalutazione in quattro aree: Contesto, Input, Processi, Prodotti. In tale senso vi è coerenza anche con la struttura del RAV, che ha analoga filiazione teorico-scientifica,
Nel Questionari Scuola però le “aree” di rilevazione si presentano assai ridotte.
Anzi, per alcune di esse, pure essenziali nell’identificazione strategica della scuola, non si fanno domande, non si richiedono informazioni.
Il motivo è sostanzialmente individuabile nel fatto che molti dati e informazioni che saranno utilizzate nel redigere il RAV, provengono in realtà dall’esterno: si tratta di dati di contesto (assetti socio economici del territorio forniti da banche dati ISTAT, dal Ministero dell’Interno, dal MIUR stesso); di dati economici provenienti dal MIUR; di dati relativi agli esiti scolastici degli studenti provenienti dal MIUR e, per i risultati delle prove standardizzate, dagli esiti delle prove INVALSI.
Ciò sembra presentare un compito “ridotto” alle scuole che dovranno in tempi stretti compilare il questionario.
Ma, se mi metto nei panni di chi oggi nella scuola fa parte del gruppo di auto valutazione (Dirigente e docenti) guarderei a tale semplificazione con qualche circospezione, proprio in considerazione della “parzialità” dei dati rilevati e dunque della loro significanza rispetto al compito fondamentale che sarà la compilazione del RAV. Tale considerazione è utile a ricostruire il modello ma anche gli impegni e l’agenda autovalutativa

Il percorso autovalutativo: un processo inferenziale complesso

Ripeto sempre, fino a venirmi a uggia, che non vi è automatismo alcuno tra “dati e misurazione” e “elaborazione del giudizio”, consistendo la “valutazione” in una assennata combinazione tra le due fasi: giudiziose e pertinenti misure su dati certi e confrontabili e rielaborazione del giudizio all’insegna della ricostruzione “dell’inferenza alla migliore spiegazione”(come direbbero i cultori del nuovo realismo filosofico).

Trattandosi poi di valutazione di “oggetti complessi” come organizzazioni (le scuole) il cui compito è la produzione di servizi complessi (quelli che rispondono ai diritti all’istruzione) alla cittadinanza, e che dunque sono contemporaneamente “istituzioni”, quel percorso inferenziale deve essere presieduto con rigore e cura, intelligenza, acume, clinica particolarmente accentuate.
Nessun automatismo o determinismo, ma capacità di lettura critica e di integrazione di fonti anche assi diverse di dati e informazioni.

Ma sulla elaborazione del giudizio e sulla valutazione che ne è coronamento ed esito, operano anche variabili assai meno determinabili e rappresentabili da dati.
Per esempio opera il “sistema di valori” riconosciuti esplicitamente o agiti in latenza, che operano nel sistema e nella società. Valutare è “assegnare valore” e dunque dipende dal repertorio di valori in cui ci si riconosce e si afferma.
Solo un esempio: se nella Direttiva relativa al SNV (si veda la Direttiva qui in linea) si dichiara formalmente che la strategia è contraddistinta da quattro indicazioni: 1) ridurre la dispersione evasione scolastica; 2) migliorare le competenze di base degli alunni; 3) valorizzare esperienze di recupero e potenziamento; 4) Ridurre le differenze geografiche e settoriali tra le scuole; allora la valutazione della scuola che compila il RAV, sarà evidentemente condizionata non solo dai “dati” ma da quella enunciazione di valori.

Sulla elaborazione del giudizio opera anche un set di variabili che sono riconducibili alla “cultura organizzativa” della singola scuola e dunque sul suo modo di interpretare l’autonomia.
Con il termine “cultura organizzativa” sintetizzo molte cose: l’insieme dei significati scambiati e condivisi all’interno dell’organizzazione; l’insieme dei linguaggi usati per esprimerli; l’insieme delle percezioni, delle opinioni che sono oggetto di comunicazione; la dinamica dei ruoli.
Si tratta di componenti della cultura organizzativa che spesso non sono espliciti (espressi, per esempio negli organigrammi e nei programmi) ma latenti. Ma sono le “latenze” (lateres.. mattoni) a reggere l’organizzazione, non gli organigrammi, che spesso rappresentano l’ordine apparente che cela il disordine nascosto. E viceversa: spesso il disordine apparente è governato da un ordine intimo di condivisione di culture e valori.
Vi sono domande del Questionario Scuola, che interrogano direttamente tale livello, anche se non lo dichiarano (ovviamente). Per esempio vi è una domanda relativa alla distribuzione dei compiti decisionali tra le diverse istanze (Collegio, Consiglio di Istituto, Consigli di classe, singoli docenti, staff dirigenziale, Dirigente Scolastico) che va a “intrigare” proprio tale livello di consapevolezza in chi compilerà il Questionario, più che non la “certificazione” oggettiva di come davvero vanno le cose (e, del resto,  come produrla?).
L’esperienza di valutatore sul campo in fase sperimentale VALES mi ha dimostrato in modo lampante che le rispose delle scuole proprio a tale domanda erano le meno “consolidate e consolidabili” sotto il profilo della significatività. Proprio perché chi rispondeva (il DS o il referente della valutazione) riportava l’immagine della sua organizzazione per come ricostruita nella sua mente e nel suo animo, nel suo giudizio, nella sua “cultura organizzativa” con tutta l’aleatorietà e parzialità  (ma di non trascurabile valore diagnostico) del proprio pensiero.
Dunque anche solamente il compito del compilare il questionario, sapendo che da esso proverranno poi una serie di “indicatori” restituiti alla scuola, non è semplice e non può essere svolto pensando ad un “adempimento” formale. Occorrerà invece esplorare il significato anche di domande apparentemente dirette a fenomenologie “oggettive”.
 

La pluralità delle fonti di dati e informazioni da integrare

Proprio la complessità implicita del Questionario Scuola, parallela e sotterranea alla sua parzialità e semplicità, mette in primo piano la questione fondamentale che i gruppi di Autovalutazione delle scuole dovranno affrontare (sempre che non si voglia ridurre l’incombenza ad un adempimento burocratico e “opportunistico” sotto il titolo impegnativo di “autovalutazione): come integrare una pluralità di fonti di dati e informazioni.
Inoltre si tenga conto che nel RAV sono proposte (correttamente) una serie di “domande guida” le cui risposte non sono necessariamente “comprese e contenute” nel set di indicatori proposto, ma. di maggiore ampiezza semantica, sono le domande cui la scuola deve rispondere in “autoanalisi”.
Infine si consideri che nelle declaratorie valutative utilizzate nel giudizio finale  del RAV sono “tipizzate” considerazioni e motivazioni che segnalano il “non determinismo” tra elaborazione del giudizio e misura dei dati. Richiamando considerazioni di valore, di “connessione” tra variabili ecc.
Dunque, in sostanza, le scuole dovranno integrare diverse fonti di dati e diverse variabili influenti sulla elaborazione del giudizio (non necessariamente “dati” e “indicatori”). E su ciascuna di tali fonti esercitare l’indispensabile approccio critico interpretativo. In sintesi

1.Dati provenienti da fonti “esterne” (MIUR, INVALSI, ISTAT ecc..)

            Analisi, verifica, lettura critica

2.Dati provenienti dal questionario scuola

            Analisi della restituzione, integrazione con informazioni proprie

3.Dati provenienti da indicatori scelti dalla scuola in integrazione di quelli formalizzati nel RAV

            Scelta discrezionale della scuola (è prevista per tutti gli indicatori RAV)

4.Dati provenienti da indicatori scelti dalla scuola in assenza di indicatori formalizzati nel RAV

Scelta obbligatoria della scuola (per esempio per gli indicatori relativi alla missione  alle scelte strategiche della scuola, la cui definizione è ad essa demandata)

5.Dati relativi alla “cultura organizzativa” della scuola (Pareri, significati, percezioni da docenti, genitori, studenti, stakeholders)

            Da strumentazione messa a punto dalla scuola (questionari, focus groups, strumenti proiettivi, ecc.. capaci di raccoglier informazioni da tale dimensione soggettiva)

6.Risposte elaborate seguendo le “domande guida” proposte dal RAV

7.Integrazione informazioni interpretabili nei repertori valutativi e nelle scale di valutazione-

L’elenco precedente presenta in sintesi estrema (e me ne scuso) la trama dell’agenda di lavoro di un gruppo di autovalutazione della scuola.

Vorrei sottolineare che anche le informazioni provenienti dall’esterno devono essere sottoposte da puntuale verifica non solo di correttezza, ma anche di pertinenza.
Per esempio come ho (inutilmente) ripetuto, , i dati ISTAT sull’occupazione, indicati come significativi per la ricostruzione del Contesto, sono in realtà rilevati, campionariamente, su base provinciale…
Il livello di significatività per la descrizione del contesto operativo di una scuola è prossimo allo zero, visto che il riferimento di una scuola, per grande che sia, rarissimamente (forse solo per alcuni indirizzi tecnici specialistici della superiore..) configura un contesto provinciale. Per la stragrande maggioranza delle scuole la descrizione del contesto operativo dovrà essere fatta da esse stesse.
Chissà cosa dirà di significativo l’ISTAT al Circolo Didattico che opera nel centro di Milano nelle vie della moda e del consumo di elite… ma che è frequentato da figli delle colf e dei portieri degli stabili di lusso…
Taccio delle informazioni provenienti dal Ministero dell’Interno su variabili fondamentali come l’apporto del finanziamento degli Enti Locali. Si pensi per esempio alle differenze fondamentali delle modalità di finanziamento alle scuole adottate dalla gestione metropolitana di Roma o di Milano (già differenti tra loro) filtrata dalle “municipalità” di zona, e il rapporto tra Dirigenti scolastici e Amministrazione Comunale in Comuni di 10, 20, 30 mila abitanti ( il nostro Paese è fatto così…) che possono “incontrare il sindaco in Piazza” (è ovviamente una metafora di rapporti assolutamente diversi).
Davvero pensiamo che la banca dati dell’Interno ci restituisca tali specificità e differenze? La scuola dovrà verificare, specificare, integrare… comunque.

La complessità del compito valutativo e la semplificazione politica

Quanto sopra delinea appena la complessità del compito che attende tutti coloro che si accingono a dare vita alla fase iniziale del SNV.
Occorre che accompagniamo tale impresa con la partecipazione dovuta e che facciamo sentire tale partecipazione. E mi rivolgo ai momenti significativi della “organizzazione della cultura” della scuola, dal Sindacato all’associazionismo, agli  organi e strumenti del dibattito e confronto culturale.

In prima linea dovrebbe essere la stessa Amministrazione: la costruzione di un Sistema Nazionale di Valutazione ha davvero la dimensione dell’impresa storica. E ciò a prescindere dalla “perfezione” dello strumento e dal dibattito che lo accompagna.
Anzi: proprio la dimensione storica dell’impresa richiede che la consapevolezza della “perfettibilità” degli strumenti, sia declinata come la dimensione adeguata per la costruzione della partecipazione e del consenso necessari a condurre l’impresa.

Quanto sopra elencato riporta la complessità del compito, anche solamente prendendo spunto da uno strumento “tecnicamente semplice” come il Questionario Scuola.
Non voglio riprendere una polemica che anche su queste pagine si è sviluppata tra chi predicava la dimensione della “fotografia” (noi, l’amministrazione, vi diamo i dati. Voi, le scuole, fate l’autovalutazione) e le mie risposte di invito a distinguere tra “fotografia” e “specchio”. (vedi su queste pagine)  Ma certo, alla prova dei fatti, anche solo dall’uso del Questionario Scuola, si dimostra che, pur attingendo a dati e informazioni “esterne”, il compito “speculativo” (specchio, speculum…) mantiene la pienezza del suo significato. Sempre che, lo si ricordi sempre, l’autovalutazione non si riduca a opportunistico adempimento.
Ma allora la domanda: perchè scegliere, nella comunicazione istituzionale, il registro della semplificazione? Comunicare alle scuole che “non devono preoccuparsi” della raccolta di dati “complessi”: “ve li forniamo noi… “
Non è un autogol politico? Invece di invitare ad un impegno rigoroso e faticoso, darne una versione semplificata e ridotta e contemporaneamente affermare che non si tratta di “un semplice adempimento”? Invece di sollecitare impegno e risorse (e provvedere a remunerarle) suggerire automatismi compilatori?

Mah…
Il pensiero fastidioso non è il precedente… Forse non si tratta di un “autogol politico”. Forse è l’effetto di un paradigma sotterraneo e costante che caratterizza il rapporto tra le scuole autonome e il “superiore Ministro vigilante”. Quest’ultimo (forse) muove da uno strutturale pensiero svalutativo della capacità delle scuole stesse.
Esse non sono una risorsa per realizzare obiettivi e strategie “storiche”. Ma interlocutori di ordini, direttive, verifiche, permanentemente sospettati di non essere all’altezza. E lo “speculum”, si sa, restituirebbe l’immagine di chi “davvero” non è all’altezza….
Purtroppo è una deriva “fisiologica”. Che immagine delle scuole ha il “superiore Ministero”, impegnato con il proprio ombelico di carriere e dirigenti, se non la sola immagina delle scuole che “hanno problemi” (ricorsi, esposti, contenzioso…)? Le scuole che sanno risolvere da sé i problemi, sono, per il superiore Ministero, trasparenti. Non esistono.

L’invito che mi sento di fare è di considerare comunque la complessità del compito assegnato alle scuole a fronte della esilità significativa delle informazioni ad esse “ restituite” dalla supposta “potenza” degli strumenti dell’Amministrazione; complessità che comunque le coinvolge in letture critiche, analitiche, discriminanti dei dati stessi.
E su tale base di mutare registro: non esaltare le semplificazione degli impegni attesi, ma sottolineare  la loro complessità, risolvibile solo da un accumulo di esperienze e competenze che solo nelle scuole possiamo trovare. E delineare prospettive di valorizzazione di queste ultime.

Il veleno in coda

Il Questionario Scuola, come il modello di RAV, sarà compilati da tutte le scuole pubbliche, statali e paritarie.
Uno dei suoi valori di fondo è che, essendo strumento unitario, si offre, anche al di là dei suoi difetti, come fonte di dati omogenea e “comparabile”.
La “comparabilità” ha diversi valori  che operano sia a livello di singola organizzazione che di sistema.
Al primo livello offre la possibilità di “posizionarsi”, di dare spessore speculativo alla propria auto valutazione, di individuare quelli che si usa chiamare benchmark, o semplicemente esperienze “da copiare e imitare”, esperienze dalle quali ricavare indicazioni di miglioramento e/o obiettivi da raggiungere.
A livello di sistema una raccolta di dati comparabili consente (consentirebbe…) di migliorare la “razionalità decisoria” del decisore politico e amministrativo; ma anche di procedere alla individuazione di “standard”.
Questi ultimi, come per altro i benchmark, sono cose assai diverse delle medie e degli scostamenti. Se non altro perché richiedono di parametrare i dati di prestazione, con i loro costi, e con la qualità dei servizi resi (lo standard si costruisce in tale rapporto, non sulla media delle prestazioni…).
Comunque, quali che siano alcuni miglioramenti necessari, il corredo di strumenti omogenei e comparabili ha questo valore. Da qui si può partire per la (faticosa) costruzione di un Sistema di Valutazione, purchè rimangano elevate le soglie della verifica sul campo, della ricerca, del confronto scientifico e tecnico.
Bene allora che rispetto alla “comparabilità” si riaffermi a chiare lettere che essa non è destinata alla costruzione di graduatorie o di criteri di discriminazione punitiva.

Ciò posto, a proposito di “autogol politico”, perché mai il Questionario Scuola delle scuole paritarie è diverso da quello delle scuole statali, per alcune domande cui devono rispondere?
In particolare: capisco che le paritarie non rispondano sul FIS che appartiene alla contabilità pubblica delle scuole statali.
Non capisco però perché le paritarie non debbano rispondere sulle risorse spese sui diversi progetti che compongono il POF (anche le paritarie devono avere il POF, come condizione di riconoscimento di parità)
Capisco che le domande sull’apporto economico delle famiglie abbiano, nelle paritarie, un significato diverso da quello nelle scuole statali. Ma si poteva pure distinguere tra apporto legato direttamente alle rette di iscrizione e apporto finalizzato a singole attività (come per le scuole statali).
E infine: vi sarà pure uno strumento nel quale anche le paritarie, a prescindere dal Questionario Scuola, indicheranno l’ammontare delle loro risorse, la loro provenienza, la loro ripartizione nei diversi usi….
Mi rivolgo direttamente al gruppo di start up che agisce presso il Ministero e che declina aspetti tecnici-scientifici e aspetti politici del progetto di costruzione del SNV e nel quale operano colleghi di grande valore e che stimo.
Che senso ha questa diversificazione? Non giova neppure alle scuole paritarie che sarebbero interessate ad una “valutazione comparata e comparabile”. Credo che i miei amici rettori di scuole dei Gesuiti o dei Salesiani si sentano offesi da tali distinzioni.

E, per favore, non mi si risponda invocando “sistemazioni normative ” differenti. Quali che siano i vincoli e le classificazioni della contabilità pubblica cui non sono tenute le paritarie, è sempre possibile costruire paralleli e analogie per rendere comparabili i dati e le informazioni.

Non si può presentare come “storico” l’impegno alla costruzione di un Sistema Nazionale di Valutazione (inedito per il nostro sistema) e contemporaneamente declinare il piccolo cabotaggio delle convenienze di parte e corporative. Ma non voglio essere cattivo: diciamo che si tratta di un autogol.
Segnalo solamente che non me ne sarei accorto (anche perché ciascuna scuola scarica il suo Questionario… e io “non ho scuola”) se non mi avesse mostrato tali differenze un collega impegnato proprio a delineare “sensate esperienze” di costruzione di un Sistema Nazionale di Valutazione.

I “responsabili tecnico-politici” sappiano che certi autogol rischiano di compromettere l’impresa complessiva e collettiva e di dare fiato e argomenti a chi di valutazione proprio non ne vuole sapere.