Una comparazione tra due comparatori

Alfredo Tifi

ITIS Divini, map.dschola.it

Email tifialf@tin.it

La presente è una recensione dell’articolo – comunicazione di Tom Colon presentata al CMC di Pamplona il 14 settembre 2004 e insieme analisi critica delle possibilità offerte dal comparatore Conception Map Analyser di Colon (nell’articolo in oggetto è definito RFA = Reasonable Fallible Analyser, cioè analizzatore fallibile e ragionevole).

1. Il comparatore di Conlon

Il presupposto da cui parte Conlon è che spesso gli allievi vogliono sapere se le loro mappe, prodotte per riassumere la loro comprensione di un dato materiale di studio, sono accettabili, buone o scadenti, senza mezzi termini, e non si accontentano di qualche vaga parola di incoraggiamento da parte dell’insegnante. È vero che il valore della mappa è nel processo di costruzione, che ogni mappa di ogni studente o coppia di studenti pur differenziandosi, ha la sua logica e la sua validità in quanto rappresentazione di una comprensione personale di un dominio di conoscenza, è vero che una mappa non si può mai ritenere completata né perfetta, ma alla fine lo studente ha diritto di sapere se ciò che ha fatto va bene o no e perché. Questa richiesta dello studente può ricevere tre tipi di risposte (traduzione fedele da Conlon):

1. L’insegnante potrebbe sedersi con i suoi studenti e studiare e discutere le loro mappe. Potenzialmente potrebbe fornire ricchezza di feedback basandosi sui contenuti, conducendo gli studenti alla propria comprensione esperta dell’argomento avvantaggiandosi della propria comprensione dell’apprendimento degli studenti.
2. Potrebbe suggerire che gli studenti autovalutino la propria mappa, per esempio discutendone con altri compagni di classe con i quali le mappe sarebbero comparate, anche trovando un accordo sui miglioramenti reciproci da fare.
3. Potrebbe dire: ‘non importa com’è venuta la tua mappa, ciò che conta è cosa hai imparato mentre la facevi. Inoltre la comprensione di ognuno è unica, perciò come si potrebbe assegnare un voto oggettivamente a una mappa?’

La prima risposta è ideale ma anche, forse, anche idealistica. Con questo approccio l’insegnante acquista una conoscenza dei progressi degli allievi e questi beneficiano di un feedback di alta qualità. Ma a causa dell’elevato numero degli allievi di ogni classe tutto questo solo raramente è praticabile. La seconda risposta potrebbe essere produttiva in alcuni contesti, ma è ingannatrice poiché può comportare un estensivo processo di interazione tra pari la cui effettiva capacità di valutazione è incerta. La terza risposta è inefficace e fuorviante. Naturalmente è vero che il processo del concept mapping è più importante del prodotto ed è vero che una mappa fornisce una visione personale di un dominio. Ma certamente una sintesi di un materiale curriculare routinario dovrebbe poter catturare le caratteristiche chiave in modi più o meno riconoscibili e condivisibili. Il feedback svolge un ruolo vitale nell’apprendimento in termini generali; se non si coglie l’opportunità che le mappe concettuali hanno di fornire feedback, si rischia anche di indebolire la fiducia degli studenti per il concept mapping.

… L’RFA (Reasonable Fallible Analyser, analizzatore fallibile e ragionevole) è un programma per computer che compara la mappa dello studente con una prodotta da un esperto o da un compagno capace, producendo un punteggio e fornendo stimoli per poter migliorare tale punteggio. Poiché non impone nessuna restrizione al linguaggio della studente, l’analizzatore è fallace:molte delle sue affermazioni iniziali sono errate. Ma esso è anche ragionevole: lo studente potrà negoziare una valutazione più favorevole.

Il software RFA, presentato nell’articolo, in futuro potrà essere utilizzabile con una varietà di strumenti per la costruzione delle mappe, ma attualmente è implementato solo in Conception, anche nella versione di prova, col nome Conception Map Analyser (Command à compare to expert…)

La versione di prova di Conception non consente il salvataggio delle mappe, ma per testare il comparatore, permette il salvataggio come “mappa esperta”. Questa mappa non è riapribile (nemmeno cambiando l’estensione da *.cpe a *cpn) e non credo che questa sia una limitazione della versione di prova. Più probabile che sia per impedire allo studente la possibilità di visualizzare direttamente la mappa esperta. Certo è che l’insegnante che prepara questa mappa dovrebbe salvarla sia normalmente sia come *.cpe, per poterla rielaborare in seguito.

Il risultato della comparazione è un punteggio percentuale, una lista dei concetti e delle proposizioni “corrette” e anche un elenco dei concetti inseriti che però non sono riscontrabili nella mappa esperta. Il riscontro di correttezza non si basa solo sulla corrispondenza esatta delle parole concetto e delle proposizioni, ma anche sulla relazione di sinonimia, supportata da un dizionario con 200.000 termini (ovviamente in inglese).

La parte più interessante del comparatore di Conlon è che esso, oltre a fornire il punteggio attuale della mappa in costruzione, consente allo studente di interagire con il sistema di valutazione argomentando, negoziando con esso e correggendolo. In tal modo la valutazione è realmente formativa, poiché lo studente può trarre suggerimenti dall’esame delle affermazioni del comparatore e modificare la propria mappa, inoltre è anche una forma di auto-valutazione perché l’allievo può sostenere le proprie scelte e “imporle” al comparatore, che eleverà di conseguenza il punteggio. La sperimentazione finora condotta ha dimostrato che gli allievi, pur potendo farlo, non “imbrogliano” il sistema obbligandolo ad accettare per sinonimi termini e proposizioni che equivalenti non sono.

In dettaglio, la funzione “Argue…” (convincere, argomentare, discutere) offre tre opzioni:

1. L’analyser propone, uno alla volta, i concetti della mappa esperta che non sono riscontrati nella mappa dello studente, ogni volta ripresentando l’elenco dei concetti dello studente che non sono stati riconosciuti come pertinenti.

Lo studente può selezionare uno dei propri concetti esclusi e imporlo come equivalente a quello della mappa esperta, ciccando su OK. Nell’esempio la differenza consiste solo nel singolare invece del plurale. Se invece lo studente conferma che si tratta di un concetto mancante nella propria mappa, clicca su No. L’opzione può essere ripetuta per tutti i concetti della mappa esperta. Ovviamente è anche possibile che lo studente esca dalla funzione comparazione e inserisca nella mappa i concetti della mappa esperta che non aveva inserito precedentemente, modificando l’impostazione della propria mappa. Le modifiche apportate al punteggio non sono però modificate in modo permanente. Riaprendo lo strumento di comparazione il software riproporrà la valutazione precedente e il punteggio potrà risultare diverso solo se l’allievo avrà apportato modifiche alla mappa. Probabilmente questa limitazione è voluta per scoraggiare eventuali studenti che cercassero di riprodurre la mappa esperta procedendo per tentativi ed errori.

2. La seconda opzione di negoziazione è simile alla precedente, ma presenta simultaneamente l’elenco dei concetti dello studente ritenuti non pertinenti (in basso) e quello dei concetti della mappa esperta ancora non inseriti (in alto).

Con l’abitudine all’utilizzo dello strumento, questa opzione consentirebbe allo studente un controllo più rapido degli eventuali errori di valutazione del comparatore. Notare che nella seconda videata, dopo l’accettazione del termine “polygon”, il punteggio è passato da 22% a 24%. Va notato anche che in questa maniera l’allievo può accedere all’elenco completo dei concetti della mappa esperta.

3. la terza opzione di negoziazione è simile alla seconda, ma consente di riconoscere come valide quelle proposizioni che il comparatore aveva accettato solo in parte.

Alla fine dell’interazione con il comparatore l’allievo può ottenere e stampare un certificato che attesta la valutazione ottenuta dalla sua mappa. Naturalmente può modificare la mappa mentre è attivo l’analyser ed effettuare più comparazioni successive.

Il contesto di applicazione di tale strumento di comparazione è abbastanza ben delineato (e dichiarato): nella valutazione formativa, caratterizzata dal fornire informazioni che aiutano lo studente a migliorare il proprio apprendimento, in contrasto alla valutazione sommativa, orientata al riconoscimento di crediti e priva di valenza diagnostica. Esso si rivolge in particolare a un frequente tipo di concept mapping utilizzato a scuola, indirizzato più alla ricostruzione sintetica di quanto si è già appreso che non all’esplorazione di un nuovo dominio. In questo contesto può aver maggior senso (e accettabilità) l’effetto di “convergenza” delle mappe prodotte dagli studenti verso una singola mappa prodotta dall’insegnante-esperto. Comunque l’autore prevede un’evoluzione del sistema che lo metta in grado di effettuare la comparazione con più mappe sullo stesso dominio, dotando l’RFA di altre funzioni.

Conlon suggerisce di utilizzare il report del RFA all’interno di un ciclo di revisione che coinvolga anche discussioni con i compagni di classe e/o l’insegnante, con modifiche complessive del dominio della mappa. L’alternativa che restringe l’azione al ciclo chiuso editing – revisione RFA può condurre all’allineamento con la mappa esperta senza cambiamenti nella struttura cognitiva dello studente.

Una finalità non completamente esplicitata, che ha stimolato lo sviluppo di  questo strumento, è quella di favorire l’ingresso del concept mapping nelle classi tradizionali. Infatti non ci sono dubbi che uno degli ostacoli a tale diffusione deriva dalla difficoltà nel fornire feedback appropriato agli elaborati degli studenti.

La mia opinione: un piccolo e consapevole allontanamento dallo spirito costruttivista per catturare un maggior numero di insegnanti che, almeno in una prima fase, potrebbero continuare a pensare ad una valutazione basata sull’aderenza ad uno standard e insieme poter dire che gli studenti fanno mappe differenti.

2. Il comparatore di mappe di CmapTools

La versione beta di CmapTools 4.0 fornisce uno strumento, compare to cmap…, che effettua la comparazione tra la mappa che si è già aperta e una qualsiasi altra mappa. Il contesto d’uso di tale strumento non è specificato, ma è evidente che può essere utilizzato per comparare le mappe con delle mappe di riferimento. L’utilizzo è molto semplice, anche se per questa nuova funzione tutti i comandi sono in inglese. Mentre la mappa in elaborazione è aperta, dal menu strumenti si seleziona “compare to cmap…” Si scelgono le parti della mappa da comparare, proposizioni, connessioni, frasi legame e concetti (tutte nell’immagine esempio seguente). Quindi si seleziona una mappa di riferimento e si scelgono i criteri di comparazione: conteggiando le corrispondenze con termini identici, con le parole chiave, con i sinonimi, i termini più inclusivi del termine dato (iperonimi) e le corrispondenze parziali delle etichette (es sotto = sottosuolo). Nell’esempio si sono selezionati tutti i criteri di corrispondenza.

Una volta scelta la mappa di riferimento, tramite Select Cmap…, si clicca su Compare Cmaps e in pochi istanti si ottiene il risultato.

La mappa comparata viene rimpicciolita e si apre automaticamente la mappa di riferimento (sulla destra), che può essere una qualunque cmap non protetta in lettura. I nodi con le etichette comuni sono evidenziati in verde. Il rapporto fornisce il numero e la percentuale di corrispondenze nelle proposizioni, connessioni, (una proposizione ha due connessioni), frasi legame e concetti. Sono specificate le corrispondenze esatte, tra sinonimi, tra iperonimi e tra parti di termini composti (Substring). Selezionando una riga qualsiasi del risultato sono posti in risalto gli elementi di entrambe le mappe tra i quali sussiste la corrispondenza descritta.

Come strumento di comparazione sembra più immediato ed esplicito del sistema RFA di Conlon, che però è stato pensato per un’applicazione strettamente didattica.

Non viene fornito un punteggio esplicito, ma questo non costituisce un problema e, anzi, si lascia così maggior libertà di scegliere come calcolare un “indice di corrispondenza” tra le due mappe.

Cosa manca (nella versione 4.0 beta):

1. un modo per stampare il report.della comparazione, comprendente anche l’elenco dei termini non corrispondenti e delle proposizioni solo in parte corrispondenti (per una revisione “manuale” del risultato.
2. un modo per impedire la visualizzazione della mappa di riferimento

I bug:

1. non c’è verso di uscire dalla funzione comparazione, se non chiudendo la mappa (che comunque può essere ancora editata).
2. non sempre il comparatore fornisce il report: con alcune mappe e con alcuni PC continua a calcolare indefinitamente.

27 settembre 2004 Alfredo Tifi