Transcript La valutazione del miglioramento

LA VALUTAZIONE
DEL MIGLIORAMENTO
Dino Cristanini
STRESA – 4 SETTEMBRE 2014
IL PROCEDIMENTO DI VALUTAZIONE
(art.6 DPR 80/2013)
AUTOVALUTAZIONE
VALUTAZIONE ESTERNA
AZIONI DI MIGLIORAMENTO
RENDICONTAZIONE SOCIALE
Analisi dati forniti da sistema informativo
Miur e da Invalsi
Rapporto di autovalutazione sulla base di
quadro rif. fornito da Invalsi + elementi
significativi individuati da scuola
Formulazione piano miglioramento
Individuazione scuole da verificare
Visite nuclei valutazione esterna
Ridefinizione piani miglioramento
Anche con supporto Indire, Università,
Enti di ricerca, Associazioni professionali e
culturali
Pubblicazione e diffusione risultati
raggiunti
NECESSITÀ DI UN SISTEMA
DI MISURAZIONE
PER ATTIVARE IL MIGLIORAMENTO CONTINUO
DELLE PERFORMANCE,
LE ORGANIZZAZIONI HANNO LA NECESSITÀ DI
DOTARSI DI UN SISTEMA DI MISURAZIONE
DELLA QUALITÀ DEI SERVIZI CHE EROGANO.
LA VALUTAZIONE DEL MIGLIORAMENTO
PROBLEMATICHE
FOCALIZZARE IL MIGLIORAMENTO
SUGLI ESITI O SUI PROCESSI?
FARE RIFERIMENTO SOLO ALLE DIMENSIONI, AREE,
INDICATORI DELLE LINEE GUIDA NAZIONALI
O INDIVIDUARNE ANCHE ALTRI?
COME COSTRUIRE UN SISTEMA DI VALUTAZIONE
DEL MIGLIORAMENTO DA PARTE DELLA SCUOLA?
IL MODELLO VALeS
CONTESTO
CONTESTO
ANALISI
E
VALUTAZIONE
RISORSE
PRATICHE EDUCATIVE E
DIDATTICHE
PROCESSI
AMBIENTE
ORGANIZZATIVO PER
L’APPRENDIMENTO
SUCCESSO SCOLASTICO
ESITI
COMPETENZE ACQUISITE
EQUITÀ DEGLI ESITI
RISULTATI A DISTANZA
SITUAZIONE ATTUALE
OBIETTIVI DI MIGLIORAMENTO
VALORI/DATI DI
RIFERIMENTO
RISULTATO ATTESO
PROCESSI ED ESITI NEL PROGETTO VALeS
PRATICHE EDUCATIVE E DIDATTICHE
Selezione dei saperi, scelte curricolari e offerta
formativa
Progettazione della didattica e valutazione degli
studenti
Sviluppo della relazione educativa e tra pari
Inclusione, integrazione, differenziazione
Continuità e orientamento
AMBIENTE ORGANIZZATIVO PER L’APP.TO
Identità strategica e capacità di direzione della
scuola (leadership)
Gestione strategica delle risorse
Sviluppo professionale delle risorse umane
Capacità di governo del territorio e rapporti con
le famiglie
Attività di autovalutazione
ESITI
SUCCESSO SCOLASTICO
COMPETENZE DI BASE
EQUITÀ DEGLI ESITI
RISULTATI A DISTANZA
ESEMPI DI OBIETTIVI DI MIGLIORAMENTO
TRA ESITI E PROCESSI
MIGLIORARE I RISULTATI DEGLI ALUNNI NELLE PROVE INVALSI
MIGLIORARE LE COMPETENZE ARGOMENTATIVE DEGLI ALUNNI
INCREMENTARE L’USO DELLE PROVE AUTENTICHE PER LA CERTIFICAZIONE DELLE
COMPETENZE
INNOVARE LE PRATICHE DIDATTICHE MEDIANTE L’INCREMENTO DELL’USO DELLE
TECNOLOGIE DIGITALI
MIGLIORARE LA COMUNICAZIONE CON GLI UTENTI MEDIANTE IL SITO WEB
MIGLIORARE LA COMUNICAZIONE TRA I PLESSI
…………….
LA FOCALIZZAZIONE
DEGLI OBIETTIVI DI MIGLIORAMENTO
IL MIGLIORAMENTO DEVE AVERE COME OGGETTO
LE PERFORMANCES (CAF), GLI APPRENDIMENTI
DEGLI ALUNNI (modello DASI, Dynamic
Approaches to School Improvement, Creemers e
Kyriakides)
oppure
ASSUMERE COME OGGETTO
DEL MIGLIORAMENTO I PROCESSI
PRODUCE COMUNQUE QUALCOSA DI BUONO?
IL MODELLO CAF
MIGLIORARE I RISULTATI MIGLIORANDO I PROCESSI
CONCLUSIONE
TENERE SEMPRE PRESENTE LE CONNESSIONI
CAUSALI TRA PROCESSI E RISULTATI
MIGLIORARE I PROCESSI PER MIGLIORARE GLI ESITI
PER MIGLIORARE DETERMINATI ESITI,
SU QUALI PROCESSI OCCORRE LAVORARE?
SE SI PUNTA A MIGLIORARE DETERMINATI PROCESSI,
QUALI MIGLIORAMENTI NEGLI ESITI SI PENSA DI OTTENERE?
OBIETTIVI, INDICATORI, TARGET
LA VALUTAZIONE DEI PIANI DI MIGLIORAMENTO
INIZIA DALLA PROGETTAZIONE
VALUTAZIONE EX ANTE
QUALITÀ DEL PROGETTO
VALUTAZIONE IN ITINERE
MONITORAGGIO
DELL’ ANDAMENTO
E REGOLAZIONE
VALUTAZIONE EX POST
ESITI
PROGETTARE IN MODO DA RENDERE
POSSIBILE LA VALUTAZIONE
IL PROBLEMA/CRITICITA’/ASPETTO INSODDISFACENTE RISPETTO
A CUI DOBBIAMO MIGLIORARE È …
LE CAUSE PIU’ PROBABILI DEL
PROBLEMA/CRITICITÀ/ASPETTO
INSODDISFACENTE SONO …
IL MIGLIORAMENTO (OBIETTIVO STRATEGICO) DA REALIZZARE
CONSISTE …
PER RIMUOVERE LE CAUSE VERRANO
ATTUATE LE SEGUENTI MACRO-AZIONI
OBIETTIVI OPERATIVI
(RISULTATI ATTESI PER OGNI MACROAZIONE)
AZIONE: _____________________
Attività
OBIETTIVO
In quale direzione migliorare
Chi fa
(soggetto responsabile
dell’attuazione)
Entro quando
(scadenza)
INDICATORE
Attraverso quali segnali si può rilevare il
miglioramento?
Adeguamenti in itinere
(eventuali)
TARGET
valore atteso/desiderato/ programmato
LA PROGETTAZIONE
DEL MIGLIORAMENTO
UN PROGETTO È
UN INSIEME COERENTE DI ATTIVITÀ
PER RAGGIUNGERE DETERMINATI OBIETTIVI
CON RISORSE DEFINITE
IN UN TEMPO STABILITO
CONCETTI FONDAMENTALI
OUTCOME
IMPATTO, RISULTATO ULTIMO DI UN’ AZIONE
CONSEGUENZA DI UN’ATTIVITÀ O PROCESSO DAL
PUNTO DI VISTA DEGLI UTENTI DEL SERVIZIO E,
PIÙ IN GENERALE, DEGLI STAKEHOLDER
VALORE PUBBLICO PRODOTTO DALLE
AMMINISTRAZIONI NELL’EROGAZIONE DI SERVIZI
PER LA COLLETTIVITÀ
CONCETTI FONDAMENTALI
OUTPUT
RISULTATO
CHE SI OTTIENE IMMEDIATAMENTE
AL TERMINE DI UNA ATTIVITÀ
O DI UN PROCESSO
CONCETTI FONDAMENTALI
OBIETTIVI STRATEGICI
OBIETTIVI DI PARTICOLARE RILEVANZA RISPETTO
AI BISOGNI DELLA COLLETTIVITÀ E ALLE ATTESE DEGLI STAKEHOLDER
TRADUCONO L’IDENTITÀ IN OBIETTIVI
PROSPETTIVA PLURIENNALE
GLI OBIETTIVI DI EFFICACIA ED EFFICIENZA DELL’ATTIVITÀ
ISTITUZIONALE ORDINARIA HANNO CARATTERE PERMANENTE
AGLI OBIETTIVI STRATEGICI SONO COLLEGATI
UNO O PIÙ INDICATORI
CONCETTI FONDAMENTALI
OBIETTIVI OPERATIVI
OGNI OBIETTIVO STRATEGICO È ARTICOLATO
IN OBIETTIVI OPERATIVI
PROSPETTIVA TEMPORALE PIÙ BREVE
PER OGNI OBIETTIVO OPERATIVO OCCORRE DEFINIRE AZIONI, TEMPI,
RISORSE, RESPONSABILITÀ
AD OGNI OBIETTIVO OPERATIVO OCCORRE ASSOCIARE
UNO O PIÙ INDICATORI
AD OGNI INDICATORE OCCORRE ASSOCIARE UN TARGET
(VALORE PROGRAMMATO O ATTESO)
OBIETTIVI SMART
SPECIFICI
MISURABILI
ACCESSIBILI (RAGGIUNGIBILI ANCHE SE SFIDANTI)
RILEVANTI (COERENTI CON LA MISSION)
TEMPIFICABILI
LA VALUTAZIONE EX ANTE
DEL PROGETTO
COMPLETEZZA
CONNESSIONE LOGICA TRA ESITI DELLA VALUTAZIONE
E OBIETTIVI DI MIGLIORAMENTO
CONNESSIONE LOGICA TRA AZIONI PREVISTE E OBIETTIVI INDIVIDUATI
CHIAREZZA E FACILE COMPRENSIBILITÀ
FATTIBILITÀ
PRESENZA DISPOSITIVI VALUTAZIONE IN ITINERE ED EX POST
COERENZA
GLI OBIETTIVI DEL PIANO DI MIGLIORAMENTO
SONO IDONEI A RISOLVERE LE CRITICITÀ
INDIVIDUATE?
LE AZIONI PREVISTE DAL PIANO SONO
IDONEE A RAGGIUNGERE GLI OBIETTIVI DI
MIGLIORAMENTO INDIVIDUATI?
SONO FATTIBILI IN RELAZIONE AL CONTESTO E
ALLE RISORSE?
PROGETTARE IL MONITORAGGIO
E LA REGOLAZIONE IN ITINERE
AZIONE: _____________________
Attività
Chi fa
(soggetto
responsabile
dell’attuazione)
Entro quando
(scadenza)
Adeguamenti in
itinere (eventuali)
CRITERI CLASSICI
DI VALUTAZIONE EX POST
EFFICACIA INTERNA
Grado di conseguimento degli obiettivi stabiliti
EFFICACIA ESTERNA
Abbiamo fatto le cose giuste per gli utenti e gli
stakeholder?
EFFICIENZA
Fermi restando gli obiettivi abbiamo contenuto i costi il
più possibile? Con gli stessi costi potevamo fare di più?
CONCETTI FONDAMENTALI
CRITERI DI QUALITÀ
ASPETTI IDONEI A DEFINIRE LA QUALITÀ DELL’OGGETTO
VALORI IN BASE A CUI ATTRIBUIRE UN LIVELLO DI MAGGIORE
O MINORE QUALITÀ ALL’OGGETTO DELLA VALUTAZIONE
INDICATORI
SEGNALI CONNESSI A EVIDENZE OSSERVABILI/RILEVABILI/MISURABILI IDONEI A
SEGNALARE IL LIVELLO DI PRESENZA DEI CRITERI DI QUALITÀ
(NON DIRETTAMENTE OSSERVABILI/RILEVABILI/MISURABILI)
GLI INDICATORI QUANTITATIVI SONO ESPRESSI COME GRANDEZZE IN TERMINI
ASSOLUTI (numero di …) O DI RAPPORTO (% di …)
TARGET
VALORE DESIDERATO, ESPRESSO IN TERMINI QUANTITATIVI, DEL RISULTATO CHE CI SI
PREFIGGE DI OTTENERE RISPETTO A UN OBIETTIVO
E AL RELATIVO INDICATORE
LE CARATTERISTICHE
DI UN BUON INDICATORE
IDONEITÀ A FORNIRE EFFETTIVAMENTE INFORMAZIONI
SUL LIVELLO DI RAGGIUNGIMENTO DELL’OBIETTIVO
RILEVANZA, SIGNIFICATIVITÀ RISPETTO ALL’OBIETTIVO
CHIARA INTERPRETABILITÀ, MANCANZA DI AMBIGUITÀ
SICURA REPERIBILITÀ DEI DATI NECESSARI PER MISURARE LA
GRANDEZZA O VERIFICARE LA PRESENZA/ASSENZA
DELL’ASPETTO CONSIDERATO
PROBLEMI DI METRICA
COME SI MISURA IL MIGLIORAMENTO?
PRESENZA/ASSENZA DI FENOMENI (SÌ/NO)
(PASSAGGIO DALL’ASSENZA ALLLA PRESENZA DI ELEMENTI POSITIVI
PASSAGGIO DALLA PRESENZA ALLL’ASSENZA DI ASPETTI NEGATIVI)
DATI STATISTICI
(es. risultati prove Invalsi)
RUBRICHE VALUTATIVE
(trasformazione di più informazioni in un punteggio sintetico, definito mediante
il giudizio di esperti”)
DAGLI INDICATORI AGLI INDICI
(come “sommare” gli indicatori in modo da ottenere punteggi sintetici)
ES. PUNTEGGIO CAF
GRIGLIA DI VALUTAZIONE DEI RISULTATI
Scala
0 – 10
11 – 30
31 – 50
51 – 70
71 – 90
TREND
Nessuna
misurazione
Trend
negativo
Nessuna o
scarsa
informazione
I risultati non
soddisfano gli
obiettivi
91 - 100
Trend
stazionario o
progressi
poco
significativi
Progresso
costante
Progresso
significativo
Confronti
positivi con
organizzazioni di rilievo su
tutti i risultati
Pochi obiettivi
raggiunti
Alcuni
obiettivi
significativi
raggiunti
La maggior
parte degli
obiettivI
raggiunti
Tutti gli
obiettivi
raggiunti
Punteggio
TARGET
Punteggio
Totale/200
Punteggio/100
ES. RUBRICA VALES
Livelli
Livello 1.
inadeguato
Livello 2.
accettabile
Livello 3.
buono
Livello 4.
eccellente
Descrizione livelli
L’ACQUISIZIONE DELLE EVIDENZE
OBIETTIVO DI MIGLIORAMENTO DA VALUTARE:
_______________________________________
INDICATORI
TARGET
QUALI
INFORMAZIONI
SERVONO?
SONO GIÀ
STATE
RACCOLTE?
DEVONO
ESSERE
ANCORA
RACCOLTE?
DOVE SONO ?
A CHI SI
POSSONO
CHIEDERE?
CON QUALI
STRUMENTI SI
POSSONO
RACCOGLIERE?
IL PROBLEMA DELLA VALIDITÀ, DELL’AFFIDABILITÀ
E DELLA COMPARABILITÀ
La presenza di momenti di valutazione esterna e, più in
generale, l’individuazione di criteri e strumenti comuni e di
standard omogenei per la stessa autovalutazione, non
servono soltanto ad impedire che, banalmente quanto
inutilmente, ogni scuola dia peso solo al momento di
rendicontazione,
che
è
parte
dell’esercizio
di
autovalutazione, e lo deformi attribuendosi il “massimo dei
voti”.
I riferimenti esterni comuni e omogenei servono soprattutto ad
orientare ciascuna Istituzione scolastica verso una
prospettiva sistemica di analisi organizzativa interna, utile a
riconoscerne le componenti essenziali e le reciproche
relazioni ed a leggere il singolo caso comparativamente agli
altri.
Da Logiche generali progetto VALeS
DATI COMPARABILI
ESITI PROVE INVALSI
FASCICOLO SCUOLA IN CHIARO
QUESTIONARIO SCUOLA
QUESTIONARI INSEGNANTI, STUDENTI,
GENITORI
ESEMPIO
EVIDENZE SUGLI ESITI
SUCCESSO SCOLASTICO
COMPETENZE ACQUISITE
EQUITÀ DEGLI ESITI
RISULTATI A DISTANZA
ESITI DEGLI SCRUTINI: % PROMOSSI,
% SOSP. GIUDIZIO PER DEBITO SCOLASTICO, % BOCCIATI
ESITI ESAME DI FINE CICLO
VOTAZIONI OTTENUTE
% ABBANDONI IN CORSO D’ANNO
% ALUNNI CHE HANNO CHIESTO IL TRASFERIMENTO AD ALTRA
SCUOLA PER MOTIVI LEGATI ALL’INSUCCESSO SCOLASTICO
ESITI DELLA CERTIFICAZIONE DELLE COMPETENZE: % DI ALUNNI
COLLOCATA IN CIASCUN LIVELLO: BASE, INTERMEDIO
AVANZATO
ESITI PROVE INVALSI ITALIANO E MATEMATICA
% DI ALUNNI COLLOCATI IN CIASCUNO DEI CINQUE LIVELLI
DELLA SCALA DEI RISULTATI DELLE PROVE INVALSI
DATI SU PROMOSSI E NON PROMOSSI AL TERMINE DEL PRIMO
ANNO DELLA SCUOLA SUCCESSIVA
DATI SU CREDITI CONSEGUITI NEL PRIMO ANNO DI UNIVERSITÀ
ALTRI ELEMENTI DI CONOSCENZA
ACQUISITI DALLE SCUOLE
Rischio di indirizzare il miglioramento solo verso
obiettivi per i quali di dispone di indicatori
comparabili
In relazione agli obiettivi di miglioramento
prescelti una scuola può avere la necessità di
ricorrere a indicatori e misure proprie
L’importante è garantire la validità
e l’affidabilità dei dati
L’ACQUISIZIONE DELLE EVIDENZE SUI PROCESSI
STRUMENTI
ANALISI DOCUMENTALE
QUESTIONARIO
INTERVISTA
OSSERVAZIONE DIRETTA
L’ANALISI DOCUMENTALE
VANTAGGI
LIMITI
CONDIZIONI
I DOCUMENTI POSSONO NON
ESSERE FACILMENTE REPERIBILI
NON SERVE UNA PARTICOLARE
PREPARAZIONE PREVENTIVA
LE INFORMAZIONI ESISTONO GIÀ
I DOCUMENTI POSSONO ESSERE
DISOMOGENEI
LE INFORMAZIONI POSSONO ESSERE
INCOMPLETE O POCO SIGNIFICATIVE
DIFFERENZA TRA DICHIARATO E
AGITO
L’INTERVISTA
VANTAGGI
LIMITI
CONDIZIONI
VA PREPARATA
SI POSSONO RACCOGLIERE
INFORMAZIONI SU VARI ASPETTI
INTERATTIVITÀ, POSSIBILITÀ
DI APPROFONDIMENTI
FLESSIBILITÀ, POSSIBILITÀ DI
ESPLORARE ASPETTI NON
INIZIALMENTE PREVISTI
L’INTERVISTATORE DEVE STARE
ATTENTO A NON INFLUENZARE
CHI RISPONDE PUÒ TENDERE A DARE
RISPOSTE CONFORMISTICHE, A DIRE
CIÒ CHE RITIENE CHE GLI ALTRI
APPREZZINO
PROBLEMA DELLA COMPARABILITÀ
L’OSSERVAZIONE DIRETTA
VANTAGGI
LIMITI
CONDIZIONI
VA PREPARATA
SI POSSONO RACCOGLIERE
INFORMAZIONI SU VARI ASPETTI
LA PRESENZA DELL’OSSERVATORE
PUÒ INFLUENZARE L’OSSERVATO
CONTATTO DIRETTO CON L’OGGETTO
D’ INDAGINE, SENZA MEDIAZIONI
RICHIEDE TEMPI LUNGHI
NON SEMPRE SI PUÒ FARE
IL QUESTIONARIO
VANTAGGI
SI POSSONO RACCOGLIERE
INFORMAZIONI SU VARI ASPETTI
CON UN SOLO STRUMENTO E IN
TEMPI RAPIDI
LE DOMANDE SONO UGUALI PER
TUTTI
L’ ANOMINATO PUÒ INCORAGGIARE
LA SINCERITA’
LIMITI
CONDIZIONI
LA PREPARAZIONE RICHIEDE
COMPETENZA E CURA
LE DOMANDE SONO RELATIVE A
CIÒ CHE GIÀ SI SA
POSSIBILE DIFFICOLTÀ NEL
RECUPERARE TUTTE RISPOSTE
POSSIBILI TIMORI DI ESSERE
COMUNQUE RICONOSCIUTI O
RISPOSTE FRETTOLOSE
ORIZZONTI DI RICERCA
DOPO QUANTO TEMPO,
IN RELAZIONE AI VARI TIPI DI OBIETTIVI,
È RAGIONEVOLE ATTENDERSI
MIGLIORAMENTI APPPREZZABILI?
COMPATIBILITÀ TRA FINALITÀ
DI ACCOUNTABILITY E DI LEARNING