Transcript Ranking Conferenze: Relazione GdL GII-GRIN

Ranking Conferenze: Relazione GdL GII-GRIN
Assemblea Nazionale GRIN
Roma – 7 Novembre 2014
Ranking Conferenze: Relazione GdL GII-GRIN
1/13
Classificazione Conferenze: Perché
Osservazioni di partenza:
• le conferenze (non solo le riviste) sono rilevanti per INF/01
• ci sono conferenze competitive e prestigiose almeno quanto
riviste di classe A
• manca una classificazione di riferimento per le conferenze
=⇒ non facile la loro considerazione in VQR
• il problema è condiviso con ING-INF/05
Necessità/Opportunità:
• avere una classificazione delle conferenze condivisa dalla
comunità scientifica INF/01
• lavoro congiunto GRIN (INF01) e GII (ING-INF/05)
Ranking Conferenze: Relazione GdL GII-GRIN
2/13
GdL Ranking Conferenze – Composizione
• GdL congiunto GII (5 persone) e GRIN (5 persone)
• Mandato: individuare un possibile metodo classificazione da porre
in discussione alla comunità scientifica
GRIN
GII
Pierangela Samarati, Milano
Rita Cucchiara, Modena
Carlo Blundo, Salerno
Gerardo Canfora, Sannio
Luca Chittaro, Udine
Gianni Mecca, Basilicata
Alessandro Mei, Roma-Sapienza
Stefano Paraboschi, Bergamo
Davide Sangiorgi, Bologna
Vincenzo Piuri, Milano
Ranking Conferenze: Relazione GdL GII-GRIN
3/13
Alcune osservazioni
Classificazione conferenze è estremamente utile se si vuole una loro
(propria) considerazione in eventuali processi quali VQR, però
• non deve essere un criterio per valutare i singoli individui
◦ la valutazione degli individui è più complessa, e ne sono
competenti opportune commissioni
• la considerazione di indicatori bibliometrici nel processo
non deve essere interpretata come una scelta di un mero criterio
numerico
◦ la ricerca non può essere valutata solo con i numeri
• classificare conferenze non mette in secondo piano le riviste
◦ semplicemente riconosce che ci sono anche conferenze
competitive
Ranking Conferenze: Relazione GdL GII-GRIN
4/13
Classificazioni conferenze: Passi
1 – Produzione di una classificazione su base algoritmica
◦ individuazione sorgenti di classificazione/ranking
◦ traduzione sorgenti in classificazioni
◦ combinazione classificazioni
2 – Valutazione processo e risultato con la comunità
◦ individuazione e correzione di eventuali errori materiali
◦ valutazione classificazione risultante rispetto alla percezione della
comunità
◦ validazione sorgenti e algoritmo
3 – Revisione della classificazione
◦ eventuale revisione algoritmo
◦ modifiche alla classificazione, in seguito a motivazioni argomentate
da esperti
Ranking Conferenze: Relazione GdL GII-GRIN
5/13
Sorgenti di classificazione
• CORE Australiano (eventi CS e non locali/Australasian)
◦ 1622 eventi
◦ prodotto su base bibliometrica + pareri di esperti
◦ A+(65), A(252), B(431), C(874)
• MAS – Microsoft Academic Search Conference Ranking
◦
◦
◦
◦
∼ 3500 eventi
field rating e citazioni
tradotto dall’algoritmo in: A++/A+(75), A/A-(175), B/B-(250), C
buona copertura di area informatica
• SHINE – Google Scholar
◦
◦
◦
◦
∼ 1800 eventi
h-index e citazioni
tradotto dall’algoritmo in: A++/A+(75), A/A-(175), B/B-(250), C
sorgenti varie/ricco, diverso rispetto a MAS
Ranking Conferenze: Relazione GdL GII-GRIN
6/13
Passi preliminari
• Entity resolution
◦ Conferenze identificate da nome
◦ Individuazione e risoluzione di eventi che hanno cambiato nome
(utilizzo DBLP)
− vi potrebbero essere casi non individuati: segnalateli
◦ Risultato: 3210 eventi distinti
• Traduzione ranking MAS/SHINE in classi
◦ ottenuta sulla base del field rating/h-index (classe primaria), con
correzione data dal numero medio di citazioni (classe secondaria)
− possibile declassamento di eventi con alto ranking dovuti a grandi
dimensioni
− possibile promozione di eventi di piccole dimensioni ma con alto
impatto
Ranking Conferenze: Relazione GdL GII-GRIN
7/13
Combinazione delle classificazioni (1)
• INPUT
◦ CORE: A++, A, B, C, null
◦ MAS: A++, A+, A, A-, B, B-, C, null
◦ SHINE: A++, A+, A, A-, B, B-, C, null
• OUTPUT
◦ Tier 1 - Eccellente (70): A++(34), A+(36)
◦ Tier 2 - Molto buono (144): A(81), A-(63)
◦ Tier 3 - Buono (182): B(182)
◦ NC (2814): evento non classificabile per mancanza di input o
appartenente a tier inferiore
Tre casi, in dipendenza del numero di sorgenti che classifica un evento
Ranking Conferenze: Relazione GdL GII-GRIN
8/13
Combinazione delle classificazioni (2)
Tre sorgenti, criteri:
• in entity resolution si prende la classificazione migliore
• maggioranza
◦ due sorgenti almeno X, terza sorgente è superiore/inferiore di 1:
classe risultante è X
◦ due sorgenti almeno X, terza sorgente è inferiore di 2: classe
risultante è quella immediatamente inferiore a X
• monotonicità/linearità (applicabile negli altri casi e a correzione)
◦ traduci classi in numeri: A++=7, A+=6, A=5, A-=4, B=3, B-=2, C=1
◦ i punti di un evento sono la somma dei punti delle sue classificazioni
◦ la classificazione finale associata agli eventi deve rispettare
l’ordinamento dato dai punti
− un evento non può avere una classificazione migliore di un altro
evento con meno punti
• vengono mantenute solo le classificazioni maggiori o uguali a B
Ranking Conferenze: Relazione GdL GII-GRIN
9/13
Combinazione delle classificazioni (3)
Due sorgenti, criteri:
• fill the blank
◦ la terza classe viene assunta essere il minimo fra le due presenti,
si applica quindi il caso precedente
• limitazione risultato
◦ la classe finale non può essere superiore ad A
Una sorgente:
• non viene prodotta alcuna classificazione (NC)
Ranking Conferenze: Relazione GdL GII-GRIN
10/13
Alcune osservazioni ricevute
• La classificazione è troppo conservativa
◦ si è voluto essere conservativi in prima battuta (es. 182 B rispetto
ai 431 in CORE); la classificazione può essere allargata, ad es,:
− meno conservativi nella composizione (per la classe risultato B?)
− considerando la media (invece del minimo) come terza classe
quando solo due sorgenti classificano un evento
• Le riviste sono più importanti / La classificazione è
troppo generosa
◦ classificazione conferenze non benvenuta da tutte le sotto-aree
• Alcuni eventi non sembrano ben classificati
◦ necessità di identificazione casi non ben classificati e loro esame
(passo successivo)
Ranking Conferenze: Relazione GdL GII-GRIN
11/13
Osservazioni finali
• Classificazione algoritmica
− può soffrire limiti valutazione bibliometrica (favorisce eventi storici e
di grandi dimensioni)
+ non soffre problematiche di difficoltà gestione meccanismi
discrezionali/soggettivi
+ l’uso di sorgenti esterne la rende più difendibile nei confronti delle
altre discipline
◦ risultato deve essere
valutato rispetto alla percezione della comunità
• Prossimi passi?
◦ valutazione processo e risultato con la comunità
◦ eventuale revisione della classificazione
◦ utilizzo della classificazione nella VQR?
Ranking Conferenze: Relazione GdL GII-GRIN
12/13
Punti di discussione
• Approvazione della metodologia / revisione della classificazione
◦ con eventuali aggiustamenti o correzioni; es. composizione
meno conservativa (allargamento classe B) o considerazione di
pareri
• Valutazione processo e risultato con la comunità
◦ GdL con Commissione Scientifica, sulla base di pareri?
• Considerazione pertinenza al settore:
◦ valutare ed esplicitare affinità di ciascuna conferenza rispetto a
INF/01?
• Quante fasce proporre ai fini della prossima VQR:
◦ nessuna, una, due, tre?
• Classificazione di riviste
◦ iniziare uno sforzo analogo per la classificazione di riviste
Ranking Conferenze: Relazione GdL GII-GRIN
13/13
Ranking Conferenze: Relazione GdL GII-GRIN
14/13
MAS/SHINE −→ Classi (1)
Due etichette
h: prodotta dall’ordinamento nel field rating/h-index
m: (a correzione) prodotta dal numero medio di citazioni per paper
Rank
1 - 50
51 - 75
76 - 200
201 - 250
251 - 450
451 - 500
501 -
h
A++
A+
A
AB
BC
Media cit
[25 ...
[23 ... 25)
[18 ... 23)
[16 ... 18)
[12 ... 16)
[10 ... 12)
[7 ... 10)
[0 ... 7)
m
A++
A+
A
AB
BC
D
nella computazione di m: le classi di confine hanno ampiezza 2, le classi piene un’ampiezza crescente 3,4,5
Ranking Conferenze: Relazione GdL GII-GRIN
15/13
MAS/SHINE −→ Classi (2)
La classe MAS/SHINE associata ad un evento è pari al suo indice h,
corretto con l’indice m
• declassamento: per abbassare eventi con alto ranking dovuto alla
loro dimensione
• promozione: alzare eventi di piccole dimensioni ma con alto
impatto
Declassamento
h
m
Classe
A++ B/.../D
A+
A+
B-/.../D A
A
C/D
AAD
B
Ranking Conferenze: Relazione GdL GII-GRIN
h
A
AB
BC
Promozione
m
Classe
A++
A+
A++/.../A
A
A++/.../A
AA++/.../A- B
A++/.../A- B-
16/13
MAS/SHINE −→ Classi (3)
h
A++
A++
m
A++/.../A
B/.../D
Classe
A++
A+
A+
A+
A++/.../A
B-/.../D
A+
A
A
A
A
A++
A+/.../BC/D
A+
A
A-
AAA-
A++/A
A-/.../C
D
A
AB
B
B
A++/A
A-/.../D
AB
BB-
A++/.../AB/.../D
B
B-
C
C
A++/.../AB/.../D
BC
Ranking Conferenze: Relazione GdL GII-GRIN
17/13
Composizione classificazioni – Tier 1
A++
34
A++ A++ A++ 24
A++ A++ A+ 10
A+
A++
A++
A++
A++
A+
A++
A+
A+
A+
A+
A
A+
A
AA
36
5
10
13
4
4
sono elencate solo le combinazioni esistenti
Ranking Conferenze: Relazione GdL GII-GRIN
18/13
Composizione classificazioni – Tier 2
A
A++
A++
A++
A++
A++
A++
A+
A+
A+
A+
A
A
A
A
A+
A+
A
A
A
A
A+
A+
A
A
A
A
A
A
B
C
A
AB
BB
A
A
AA-
81
2
1
6
3
1
1
3
1
19
4
16
3
13
8
AA++
A++
A++
A+
A+
A+
A+
A+
A
A
A
A-
A
AAA+
A
A
AAA
AAA-
C
B
C
B
BB
B
A-
63
1
1
1
2
18
1
7
1
21
6
3
1
sono elencate solo le combinazioni esistenti
Ranking Conferenze: Relazione GdL GII-GRIN
19/13
Composizione classificazioni – Tier 3
B
A++
A++
A+
A+
A
A
A
A
A
A
A
A
AB
A
AA
AAAB
B
B
B
C
C
C
C
C
B
BC
B
BC
182
1
1
2
1
3
10
3
6
28
13
7
20
A
A
AAAAAAB
B
B
BBAAB
B
B
B
B
B
B
BC
B
C
B
BC
B
B-
1
9
2
1
11
3
15
8
19
6
12
sono elencate solo le combinazioni esistenti
Ranking Conferenze: Relazione GdL GII-GRIN
20/13
Composizione classificazioni – Non classificabili
NC
A
AB
B
B
B
BB...
C
C
C
B
BBC
BC
...
C
C
C
BC
C
C
C
...
2814
18
6
45
3
17
98
2
19
...
1613
sono elencate solo le combinazioni esistenti per i casi a tre ed il singolo caso più basso
Ranking Conferenze: Relazione GdL GII-GRIN
21/13