Transcript Ocena parametryczna jednostek naukowych

Parametryzacja i kategoryzacja
Jednostek Naukowych
podsumowanie i pytania
Uniwersytecka Komisja Nauki
Olsztyn, 11.10.2013.
Stanisław Kistryn
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
1
Zadanie ustawowe
Art. 42. ust. 1.
Kompleksowa ocena jakości działalności naukowej lub
badawczo-rozwojowej jednostek naukowych, jest
przeprowadzana na podstawie wyników oceny poziomu
naukowego prowadzonych badań naukowych lub
prac rozwojowych oraz ich efektów w odniesieniu do
standardów międzynarodowych, a także oceny znaczenia
działalności jednostki naukowej dla rozwoju nauki w skali
międzynarodowej oraz wzrostu innowacyjności w skali kraju.
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
2
Grupy Wspólnej Oceny
Grupa Nauk
Rodzaj Jednostki
Podstawowe Jednostki
Organizacyjne Szkół
Wyższych
Instytuty Polskiej
Akademii Nauk
Humanistyczne
Ścisłe
i Społeczne
i Inżynierskie
o Życiu
6
8
4
5
8
2
3
6
3
3
5
2
o Sztuce
i Twórczości
Artystycznej
4
Instytuty Badawcze
Inne
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
1
3
Kryteria
Cztery kryteria oceny dla wszystkich JN:
1.
2.
3.
4.
Osiągnięcia naukowe i twórcze
Potencjał naukowy
Materialne efekty działalności naukowej
Pozostałe efekty działalności naukowej
Określenie kategorii A+
► ocena ekspercka z uwzględnieniem
dodatkowych kryteriów
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
4
Podkryteria wg grup nauk i
rodzaju Jednostek Naukowych
Grupa Nauk
Humanist. i
Społecznych
Ścisłych i
Inżynierskich
o Życiu
Kryterium
o Sztuce i
Twórczości
Artystycznej
Publikacje
Monografie
Publikacje
Monografie
Patenty
Publikacje
Monografie
Patenty
Publikacje
Monografie
Patenty
Dorobek artyst.
Uprawnienia
Rozwój kadry
Funkcje
Projekty
Uprawnienia
Rozwój kadry
Lab. akredytow.
Status PIB
Środki z projekt.
Uprawnienia
Rozwój kadry
Lab. akredytow.
Uprawnienia
Rozwój kadry
Funkcje
Projekty
3. Materialne efekty
działalności
naukowej
Patenty
Ekspertyzy
Płace ze źródeł
zewnętrznych
Nakłady na aparaturę i oprogr.
Płace ze źródeł
zewnętrznych
Nakłady na aparaturę i oprogr
Ekspertyzy
Działania artyst.
4. Pozostałe efekty
działalności
naukowej
Nagrody
Konferencje
Popularyzacja
Specjalne
Nagrody
Konferencje
Popularyzacja
Specjalne
Nagrody
Konferencje
Popularyzacja
Specjalne
Nagrody
Konferencje
Popularyzacja
Specjalne
1. Osiągnięcia
naukowe i twórcze
2. Potencjał naukowy
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
5
Kategoryzacja
► Ranking jest etapem pośrednim (?)
konieczne porównanie punktacji jednostek z wzorcem
► Jednostki referencyjne
minimalne wymaganie wartości kryteriów p1, …, p4 dla
przekroczenia progów kategorii A (B→A) i B (C→B)
(z analizy statystycznej zakresu wartości każdego z kryteriów
oraz poprzez odniesienie do standardów światowych)
► Kategoryzacja
włączenie jednostek referencyjnych AB i BC do rankingu;
odniesienie punktacji każdej jednostki do wyniku rankingu
jednostek referencyjnych AB i BC
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
6
Kategoryzacja
Ranking:
● Porównanie jednostek parami
ważoną relacją przewyższania
● Uporządkowanie wg wyników
X
A
n
k
i
e
t
a
J
N
p1
p2
p3
p4
g1R
1
p1
2
p2
3
p3
g2R
g3R
g4R
4
Σ
UKN Olsztyn; 11 października 2013.
p4
A
n
k
i
e
t
a
J
N
Y
Porównanie ocen dla każdego
z i=4 kryteriów piX ↔ piY → Ri
Jednostki otrzymują punkty
w zakresie (–gi ÷ gi )
Wynikiem porównania pary
jednostek jest dla każdej z nich
suma punktów z 4 porównań
par ocen (wszystkie kryteria)
Jednostki można uszeregować
ze względu na sumę punktów ze
wszystkich porównań w parach
Kategoryzacja JN 2013 - podsumowanie i pytania
7
Wagi kryteriów wg grup nauk i
rodzaju Jednostek Naukowych
Maksymalna punktacja w ostatecznej ocenie (wagi)
Kryterium
sposób
oceny
Nauki
Hum. + Społ.
Nauki
Ścisłe + Inżyn.
JU PAN IB
Nauki
o Życiu
JU PAN
IB
Nauki o Sztuce
i Twórczości
Artystycznej
Punkty z listy
ministerialnej i ustalone
przez KEJN
65
65 65 35 70 75 60 60
Wg ustalonej
punktacji
15
10 10 10 5
3. Materialne efekty
działalności
naukowej
Wg ustalonej
punktacji
5
15 15 45 15 10 25 5
4. Inne efekty
działalności
naukowej
Ankieta i ZE
15
10 10 10 10 10 10 15
1. Osiągnięcia
naukowe i twórcze
2. Potencjał naukowy
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
5
5 20
8
Kategoryzacja – wyniki
► A+
37
3,8%
► A
308
32,0%
► B
541
56,2%
► C
77
8,0%
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
9
Przyznane kategorie według
rodzaju Jednostek Naukowych
Liczba przyznanych kategorii
Kategoria
Nauki
Hum. + Społ.
Ogólnie
Nauki
Ścisłe + Inżyn.
Nauki
o Życiu
Nauki o Sztuce
i Tw. Artyst.
JU PAN IB
In
A+
23 12 2
0
8
4
0
A
225 42 35
6
72
8
2
B
451 15 70
5
178
2
7
115
6 40
85
7 23 73
8 11
18
0
0
15
0
17
1
C
57
UKN Olsztyn; 11 października 2013.
1
JU
PAN
IB
JU
9
PAN
5
IB JU
0
77 15 21
6
4
PAN
3
IB JU
2
2
56 19 12 20
Kategoryzacja JN 2013 - podsumowanie i pytania
2
7
10
Kategoryzacja – wyniki
Kategorie wg. obszarów
C
B
A
A+
100%
90%
80%
70%
60%
J
U
P I
A B
N
I
n
n
e
T
o
t
J
U
P I
A B
N
I
n
n
e
T
o
t
J
U
P I
A B
N
I
n
n
e
T
o
t
J
U
I
n
n
e
T
o
t
J
U
P I
A B
N
I
n
n
e
T
o
t
50%
40%
30%
20%
10%
0%
H-S
UKN Olsztyn; 11 października 2013.
NoZ
S-I
Sz-TA
Kategoryzacja JN 2013 - podsumowanie i pytania
Ogółem
11
Kategoryzacja - propozycje
Wstępny zestaw uwag, wątpliwości, propozycji
• Ustawa przyjęta jako „dana”, trudne zmiany
(pożądane jendakże)
zapisy podziałów JN w grupy dziedzin oraz
grupy rodzajowe, odniesienie międzynarodowe;
kategoryzacja jednostek podstawowych
• Rozporządzenie – do „łatwej zmiany”
kryteria, parametry, tryb itp..
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
12
Kategoryzacja - pytania
1. Podział na Grupy Wspólnej Oceny
•
Zasady przypisywania do GWO
•
Jednostki interdyscyplinarne
2. Kryteria oceny
•
Ilość kryteriów
•
Zawartość (parametry) kryteriów – szczegółowość
•
Audyt ?!
•
Kryteria oceny czasopism naukowych
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
13
Kategoryzacja - pytania
3. Wagi kryteriów
•
Odzwierciedlenie misji JN ?
•
Opinie ekspertów
35
20
25
15
4. Tryb kategoryzacji
•
Metoda porównań parami – tylko z jedn. referencyjnymi ?
5. Definicja jednostek referencyjnych
•
Algorytm, wartości - dostępność
•
Analiza statystyczna wartości vs. określenie ekspertów w
dziedzinach (zwłaszcza kryterium 1)
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
14
Kategoryzacja - pytania
6. Zespoły ewaluacyjne
•
Tryb powoływana, skład, liczebność
•
Zakres prac, rola w typowaniu A+
7. Jednostki A+
•
Zestaw kryteriów; audyt ?
•
Eksperci vs. algorytm?
8. Jednostki interdyscyplinarne
•
Przydzielanie do GWO – zasady ?
•
Metoda „dedykowanych” jednostek referencyjnych”
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
15
Dziękuję za uwagę !
– O, tak – rzekł Tygrys – to są bardzo dobrzy fruwacze.
Tygrysy to są Okropnie Dobrzy, Strasznie Dobrzy fruwacze.
– Ooo… - powiedziało Maleństwo. – A czy one umieją tak
dobrze fruwać jak Sowa ?
– Tak – odparł Tygrys – tylko że nie chcą.
– A dlaczego nie chcą ?
– No, bo jakoś nie chcą.
Maleństwo nie mogło tego zrozumieć …, lecz Tygrys
powiedział, że to trudno wytłumaczyć komuś, kto sam nie
jest Tygrysem.
Chatka Puchatka, str. 57.
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
16
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
17
Ocena czasopism naukowych
Zasady oceny
Lista A: od 15 do 50 punktów w zależności od IF > 0,005
(JCR, punktacja osobno w grupach tematycznych)
15
20
25
30
35
40 45 50
23%
20%
17%
14%
11%
8% 5% 2%
najniższy IF w grupie
najwyższy IF w grupie
Lista C: 10 punktów (ERIH) ; w 2012 trzy grupy 10/12/14
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
18
Ocena czasopism naukowych
Zasady oceny
Lista B: od 1 do 10 punktów (co 1); szereg kryteriów
Dane do analizy na podstawie składanych ankiet (system
elektroniczny – http://pbn.nauka.gov.pl/)
Czasopisma kwalifikowane do trzech obszarów wiedzy:
• grupa nauk humanistycznych (H)
• grupa nauk społecznych (S)
• grupa nauk ścisłych, technicznych, medycznych i
przyrodniczych (TZ)
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
19
Ocena czasopism naukowych
Zasady oceny – Lista B
Kryteria wstępne (za okres 2 lat):
a)
b)
c)
d)
e)
f)
g)
h)
i)
Udostępnianie listy recenzentów nie rzadziej niż raz w roku
Właściwe i jawne zasady recenzowania (double-blind, 2+ recenzentów, …)
Posiadanie czynnej strony internetowej
Co najmniej 50% recenzentów zewnętrznych
Naukowy charakter czasopisma (w każdym numerze 2+ artykułów nauk.)
Tytuł i streszczenie w języku angielskim
Udokumentowana stabilność wydawnicza
Wdrożona procedura zabezpieczająca oryginalność (zapora ghostwriting)
Deklaracja wersji pierwotnej (papierowa/elektroniczna)
Do kolejnego etapu oceny kwalifikowane czasopisma spełniające
kryteria e), i) oraz co najmniej 5 z pozostałych 7 kryteriów wstępnych
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
20
Ocena czasopism naukowych
Zasady oceny – Lista B
Ustalenie punktacji – 13 parametrów szczegółowych
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Predicted Impact Factor (PIF)
Polski Współczynnik Wpływu (PWW)
Zagraniczna afiliacja autorów
Indeksacja w bazach danych
Liczba artykułów publikowanych w roku
Umiędzynarodowienie recenzentów
Częstotliwość wydawania
Język publikacji
Umiędzynarodowienie rady naukowej
Wersje on-line
- 13. Redaktorzy statystyczni, tematyczni, językowi
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
21
Ocena czasopism naukowych
Zasady oceny – Lista B: punktacja
Lp
Parametr
ZT
S
H
0,35/0,2/0,1
0,1/0,05
0,05/0,025
1
PIF
2
PWW – bonus
0,1
0,1
0,1
3
Autorzy zagraniczni
0,05
0,05
0,15
4
Indeksacja w bazach
0,1
0,15
0,15
5
Liczba artykułów
0,1
0,2
0,15
6
Recenzenci międzynarodowi
0,1
0,1
0,1
7
Częstotliwość wydawania
0,05
0,1
0,1
8
Język
0,1
0,1
0,1
9
Umiędzynarodowienie rady
0,05
0,05
0,05
10
Wersja on-line
0,05
0,1
0,1
Redaktorzy jęz./stat./tem.
0,05
0,05
0,05
11-13
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
22
Ocena czasopism naukowych
Zasady oceny – Lista B, ostateczna punktacja
1. P1 = 10 • „Punktacja”
0 < P1 < 1  P1 = 1 ; P1 > 1  P1 = Int(P1)
2. Pc = (1- c) ∙ P1 + c ∙ P2 ; Pc = Int(Pc)
P2 – punktacja z roku poprzedniego
c = 0,3 – stała przeniesienia (w 2012 było c = 0,4)
3. P = max{Pc,P1} – dla czasopism z określonym PIF > 0
P = Pc – dla czasopism o nieokreślonym PIF lub PIF = 0
4. P = 10 – dla czasopism z list Science Citation Index
Expanded, Social Science Citation Index, Arts & Humanities
Citation Index i nie wskazanych w listach A lub C
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
23
Ocena czasopism naukowych
Wyniki otrzymane w 2012
Lista A
10 230 pozycji
133 polskie
Ogółem
16,5 tys. pozycji
1840 polskich
Lista A
Lista C
Lista C
4 337 pozycji
101 polskich
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
24
Ocena czasopism naukowych
Wyniki otrzymane w 2012
Lista B
grupa TZ
Lista B
grupa H
Lista B
grupa S
Lista B
1 854 pozycji
1 606 polskich
UKN Olsztyn; 11 października 2013.
Kategoryzacja JN 2013 - podsumowanie i pytania
25