Transcript КЛАСИФІКАЦІЙНА ОЦІНКА - Центр досліджень науково

.
Наукова конференція «Добровські читання», Київ, 15 березня 2013 р.
ОЦІНЮВАННЯ ТА
СТИМУЛЮВАННЯ
ПРОДУКТИВНОСТІ ДІЯЛЬНОСТІ
НАУКОВИХ УСТАНОВ:
НОВИЙ МЕТОДИЧНИЙ ІНСТРУМЕНТАРІЙ
ДЕРЖАВНОЇ АТЕСТАЦІЇ
В.П. Рибачук
Центp дослiджень науково-технiчного потенцiалу
та iстоpiї науки iм. Г.М. Добpова НАН України
http://stepscenter.at.ua/
1
Оцінка ефективності та підтримка
Законом України «Про наукову і науково-технічну діяльність» (1991 р.,
остання редакція 2011 р.) передбачено проведення державної атестації
наукових установ «з метою оцінки ефективності їх діяльності,
відповідності одержуваних ними результатів державним науковотехнічним пріоритетам та завданням науково-технічного розвитку,
а також з метою визначення необхідності надання їм підтримки
держави» (ст. 11). Установи, що претендують на таку підтримку, за
умови позитивних результатів атестації вносяться до Державного
реєстру наукових установ, яким надається підтримка держави (ст. 12).
Методичною основою здійснення атестації є «Положення про державну
атестацію науково-дослідних (науково-технічних) установ»,
затверджене Кабінетом Міністрів України (1998 р.; остання редакція
2011 р.) та «Методичні рекомендації для проведення атестації
науково-дослідних установ» (1996 р.).
2
Плюс оптимізація: 2011 – 2012 …
Відповідно до Національного плану дій на 2011 рік щодо впровадження
Програми економічних реформ на 2010-2014 роки «Заможне
суспільство, конкурентоспроможна економіка, ефективна держава»,
затвердженого Указом Президента України (2010 р.),
Держінформнауки України отримав завдання розробити
нормативно-правові акти щодо методики здійснення «оптимізації
(атестації) бюджетних наукових установ».
На його виконання Держінформнауки України було підготовлено нові
нормативно-методичні документи: «Методика оптимізації
(атестації) бюджетних наукових установ, які повністю або частково
фінансуються за рахунок коштів державного бюджету» (2011 р.) та
«Порядок оцінки розвитку діяльності наукової установи» (2012 р.).
В основу цих документів покладено результати наукових розробок,
виконаних Центром досліджень науково-технічного потенціалу та
історії науки ім. Г.М. Доброва НАН України.
3
Нові нормативні документи
Методика оптимізації (атестації) бюджетних наукових установ, які
повністю або частково фінансуються за рахунок коштів
державного бюджету / Затверджена постановою Кабінету Міністрів
України від 31 жовтня 2011 р. № 1176 // Офіційний вісник України. –
2011. – № 89. – С. 86. – (Ст. 3241). [Режим доступу до електронної версії:
http://zakon2.rada.gov.ua/laws/show/1176-2011-%D0%BF/ed20120403]
Порядок оцінки розвитку діяльності наукової установи /
Затверджений наказом Міністерства освіти і науки, молоді та спорту
України від 03 квітня 2012 р. № 399. (Зареєстровано в Міністерстві
юстиції України 25 квітня 2012 р. за № 629/20942) // Офіційний
вісник України. – 2012. – № 36. – С. 312. – (Ст. 1356). [Режим доступу до
електронної версії: http://zakon2.rada.gov.ua/laws/show/z0629-12]
На основі цих документів Держінформнауки України у травні –
серпні 2012 р. проведено державну атестацію бюджетних
наукових установ (окрім установ національних академій наук).
4
«…Продуктивність (результативність) –
ефективність,.. економічна ефективність»
«Оптимальность функционирования научной
системы является исходной предпосылкой
продуктивности (результативности) труда
людей науки, а это в свою очередь во многом
предопределяет последующую общую
эффективность научных исследований, в том
числе и такую весьма важную ее
составляющую, как экономическая
эффективность».
Г.М. Добров (1970)
«Наука о науке». – С. 161
5
«Выбор измерителей»
«Одной из решающих предпосылок успеха в разработке
количественных методов науковедческого анализа
является выбор и разработка конкретных измерителей
и характеристик развития науки».
«… Считаем уместным акцентировать внимание на
необходимости тщательно учитывать при трактовке
выбранных измерителей степень адекватности их
самой сущности изучаемого явления».
Г.М. Добров (1970)
«Наука о науке». – С. 36-37
6
«Динамика изменений…
Совокупность [показателей]…»
«Динамика изменений во времени и по отраслям знания
подобного рода показателей позволяет охарактеризовать
одну или несколько существенных черт развития науки.
Совокупность их дает возможность, хотя и косвенно, но
в ряде случаев довольно объективно, судить о темпах и
тенденциях изменений в том сложном историческом
явлении, которое называется наукой».
Г.М. Добров (1970)
«Наука о науке». – С. 36
7
Основні методологічні принципи
Об’єктивізація оцінювання наукового потенціалу і
результатів його використання при атестації наукової
установи
Стимулювання і мотивація розвитку потенціалу і
результативності та ефективності наукової діяльності
установи
Об’єктивізація оптимізації роботи наукової установи за
результатами атестації
8
Система оцінок
АТЕСТАЦІЙНА ОЦІНКА
Категорія
Класифікаційна
оцінка
Рейтинг
0,6 ОД
0,4 ЕО
Структура атестаційних оцінок
І. АТЕСТАЦІЙНА ОЦІНКА: категорія ( К ) та рейтинг ( Р )
● Класифікаційна оцінка (КО) ► Показники (Кл=15)
● Рейтингова оцінка (рейтинг) (Р)
○ Оцінка динаміки (ОД) / Wd=0,6
− Оцінка динаміки потенціалу (ОДП) ► Показники (П=13)
− Оцінка динаміки результативності (ОДР) ► Показники (Р=14)
○ Експертна оцінка (ЕО) / We=0,4 ► Показники (Е=12+2)
ІІ. ХАРАКТЕРИСТИКА СИЛЬНИХ І СЛАБКИХ СТОРІН НАУКОВОЇ
УСТАНОВИ
ІІІ. ПОРІВНЯЛЬНЕ РЕЙТИНГОВЕ ОЦІНЮВАННЯ
IV. ФОРМУЛЮВАННЯ ВИСНОВКІВ АТЕСТАЦІЇ ТА ПРОПОЗИЦІЙ ЩОДО
ОПТИМІЗАЦІЇ
•
Wd , We – коефіцієнти ваги (пріоритетності) відповідних оцінок; Кл, П, Р, Е –
кількість показників, що використовуються для визначення відповідних оцінок
10
Структура класифікаційної оцінки
Ваговий
коефіцієнт (%)
Кількість
показників
Рівень кваліфікації наукових
кадрів
20
4
Бюджет та інфраструктура
20
3
Рівень тематики
20
2
Результативність
20
2
Престиж
20
4
100
15
Критерій
Разом
11
Структура оцінки динаміки
Кількість
показників
13
Критерій
Оцінка динаміки потенціалу
Кадровий потенціал
5
Фінансовий, матеріально-технічний та інноваційний
потенціал
8
Оцінка динаміки результативності
Обсяг досліджень
Публікаційна активність
Інноваційна активність
Міжнародна інтеграція
Представленість у світовому інформаційному просторі
Разом
14
3
2
4
3
2
27
12
Структура експертної оцінки
Ваговий
коефіцієнт (%)
Кількість
показників
Рівень цільової орієнтації
досліджень
16
2
Оцінка результатів наукової
(науково-технічної) діяльності
Оцінка перспектив розвитку
наукової (науково-технічної)
діяльності
Специфічні показники
18
3
56
7
10
2
Разом
100
12+2
Критерій
13
Матриця визначення категорії установи
КЛАСИФІ
КАЦІЙНА
ОЦІНКА
(бали)
РЕЙТИНГОВА ОЦІНКА наукової установи (бали)
100-150
(наздоганяючі
установи)
151-250
(помірно
динамічні)
Категорія В
2,61 – 5,00
Наукові установи, що мають високий
науковий потенціал і визнання в Україні,
впливають на формування державної і
галузевої науково-технічної політики, але
демонструють невисокий рівень розвитку
потенціалу і отриманих результатів наукової
діяльності.
Категорія Г
1,00 – 2,60
Наукові установи, що мають невисокий
науковий потенціал, можуть бути провідними
у сфері проведення досліджень, розробок,
впроваджень конкретних видів наукової,
технічної, проектної продукції або
розробляють окремі складові частини
комплексів, пристроїв, вузлів техніки та
виконують разові замовлення, але при цьому
демонструють низький рівень розвитку
потенціалу і отриманих результатів його
використання та є маловідомими у світовому
інформаційному просторі.
251-350
(активні)
351-500
(лідери)
Категорія А
Наукові установи, що мають високий
науковий потенціал та визнання в Україні і
світі, формують державну науково-технічну
політику, впливають на науково-технічну
політику галузей та мають високий рівень
розвитку і отриманих результатів наукової
діяльності.
Категорія Б
Наукові установи, що мають нижчий
порівняно з науковими установами, які
належать до категорії А, науковий потенціал,
але демонструють високий рівень розвитку
та ефективність його використання, можуть
формувати перспективну науково-технічну
політику певного наукового напряму, бути
провідними у сфері проведення досліджень,
розробок, впроваджень конкретних видів
наукової, технічної, проектної продукції та
виявляють активність в інтеграції до
світового інформаційного простору.
14
Он-лайн Інформаційно-аналітична система
«ЕКСПЕРТ»
Документи установи
Форма 1. Класифікаційна оцінка рівня і престижу наукової
(науково-технічної) установи за масштабом наукового
потенціалу і досягненнями у попередні роки
Форма 2. Оцінка дифнаміки наукового потенціалу і
результативності наукової, науково-технічної та інноваційної
діяльності установи
Форма 3-В. Картка внутрішнього оцінювання (самооцінювання)
наукового потенціалу, результативності і перспектив наукової
(науково-технічної) діяльності установи
Копії інформаційних матеріалів за останній звітний рік
Аналітична записка із викладенням аналізу факторів, що
вплинули на тенденції розвитку потенціалу і результативність
наукової діяльності установи за звітний період та обґрунтування
напрямів і заходів з оптимізації діяльності наукової установи на
короткостроковий період (до 5 років)
15
Он-лайн Інформаційно-аналітична
система «ЕКСПЕРТ»
Документи експерта
Форма 3-Е. Картка експертного оцінювання
наукового потенціалу, результативності і
перспектив наукової (науково-технічної)
діяльності установи
Експертний висновок про результати атестації
та пропозиції щодо оптимізації наукової,
науково-технічної та інноваційної діяльності
наукової установи
16
Підсумки державної атестації 2012 року:
1. Розподіл наукових установ за категоріями
РЕЙТИНГОВА ОЦІНКА
наукової установи (бали)
КЛАСИФІКА
ЦІЙНА
ГРУПА
НАУКОВОЇ
УСТАНОВИ
КЛАСИФІКА
ЦІЙНА
ОЦІНКА
(БАЛИ)
І – ІІ
2,61 – 5,00
I
3,81 – 5,00
II
2,61 – 3,80
ІІІ – ІV
1,00 – 2,60
III
1,41 – 2,60
Немає
IV
1,00 – 1,40
Немає
100-150
151-250 251-350 351-500
(наздоганяю (помірно
чі)
динамічні)
КАТЕГОРІЯ В
Немає
КАТЕГОРІЯ Г
(активні)
(лідери)
КАТЕГОРІЯ А
Немає
А1 = 2
А4 = 23 А2 = 7
КАТЕГОРІЯ Б
Г1 = 1 Б3 = 38 Б1 = 8
Немає
Б4 = 3
Немає
17
2. Розподіл наукових установ за рейтингом
24
Кількість установ
25
23
20
15
14
13
Помірно динамічні
Активні
Лідери
10
4
5
2
1
1
0
225- 251- 276- 301- 326- 351- 376- 401250 275 300 325 350 375 400 425
Рейтинг
18
3. Порівняння рейтингів наукових установ
за результатами атестації 2012 року (R2012)
і попередніх років (Rbef)
Рейтинг наукової установ, бал
500
450
400
350
300
250
200
150
100
1
11
21
31
41
Ранг наукової установи за рейтингом
R2012
Rbef
4. Порівняння рейтингів наукових установ (R2012)
з кількісними оцінками (ОД) і оцінками експертів (ЕО)
Рейтинг наукової установ, бал
500
450
400
350
300
250
200
150
100
1
11
21
31
41
51
61
71
Ранг наукової установи за рейтингом
R2012
ОД
ЕО
20
Порівняння рейтингів наукових установ НАН України
за результатами атестації у 2006 і 2011 роках
21
Рішення ЕКСПЕРТНОЇ КОМІСІЇ
21 серпня відбулося засідання ЕКСПЕРТНОЇ КОМІСІЇ з
проведення атестації бюджетних наукових установ, на
якому було ЗАТВЕРДЖЕНО РЕЗУЛЬТАТИ АТЕСТАЦІЇ та
пропозиції щодо оптимізації наукових установ, які
повністю або частково фінансуються за рахунок коштів
державного бюджету.
22
Рішення КОЛЕГІЇ ДЕРЖІНФОРМНАУКИ
Рекомендувати Держінформнауки разом з ЦДПІН імені
Г.М. Доброва НАН України продовжити роботу щодо
методичного забезпечення державної атестації наукових
установ, зокрема з урахуванням особливостей
діяльності небюджетних установ.
РІШЕННЯ Колегії
Держінформнауки
України та Робочої
підгрупи «Реформа
системи науки»
від 13 листопада
2012 р. № 3/3-3
«Про результати
атестації
бюджетних
наукових установ»
23
Розпорядження Кабінету Міністрів
КАБІНЕТ МІНІСТРІВ УКРАЇНИ
РОЗПОРЯДЖЕННЯ
від 28 листопада 2012 р. № 983-р Київ
Про оптимізацію мережі державних наукових установ
1. Реорганізувати у 2013 році:
Науково-дослідний інститут “ Кримська астрофізична обсерваторія” шляхом приєднання до
Київського національного університету імені Тараса Шевченка з утворенням на його базі
відокремленого структурного підрозділу Університету;
Науково-дослідний та проектно-конструкторський інститут "Іскра" Міністерства освіти і науки,
молоді та спорту шляхом приєднання до Східноукраїнського національного університету
імені Володимира Даля з утворенням на його базі структурного підрозділу Університету;
Науково-дослідний інститут проблем військової медицини Збройних Сил України шляхом
приєднання до Української військово-медичної академії Міністерства оборони;
Науковий центр бойового застосування ракетних військ і артилерії Сумського державного
університету шляхом його перетворення у філію Центрального науково-дослідного
інституту озброєння та військової техніки Збройних Сил України.
2. Ліквідувати Науковий центр бойового застосування Сухопутних військ Військової академії
(м. Одеса).
3. Витрати, пов'язані з виконанням пунктів 1 і 2 цього розпорядження, здійснити в межах
відповідних бюджетних призначень, передбачених Міністерству освіти і науки, молоді та
спорту та Міністерству оборони в державному бюджеті.
Прем'єр-міністр України М.АЗАРОВ
24
Плюс оптимізація: … 2013 – 2014 – …
Постановою Кабінету Міністрів України від 05 квітня 2012 № 318
«Прогноз Державного бюджету України на 2013 і 2014 роки»
[Режим доступу: http://zakon2.rada.gov.ua/laws/show/318-2012-%D0%BF/page]
передбачено здійснення подальших заходів з атестації та оптимізації
наукових установ:
«НАУКА
Реформування галузі науки та розвиток науково-технічної
діяльності спрямовані на активізацію інноваційних процесів в
економіці, повноцінне використання потенціалу науки у процесі
технологічної модернізації економіки.
У 2013 і 2014 роках передбачається здійснити такі заходи:
атестація науково-дослідних (науково-технічних) установ;
оптимізація системи бюджетних наукових установ за
результатами оцінки ефективності їх діяльності; …
перехід на міжнародні критерії оцінювання праці вчених; …»
25
Плюс оптимізація: … 2013 – 2014 – …
«Подальша стабілізація державних фінансів передбачає:
вдосконалення бюджетного механізму управління
науковою та науково-технічною діяльністю шляхом
оптимізації системи бюджетних наукових установ за
результатами оцінки ефективності їх діяльності та
формування державного замовлення у цій сфері
відповідно до сучасних вимог інноваційного розвитку
економіки»
«Про Основні напрями бюджетної політики на 2013 рік»
Постанова Верховної Ради України від 22.05.2012 №
4824-VІ
[Режим доступу: http://zakon2.rada.gov.ua/laws/show/4824-17]
26
ВИСНОВКИ І РЕКОМЕНДАЦІЇ
• Використана в новій методиці державної атестації наукових установ
система критеріїв і показників, дозволяє здійснювати комплексне
оцінювання їх наукової діяльності, рівня і динаміки наукових
досліджень, міжнародного визнання результатів, інтеграції установи у
світовий науковий простір.
• Попередні результати проведеної Держінформнауки України у 2012
році державної атестації 82-х бюджетних наукових установ
підтверджують, що застосований методологічний підхід забезпечує
більш високий рівень обєктивізації оцінювання їх діяльності та сприяє
стимулюванню наукових колективів на розвиток наукового потенціалу
й піднесення результативності і рівня його реалізації.
• Доцільно продовжити методологічні дослідження і розробки з метою
удосконалення практики застосування наукометричних індикаторів
для оцінювання та оптимізації діяльності наукових установ країни.
27
Дякую за увагу!
РИБАЧУК Віктор Павлович, к.х.н.
Старший науковий співробітник Центру досліджень науково-технічного
потенціалу та історії науки ім. Г.М. Доброва НАН України,
в.о. зав. міжвідомчої лабораторії теорії і практики наукометрії
МОНмолодьспорту України і НАН України
60, бульв. Тараса Шевченка, Київ, 01032, Україна
Тел. / факс.: (044) 486-95-91
E-mail: [email protected]
http://stepscenter.ho.ua/indexen.htm
Тел.: (067) 501-59-01
E-mail: [email protected]; [email protected]
28
Реферат. Abstract
РЫБАЧУК ВИКТОР ПАВЛОВИЧ
ОЦЕНИВАНИЕ И СТИМУЛИРОВАНИЕ ПУБЛИКАЦИОННОЙ АКТИВНОСТИ НАУЧНЫХ
УЧРЕЖДЕНИЙ: НОВЫЙ МЕТОДИЧЕСКИЙ ИНСТРУМЕНТАРИЙ.
Обсуждаются методологические принципы, положенные в основу принятых в Украине в 2011–2012 гг.
нормативно-правовых актов, определяющих порядок проведения государственной аттестации научных
учреждений. Анализируются состав и структура системы критериев и показателей оценивания
достигнутого уровня и тенденций развития как научного, научно-технического и инновационного
потенциала научного учреждения, так и результативности и эффективности его использования. Акцент
сделан на анализе индикаторов, характеризующих публикационную активность научного учреждения.
RYBACHUK, VIKTOR PAVLOVICH
ASSESSING AND STIMULATING PUBLICATION ACTIVITY OF THE SCIENTIFIC INSTITUTIONS:
NEW METHODOLOGICAL TOOLS
The principles and methods underlying the regulations adopted in Ukraine in 2011-2012, that defined the procedures for
national accreditation of the scientific institutions are discussed herein. The composition and structure of the
established system of criteria and indicators for individual institutional assessment are reviewed. Scientific
institutions were graded on the achieved level and the developmental trends in scientific, technological and
innovative potential as well as their effectiveness and efficiency in using this potential. The analysis of indicators
characterizing the publication activity of the scientific institution is emphasized.
G.M. Dobrov Research Center for Scientific and Technical Potential and History of Science, National Academy of
Sciences of Ukraine, 60 Taras Shevchenko Blvd., Kyiv 01032, Ukraine. Тел.: (067) 501-59-01. E-mail:
[email protected], [email protected].
29