Transcript Ontwikkeling van OO&I databanken en indicatoren

Meten is weten:
Ontwikkeling van OO&I
databanken en
indicatoren
--- ECOOM Leuven
ECOOM-LEUVEN STAF
ECOOM, KU Leuven
ECOOM – Leuven, 3 domeinen
2
ECOOM – Leuven, 3 domeinen
• Bibliometrie, de studie van wetenschappelijke
publicatie-output, met nadruk op onderzoek, studies,
data, indicatoren op basis van internationale,
longitudinale datastructuren (o.a. WoS – TR)
• Technometrie, de studie van octrooi-output, met
nadruk op onderzoek, studies, data, indicatoren op
basis van internationale, longitudinale datastructuren
(o.a. EPO, USPTO, PCT-WIPO, PATSTAT)
• Innovatie, de studie van innovatieprestaties en –
patronen bij de Vlaamse bedrijven op basis van surveydata verzameld aan de hand van internationale,
gevalideerde instrumenten, meer bepaald de OESO
O&O-enquête en de EURSOTAT CIS-enquête
3
OO&I Indicatoren, een overzicht
4
OO&I Indicatoren, een overzicht
• De standaarden --- de O&O-enquête:
– Frascati Manual: “The internationally recognized methodology for collecting and
using R&D statistics, the Frascati Manual is an essential tool for statisticians worldwide.
It includes definitions of basic concepts, data collection guidelines, and classifications for
compiling statistics. This updated edition contains improved guidelines adjusted for
changes in OECD economies, including measurement of service-sector R&D, R&D
globalisation, and R&D human resources.”
– Inhoud (basisindicatoren):
Chapter 1. Aim and Scope of the Manual
Chapter 2. Basic Definitions and Conventions
Chapter 3. Institutional Classification
Chapter 4. Functional Distribution
Chapter 5. Measurement of R&D Personnel
Chapter 6. Measurement of Expenditures Devoted to R&D (GERD, BERD, HERD, GOVERD)
Chapter 7. Survey Methodology and Procedures
Chapter 8. Government Budget Appropriations or Outlays for R&D
5
OO&I Indicatoren, een overzicht
• De standaarden --- de CIS-enquête:
– Oslo Manual: “The Oslo Manual is the foremost international source of
guidelines for the collection and use of data on innovation activities in industry.
This third edition has been updated to take account of the progress made in
understanding the innovation process, the experience gained from the previous
round of innovation surveys, the extension of the field of investigation to other
sectors of industry and the latest revisions of international standard
classifications.”
– Inhoud (basisindicatoren):
Chapter 1. Objectives and Scope of the Manual
Chapter 2. Innovation Theory and Measurement Needs
Chapter 3. Basic Definitions
Chapter 4. Institutional Classifications
Chapter 5. Linkages in the Innovation Process
Chapter 6. Measuring Innovation Activities
Chapter 7. Objectives, Obstacles, and Outcomes of Innovation
Chapter 8. Survey Procedures
6
OO&I Indicatoren, een overzicht
• Bijkomende data- en indicatorenstelsels bij ECOOMLeuven, inclusief de ICT-operationalisatie ervan:
– Bibliometrische indicatoren: WoS (TR) gebaseerd vanwege
aanwezigheid van citatie-indexen --- nood aan databeheer en
harmonisering --- nood aan domeinspecifieke classificatiesystemen
--- internationaal gevalideerde ECOOM classificatie in
hoofddisciplines en subdisciplines (zie o.a. REIST standaarden) --monitoring van nieuwe databronnen zoals BKCI (TR) en Scopus
(Elsevier)
– Technometrische indicatoren: gebaseerd op de grote
octrooisystemen in de wereld (EPO, USPTO, PCT) --- nood aan
benchmark- en classificatiesystemen --- nood aan harmonisering --ECOOM methodologie als EUROSTAT en OESO
referentiestandaard
7
OO&I Indicatoren, een overzicht
8
OO&I Indicatoren, een overzicht
9
De opdrachten op basis van
voorgaande data & indicatoren
10
De opdrachten (1/3)
• Recurrent sinds 2002:
– BOF- en IOF-databanken en indicatoren: opbouwen,
onderhouden, tellen, valideren, rapporteren, ontsluiten --samen met de Vlaamse universiteiten, Diensten Onderzoek
– Jaarlijkse survey: O&O-enquêtes en CIS-enquêtes, telkens
meer dan 5.000 bedrijven op basis van een gestratificeerde
steekproef, respons ratio’s 45 – 55%, inclusief de uitgebreide
opbouw en onderhoud van bedrijvenpanel
– Domeinstudies: verschillende technologiedomeinen,
evenwichtstudies, translationeel onderzoek, slimme
specialisatie, valorisatie, …
– Ontwerp van classificatiesystemen voor wetenschap,
technologie en innovatie
11
De opdrachten (2/3)
• Recurrent sinds 2002:
– FWO-commissies: profielbepalingen
– Bijdrage tot diverse evaluaties door de Vlaamse overheid
(FWO, SOC’s, …)
– Indicatorenboeken en andere (bvb. Bologna-boek)
– Deelname aan commissies als technisch expert voor
recurrente opdrachten (VRWI, VLIR-WGO, GP-SHW, EWI,
CFS/STAT, NESTI, OESO-TIP, …)
– Interface met TR, Elsevier, PATSTAT, … over data en
datastructuren
12
De opdrachten (3/3)
• Recurrent sinds 2002:
– Output monitoring op domeinen van wetenschap (citatieimpact, productiviteit van onderzoeksgroepen), technologie
(octrooigedrag en exploitatie), en innovatie (additionaliteit van
O&O-bestedingen, winstgevendheid, investeringsgedrag)
– Jaarlijks 15-tot-20 bijkomende ad hoc vragen vanwege de
Vlaamse overheid
– Wetenschappelijk onderzoek met bijhorende peer-reviewed
publicatie-output
13
De uitdagingen op basis van
voorgaande data & indicatoren
14
OO&I Indicatoren, de uitdagingen
• De 3%-norm heeft geleid tot een sterke inputfocus …
• Wat met de resultaten van die input?
– Nood aan meer output/resultaatsanalyses
• Wat met internationale benchmarking?
– Nood aan correcte normeringen, classificatiesystemen en
vergelijkende methodes
• Wat met nieuwe OO&I mechanismen?
– Fiscale maatregelen en hun telling & impact (bvb. de
gedeeltelijke vrijstelling van bedrijfsvoorheffing)
– Evoluties inzake innovatief aanbesteden
• Wat met de nodige methodologisch/technische
aanpakken om de vorige vragen expliciet te kunnen
bestuderen en beantwoorden?
– Geavanceerde econometrische benaderingen (DiD, CDiD, …)
– Kwaliteit van data over lange tijdsreeksen
15
OO&I Indicatoren, de uitdagingen
• Evoluties 1: ontwikkeling van valide en betrouwbare
benchmark methodes, bvb. opbouw van en hiërarchisch
classificatie systeem voor het WoS (Glänzel & Schubert, 2003):
16
OO&I Indicatoren, de uitdagingen
• Evoluties 1: ontwikkeling van valide en betrouwbare
benchmark methodes, bvb. voor vergelijkende analyses
van onderzoeksoutput (Glänzel, Thijs, Schubert, Debackere, 2009):
17
OO&I Indicatoren, de uitdagingen
• Evoluties 1: ontwikkeling van valide en betrouwbare
benchmark methodes, bvb. voor vergelijkende analyses
van onderzoeksoutput (Glänzel, Thijs, Schubert, Debackere, 2009):
18
OO&I Indicatoren, de uitdagingen
• Evoluties 1: ontwikkeling van valide en betrouwbare
benchmark methodes, bvb. validatie een verbetering
van indicatoren:
– De mythe van de late erkenning (Glänzel, Schlemmer, Thijs, 2003;
Glänzel & Garfield, 2004)
– De effect van auteur-zelfcitaties op macro- en meso-indicatoren
(Glänzel & Thijs, 2004; Thijs & Glänzel, 2006; Glänzel, Debackere,
Thijs, Schubert, 2006)
– Validatie en verbetering van op tijdschriften gebaseerde
classificatie systemen (Janssens, Zhang, Glänzel, 2009; Zhang,
Janssens, Liang, Glänzel, 2010)
– Verschillende normalisatiemethoden van citatie-indicatoren
(Glänzel, 2007; Beirlant, Glänzel, Carbonez, Leemans, 2007; Glänzel,
2011; Glänzel, Schubert, Thijs, Debackere, 2011)
19
OO&I Indicatoren, de uitdagingen
• Evoluties 2: ontwikkeling van valide en betrouwbare
benchmark methodes voor het meten van de economische
exploitatie van octrooiportfolios (ECOOM 2008 & 2012):
20
OO&I Indicatoren, de uitdagingen
• Evoluties 2: ontwikkeling van valide en betrouwbare
benchmark methodes voor het meten van de economische
exploitatie van octrooiportfolios (ECOOM 2008 & 2012):
21
OO&I Indicatoren, de uitdagingen
• Evoluties 3: ontwikkeling van valide en betrouwbare
indicatoren voor het meten van O&O additionaliteit:
(Aerts & Czarnitzki, 2006, 2008, 2010, 2011)
22
OO&I Indicatoren, de uitdagingen
• Evoluties 3: ontwikkeling van valide en betrouwbare
indicatoren voor het meten van O&O additionaliteit:
(Aerts & Czarnitzki, 2008, 2011)
23
OO&I Indicatoren, de uitdagingen
• Evoluties 3: ontwikkeling van valide en betrouwbare
indicatoren voor het meten van O&O additionaliteit:
(Aerts & Czarnitzki, 2008, 2011)
24
OO&I Indicatoren, de uitdagingen
• Evoluties 4: ontwikkeling van valide en betrouwbare benchmark
methodes voor het meten van de impact van innovatie samenwerkingen
op omzet door nieuwe producten (Faems, Van Looy, Debackere, 2005, 2012):
25
OO&I Indicatoren, volgende stappen
26
OO&I Indicatoren, volgende stappen
• Verschillende bouwstenen worden aldus ontwikkeld en leiden tot nieuwe
relevante indicatoren (impact van innovatie op omzet en groei door nieuwe of
verbeterde producten bij de bedrijven, exploitatieresultaten van
octrooiportfolio’s, additionaliteit van O&O investeringen, gevalideerde
benchmark van het onderzoekssysteem)
• Verdere indicatoren staan in de steigers (innovatie en impact op
productiviteitsgroei, specifieke innovatietrajectanalyses, …)
• Maar … veel uitdagingen blijven eveneens:
– Wegens recent karakter van bepaalde maatregelen (fiscaal, innovatief aanbesteden) zijn
onvoldoende tijdsreeksdata voorhanden om hun impact op econometrisch betrouwbare
manier te meten
– Internationaal moeten de indicatoren verder aangepast om de effecten van deze
maatregelen mee te nemen, ook aan de inputkant (OESO, EUROSTAT werken hieraan)
– Koppeling van geldstromen aan wetenschaps-, technologie en economische classificaties ten
einde op domein/sectorniveau analyses te kunnen doen (VALIDATIE NODEN!)
– Moeilijkheden om ontluikende innovaties (ecologisch, …) juist in kaart te brengen, zowel
langs input- als outputkant (FUZZY BOUNDARIES & STABILITEIT VAN AFBAKENING)
27