学术评价:量化指标介绍

Download Report

Transcript 学术评价:量化指标介绍

学术评价:量化指标介绍
学术评价
在过去的50年里,文献计量学的研究成果之一是
提出了评价个人、机构及学术期刊水平的一些指
标,这些指标被科研管理机构、图书馆员、出版
商和研究人员广泛使用。应用这些指标来研究作
者、出版者及文献使用之间的关系和模式已经被
学术界广泛认可。
由于学术评价研究越来越向以定量评价为基础的
趋势发展,所以评价个人、机构及学术期刊的学
术影响力除了用论文的质量和数量做指标外,人
们更看重的是文献之间的引用。
随着研究的深入发展,各种数学模型及相关分析
工具在国际著名数据库产品中得到广泛的应用。
www.xidian.edu.cn
目前采用的量化指标
1. 论文被国际/国内著名检索数据库收录数:
如:著名的三大索引库(SCI、EI、CPCI),人
大 报刊复印资料等
2. 论文被引次数
SCI被引次数、SCOPS被引次数(荷兰
Elseviere公司开发的文摘引文数据库)、
Scholar.google.com 查到的被引次数
CSCD被引次数、CNKI被引次数等
www.xidian.edu.cn
期刊:影响因子
Impace Factor (IF)
美国科学信息研究所(ISI)的SCI数据库所采用
评价期刊的指标
影响因子提供了一种方法,通过此方法,能够衡
量期刊的质量,并赋予期刊排名的先后次序。目
前影响因子在很大程度上扮演者行业标准的角色。
www.xidian.edu.cn
Impace Factor (IF)
学术界最为著名的综合性科技文献数据库之一
《科学引文索引》(SCI),对所选期刊有较高的
标准,并实行动态筛选机制,因此在SCI收录的期
刊上发表的论文常被认为具有较高的学术价值。
为了进一步区分不同期刊,ISI于二十世纪七十年
代又推出了用于期刊定量评价的期刊引证报告
(Journal Citation Reports)
www.xidian.edu.cn
Impace Factor (IF)
定义:若论文A被论文B在文中提及,或A中的结果、
方法等被B采用,则A的学术价值得到了体现。
这在SCI数据库中表现为A在B的参考文献中出现,
称为引用。
ISI提出的衡量期刊学术价值的指标称为影响因
子(impact factor),期刊J某一年度的影响
因子IF的计算方式是:
影响因子=(该刊前两年发表论文在统计当年被引
用的总次数)/(该刊前两年发表论文总数)。
www.xidian.edu.cn
影响因子(IF)定义中的合理因素
由于SCI对所选的期刊有较高的标准,并且实行动
态筛选机制,因此在SCI收录的期刊上发表的论文
常被认为具有较高学术价值。同时,由SCI派生的
影响因子在科研评价中也起到了非常重要的作用。
根据影响因子的算法,一个期刊的水平正是由它
发表的文章所体现的,文章水平越高,对社会贡
献越大,说明这篇文章价值越大,而发表这篇文
章的期刊水平也越大。那么影响因子的定义正是
体现了这个期刊的价值。从这个角度看影响因子
的定义有其合理的因素,它通过文章引用来体现
文章价值,期刊价值又由文章价值反映。
www.xidian.edu.cn
影响因子定义中的不合理因素
有关对影响因子中不合理因素研究的论文国内有
很多,具有代表性的论文可参见任胜利,王宝庆,
郭志明等发表在《科学通报》上的 “应慎重使用
期刊的影响因子评价科研成果” 一文。
文中分析了影响因子中不合理的因素,包括没有
考虑时间因素,源期刊库的缺陷,学科性质的差
异,期刊的影响因子与论文被引证频次之间的关
系,引文行为的不确定性,作者排序的差异等。
上述因素对期刊影响因子分别带来了不同程度上
的影响,使得期刊影响因子的算法有一些不合理
的地方。
www.xidian.edu.cn
Journal Citation Reports
ISI每年出版JCR。JCR对包括SCI收录的3500种期刊
在内的4700种期刊之间的引用和被引用数据进行统计、
运算,并针对每种期刊定义了影响因子(Impact
Factor)等指数加以报道。
一种刊物的影响因子越高,也即其刊载的文献被引用率越
高,一方面说明这些文献报道的研究成果影响力大,另一
方面也反映该刊物的学术水平高。
因此,JCR以其大量的期刊统计数据及计算的影响因子等
指数,而成为一种期刊评价工具。
图书馆可根据JCR提供的数据制定期刊引进政策;论文作
者可根据期刊的影响因子排名决定投稿方向。
www.xidian.edu.cn
h指数(highly cited index)
h指数是2005年加利福尼亚大学圣地亚哥分校统
计物理学家赫希在2005年发明的,立刻引起了全
世界学术界的广泛关注。
论文在网上公布后,《自然》和《科学》杂志先
后报道,正式论文于2005年11月发表在《美国科
学院院刊》上。(Hirsch, J. E. An index to
quantify an individual's scientific research output.
Proceedings of the National Academy of Sciences,
102, 16569–16572 (2005))
这种方法被称为h指数(h-index),其中h代表
高的论文引用的次数。
www.xidian.edu.cn
h指数(h-index)产生的背景及计算方法
赫希教授说:“许多人问我为什么会提出用来衡
量科学家发表生产力和学术影响的指标——“高被
引指数”(highly cited index)或h指数。
从根本上说,真相是我不喜欢影响因子,由于我
的论文和研究颇具争议性,我的工作不能发表在
那些影响因子很高的期刊上,但尽管如此,我的
许多文章依然有很高的被引次数”
www.xidian.edu.cn
h指数(h-index)产生的背景及计算方法
h指数(h-index)的定义:
在SCI网站中查出某个人发表的所有SCI论文,
按论文的被引次数从高到低排序,直到某篇论文
的序号大于该论文被引次数,那个序号减去1就
是h指数。即一个人的h指数就是指他发表的所有
论文中,有h篇论文分别被引用了至少h次。
比如,赫希教授本人的h指数是49,表示他已发
表的论文中,被引用了至少49次的论文总共有
49篇。这种方法相对比较合理。
www.xidian.edu.cn
h指数(h-index)产生的背景及计算方法
赫希教授认为h指数可反映一个人的学术成就,一
个科学家的h指数高,则表明他的研究论文影响
力大。
比如,普林斯顿大学的理论物理学家爱德华•维
腾(Edward Witten),h指数达110;霍金
的h指数为62 ;最近20年获得诺贝尔物理学奖
的物理学家的h指数,平均值为41;美国科学院
物理学与天文学部2005年新院士的h指数平均为
44;德国著名科学家Gleite教授的h指数>40。
www.xidian.edu.cn
h指数的应用
荷兰Elseviere公司开发的文摘引文数据库
SCOPUS中首次采用H指数做为引文数据分析工
具。
为何该数据库要取名Scopus?-取意一种名叫
Phylloscopus Collybita的鸟,这种鸟有非常
强大导航功能。
Scopus数据库从2007年开始在检索结果中直接
提供H指数链接,免去了用户自己排序、查找的
麻烦。
www.xidian.edu.cn
h指数的应用
与SCI相比,Scopus的来源文献量较大
(15000种同行评议期刊,),但收录的引文数
据年限较短(1996年以后),而SCI的引文数
据库年代(SCI:1900-;SSCI:1956-,
A&HCI:1975-)要长一些。
另一方面,Scopus有作者标识系统(Author
identifier),对人名的做了一定的规范,或许
对同名作者的区分度要好于SCI。
因为有上述种种差别,同一作者在SCI与
Scopus中的H指数值肯定是不同的。
www.xidian.edu.cn
使用SCOPUS计算h指标的步骤
www.xidian.edu.cn
使用SCOPUS计算h指标的步骤
www.xidian.edu.cn
h指数的不合理因素
赫希教授认为h指数不适合用于跨学科的比较[4]。
比如:美国科学院生物医学部新院士的h指数平
均高达57。约翰斯•霍普金斯大学神经生物学家
施奈德(Solomon H. Snyder),高达191;
诺贝尔生理学或医学奖获得者、加州理工学院生
物学家巴尔的摩(David Baltimore),h指
数达160。
www.xidian.edu.cn
h指数的不合理因素
h指数与从事科研的时间长短有关。但一个人的h
指数不会随着时间的推移而减少,只会增加。比
较适合用于衡量已从事科研多年的资深科学家的
总体成就。
根据统计,美国研究型大学的物理学家要获得永
久教职(副教授),h指数一般为10到12;如能
晋升为正教授,则h指数约为18;成为美国物理
学会会员的h指数一般在15到20;成为美国科学
院院士一般在45或更高。
www.xidian.edu.cn
h指数的不合理因素
h指数也存在一定的局限性,比如:对于年轻科
学家来说,由于发表论文数量比较少,计算其h
指数意义不大,所以不太适合用于评价年轻科学
家。它也不适合评价历史上科学大师的成就,比
如,根据SCI的数据,物理学家费曼的h指数仅
为21。
对于那些频繁自引的科研人员的论文会存在被引
次数高的假象,而导致h指数的变高
www.xidian.edu.cn
www.xidian.edu.cn