Transcript 学科评价的问题与方法

学科评价的问题与方法
南京农业大学信息学院 黄水清
一、开展学科评价的价值
• 了解学科现状，分析机构、科学家的研究
工作
• 图书馆对上级领导的贡献
• 个人的研究工作
二、评价的数据源
•
•
•
•
•
•
科研项目
科研奖励
数据较难获得，可信度不高
成果转化
著作
人文社科认同，无公认评价方法
专利
部分学科可用
论文
全学科可接受，单用有局限性
三、ESI与SCI作为数据源
• 目为数据量最近、可靠性最高的数据源
• 错误仍然存在
1）系统性错误
①作者/机构的对应关系
②ESI与SCI分类体系不同
2）偶然错误
①两次下载数据可能不同
②两次查询数据可能不同
③其它无法解释的错误
四、数据预处理
•
•
•
•
未处理的之前的数据基本不能用
作者/机构的识别
学科分类体系的对应或调整
若用于本机构人员的评价，建议逐条核对
本机构的数据
Huang, SQ., Yang, B., Yan, SL., & Rousseau, R. (2013).
Institution name disambiguation for research assessment. In
preparation.
五、指标体系
1、常用指标
• 总发文量
• 总被引次数
• 篇均被引次数
• H指数
• 主题分析
五、指标体系
2、指标选用的思考
• 不同的目的用不同的指标
• 在不失科学性的前提下，考虑报告对象的
接受度（简单性）
• 多种手段与指标的混合应用
• 注意提炼特有的算法
五、指标体系
3、科学家常用但不合理的指标
• 坚决弃用（如，累积影响因子）
• 特殊情况，说明再用
• 有替代方案
六、合作关系的处理
• 不考虑合作关系，只统计第一作者、通信
作者
• 平等看待合作者
• 为合作者赋权值，保证归一化后每篇的总
和为1
• 本质上也可算作数据预处理过程
七、机构评价的分层
•
•
•
•
•
•
分层的意义
ESI的1%
其他怎么分层
布拉德福定律能否用于分层？
科学家或社会更能接受怎样的分层方法？
黄金分割法分层
黄水清，张俊，阎素兰*.黄金分割法在学科及机构评价
中的应用. 图书情报工作，2012,56(22):33-36,41
八、科研团队的挖掘
•
•
•
•
国外不存在的情况，国内的大问题
领导很关心，涉及一系列的考核
以论文合作关系为数据基础
合作网络的可视化，UCINET中的NetDraw
是一个用好的工具
沈耕宇，黄水清，王东波.以作者合作共现为源数据的科研
团队发掘方法研究. 现代图书情报技术，2013，29 (1):
57-62
九、ESI个人排名的经验
• 作者与机构识别只能解决90%
• 作者与机构的关系比我们想法的要复杂得
多
• 准确定位个人排名，必须人工逐个核实
十、ESI机构排名的经验
• ESI的机构排名比个人排名准确
• 机构的数据错误仍然存在
• 一般情况下，ESI的机构排名是可以直接引
用的
• 寻找有希望进ESI的学科，领导可能更关心
个人经验加研究心得，仅供参考
谢谢！