Transcript 下載/瀏覽
LOGO 以同儕評審或科學計量的方 法進行學術評估 研究生：呂正吉 大綱 前言 同儕評審 同儕評審之源起 同儕評審之方式 同儕評審循環 科學計量 引用文獻分析 科學引用文獻索引 期刊影響係數作為評估工具 引用文獻循環 相關實證研究 結論 2005/10/04 2 前言 科學研究的品質 篩選機制 同儕評審 ● 較主觀 ● 易有偏見 科學計量 2005/10/04 ● 較客觀 ● 較公正 3 同儕評審 同儕評審 挑選至少二位以在該領域被視為最有資格的同儕或同行科 學家，審核作品的品質，再決定是否出版 維持學術水準 研究經費之分配 同儕評審之源起 1752年，英國皇家學會為哲學記事錄，設立論文委員會來 審查論文 二十世紀中下葉，評審制度才成為標準的形式 2005/10/04 4 同儕評審 同儕評審之方式 匿名審查 ● 作者不知審查專家是誰 雙重匿名審查 ● 作者不知審查專家是誰 ● 審查專家亦不知作者是誰 公開評審 ● 2005/10/04 雙方皆知 5 同儕評審 同儕評審循環 提研究計畫接受同儕評審 研究計畫 同儕評審 文章 研究 2005/10/04 參考 6 同儕評審 同儕評審循環 提研究計畫接受同儕評審 將研究成果寫成文章投稿 研究計畫 同儕評審 文章 參考 研究 2005/10/04 投稿 7 同儕評審 同儕評審循環 提研究計畫接受同儕評審 將研究成果寫成文章投稿 科學家個人，研究群或大學研究機構均會定期被 評估 評估 優先 背景因素 研究計畫 同儕評審 文章 參考 研究 2005/10/04 投稿 8 科學計量 重要研究內容 Bradford, Lotka和Zipf三大定律 引用文獻分析 文獻老化 科學傳播 此篇論文著墨於引用文獻分析，來評估個人 著作和期刊的品質，研究人員和研究機構的 卓越性 2005/10/04 9 科學計量 引用文獻分析 科學研究以前人的研究結果為基礎，並將前人作 品的書目資料列於文後之參考文獻 引用文獻(Citation) V.S. 參考文獻 (Reference) ● 引用文獻：被引用的文章(Cited) ● 參考文獻：引用文章(Citing) 文章引用的三項最重要原因 2005/10/04 ● 對研究先鋒表示敬意，給同行功勞 ● 提供背景閱讀資料，做為進一步研究的參考 ● 為自己著作提供佐證 10 科學計量 引用文獻分析的技術 直接計算引用文獻(Direct Citation Count) ● 某期間內，特定文獻、作者或期刊被引用的次數 ● 文章被引用次數愈多，象徵此文在學術上的影響力愈大 書目連結(Bibliographic Coupling) ● 二篇文獻之參考書目，列有一個以上相同的參考文獻 ● 可假設兩作者之研究有關聯 共用引用(Co-Citation) 2005/10/04 ● 二篇文獻被後來出版的文獻共同引用 ● 二篇文獻之相關程度 11 科學計量 計算影響係數(Impact Factor) ● 在某一時期內，一篇文章被引用的平均次數 ● 把期刊放在同樣的水平上比較 計算被引用半衰期(Cited half-Life) ● 計算某期刊該年被引用的次數在過去幾年內達到了一半 ● 文獻的老化 計算快速指標(Immediacy Index) 2005/10/04 ● 當年出版的文章在同一年平均被引用的次數 ● 有多快被引用 12 科學計量 以引文分析評估論文，可能產生不公平的情 況 用而不引 ● ● 真正影響該論文的真理或常識，未被引用 期刊讀者多，引用者少 偏見的引用 ● 刻意引用或不引用某人的文獻 引用二手資料 ● 間接引用後續研究的資料 無法引用非正式的資訊來源 ● 非正式的資訊管理 自我引用 ● 2005/10/04 刻意大量自我引用 13 科學計量 對文獻忽略、遺漏 ● 常常只引用手邊資料 技術上的限制 ● 檢索時的技術性問題 學科領域大小 ● 不應將不同的主題作比較 語文不同之障礙 ● 非英言文獻無法被SCI統計 負面批評引用 ● 量化方法之不足，應再以質的方法來驗證 跳過二手資料直接引用 ● 2005/10/04 未給二手資料任何功勞 14 科學計量 科學引用文獻索引 1961年科學資訊研究所(Institute for Scientific Information, ISI)開始創製科學引用文獻索引 1963年SCI出版 現提出網路版的界面-科學網(The Web of Science, WOS) 2005/10/04 15 科學計量 WOS的三大特色 ● ● ● 被引用文獻檢索 ■ 由文後參考文獻超連結至另一篇文獻 ■ 滾雪球似地追出更多的相關資料 相關記錄 ■ 找共用引用的另一篇文獻 ■ 可推測那些文章與研究在某些方有關聯 被引用次數 ■ 2005/10/04 查出被引用次數 16 科學計量 期刊影響係數作為評估工具 以絕對引用計算參考文獻篇數 ● 有利於大期刊或老期刊 相對地計算引用之影響係數 SCI的影響係數的計算方式對某些領域不公平 2005/10/04 17 科學計量 楓城研發報導呼籲利用數據時應注意 2005/10/04 ● 唯有在同學門範疇內比較才有意義 ● 應參考累積影響係數，以多年的數據做整體分析 ● 有時應對期刊每一篇文章去分析，review paper會膨脹 期刊影響係數 18 科學計量 引用文獻循環 前述及科學是資訊處理的循環 科學的品質需靠同儕評審循環來維持 專家評審的主觀不公文獻循環 科學全貌 共同引用指標 共同關鍵詞指標 關鍵詞 引用頻率 引用 文章 2005/10/04 參考文獻 19 科學計量 Wouters引用文獻循環轉形為功勞循環 ● 以質和量的方法來判斷科學家功勞的過程 認同及功勞 被引用分數 科學計量 研究資源 文章 投稿 研究 2005/10/04 20 相關實證研究 由於同儕評審之主觀缺失，許多人嘗試以數字權威 來取代人的權威 以下是國外之實證研究，探討同儕評審和科學計量 的優缺點 同儕評審的效度高，但信度低 ● 不同學科性質，審稿者各有不同的接受同意度與退稿同意度 專家判斷具有主觀性 ● 有3%至15%的作者，同篇論文投稿至不同期刊，收到相衝突 的意見 科學計量具有效度 ● 專家評審易受光環效應影響 同儕評審與科學計量有高度相關性 ● 2005/10/04 根據科學計量與同儕評審做評估科學研究的結果，兩者相關 係數從0.5至0.8 21 結論 同儕評審可用於論文出版前的品質控制 科學計量法必須等待出版後才能觀察被引用 的情形，等三年似乎是較佳選擇 同儕評審與科學計量應互補，以質的方法和 量的方法來判斷科學家的功勞 2005/10/04 22 參考文獻 傳雅秀，以同儕評審或科學計量的方法進行學術評 估，資訊傳播與圖書館學6巻2期(1999年12月)，頁 39~48 P. Wouters, “Citation Cycles and Peer Review Cycles,” Scientometrics 38, Jan. 1997 2005/10/04 23 Q&A 2005/10/04 24