評分量尺在高等教育之應用與效用

Download Report

Transcript 評分量尺在高等教育之應用與效用

評分量尺在大學生學習成效評估
之運用
蘇錦麗
國立新竹教育大學
教育學系教授兼
師資培育中心中心主任
民國101年2月16日於
靜宜大學
大綱
壹、前言
貳、評分量尺的定義
叁、評分量尺在高等教育之應用與效用
肆、評分量尺之組成要素及建構程序
伍、發展與運用評分量尺時遭遇的問題與建議
陸、結語
附錄:蘇錦麗在教學研究成果的著作目錄
 主要資料來源:蘇錦麗、黃曙東、浮絲曼(2011)
。評分量尺(rubrics)在大學生學習成效評估之運
用。教育研究月刊,207,18-31。
1
壹、前言
重視學生學習成效(learning outcomes)與
評估(assessment)是目前國際高等教育評
鑑的主要發展趨勢之一
 許多國家的評鑑/認可/品質保證組織更將
機構的學生學習成效及其評估機制之達成度
,視為判斷高等教育機構效能及認可的重要
條件

2
壹、前言
第一週期系所評鑑
輸入面:確保提供學生一個優質學習環境
 100年度的大學校院校務評鑑
過程面:研擬一套全校性學生學習成效評估
機制
 第二週期系所評鑑
過程面:推動與落實學生學習成效品質保證
機制;評鑑系所依據學校所建立之學生學習
成效評估機制,落實教育目標與核心能力,
確保學生學習成效之作為

3
貳、評分量尺的定義
•有不同的定義:
 WorldNet:
一套行為或程序之規則、註解、以紅字或特別型
式印刷的標題、…
 歐美國家教育領域:
•被定義為:審視學生作業期望表現的一種準則;
描述學生表現好壞程度的說明書
•被視之為:一套有效率評分工具;是教師在進行
教學專業的實務中,承諾協助學生學習所發展的
具體陳述
叁、評分量尺在高等教育之應用與效用
一、評分量尺在高等教育之應用
 Baker在1962年發表的〈李爾王存在主義的檢視〉(
An Existential Examination of King Lear)一文中,首
次提到評分量尺應用於高等教育的課堂情境中,惟當
時僅視之為一個題目的標題或分類
 1981年的〈進階英文與作文分班測驗之效度〉(The
validity of the advanced placement English and
composition examination)一文中,評分量尺首次被當
做是一種評分工具
 目前已逐漸為美國大學教師運用於複雜的學生學習檔
案評量上,甚至包括整個學習課程或方案
叁、評分量尺在高等教育之應用與效用
•教師可在下列學生的作業,運用評分量尺
來進行評分:
概念地圖、文獻探討、反思寫作、參考書
目、口頭簡報、批判性思考、引證分析、
檔案報告、提案、書面與口頭報告等作業
•運用的學科有:
藝術、資訊素養、護理、管理、牙醫、食
品科技、師資培育及影片科技等學科領域
叁、評分量尺在高等教育之應用與效用
二、評分量尺之效用
•能協助教師更細緻地促進學生達成其預期學習目
標
•能協助學生了解其預期的學習目標
•能強化評估以利學生學習,而非僅對學生學習的
評估
•能促進教師以一套具共識的全才教育之核心目標
,判斷學生的學習成效
•能發展一套具共識且整合不同系所的課程學習地
圖
叁、評分量尺在高等教育之應用與效用
•對教師而言
 避免主觀成見或既定的印象,以達客觀評量
 能明確回應學生對於評分高低的疑問
 能協助教師檢視並調整課程目標與教學行為
•對學生而言
 能了解成績的評量標準及各準則範圍
 能知道自己學習的優缺點,及努力的方向
 能發展評估自己的能力,為自己的學習負責
肆、評分量尺之組成要素及建構程序
一、評分量尺之組成要素
 整體型(holistic):對學生整體學習表現,給予一
個單一的等第/分數(表1)
 分析型(analytic):將學生整體學習表現區分成
若干細項,再進行個別的評分,以評估學生的各項
表現,有兩種格式:
•由評鑑準則、品質定義及評分策略三要素組成(表2)
• 由任務描述(task description)、尺度(scale)、向度
(dimensions)及向度描述四要素組成(表3 )
表1 整體型評分量尺實例:簡報
優(5)
佳(4)
清楚描述報告
主題並提供足
夠理由說明其
重要性,且有
充分資訊支持
結論。
描述報告主題
並提供理由說
明其重要性,
且有充分資訊
支持結論。
全場保持與聽
眾眼神接觸,
且吸引聽眾注
意。
善用視覺輔助
工具使報告極
具說服力。
好(3)
描述報告主題
與結論,提供
的支持證據尚
稱周全。
普通(2)
待改進(1)
描述報告主題
與結論,但未
能完整說明。
未能描述報告
主題與結論;
主題不明確且
無適切的結論。
大部分時候與
有時候與聽眾
聽眾眼神接觸, 眼神接觸,且
且吸引聽眾注
吸引聽眾注意。
意。
有時候與聽眾
眼神接觸;有
時候吸引聽眾
注意。
無法保持與聽
眾眼神接觸,
且無法吸引聽
眾注意。
運用視覺輔助
工具使報告具
說服力。
部分時候運用
視覺輔助工具
使報告具若干
說服力。
無法運用視覺
輔助工具使報
告具說服力。
大部分時候運
用視覺輔助工
具使報告具說
服力。
表2 批判性思考評分量尺(由評鑑準則、品質定義及評分策略三要素組成)
等第
向度
議題說明
表現優異(4)
表現良好(3)
能清楚陳述並完整
描繪議題/問題,
且傳達所有必要的
資訊,以利理解。
能清楚陳述、完整
描繪並界定議題/
問題,不會因誤解
而導致無法理解。
表現尚可(2)
能清楚陳述議題/
問題,但描繪中仍
有些未定義項目、
未探究語意及未確
定範圍/未知背景。
資訊來自充分詮釋
資訊來自充分詮釋
資訊來自部分詮釋
證據:
/評估的源頭,以
/評估的源頭,但
選擇並使用資訊以 /評估的源頭,以
發展完整的分析或
發展成一致的分析
不足以發展成一致
檢視觀點或結論
綜論。
或綜論。
的分析或綜論。
完整地質疑專家的
傾向於質疑專家的
很少質疑專家的觀
觀點。
觀點。
點。
脈絡和假設的影響 當陳述某種立場時, 當陳述某種立場時, 當陳述某種立場時,
能徹底分析自己和
能指出自己和他人
能指出部分脈絡的
他人的假設,並仔
的假設,並評估一
關連性,並質疑一
細地評估脈絡的關
些脈絡的關連性。
些假設。
連性。
能考慮議題的複雜
能考慮不同議題有
學生的立場(觀點、 能考慮議題的複雜
度及具創意的特定
度及具創意的特定
特定的立場(觀點、
論點/假說)
立場(觀點、論點
立場(觀點、論點
論點/假說)。
/假說)。部分立
/假說)。基於某
場具限制性,能融
立場,能理解他人
入他人觀點。
的觀點。
結論及相關成果具
結論與各種資訊
結論和資訊能邏輯
結論及相關成果
邏輯性,並能反映
(包含相反觀點)
性的連結,能清楚
(意涵和結果)
學生自省與運用更
能邏輯性的連結,, 地指出部分成果。
高層次的能力和觀
並清楚地指出相關
點。
成果。
尚待加強(1)
陳述議題/問題時,
未能界定或描繪清
楚。
資訊來自沒有任何
詮釋/評估的源頭。
毫不質疑地採用專
家的觀點。
當陳述某種立場時,
能開始確認一些脈
絡,並體認現有的
假設。
能陳述特定的立場
(觀點、論點/假
說),惟呈現時過
度簡單且平淡無奇。
結論與資訊無法一
致的連結,相關成
果過於簡單。
表3 城市社區簡報評分量尺(由任務描述、尺度、向度及向度描述四要素組成)
任務描述:每位學生須針對「波特蘭市社區過去30年來改變情形」,進行5分鐘的簡報;簡報
方式由學生自行決定,但須聚焦在某一主題上,而非僅以年代表示。此外,此次簡報內容須包
括一些合適的照片、地圖、圖表或其他視覺教具。
等第
向度
知識/理解能力
20%
思考/探究能力
30%
溝通能力20%
運用視覺教具能
力20%
簡報技術10%
卓越
勝任
待加強
運用足以支持學生論文之
相關且精確的資料,展現
對歷史的深度理解。
研究是完整的,且超出課
堂教學範圍或指定讀本範
圍。
主題聚焦在一個歷史圖像
或社會議題,呈現高度發
展的察覺力及高水準的概
念性能力。
具有創造力,且能有效地
將中心概念傳達給聽眾。
簡報者有效回應聽眾的反
應與問題。
簡報者於適宜時段,使用
合宜且易懂的視覺教具。
運用與學生論文相關,但仍
有細微錯誤的知識。
研究是適當的,惟僅稍微超
出課堂教學範圍或指定讀本
範圍。
僅運用小部分正確或與學
生論文相關之資訊。
很明顯毫無研究,或僅有
少許的研究。
呈現一個分析架構且有中心
議題,但分析架構尚未完整
發展或與主題相關。
未呈現分析架構且無中心
議題。
口齒清晰、音量適當、目
光接觸、生動語調、有效
運用手勢與姿體語言。
口齒清晰、音量適當,但音
調過於平淡,未能適宜地、
有效地運用目光接觸、手勢
與姿體語言。
運用簡報技術有效地傳送中 無法有效吸引聽眾興趣,
心概念,但比較沒有創造力。 並/或使聽眾對於溝通內
未回應部分聽眾的問題。
容產生困惑。
簡報者使用合宜、但少許的
視覺教具,導致無法有效詮
釋相關議題。
簡報者未使用視覺教具,
或使用不合宜、太小、難
懂的教具。
簡報者未能使用視覺教具。
音量不足、口齒不清,內
容不易理解。
未嘗試使用目光接觸、手
勢與姿體語言等與聽眾互
動。
肆、評分量尺之組成要素及建構程序
二、評分量尺之建構程序
 自省階段:反省過往的教學及學生學習的情形
 傾聽階段:聚焦在特定指定作業細節與期待學
生特定的學習目標上
 歸類與命名階段:將上階段結果的相似預期目
標歸類成若干個向度並命名
 運用階段:將前一階段有關向度及其描述內容
放入評分量尺的格式
肆、評分量尺之組成要素及建構程序
三、舉隅
 課程名稱:環境科學專題研討
 選課對象:大學部三年級學生
 先備知識:具備地理、大氣科學、生物科學及地質
科學等基礎
 評分量尺:建構一套環境評估報告分析型評分量尺
 任務描述:每組由不同科系的4位學生組成,以3週
時間完成有關環境評估簡報,並提交書面報告
肆、評分量尺之組成要素及建構程序
三、舉隅(續)
 自省階段:發展學生學習目標,包括:合作、使用
電腦的能力、溝通、批判性思考、察覺文化多元能
力、倫理能力、資料蒐集能力、量化統計能力、時
間管理及個人自我發展能力等
 傾聽階段:傾聽學生及利害關係人的意見或建議,
做為發展或修正評分量尺之依據
 歸類與命名階段:依據目標發展其細部內涵,並進
行分類與組合,同時界定各目標的最佳表現之具體
操作型定義
 運用階段:依據各目標重要性給予不同權重
三、舉隅(續)
表4 環境評估報告的分析型評分量尺
準則
初步研究
的範疇與
品質
權重
傑出(A)
良好(B)
尚可接受(C)
(總分)
透過對基線環境
對基線環境的描述, 對基線環境的描述
10
(baseline
足以展現對研究領
尚未發展完整,對
environment)特別發 域良好的認知。
研究領域的理解仍
展的描述,展現對研
須再加強。
究領域極佳的認知。
環境評估
報告的形
式與組織
5
報告的形式與組織遵
循Eccleston(2001)
的指導方針;章節特
別發展得很好,並具
邏輯性。
報告的形式與組織
遵循Eccleston
(2001)的指導方
針,惟章節間的邏
輯順序仍須再強化。
替選行動
的創意與
可信性
10
量化分析
的完整性
與強靭度
20
替選行動是可理解的、所有替選行動是可
具體描述且適宜的; 信的,但仍須詳細
可能比原行動較佳。 描述,以利檢視是
否比原行動較佳。
研究場域的實際分析 研究場域的分析資
資料的數量是充足的;料數量是充足的;
方法論合宜、強靭且 方法論合宜,但缺
詳細說明;分析結果 乏說明且強靭度可
具辯護性。
能不足;分析結果
具辯護性。
未達標準(D或F)
對基線環境的描述
非常拙劣;基線環
境缺乏足夠的特色
描述。
報告的形式與組織
缺乏Eccleston
並未完全遵循
(2001)建議的報
Eccleston(2001)
告形式與組織。
的指導方針,;整
體組織仍須再強化。
部分替選行動是可
信的且容易理解;
有關替選行動的描
述仍須再詳細。
研究場域的分析資
料數量是充足的;
方法論合宜,但分
析結果因分析不完
整導致無法使人信
服。
少部分替選行動是
可信的且容易理解;
有關替選行動的描
述是不足的。
分析資料數量不足
並缺乏強靭度;大
部分方法論不適宜;
分析結果不具辯護
性。
三、舉隅(續)
表4 環境評估報告的分析型評分量尺(續)
準則
假設的文件資
料與辯護性
權重
(總分)
10
傑出(A)
良好(B)
尚可接受(C)
未達標準(D或F)
量化分析的假設有完整
紀錄、可行的且具良好
辯護性。
量化分析的假設有完整
紀錄,但仍須加強辯護
力,以提高其可行性。
量化分析的假設缺乏完
整的紀錄,且某些價值
仍須再說明。
量化分析的假設不易
理解、不適宜且無辯
護性。
累進效用分析是不適
當的;缺乏附加的、
協同的與對抗的效用;
小部分的分析方法是
適當的。
累進效用分析
的範疇與品質
15
累進效用分析著重附加
的、協同的與對抗的效
用;以圖表說明由多元
收報器所蒐集的環境累
進效用;適宜的累進效
用分析方法。
累進效用分析著重附加
的、協同的與對抗的效
用,但部分且關鍵的收
報器所蒐集的資料被排
除;適宜的累進效用分
析方法。
累進效用分析包含附加
的效用,但缺乏部分協
同的與對抗的效用;可
能重要的收報器所蒐集
的資料均涵蓋在此分析
中;大部分累進效用分
析方法是適當的。
建議行動多元
向度的程度
5
文件能完全注意到人類
環境的完整性,並遵循
「理由常規」與「遞增
減率(sliding scale)
方法」。
雖然文件能提出「理由
常規」與「遞增減率方
法」,仍須進一步強調
建議行動的多元向度。
文件太過注意或不太注 膚淺地包括環境影響
意建議行動的某些向度, 評估過程的多元向度
以致犧牲了其他向度; 觀點;在很多地點,
整體遵循「理由常規」 違反「理由常規」與
與「遞增減率方法」。 「遞增減率方法」。
寫作品質
15
圖表的使用
10
以公正與專業的語調撰
以公正與專業的語調撰
寫報告;有效運用文獻。 寫報告;文獻可以更有
效的運用。
圖表的數字、內容、運
圖表的內容與運用雖是
用與放置極為出色。
令人滿意,惟仍須做得
更多,且圖表的放置有
待改善。
部分報告內容須再重寫, 大部分報告內容須再
且文中應再加入更多文 重寫。
獻。
部分圖表內容仍須再加 圖表太少;拙劣的圖
強。
表品質。
補充說明:學生學習成果 本位評估模式是什麼?
準則
19
伍、發展與運用評分量尺時遭遇的問題與建議
一、遭遇的問題
(一)有關評分量尺信、效度的問題
(二)有關證實評分量尺效用的相關研究不足
及其方向的問題
(三)有關有效發展與運用評分量尺的資源問
題
伍、發展與運用評分量尺時遭遇的問題與建議
一、遭遇的問題
(一)有關評分量尺信、效度的問題
 理論上,評分量尺能有效地測量學生實際學習的進度,並促
進評分者一致性
 事實上,歐美高等教育有關評分量尺的研究,大部分集中在
其信度的考驗,而少在效度上
 信度考驗大多集中在評分者一致性考驗,包括教師間、師生
之間等的評分一致性
 效度考驗則大都集中在評分量尺的內容及其文字的清晰度與
適當性的檢核
 對評分量尺的內容效度、建構效度與準則效度之相關研究,
亦較少著墨
伍、發展與運用評分量尺時遭遇的問題與建議
(二)有關證實評分量尺效用的相關研究不足
及其方向的問題
缺乏如何建構一套符合專業標準的評分量尺
,供教師或相關人員據此發展、運用、評鑑
與改進。
伍、發展與運用評分量尺時遭遇的問題與建議
(三)有關有效發展與運用評分量尺的資源問題
 應提供使用者充分的說明或訓練,協助了解評分
量尺的內涵與設計,善加運用,以促進學生學習
的效果
 需充分了解其內涵並學會使用,才能發揮其應有
的效用
 對評分者的訓練,是提升評分量尺信、效度的最
重要關鍵因素
伍、發展與運用評分量尺時遭遇的問題與建議
二、建議—代結語
• 各大學可依據學校的實際需求
 發展一套符合機構文化之評分量尺與學生學習成效
評估機制,並定期檢視其實施成效
 建立支援與支持系統,持續實施
 運用評估結果改善教與學
 定期檢討與修正評估機制,型塑評估文化
• 相信定能達成評估以促進學生學習之目的
附錄:蘇錦麗教學研究成果的著作目錄
(A)刊在《評鑑》雙月刊「學習成效評估」專欄
• 蘇錦麗、楊正誠(2011)。美國WASC採行之「成果本
位」學程評鑑。評鑑雙月刊,30 ,35-39。
• 蘇錦麗、楊正誠(2011)。學生學習成效評估— 美國舊
金山州立大學學程評鑑的作法。評鑑雙月刊,30,4042。
• 蘇錦麗、浮絲曼(2010)。學習成效評估的另類方法:
教師合作分析學生作業。評鑑雙月刊,27, 55-58。
• 蘇錦麗、黃曙東(2010)。學生學習成果評估機制─原
則、指標與規範。評鑑雙月刊,26, 52-55。
附錄:蘇錦麗教學研究成果的著作目錄
(A)刊在《評鑑》雙月刊「學習成效評估」專欄(續)
• 蘇錦麗、吳慱慬(2010)。確保「學生評鑑」專業知
能,提升學生學習成效。評鑑雙月刊,24,35-38。
• 蘇錦麗、詹惠雪、謝杏佳(2010)。透過校外考評,
確保大學「教」與「學」的品質。評鑑雙月刊,23,
44-49。
• 蘇錦麗(2009)。美國WASC採行的「學生學習成果
本位評估模式」。評鑑雙月刊,22,37-41。
• 蘇錦麗(2009)。「大學校院學生學習成果評估」相
關內涵分析。評鑑雙月刊,21,58-62。
附錄:蘇錦麗教學研究成果的著作目錄
(B)期刊論文
• 蘇錦麗、黃曙東、浮絲曼(2011)。評分量尺(rubrics)
在大學生學習成效評估之運用。教育研究月刊,207,1831。
(C)專書論文
• 蘇錦麗、李昕翰(2009)。大學校院學生學習成果本位評
估模式之行動研究:建構與運用。載於楊思偉(主編),
課程實驗與教學改革(頁121-155)。臺北市:五南。
(D)研討會論文
• 蘇錦麗(2010,6月)。高等教育學生學習成果評估面面
觀—重要利害關係人的作為。論文發表於財團法人高等教
育評鑑中心基金會舉辦之「高等教育評鑑論壇夏季場」,
臺北市。


報告完畢
謝謝聆聽
27 28
報告完畢
敬請指教
「評分量尺在大學生學習成效評估之運用」
練習單
課程名稱:
開課年級:
學習目標:
學習成果:
證 據/任務描述:
標準
準則
年級 學分數:
學分 授課教師: