Transcript 多元評量的設計與實施
十二年國教的五堂課 多元評量的設計與實施 張仁家 國立臺北科技大學技職教育研究所 教授 2013年6月 1 台北科大技職所張仁家 報告大綱 1.前言-教學與評量的關係 2.教學評量的基本原則 3.多元評量的設計與實施 2 台北科大技職所張仁家 壹、前言 3 台北科大技職所張仁家 情境 目標 教師 方法 課程 學生 ▲教學系統圖 台北科大技職所張仁家 國內外教育界流傳的兩句話…… • 測驗測什麼內容學生就得到什麼內容 (what you test is what you get) • 有什麼樣的測驗就有甚麼樣的教學 （what is tested is what gets taught） 考試領導教學 5 台北科大技職所張仁家 台北科大技職所張仁家 學生的學習目標 • • • • • • • • 知識理解 原理解釋 計算分析 溝通技巧 動作技能 運動技能 概念應用 情意特質等… 認知領域 情意領域 技能領域 台北科大技職所張仁家 系統化教學設計 修改 教學內容 分析 學習需要 的分析 學習目標 的編寫 教學策略 設計 教學媒體 選擇 教學實施 教學評量 （形成性評量） 教學對象 分析 修改 總結性評量 台北科大技職所張仁家 評量在教學中的角色 •「評量的課題賦予課程的成果與生命；只 有藉著明確說明學生應該做的事，以及他 們能做得多麼好，這些學生學習的敘述才 有意義。」（Danielson & Abrutyn, 1997/2000, p.8） •在教學上，「一個理念再優良的教學計畫 ，如果少了有效的評量，就像騎匹千里馬 ，一路狂馳，但卻不知道方向在哪裡。」 （王文中，2000） 台北科大技職所張仁家 1.老師教我容易忘記 2.老師示範給我看可能會記得 3.老師讓我參與我會一輩子記得 ～黑幼龍 台北科大技職所張仁家 貳、教學評量的基本原則 11 台北科大技職所張仁家 Question 1.銅管焊接應該使用何種焊條? 台北科大技職所張仁家 Question 2.銅管焊接應該使用何種焊條? (A)銅焊條 (B)鐵焊條 (C)鋁焊條 (D)銀焊條 台北科大技職所張仁家 Perception 1.不同的命題可以改變學生的成績 2.可以激勵或削減學生的學習動機 3.不同的誘答選項可看出命題品質 4.命題技巧是教學過程的重要能力 台北科大技職所張仁家 教學評量的本質 •如同Linn and Gronlund（2000）說的： 「廣泛的收集學生學習的訊息，以做助於 學習歷程的價值判斷」（p.31）。 •Wiggins（1988）所言：「以有系統的方 式培育學生『自我修正』（self-correct ）的能力，而不是作為學習結束時的稽核 工具」。 台北科大技職所張仁家 教學評量之重要意義 •評量是承接轉合的關鍵部份， 而不 是教學歷程的終點站，教學評量的 主要目的，在於分析教學得失及診 斷學習困難， 作為實施補救教學和 個別輔導的依據。 台北科大技職所張仁家 你看到甚麼? 17 台北科大技職所張仁家 看到的,不一定是真的! 通過考試的老師 18 台北科大技職所張仁家 教學評量之類別-依教學歷程之分 教 學 前 教 學 中 教 學 後 預備性評量 形成性評量 總結性評量 教學評量模式 台北科大技職所張仁家 依評量資料之解釋方式分 （1/2） •標準參照評量(criterion-referenced evaluation) :標準(或效標)參照評量是指 依教師在教學前所訂定的標準來解釋個 別評量分數是否達成這項既定標準的一 種評量。 台北科大技職所張仁家 依評量資料之解釋方式分 （2/2） •常模參照評量(norm-referenced evaluation) : 常模參照評量是指依團體 分數之平均數（即常模）來解釋個別評 量分數在團體中所處的相對位置的一種 評量。 台北科大技職所張仁家 標準參照測驗與常模參照測驗之比較 測驗名稱 主要目的 標準參照測驗 特定精熟性的考驗 常模參照測驗 學習成就的互相比較 量尺定準點 兩端，事前決定 中間，事後決定 參照點性質 理想的、絕對的 實際的、相對的 評量功能 檢定功能，找出超乎某一 特定的能力水準以上者 鑑別功能，比較團體成員 間之差異情形，尋找出最 具潛能者 結果表示法 及格或不及格 百分等級或標準分數 記分方法 常態等第制 傳統百分制 台北科大技職所張仁家 教學評量基本概念 • 在古典測驗理論（CTT，又稱古典信 度測驗）中最重要的基本假設： χ＝ t + e χ:實得分數,t:真實分數,e:誤差分數 台北科大技職所張仁家 教學評量的用途 （一）達成教學 • 瞭解學生的起點行為 • 做為改進教學的參考 • 確保教學目標的達成 （二）診斷學習 • 診斷學生的學習 • 改進命題的技巧 • 評定學生的學習成果-努力、進步、長處 （三）幫助學習 • 激勵學生的學習動機 • 幫助學生的記憶和學習遷移 • 促進學生的自我評量 台北科大技職所張仁家 是非題的命題原則 1.避免使用一般的用語，如：通常、一般、時常及 有時。 2.避免過於瑣碎的描敘。 3.避免使用負面的描敘，尤其是雙負語。 4.避免過長，複雜的句子。 5.避免使用兩個概念的描敘，除非具有因果關係。 6.避免使用無資料來源的八卦命題。 7.避免描敘的長度不同。 8.避免使用不適當的題數分配。 台北科大技職所張仁家 選擇題的命題原則-1 1. 2. 3. 4. 5. 6. 7. 應能夠測量到重要的學習結果 每道試題的選項數目應一致 題幹的敘述應清楚表達,避免過短/過長 題幹宜保持完整,勿被選項切割成兩段 選項的敘述如有相同應放在題幹中 錯誤的選項應發揮應有的誘答功能 除非特別強調,否則儘量使用肯定句敘 述 台北科大技職所張仁家 選擇題的命題原則-2 8. 9. 10. 11. 12. 13. 14. 15. 試題必須只有一個正確或是較佳的選項 選項的文法必須與題幹一致 避免有暗示答案的線索出現 儘量避免使用以上皆是或以上皆非 均勻分布答案的次數與位置 保持同意測驗的每道試題各自獨立 使用經濟有效的格式 試題不宜過多以免成為速度測驗 台北科大技職所張仁家 簡答題(填充題)的命題原則 1.試題用字必須簡明扼要。 2.勿直接截取課本的敘述成為題目。 3.如果答案是用單位與數字來表示，那就需 註明單位。 4.每個空格均應放在問題右側且長度一致。 5.使用完整的題幹，勿使用太多的空格。 台北科大技職所張仁家 Question • 我國的鐵都是 • 我國的煤都是 台北科大技職所張仁家 論文題(申論題)的命題原則 1. 2. 3. 4. 5. 6. 較複雜或較高層次的學習評量才使用 問題儘量與所要測量的學習結果有關 明確敘述問題,使學生了解問題所在 儘量避免學生可以選擇部分題目作答 給予充足的作答時間並告知 避免命題過於窄化 台北科大技職所張仁家 貳、傳統教學評量之省思 1/2 一、評量目標： 1.較少顧及教學目標。 2.忽略技能和情境評量。 二、評量方式： 1.大多均採紙筆測驗。 2.忽略其他評量方式。 三、評量時機： 1.多數以總結性評量為主。 2.形成性評量大多採坊間測驗。 3.忽略診斷性、安置性評量。 台北科大技職所張仁家 四、結果解釋： (2/2) 1.過份強調個別間競爭。 2.過份重視各班成績的比較。 3.公布成績常損及學生尊嚴。 五、命題觀念： 1.忽略較高層次思考的評量。 2.命題未編製細目表。 六、命題技術： 1.題目形式不當。 2.忽略命題原則。 3.忽略教科書重要內容。 七、家長觀念： 1.斤斤計較卻忽略人格發展。 2.過度期盼或放任不管。 台北科大技職所張仁家 活動一: 分組自我介紹 6mins 1. 請同一群或同一科的教師在同一組, 每組 最好不超過四人 2. 推選小組長 3. 每個成員都編出1-4號 4. 自我介紹1-1.5分鐘 5. 6分鐘之後, 介紹對方 33 台北科大技職所張仁家 活動二: 分組討論 10mins •各組請舉1-2例可以有效提升學生 學業成就的方法?(以案例描述) 台北科大技職所張仁家 參、多元評量的設計與實施 35 台北科大技職所張仁家 一、多元評量的意義 多元評量係以教師教學與評量專業為 基礎，依據教學目標研擬適切的評量 方式、評量內涵、評量人員、及評量 時機與過程，並呈現多元的學習結果 ，以提供更適性化的教學來增進學生 成長。 台北科大技職所張仁家 二、多元評量的迷思 (一)多元評量並非廢除紙筆測驗。 (二)多元評量並非一種評量。 (三)多元評量莫為多元而多元。 (四)多元評量並非目的。 (五)多元評量並非學習終點。 (六)多元評量並非主觀評量。 (七)多元評量並非萬靈丹。 台北科大技職所張仁家 “多元”是否又是語文評量? •評量時，學生將教學中習得的解題方式應用 於許多類似題型之上，中下程度的學生，如 果理解力不足、記憶力不夠強就難以在評量 中獲得好成績，練習也就流於記憶；從學習 單、平時測驗、到期中評量，等於再製的迷 思。 •學生只要聽到練習或複習，便沮喪又無力。 如此刻板的數學科評量相形於語文評量設計 的縝密與生動，顯得貧乏且僵化，對於這樣 的落差。 台北科大技職所張仁家 三、多元評量的多元特質(李坤崇, 2005) (一)專業多元 (二)內涵多元 (三)過程多元 (四)時機多元 (五)情境多元 (六)方式多元 (七)人員多元 (八)計分多元 (九)結果多元：能力與努力 (十)呈現多元：質與量 台北科大技職所張仁家 一、專業多元 (一)掌握教學目標。 (二)專業判斷知能。 (三)兼顧技能與情意的評量。 (四)剖析教材內容。 (五)設計雙向細目表。 (六)規畫評量方式或慎選題目類型。 (七)善用命題技術。 (八)適切解釋評量結果。 台北科大技職所張仁家 二、內涵多元 (一)兼顧認知、情意、技能等內涵。 (二)兼顧學生的學習歷程、生活世界與 社會行為。 (三)Gardner多元智慧(八項半智慧)：語 文、邏輯－數學、肢體－動覺、音 樂、空間、自然觀察者、人際、內 省，及半項智慧--存在。 台北科大技職所張仁家 三、過程多元 (一)安置性評量 (二)形成性評量 (三)診斷性評量 (四)總結性評量 台北科大技職所張仁家 四、時機多元 (一)定期評量：兩至三次的定期評量。 (二)平時評量：充分考量學校願景、教師 素養、學生特質、家長需求等因素。 台北科大技職所張仁家 五、情境多元 (一)評量情境包括教室、教室外情境 (二)隨著評量方式的多元化，常跳脫教 室情境 台北科大技職所張仁家 六、方式多元 (一)紙筆測驗(筆試) (二)檔案評量(資料蒐集整理、書面報告) (三)實作評量(表演、實作、作業、鑑賞 、實踐、軼事記錄) (四)口語評量(口試、口頭報告、晤談) (五)軼事記錄 台北科大技職所張仁家 七、人員多元 (一)教師評量 (二)同儕評量 (三)組長評量 (四)自己評量 (五)家長評量 台北科大技職所張仁家 八、計分多元 (一)直接給單一學習總分。 (二)經由基本分數與加權分數合計而得 單一學習總分 。 1.個別學習時，教師為鼓勵學生參與學習歷程 ，先給予基本分數，再視其學習歷程與結果給 予加權分數，兩者合為個別學習的分數。 2.小組合作學習時，基本分數常為小組的分數 ，而加權分數則為組內個人的表現分數或組內 人員互評所得的分數。 台北科大技職所張仁家 九、結果多元：能力與努力 台北科大技職所張仁家 十、呈現多元：質與量 (一)量化：分數、圖示、 等級(優、甲、乙、丙、丁) 。 (二)質化：文字敘述、具體建議。 台北科大技職所張仁家 肆、各類教學評量的種類與實例 一、檔案評量 檔案評量乃教師依據教學目標與計畫， 請學生持續一段時間主動收集、組織與 省思學習成果的檔案，以評定其努力、 進步、成長情形。予以彙整後即成為一 份完整的學習檔案，而用檔案評量來評 量學習檔案乃最佳之策略。 台北科大技職所張仁家 二、實作評量 •實作評量乃具相當評量專業素養的教 師，編擬與學習結果應用情境頗類似 的模擬測驗情境，讓學生表現所知、 所能的學習結果。實作評量評量旨在 評量知識、理解化為行動的能力，常 見者為「行為或態度評量表」、「行 為檢核表」。 台北科大技職所張仁家 •「行為或態度評量表」係指一組用來作為判 斷依據的行為或特質，及能指出學生在每種 屬性中不同程度的量表，可用以評量學生學 習態度、策略與興趣，或人格、情意發展狀 況。 •「行為檢核表」係依據教學或評量目標先將 學生應有、可觀察的具體特質、行為或技能 ，依照先後發生順序或其他邏輯規則逐一詳 細分項，並以簡短、明確的行為或技能描述 語句來條列出行為或技能標準，後請檢核者( 包括教師、家長或學生)就學生的實際狀況依 序勾選，以逐一評定學生行為或技能是否符 合標準。 台北科大技職所張仁家 三、口語評量 •常用口語評量乃「口試、「問問題」。 「口試」較常用於總結性評量，如用演 講、辯論、口頭報告、經驗分享故事接 龍來評量，或採放聲思考，日常應用心 得分享、口頭報告、表演等方式來評量 。 台北科大技職所張仁家 四、遊戲化評量(系列實作評量) •採取較活潑生動的教學、將知識轉化 為能力，將學習與生活結合。隨著教 學生動化、活潑化，評量亦必須納入 遊戲化評量(系列實作評量)。讓學生 在遊戲中學習、由習中評量。 台北科大技職所張仁家 五、高層次認知測驗 •評量本學習領域宜審慎運用紙筆測 驗，應揚棄低層次認知之記憶、理 解評量，然亦不應排斥高層次認知 之評量。因此，仍需以高層次認知 測驗內涵之紙筆測驗，作為進一步 改善之依據。 台北科大技職所張仁家 六、軼事記錄 •軼事記錄乃教師觀察學生日常生活表現 ，詳細寫下重要而有意義的偶發個人事 件和行為的紀錄。 •軼事記錄通常做為評量佐證資料，而非 評量的唯一依據，因學生日常生活的點 點滴滴難以在教師設計的評定量表、檢 核表、檔案資料、或紙筆測驗中完全呈 現，若能以教師在班級情境的直接觀察 作為佐證資料，當能提高評量結果的效 度。 台北科大技職所張仁家 實例(實習課程的觀察) 台北科大技職所張仁家 五、評等或計分方式： (一)本學習領域以「不呈現分數」為原則， 教師可依教學目標、工作負擔、學生或 家長需要，採取「評定等級」、「文字 敘述」的方式。 (二)教師評定等級後，宜視需要於「分享」 欄，輔以文字深入說明，並予學生適切 增強。 (三)若必須採取「核算等級計分」方式，可依 下列評量表中，六項評量項目逐一計分。 台北科大技職所張仁家 五、評等或計分方式： (四)每個評量項目之能力向度計分，如下表： 評量 項目 很好 (AA) 不錯 (A) 加油 (B) 改進 (C) 補做 (D) 基本 分 6 10 9 6 2 0 40 (五)努力向度：「＋」出現一次加1分，「-」 出現一次減1分。 (六)若檔案未交則以「0」分計算，補交則 給基本分，補交時間由教師規定。 台北科大技職所張仁家 伍、評量在教學中之運用 1. 教學決定需要評量的訊息 2. 評量與教學的關係 台北科大技職所張仁家 1.教學決定需要評量的訊息 •評量乃超越資料搜集技巧，是一個有系統的過程 ，始於確認教學目標，終於判斷這些目標達到的 程度（Linn & Gronlund, 2000, p.29）。 •非正式的教室觀察指引著許多教學上的決定，例 如口頭問答可以帶領學生對教材做一統整回顧； 教室討論可以發現學生某些迷思概念（Linn & Gronlund, 2000, p.29）。 •雖然觀察是一個非正式的評量，在有效教學中扮 演著不可或缺的角色。它提供更多非正式的方法 讓教師獲得學生學習的訊息。 台北科大技職所張仁家 2.評量活化學習的歷程 •無論教學或評量，教師所給予的鷹架支持是 不容忽視的，尤其面對一個具有挑戰性的任 務時，學生需要不斷的去試驗、蒐集資料、 建立假設、並且評估自己的工作進度（Linn & Gronlund, 2000）才容易促進表現品質。 •評量任務完成的同時，教學也告一段落，評 量與教學同時發生，評量本身所促進的，是 老師的教學能力，也是孩子的學習過程。 台北科大技職所張仁家 3 教 學 評 量 設 計 與 實 施 決定測驗之目的 發展雙向細目表 準備測驗題目 組合測驗題目 施測 評價測驗題目 測驗結果 台北科大技職所張仁家 1. 決定測驗之目的 常模參照－效標參照 形成性評量－總結性評量 台北科大技職所張仁家 2.發展雙向細目表 步驟： 確定教學目標 分配各教材所佔的比重 編製細目表 台北科大技職所張仁家 雙向細目表 一、「雙向細目表」(two-way specification table)是較常評量內容效度的工具 ,也是教師命題的工具之一。 二、雙向細目表之定義-包含了一份測驗所 應包含的內容與所應測量到的能力。 三、功能-協助教師命題, 內容效度的判斷。 台北科大技職所張仁家 雙向細目表 認知領域教育目標之能力層次 冷凍原理測驗 知識（記憶） 壓縮機 （30％） 內容 冷凍 循環 （70％） 得分 理解 得分 1. 能理解各種壓縮機的動作原理 （30 ％） 2. 能解釋冷凍油的功用（10％） 30 1. 能說出冷凍循環流 1. 能理解冷凍循環在莫利 程（30％） 爾線圖上的意義（20％） 2. 能說出莫利爾線 2. 能理解過熱壓縮的功用 圖構造（40％） （10％） 70 1. 能說出各種型式的壓縮 （40％） 2. 能說出壓縮機的功用 （ 20％） 67 33 100 台北科大技職所張仁家 3.分配各教材內容之比重 平均分配 依據重要性分配加權比重 台北科大技職所張仁家 活動三: 撰寫雙向細目表 30mins 1.每組一張空白A1海報紙 及10張A4的白紙 2.每組兩支麥克筆(一藍一黑) 3.每組僅有20分鐘的時間討論與命題,有10分 鐘的時間繪製海報,共30分鐘 4.命題的題型不限 5.命題範圍可任選一個科目3-4個章節(大約一 次月考的範圍) 69 台北科大技職所張仁家 XX領域教育目標之能力層次 測驗名稱: __________ 得分 1. 2. （％） （％） 1. 2. （ ％） （％） （％） 1. 2. 單元 內容 （％） (％） 1. 2. （％） （％） （％） 得分 70 台北科大技職所張仁家 認知教學評量 客觀式測驗 選擇、是非題 配合題 論文式測驗 命題作文 問答、填充題 台北科大技職所張仁家 情意教學評量 自我報告工具 調查表 考核表 態度量表 行為觀察 台北科大技職所張仁家 技能評量的因素 •操作者體能因素 •工作物的品質因素 •手眼協調性 •功能完整性 •體力 •全身平衡感 •完成時間 •控制精確力 •美觀 •反應靈敏度 •成本 •創造力 台北科大技職所張仁家 技能教學評量 台北科大技職所張仁家 調查表 1.您對冷凍原理課程內容瞭解程度為何？ □完全瞭解 □瞭解 □普通 □不瞭解 □完全不瞭解 原因： 2.您對冷凍原理課程較不懂的章節為何？ □第一章 □第二章 □第三章 □第四章 □第五章 原因： 3.您覺得老師的教法是否讓您較易接受？ □非常好 □好 □普通 □不好 □非常不好 原因： 4.建議事項： 台北科大技職所張仁家 考核表 評量結果 評量內容 優 能瞭解節約能源的重要性 能主動閱讀有關冷凍原理的 資訊 上課時認真聽講、勤做筆記 積極參與小組討論 姓名： 良 尚可 待加強 台北科大技職所張仁家 考核表 學生行為自我表現考核表 評量項目 我會按時寫作業 我見到師長會問好 我有養成隨手關燈的習慣 學生： 評量者 學生 家長、教師 學生 家長、教師 學生 家長、教師 完全 做到 年 經常 做到 月 偶爾 做到 日 沒有 做到 台北科大技職所張仁家 態度量表 1.上課有認真聽講： □贊成 2.節約能源人人有責： □贊成 □不贊成 □不贊成 3.看見教師和同學要問好： □贊成 □不贊成 4.可隨意破壞學校的實習設備： □贊成 5.冷媒可隨意釋放至空氣中： □贊成 6.未經教師允許不可送電測試: □贊成 □不贊成 □不贊成 □不贊成 台北科大技職所張仁家 年 月 日 行為觀察記錄表 姓名： 評分項目 發言頻率 下課後與同學討論頻率 學習態度 完成作業頻率 評分 台北科大技職所張仁家 試題分析 • 誘答率-每一個選項的作答人數佔總人數的百 分比值。 • 例如某試題正確選項(A)作答率為0.893，(D) 作答率為0.107，顯示該選項具有誘答力，有 約10.7﹪的學生有此錯誤概念；選項(B)及選 項(C)沒有人選,則誘答率為0。 • 難易度-試題的容易程度, P＝（PH+PL）/2 • 鑑別度-指試題能區別受試者能力高低的程度 , D＝（PH－PL） 台北科大技職所張仁家 測驗結果的分佈-常態分配 34.13％ 0.14％ 13.59％ 2.14％ 台北科大技職所張仁家 正偏態的分配 台北科大技職所張仁家 負偏態的分配 台北科大技職所張仁家 要如何打分數？ 50 -分數常態分配圖 此圖假設平均分數為55分 次 45 數 40 （ 人 35 ） 30 中間2/3 25 20 15 10 較低1/6 5 較高1/6 0 0 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 原始成績分數（分） 台北科大技職所張仁家 -負偏態 要如何打分數？ 50 此圖假設平均分數為75分 次 45 數 40 （ 人 35 ） 30 25 20 15 10 5 0 0 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 原始成績分數（分） 台北科大技職所張仁家 要如何打分數？ -負偏態 此圖假設平均分數為85分 50 次 45 數 40 （ 人 35 ） 30 25 20 15 10 5 0 0 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 原始成績分數（分） 台北科大技職所張仁家 討論 •請舉例分享你最難忘的一位教 師，why? 台北科大技職所張仁家 感謝各位聆聽 敬請指教 [email protected] 88