Transcript 總結性評量實施辦法
建構院系所 總結性評量機制 國立東華大學 教學卓越中心 高台茜 1 高教評鑑 評鑑重點 (100年7月第32期評鑑雙月刊) 第一週期 第二週期 規劃面 過程面/結果面 1.導入PDCA架構 2.建立一套評估學生 學習成效的完整機 制 1.系(所)學生學習成 效評估機制。 2.確保學生學習成效 的作為。 2 第二週期 系(所)評鑑項目 項目一、目標、核心能力與課程設計 項目二、教師教學與學習評量 項目三、學生輔導與學習資源 項目四、學術與專業表現 項目五、畢業生表現與整體自我改善機制 3 項目五：畢業生表現與整體自我改善機制－基本認可要素表 基本認可要素 優 符 質 合 較 弱 更 弱 未 符 合 5-1 系(所)能建立一套學生學習成效評估機制，有效評估畢 業生達成核心能力的程度。 □ □ □ □ □ 5-2 系(所)平時行政運作能針對學生學習成效相關議題進行 評估與檢討，並建立完整記錄。 □ □ □ □ □ 5-3 系(所)能自行設計或結合學校建立之機制，訂期蒐集內 部利害關係人、畢業生、企業雇主等對學生學習成效之 意見。 □ □ □ □ □ 5-4 系(所)能對利害關係人之意見回饋進行分析，做為持續 品質改善之依據。 □ □ □ □ □ 5-5 … □ □ □ □ □ 4 制定 系(所)專業能力總結性評量機制 定義 總結性評量（Summative assessment)是用來評量學生「畢業時的整 體學識與技能」之學習狀況。 目的 透過總結性評量以了解「學生專業能力之學習成效」。 依據評量結果做為「教學改善之參考」。 策略 請系(所)選擇以 開設「總結性課程」（必修）或「舉辦會考」 ， 並得搭 配「其他得檢驗成效之方式」，運用多元評量方法如：專題報告、實習 課程、口頭報告、創作展演、檔案評量…等方式，檢核學生專業能力之 學習成效。 5 持續改進機制流程 (校)學生能力 (院)學生能力 (系)學生能力 總結性評量 參考資料: 1. IEET持續改進機制流程與範例 2. 逢甲大學以成果導向課程規劃管理機制(李副校長) 6 三級教育目標與專業能力之制定 (校)檢核重點 _校學生基本素養與核心能力 院(系)檢核重點_系專業能力 (包含院核心能力) 自我 定位 (校)教育目標 (系所) 教育目標 (院)教育目標 Vs. Vs. (校) 基本素養 核心能力 (院) 核心 能力 (系所) 專業 能力 依據【持續改進流程】定期檢討修正。 7 系(所)專業能力總結性評量 發展程序 程 序 項目 內容 1 1-1 繪製專業能力培育比重圖 檢核「教育目標、專業能力、課程規劃」 1-2 修訂課程規劃與專業能力檢核表 1-3 修訂教育目標與專業能力 2 訂定「專業能力學習成效指標」 2-1 組成「學習成效評量委員會」 2-2 修訂系(所)專業能力學習成效指標 3 規劃「專業能力總結性評量」 3-1 選定專業能力總結性評量方式 3-2 制定評量標準 學年度循環機制 4 訂定「總結性評量實施辦法」 4-1 擬定總結性評量實施辦法 5 建置「系(所)評量資訊網站」及撰寫 「總結性評量實施成果報告」 5-1 建構系所總結性評量專區網站 5-2 撰寫成果報告並檢討修正實施方式 8 程序1 檢核「教育目標、專業能力、課 程規劃」 9 1-1 修訂課程規劃與專業能力檢核表 表單說明 1. 包含 院基礎學程、系核心學程以及系專業學程 2. 「●」表高度相關分數為 2分，「○」表中度相關分數為 1分 3. 專業能力分數=科目學分數×能力相關分數 4. 舉例: 科技管理課程對應A能力之培育分數為 3(學分數)×2(相關分數)=6 學生專業能力 系所課程規劃 科目名稱 管理學院基礎學程 微積分(一) 分學 必/選 級年 3 必 一 A B C D ● ● 42 36 ○ ● 54 60 21 ● ● ○ 48 60 30 18 54 55 47 261 306 156 E ○ F G ○ …… 學程對應專業能力分數小計 18 21 6 12 21 國際企業學系核心學程 經濟學原理-總體篇 3 必 一 ○ …… 學程對應專業能力分數小計 18 30 24 33 30 18 9 31 42 25 32 111 135 90 114 創新管理學程 科技管理 3 選 二 ○ …… 學程對應專業能力分數小計 系(所)各專業能力相關課程數 系(所)各專業能力相關課程對應分數 10 1-2 繪製系(所)課程檢核統計表 11 1-2 繪製系(所)專業能力培育比重圖 12 程序2 訂定「專業能力學習成效指標」 13 2-1 組成「學習成效評量委員會」 目的：集合各界代表，針對評量機制之相關內容進行討論 ，逐步發展符合各院、系(所)特色之總結性評量。 系(所)學習成效評量委員會 組成與任務 項目 內容 人員組成 由參與之院或學系，邀請校外代表、學生代表、學院院務代表、或 該系教師，確認參與焦點團體的成員與比例。 主要議題 1. 2. 3. 4. 修訂系(所)教育目標與專業能力，發展專業能力學習成效指標 課程規劃與專業能力培育比重之修訂與檢討 總結評量辦法、方式、類型、範圍、工具之建立 評量機制的執行、檢討與修正 14 學習成效指標 教育目標 A專業能力 檢核之具體標的 A1學習 成效指標 B專業能力 A2學習 成效指標 15 插入李坤崇p99 table 李坤崇，2011 16 16 李坤崇，2011 17 17 李坤崇，2011 18 18 程序3 規劃「專業能力總結性評量」 19 3-1 選定專業能力總結性評量方式 依據系所專業能力之學習成效指標選擇適切的「評量方式」 總結性課程、實習課程、專題報告、口頭報告，測驗會考等… (以國企系為例) 評量方式 專業能力 A. 具 備 國 際 企業管理之 進階知識 B. 具 備 邏 輯 思考、問題 分析與解決 知能力 …. 學習成效指標 專題 報告 1. 瞭解國際企業的定義與特性 2. 瞭解國際企業的經營環境 3. 瞭解國際企業的進入策略與組織 結構之制訂與運作原理 4. 熟悉國際企業管理相關理論 1. 具備現象歸納及觀點演繹的能力 2. 具備問題的敏銳觀察力並主動發 現問題 3. 能掌握問題的根本原因，循序分 析問題 4. 有效問題解決應變程序 實習 成果 會考 證照 展演 檔案 評量 其他 …… 選定評量方式後，可搭配課程施行。如：選擇專題報告或實習成果者，可搭配總 結性課程(必修)的型式施行。 20 3-2 制定評量標準 依據系所專業能力之學習成效指標制定「評量標準」(絕對成績) 評量尺規(Rubrics) • Rubrics是一套建立評分的明確準則，可用作評估學生特定作業或表現的標 準，每個標準都明列達成的程度，且能正確讓學生了解各項標準下個別的學 習成果，明確地知道自己的學習弱點，而不單只得到某個單一總和的分數； 教師亦能逐一針對學生表現的分項指標進行分析，提出更精確的教學改善策 略。 • 若評量方法採用質化評量(EX：專題報告、畢業實作)時，應訂定評量尺規以 評估學生表現。 測驗藍圖 • 測驗藍圖是將重要之教學目標列出，並描述一份測驗中所應該包含的教學內 容以及所評量到的能力表格，目的在釐清教學目標和學習內容的關係，期望 能夠真正評量到預期之學習結果，同時藉此確保試卷的品質，避免命題者隨 意性和盲目性的命題。 • 若評量方法採用量化評量時，應訂定測驗藍圖。 21 3-2 制定評量標準-評量尺規範例 國企系總結性評量之評量尺規(Rubrics) 專業能力 A. 具 備 國際企 業管理 之進階 知識 …. 學習成效指標 1. 瞭解國際企業的定義與特性 2. 瞭解國際企業的經營環境 3. 瞭解國際企業的進入策略與 組織結構之制訂與運作原理 4. 熟悉國際企業管理相關理論 評分標準 差 可 良 1.無法清 楚 1.能清楚界定國 1.熟悉國際企 界定國際 際企業,並能分 業經營的各 企業 辨比較各類國 種相關理論, 2.不能分辨 際企業進入策 並能進行比 各類國際 略 較及運用 企業進入 2.了解國際企業 2.了解企業國 策略 經營與一般企 際化歷程與 3.未具備國 業經營特性的 相搭配的營 際財管, 差異 運措施 國際行銷 3.具備國際財管, 3.具備國際財 等基本概 國際行銷等基 管,國際行銷 念 本概念與知識 等專業知識 優 1.能具體分析比較 國際企業經營環 境 2.能融會並活用國 際企業管理相關 理論 3.能針對不同國際 企業的營運模式 進行比較與分析 4.熟捻國際財管,國 際行銷等專業知 識 …… 註：各項專業能力分別評定，單一項目經二位（含）以上評分者評定為「差」者， 則該能力項目視為不合格。 22 3-2 制定評量標準-測驗藍圖範例 評量方式若採會考/測驗；則須制定「測驗藍圖」(以國企系為例) 目的在描述一份測驗中所應該包含的教學內容以及所評量到的能力表格，藉此確保試卷的 品質，避免命題者隨意性和盲目性的命題。 A. 【具備國際企業管理之進階知識 】 測驗藍圖 教學目標(學習成效指標) 批判性思考 知識 理解 應用 瞭解國際企業的定義與特性 5 - - - 5 瞭解國際企業的經營環境特性 5 10 - - 15 瞭解國際企業的進入策略與組織結構 之制訂與運作原理 5 10 15 10 40 熟悉國際企業管理相關理論 5 10 15 10 40 20 30 30 20 100% 小計 (分析、綜合、評鑑) 小計% 23 李坤崇，2011 24 李坤崇，2011 25 李坤崇，2011 26 程序4 訂定「總結性評量實施辦法」 27 4-1 訂定「總結性評量實施辦法」 擬定總結評量實施辦法 • • • • • • • • 應包含要素 實施理念與策略、系教育目標與專業能力之闡述 各專業能力之學習成效指標說明 總結性評量方式與評量標準說明 總結性評量範圍 「總結性課程」修讀規定、會考規定、其他檢核方式規定 成績規定、輔導及補救方式 實施期程 其他事項 28 「總結性評量實施辦法」-範例 國際企業學系學生學習成效總結性評量辦法 2012.03.14國企系100學年度第二次系務會議 第一條 目的：為建立本系學生專業能力學習成效檢核之機制，特設立本辦法。 第二條 專責單位：學生學習成效評量委員會 一、主要職責：1.依據本系專業能力項目，規畫及辦理本系學生學習成效之總結性評量（Summative Assessment ）。2.每學年定期分析總結評量成效，撰寫總結性評量報告。3.運用分析結果，每學年定期檢討修定總結性評 量機制。修訂後之評量機制送系務會議核定後實施。 二、委員會成員：委員會成員包括系上各學程教師各乙名（共三名）、校外專家學者兩名（至少一名為業界專家） 、及學生代表兩名（學士班乙名、碩士班乙名）共同組成。 第三條 專業能力與總結性評量：依據本系所教育目標，本系訂定七大專業能力及總結性評量方式如下 一、七大專業能力：A.具備國際企業管理之進階知識。B.具備邏輯思考、問題分析與解決之能力。C.具備溝通協調 與團隊合作之能力。D.具備國際視野以及外語溝通的能力。E.具備跨國企業進階經營管理之能力。F.培養進階 資訊科技運用之能力。G.培養國際企業倫理之素養。 二、專業能力與學習成效指標之對應：針對每項專業能力，由學生學習成效委員會共同討論設定2-4項學習成效指 標，以利進行總結性評量。學習成效指標之設定應具備三項原則，1.應能涵括該項專業能力之內涵，2.應清楚 界定，3.應可具體衡量。（請見附表一） 三、總結性評量方式：根據學習成效指標，分別針對本系七大能力進行學習成效檢核。本系七大能力之ABCDEFG 搭配「總結性課程」及「專題報告」為評量方式。本系七大能力之A另搭配「會考」及「證照」為評量方式。 本系七大能力之D另搭配「會考」為評量方式。（請見附表一） 29 「總結性評量實施辦法」-範例 第四條 總結性課程：以本系必修課程- 專題一（大三上學期）、專題二（大三下學期）及專題三（大四上學期）為 本系之總結性課程。 一、總結性課程(專題一、二、三)之課程規畫與設計應含括本系七大專業能力，具體陳述與七大專業能力及學習成 效指標之關連性，並經本系課程規畫委員會審核。 二、總結性課程之成績評量採多元評量方式，評量標準應具體緊扣七大能力及各項學習成效指標。為提高評量之 客觀性與準確性，應針對各項學習成效指標訂定明確的評分標準（參考：評量尺規, Rubrics），並經本系 學生學習成效委員會審核。本系現行評分標準請見附表二。 三、總結性課程之成績評量由三位（含）以上評分者共同進行，評分者並至少須有一位為非本系教師或專業人士 。 四、總結性課程之成績評量採兩階段方式進行。第一階段以大三下學期為主，第二階段以大四上學期為主。針對 第一階段不合格的學生，由學生學習成效委員會與任課教師共同擬訂輔導方案。第二階段成績評量仍不合 格者，則依據本辦法第十條採行補救措施。 第五條 專題報告：本系現行以專題報告作為總結性課程之評量。專題報告的評量標準及評量方式須符合前述第四條 規定。 第六條 會考：本系七大專業能力之A與D另搭配會考進行評量。 一、會考題目由本系自行擬訂，或採用相關具公信力之測驗。 二、由本系自行擬定者，由本系先向學生公告會考範圍（或開列書單），並由本系相關課程教師依照各課程與專 業能力之配當比例配分（參考：測驗藍圖技術, Test Blueprint）擬訂會考題目，配分原則並須經本系學生 學習成效評量委員會審核。（測驗藍圖請見附表三） 三、採用相關具公信力之測驗者，測驗之認定及合格標準須經本系學生學習成效評量委員會審核。 四、本系七大專業能力之A，現行搭配進出口商業同業公會「國貿大會考」，以通過會考為合格標準。本系專業能 力之D，現行搭配托福電腦測驗，以213分為合格標準。 30 「總結性評量實施辦法」-範例 第七條 證照：針對專業能力與學習成效指標，以相關領域具公信力之證照做為檢核。 一、證照之認定及合格標準須經本系學生學習成效評量委員會審核。 二、本系專業能力之A，現行搭配行政院勞委會「丙級國貿業務技術士」，以取得證照為合格標準。 第八條 實施期程： 一、大三下學期進行第一階段評量，大四上學期進行第二階段評量。 二、本辦法以103級畢業生為試行。104級（含）之後畢業生正式適用。 第九條 合格規定、輔導及補救措施 一、若一能力項目搭配多項評量者（如本系專業能力項目A），學生須至少通過一項評量。 二、第一階段未通過檢核的學生，由學生學習成效委員會與任課教師共同擬訂輔導方案，包括修課建議、 學習輔導等。第二階段成績評量仍不合格者，則須重修專題三。 第十條 檢核機制的檢討與修訂：學生學習成效委員會須每學年定期分析總結評量成效，撰寫總結性評量報告。 一、總結性評量報告須包括：1.該學年度學生學習成效檢核結果；2.不合格學生輔導記錄；3.執行現況檢討 與修訂提案。 二、於每年3月份的系務會議中提報討論與修訂，並經系務會議核定後實施。 第十一條 本辦法經系務會議決議後實施，修改時亦同。 31 程序5 建置「系(所)評量資訊網站」及撰 寫「總結性評量實施成果報告」 32 5-1 建構系所總結性評量專區網站 可於系(所)網站中建置系 總結性評量專區 學習成效委員會成員介紹 評量實施規劃與期程 評量實施辦法與規範 評量方式與標準 評量實施成果 其他 33 5-2 撰寫成果報告並檢討修正實施方式 撰寫實施成果報告 當年度系(所)評量實施情形 學生專業能力評量實施情形 總結性評量結果分析與檢討 改善方案 總結性評量結果運用與改善方案 會議記錄 34