Transcript 下載/瀏覽
差距評鑑模式 科目:評鑑模式與工具研究 授課教師:黃嘉雄教授 學生:教評所一甲黃子銘 壹、核心觀念 Malcom Provus根據其於1960年代末在 匹茲堡學校系統辦理評鑑之實際經驗 而發展的模式。 首度發表於1969年的美國全國教育研 究 學 會 (National Society for the Study of Education)年會。 立基於Provus(1973)對評鑑的一些核 心觀念。 一、評鑑是方案管理的看門狗 1) 背景:美國1965年的初等及中等教育法案(Elementary and Secondary Education Act,ESEA)的要求。Provus發 現，當時的一些研究顯示許多學校系統的革新方案是空 有其名而缺乏實質的置入實施。 2) 評鑑方案需仰賴一種能利用適切、可信的資訊來做為行 政決定基礎的管理理論。 3) Provus強調「評鑑是方案管理的看門狗」、「評鑑在方 案發展的管理過程中，透過提供堅實的決定而做為行政 的僕人」。 4) 評鑑者和評鑑方法論應去理解和掌握一般行政中方案發 展的自然過程，配合方案發展的每一階段，提供評鑑所 得的資訊，以利管理者和方案人員做堅實的決定，而且 此等決定需與一般理性的問題解決程序相結合。 二、評鑑應緊隨方案發展的各階段而實施 1) Provus主張評鑑應緊隨方案發展的每一階段而實 施。(下圖所示) 2) 若有兩種以上方案可供比較時，可實施第五階段 之評鑑，Provus稱為成本效益分析。此階段為選 擇性的，不必一定實施。 定義 (設計) 安裝 過程 產出 方案比較 三、評鑑的過程主要在比較方案在各發展階段 中之表現與標準間之差距 用以促進方案表現與標準間比較的流程圖 圖1中的1~4，分別代表方案發展過程中的定義(設計)、置 入、過程和產出等四大階段，5則是最後階段的成本效益分 析。在1~4各階段中的S代表標準，P代表實際表現，C指標準 與表現間之比較，D乃標準與表現間比較而得的差距資訊，A 則指改變方案之表現或標準。 三、評鑑的過程主要在比較方案在各發展階段 中之表現與標準間之差距 Provus(1973:172)界定評鑑的定義為：評鑑乃 (1)同意於方案標準(各階段之標準)。 (2)決定方案的某些表現面向與管理這些面向的標準間是否存有差 距。 (3)採用差距資訊來辨識方案之弱點的過程。 在每一階段比較過程中所獲得的差距資訊，用以引導產生下列決定 之一： (1)繼續下一階段(無差距時) 。 (2)重複該階段之評鑑(有差距時)，直至方案之標準或運作表現有所 改變為止。 (3)重複回至第一階段。 (4)終止該方案(無法補救差距)。 差距資訊之提供，能讓方案人員或管理人員辨識出方案之弱點，此 等辨識能引導其對方案之運作加以改變，或者，是否考慮改變方案 之標準。 三、評鑑的過程主要在比較方案在各發展階段 中之表現與標準間之差距 Provus(1973)、A. Ateinmetz(2000)之觀點，方案各階段標準之 決定乃方案人員、管理人員或委託評鑑者而非評鑑者之責任，唯 評鑑者應負有協助方案人員或委託者釐清其標準之責任。 Provus強調，方案之標準有兩類：內容和發展。 發展標準:方案發展一般過程中每一階段的標準，不同的方案可 能在發展過程和階段上有些變化。 內容標準:方案的各組織成份所設定之標準。方案通常由許多更 具體的工作或活動項目所組成。這些不同的活動成份，每一個成 份均涉及投入、過程和產出三大要素。方案的內容標準，即是由 方案內部所有這些成份的每一成份裡的投入、過程和產出三要素 所組成。 Steinmetz(2000)建議可由評鑑者協助委託評鑑者，採成份分析 法，逐一分析方案的各成份，以及分析各成份中的投入、過程和 產出等要素而逐項訂出方案的各內容標準。 四、以差距資訊為基礎進行問題解決程序 方案發展的前四階段評鑑中以差距資訊進行問題解決的處理程 序，每一階段之評鑑均由五大步驟組成。 方案界定適切？ 若 否 ， 有適切 地 對 校 正 行動加 以 界定？ 若 否 ， 有界定 針 對確保步驟3安裝 工作的校正行動？ 步驟4所界定的校 正行動被安裝？ 校正行動已安裝？ 四、以差距資訊為基礎進行問題解決程序 問題解決程序: 為何有 差距 規準 新資訊 決定 何種校 正行動 最佳 有哪些可能 的校正行動 五、評鑑人員與方案人員應建立互信合作的關係 評鑑單位(人員)和方案單位(人員)間應建立互信、合作、相 互支撐、彼此回饋的關係，且此等關係應明確界定，並為組 織內所有會受評鑑影響的每個人所認同。 方案目的與標準之界定和變革方法之決定，均應由方案人員 掌握，且其應在評鑑的每個步驟中有最大可能的參與。 組織內部應建立回饋圈，且由評鑑人員管理。 評鑑的首要任務是獲得方案的各項標準，標準則由方案人員 所決定，但評鑑人員則需協助方案人員釐清、界定其標準。 以源自方案人員之標準為基礎而獲得差距資訊的回饋圈，必 是方案人員所感興趣的，因方案人員對方案之成效負有責 任。 五、評鑑人員與方案人員應建立互信合作的關係 評鑑人員活動 方案人員活動 界定整個評鑑過程中的決定點 建立並維持一個方案人員能形成標準的機制。 界定標準。 必要的話，尋得方法來與成員一起再形成標準。 經由明顯規準的運用來確保標準的適切性。 尋得方法以解決方案人員間標準不同的問題。 向方案人員溝通標準的陳述方式。 界定表現與標準比較所需之資訊。 為進行表現與標準之比較，界定可行或可得資訊。 設計獲取方案表現資訊之方法。 提供描述方案成就之資訊。 報告標準與表現間之差距。 針對差距之解決而於各行動選項中做選擇。 界定問題解決過程中之決定點。 界定用以辨識方案表現不足之原因所需的資訊種類。 鎖 定 導 致 方 案 表 現 不 足 之 資 訊 。 在選擇規準以便就可能最佳校正行動選項做抉擇的過程中， 界定決定點。 說明用以辨識差距原因的規準。 界定可行的校正行動選項。 界定產生行動選項所需的資訊。 依據要求鎖定並整合資訊。 界定從最佳變通方案中做選擇所植基的規準。 為校正行動選定最佳選項。 資料來源：Provus, 1973: 188。 貳、方案發展各階段之評鑑任務 一、定義(設計)階段: 1. 差距評鑑模式中各階段評鑑的基礎，也是最重要的評鑑 階段。 2. 此階段之方案界定結果，一般會成為往後各階段標準設 定之基礎。 3. 評鑑者可採用內容成份類目分析和小團體討論的技術， 與方案人員一起工作，促使其對方案提供綜合、清晰的 描述，內容包括： 1) 描述方案之標的群和方案人員所主張的此方案標的群 之選擇規準。 2) 描述方案實施人員、其選任規準與方案實施前的先備 能力水準，以及之後任何在職訓練所期望的能力水 準。 貳、方案發展各階段之評鑑任務 一、定義(設計)階段: 3) 描述主要的終結性目標，亦即，標的群於完成此方案後被期望展 現的應然行為。 4) 在 終 結 性 目 標 實 現 前 須 先 達 成 的 促 進 性 目 標 (enabling objectives)或中介性目標必須加以商定—亦即界定哪些作為終結 行為基礎的中介性行為或任務，學生必須先完成？ 5) 描述促進性目標之順序，以及那些將導向促進性目標之獲得的學 習經驗的順序與性質(在此第一階段的評鑑中，此等順序通常以順 序表的方式呈現)。 6) 描述標的群起始行為與特質—亦即，學生在開始參與方案時就應 展現的特質或行為。 7) 描述有關行政上的支持要求、設施、材料和設備等的清單。 8) 描述教職員的功能、數量和職務類型。 9) 最後，為了定位各事件彼此的歷時關係而對方案所有活動的時間 架構加以估算。 貳、方案發展各階段之評鑑任務 一、定義(設計)階段: 4. 方案定義之工作中，比較困難的是目標具體化程 度之決定。 5. 通常方案在剛開始發展時，其目標界定仍不夠清 晰，為了使方案和目標之定義明確化，可採逐步 趨近法。 6. 對方案定義和設計之分析，應關注其清晰性、整 合性、內在一致性、相容性。 貳、方案發展各階段之評鑑任務 二、安裝階段: 1. 探究方案描述的具體活動內涵，是否如預期般在現場忠 實地運作，而這通常需藉由對現場活動的重複觀察，以 獲得實施現場中複雜的人類互動紀錄來作為判斷之基 礎。 2. 若發現教師或方案實施人員之行為，與方案的具體內容 敘述間有差距，則須就下列之選項做決定： (1)以差距資訊為基礎來引導教師之再訓練 (2)再定義或設計方案內容 (3)終止此方案 3. 本階段之評鑑在確定教師所實施者和學生所接受者係方 案所要求者，若答案為否，則所評鑑的就不是此方案。 貳、方案發展各階段之評鑑任務 三、過程階段: 1. 在方案實施的進展中，方案處理的初始效果會逐漸產生， 這時透過評鑑可獲得方案的中介性結果資料，來做為調整 方案的處理措施及理解處理之結果與實施條件間關係之基 礎。 2. 評鑑人員應蒐集哪些被預期的學生行為改變之資料，但所 強調者應是驗證促進性目標而非終結性目標的行為資料。 3. 此時的評鑑重點乃在驗證所設計實施的學習經驗(活動)、 促進性目標和終結性目標三者間的因果連結關係。 4. 評鑑者可在方案人員的協助下，列出能清楚展現所有學習 經驗與其促進性目標和終結性目標間關係的流程圖，做為 資料蒐集和驗證因果關係的引導藍圖，並按此藍圖蒐集資 料，逐一驗證之。 貳、方案發展各階段之評鑑任務 四、產出階段: 1. 本階段之評鑑，在於回答此方案有否達成其終結 性目標之問題。 2. 評鑑者可利用各種合適的評量工具蒐集方案的產 出結果資料，以與方案之終結性目標相比較，實 施此階段評鑑。 貳、方案發展各階段之評鑑任務 五、成本效益分析階段: 此階段的成本效益分析不必然實施。因為此種分析必須 滿足下列條件才能實施，但Provus認為依當時的評鑑技 術而言，能滿足這些條件者相當稀少： 1. 方案所產出的可量化效益必須能有效地妥適界定， 且具可複製性。 2. 大家必須同意效益的價值和衡量方法。 3. 先在條件能被有效地妥適界定和衡量，以便決定其 對產出的效應。 4. 至少有具共同效益且已能算出其投入成本的 兩方 案，且兩者存在著具可比較性的先在條件描述資 料。 參、評論 一、優點： 1. 在評鑑時機上，強調評鑑應伴隨方案發展的各主要階 段而實施，而非等到方案有了結果之後才實施，此將 評鑑之範圍擴展至包括方案之設計、安裝、過程、產 出和成本效益分析等面向，這些面向之評鑑，時至今 日仍是大部份評鑑所關注的主要評鑑範疇。 2. 可於方案的早期階段發現方案之問題或所謂差距資訊 而及時採校正行動，避免對不成熟方案投入及累積太 多不必要的成本。 3. 強調評鑑與決定之間應建立緊密的關係，主張在方案 發展的每階段評鑑中，伴隨差距資料之獲得而採取理 性化的問題解決程序。 參、評論 一、優點： 4. 若各種人類組織均能採類似的決定模式，則各種決定 將更能趨向理性化，而這也能提升評鑑在方案決定上 的地位。 5. 此種模式導入了資訊管理的觀念，強調針對方案的先 在條件、活動過程、促進性目標和終結性目標間建立 了解其彼此連結關係的資料庫，以作為驗證方案的理 論邏輯和實證關聯的憑據，此既能作為驗證方案或課 程效能之基礎，亦可作為改進課程設計之指引。 6. 此種模式在評鑑過程中強調評鑑者、方案設計者、實 施者和管理者之間建立互信、互惠的夥伴關係，而此 乃一般評鑑之所以有效實施並發揮功能的關鍵因素。 參、評論 二、限制： 1. 此種評鑑之實施需投入非常大量的時間，而一般 機構內部通常不會置專責的評鑑單位或人員長期 投入於評鑑工作，若委外評鑑，則其所耗費的時 間和金錢必然極為昂貴。 2. 其問題解決程序所列出的問題組顯得僵化、呆 板，其實有時從差距資訊即可明顯判斷問題的根 源並提出校正行動，根本無需按Provus所要求的 機械化問題解決程序逐次實施；而這也是此種模 式耗時的原因之ㄧ。 參、評論 二、限制： 3. 許多方案定義不清。此種方案依Provus之觀點便不具可評鑑 性，除非評鑑人員能依Provus之要求，設法促使方案人員重 新對方案之詳細內容加以定義和設計。但若如此，很可能會 產生評鑑人員之過度投入而模糊了評鑑者與設計者間的角色 分際。 4. 各階段評鑑之價值判斷標準與規準主要由方案人員或管理者 所決定，此種觀點帶有管理主義色彩，方案消費者的利益乃 可能被忽略。 5. 帶有目標本位的色彩，故方案的非預期性效果之評鑑，亦未 受到重視。