Transcript 下載/瀏覽

理論導向評鑑
指導教授 ：丁文生教授
報告者
：謝美萍
班 級
：碩研教評一甲
1
第一節


理論導向評鑑的概觀
一、源起
Suchman(1967)將方案失敗原因區分為「理論失敗」
與「實施失敗」。
二、定義
理論導向評鑑是一種在調查及科學方法下，系統化的
使用有關現象的現有知識，以改進、產生知識，
並加以回饋，同時也可以決定受評方案的優點、
價值與重要性 (Donaldson , 2007)。
2

三、特色
（1）以方案理論為基礎來設計評鑑的一種評鑑
取向 ；
（2）重視方案運作各階段的因果關係 ；
理論
過程
成果
（3）考量與方案中有關聯的假定與機制 ；
（4）不受特定方法所限，可以做為不同評鑑需求
的綜合性架構。
3





理論導向評鑑的相關名詞 ：
Bickman（1987）、Rogers、Petrosino、
Huebner 和 Hacsi（2000）--方案理論
Weiss（1995）-- 理論本位評鑑
Funnell（1997）-- 方案邏輯
其他 ：邏輯模式、因果理論。
4
第二節



方案理論
一、方案理論的意義與功能
(一)定義
方案理論是一套指示著要做些什麼才能達到想要
的目標、還有哪些其他可預期的重大影響，以及
這些目標與影響如何產生的詳細說明書。
( Chen ,1990 )
(二)本質
（1）描述性理論：關心現實的狀況如何。
（2）規範性理論：關心應做些什麼，如何做會更好
5

(三)功能
（1）了解方案為何有效或無效 ；
（2）建立方案結果的因果關係 ；
（3）改進方案 ；
（4）貢獻社會科學知識 ；
（5）協助決策者做決定 ；
（6）區分方案失敗與理論失敗 ；
（7）確認問題與目標團體 ；
6

(三)功能
（8） 提供方案執行的描述 ；
（9） 揭露未預期的效果 ；
（10）指出中介的變項 ；
（11）改進評鑑的形成性運用 ；
（12）改進測量的問題 ；
（13）改進共識的形成 。
7
二、方案理論的概念架構 （一）Chen 的方案理論概念架構
資源
環境
行動模型
實施機構
實施者
組織與社區夥伴
處理及服務
傳遞規約
生態脈絡
目標族群
改變模型
方案實施
介入處理
限定因素
目標與
成果
8
1、改變模型的要素


（1）目標與成果：
目標反應所欲完成的需求，方案目標的建立是
依照一些特定的假定而來，如關係人的了解
和支持等。成果可分為短期或長期二種現象。
（2）限定因子（因素）
每個方案必須定義一些機制或因果關係，藉以
發展一個介入或處理以符合特定的需求，這樣
的機制或因果關係就稱為限定因子。
【 注：機制 –- 參與者對方案服務的反應。】
9

（3）介入或處理：
介入或處理包含方案中的任何活動，
透過這些活動改變方案的限定因子
（因素），以達成目標，而主要的目標
是改變知識、信念、行為或技能。
10
2、行動模型的要素



（1）處理及服務傳遞規約 ：
處理規約是指課程或相關處理的本質、內容
和活動 ；服務傳遞規約是指為了傳遞處理而
採取的特定步驟。
（2）實施機構 ：
確保實施機構有能力、有策略實施方案是很
重要的。
（3）實施者 ：
這是指負責傳遞服務給客戶的人。
11



（4）組織及社區夥伴 ：
方案的實施需要實施之機構和其他機構彼此
之間的合作。
（5）生態脈絡 ：
這是指和方案之間互動的環境。
（6）目標族群 ：
這是指方案意圖服務的人。
12
3、方案理論概念架構中要素間的關係

在 PPT 8 的圖中 ：
（1）最大的框 ---方案的界限
在大框外只有環境，方案從環境所提供的資源
進入行動模型，再啟動改變模型，以達成目標。
（2）虛線 --- 評鑑的回饋。
（3）實線 --- 方案的成果是由於整體實施的成果。
（4）雙線箭頭 --- 兩要素之間的順序。
（5）雙線雙箭頭 --- 兩要素之間具有合作的關係。
13
（二）Rossi、Lispey及Freeman 的方案理論架構
服務使用計畫
目標
族群
與傳遞系統互相影響
服務
場所
方案目標服務轉換
方案
方案設備、人員、活動
方案組織計畫
方案影響理論
短期
結果
長期
結果
14

Rossi、Lispey及Freeman 的方案理論架構
三大相關因素 ：
（1）方案影響理論 ：
因為方案實施而改變的過程，以及預期達成的改善
狀況等假設。
（2）服務使用計劃 ：
為了要達到預定的結果而必須了解如何與目標族群
接觸，如何提供、延續、中斷服務的描述。
（3）方案組織計劃 ：
與方案資源、人事、組織活動有關。
綜上所述，方案理論的概念架構是：運用方案組織計劃中的
資源，針對目標族群進行服務使用計劃，以達成預期的結果。
15
（三）Donaldson 的方案理論概念
方案歷程理論
投入 活動 產出
方案影響理論
短期
結果
中期
結果
長期
結果
16

由 PPT 16可知 ：
（1）方案歷程理論 ：主要在描述方案的本質。
（2）方案影響理論 ：主要在說明方案期望的結果。

以上二者的相同點 ：幫助方案評鑑的建構和設計。
以上二者的相異點 ：
（1）方案歷程理論 ：對了解方案的設計與形塑評鑑
的問題特別有用。
（2）方案影響理論 ：在解釋結果之前，運用實驗
研究來確定操弄是否發生效用。

17
三個概念模式的重點及其間的關係
模式
Chen
論點
以宏觀的以及外部觀察者的立場，
從方案理論導向評鑑的整體圖像來建構方案
理論架構。
Rossi 、Lispey 及 以微觀的以及方案內部的觀點融入方案的設
Freeman
計中，就方案理論建立的歷程以及關切點來
處理方案理論架構。
Donaldson
從Rossi 等學者的論點再出發，結合邏輯模式，
用更清楚簡潔的陳述來描述原本抽象的概念，
對方案理論概念有比較成熟的詮釋。
18
三、方案理論的建立
（一）應陳述的內涵
投入
(人力、物力)
假設
產出
結果
(活動、參與)
(短期、中期、長期)
外部因子
評鑑
焦點 - 蒐集資料 - 分析及解釋 - 報告
19

從 PPT 19
的模式圖中可知 ：
（1）投入：投入方案的資源、貢獻與投資。
（2）產出：傳遞給目標族群的活動、服務、事件等。
（3）結果：個人、團體或系統所獲得的結果或改變。
（4）假設：對於方案的信念、參與的人員、方案能執行
的背景和方式。
（5）外部因子：方案存在的環境。
20
三、方案理論的建立
(二)形成方式
1.
2.
3.
4.
對類似方案的文獻進行分析 ；
與關係人討論得來的關鍵資訊 ；
檢視方案文件 ；
觀察方案的運作。
21
三、方案理論的建立
(三)確認各要素間的因果關係
1. 進行資訊需求評估以決定需求的程度
2. 無目標地尋找重要的改變 ；
3. 歸納探求這些改變的因果以建立邏輯模式草案 ；
4. 從文獻中補充方案理論歸納的因果鏈及可能效果；
5. 使用質化及量化的方法，考驗修訂後的邏輯模式
所觀察到的效果，並估計另類的因果解釋。
( Davidson , 2000 )
22
第三節 理論導向評鑑的實施
一、實施歷程
(一)時機
1. 受評方案以理論、模式、哲學為基礎 ；
2. (當事人) 詢問的問題可用理論回答 ；
3. 產出及成果並非立即可見 ；
4. 要了解所觀察效果的因果關係。
23
一、實施歷程
(二)可分兩階段
1. 規劃階段
2. 實施階段
(1) 與關係人深度溝通 (1) 描述性理論
假設檢定
(2) 四項原則
A. 雙重關心
B. 方案缺點
C. 形成性與總結性
D. 方法不確定
(2) 規範性理論
A. 界定理論及因果假定
B. 建構考驗的程序
C. 立即將資訊回饋給關係人
24
一、實施歷程
(三)評鑑取向選擇
1. 方案發展可分四階段，評鑑需要與每個階段的重點相配合。
( 詳情請參閱講義第 186 頁 )
方案規劃
 階段
起始實施
階段
成熟實施
階段
成果
階段
2. 可採取的步驟
(1) 定義對方案的哪個階段有興趣 ；
(2) 選擇評鑑策略以符合關係人內外部的目的 ；
(3) 選擇一個可以接受的評鑑取向與研究方法 ；
(4) 與關係人溝通所選取的評鑑策略 / 評鑑取向 / 研究方法。
25
二、實施理論導向評鑑的優點與問題評析
(一)優點
1. 澄清並建立方案運作的知識；
2. 重視投入、中間過程與結果之間的因果關係；
3. 以合乎邏輯的方式將理論一般化，並與實務
相結合；
4. 有效區分出方案的成功 / 失敗
或者理論的成功 / 失敗；
5. 容許評鑑設計上採擇評鑑方法的彈性與多元性。
26
二、實施理論導向評鑑的優點與問題評析
(二) 問題
1. 理論可能無法快速應用於真實生活的方案
脈絡中 ：
( 1 ) 許多評鑑人員發展方案理論卻沒有用於
指引評鑑的實施 ；
( 2 ) 方案理論建構不易 。
2. 評鑑中使用的方案理論型態與品質 ：
( 1 ) 對要素間的因果關係無法明確表達 ；
( 2 ) 許多方案理論只是植基於參與者的假定
與邏輯的推論 。
27
二、實施理論導向評鑑的優點與問題評析
(二) 問題
3. 專有名詞不一致 ：
（1） 學者所採用的專有名詞極為多樣，
如方案理論、方案邏輯、邏輯模式等，
不同的名詞會帶來應用中的阻礙。
4. 理論導向評鑑可能花費太大也太費時 ：
（1）理論導向評鑑比其他評鑑取向要花費更多的
時間與金錢。
28
理論導向評鑑實施舉隅
（1）許淑真、連國欽、侯崇博、葉信宏、
李總本、陳國民（2013）。應用方案
理論於學校課程評鑑之研究。載於國
立教育研究院籌備處第102期國小校長
儲訓班專題研究，102期候用校長專題
研究集（頁357-376）。
應用方案理論於學校課程評鑑之研究.pdf
29
結語
（1）理論導向評鑑正處在擴展與精煉的階段，
所以會面對不符合評鑑的成本效益 、
因果關係難以確定等等的情況。
（2）然而，文化的脈絡總是影響理論的建構，
如果能建構完整而正確的理論，理論導向
評鑑可應用的範圍是無可限量的。
30
參考文獻







曾淑惠（2008）。教育評鑑：理論與實務的對話。理論導向評鑑
（頁 171—191 ）。台北：師大書苑。
王麗雲、侯崇博（2004）。方案評鑑理論之理論與實施。載於國立台
灣
師範大學教育研究中心（主編），教育評鑑回顧與展望學術研討會
論文集（頁 175-188）。台北：國立台灣師範大學教育研究中心。
鄭進丁（2007）。應用方案理論進行評鑑之研究－-以高雄市試辦教
師
專業發展評鑑為例。國民教育研究學報，19，29-58。
許淑真、連國欽、侯崇博、葉信宏、李總本、陳國民（2013）。應用
方案理論於學校課程評鑑之研究。載於國立教育研究院籌備處第102
期國小校長儲訓班專題研究，102期候用校長專題研究集（頁357376）。
Chen,H.T. （1990）. Theory driven Evaluation . Newbury Park ,CA : Sage.
Davidson,E.J.（2000）.Ascertaining causality in theory -based evaluation.
New Directions for Program Evaluation ,87,17-26.
Donaldson,S.I.（2007）. Program theory-driven evaluation science:
Strategies and applications.New Yock:Taylor & Francis Group.
31
謝謝各位
敬請指教
32