Transcript Systematic Evaluation - มหาวิทยาลัยมหามกุฏราชวิทยาลัย วิทยาเขตอีสาน

Context
Input
Process
Product
Impact
SYSTEMATIC EVALUATION
รศ. ดร. วิโรจน์ สารรัตนะ
หลักสูตรศึกษาศาสตรดุษฎีบณ
ั ฑิตสาขาวิชาการบริหารการศึกษา
มหาวิทยาลัยมหามกุฏราชวิทยาลัย 2556
ประเมินทาไม (why)
ประเมินเพื่อการตัดสินใจ เป็ นกระบวนการตรวจสอบความสอดคล้องระหว่าง
“สิ่งที่เกิดขึ้ นกับสิ่งที่ควรจะเป็ น” เพื่อให้ได้สารสนเทศสาหรับผูบ้ ริหารหรือผูม้ ี
อานาจในการตัดสินใจในการตัดสินคุณค่าของสิ่งของหรือเหตุการณ์ที่ได้รบั การ
ประเมินนั้นๆ มีนักทฤษฎีที่มีความเชื่อในแนวคิดนี้ เช่น Tyler, Provus,
Stufflebeam เป็ นต้น
“ประเมินเพื่อการตัดสินคุณค่า” เป็ นกระบวนการที่นักประเมิน “ตัดสินคุณค่า” ของ
สิ่งของหรือเหตุการณ์ที่มุ่งประเมินนั้น โดยนักประเมินจะมีบทบาทที่สาคัญคือเป็ นผูต้ ดั สิน
คุณค่าจากผลการประเมินนั้นด้วย หากนักประเมินใด ไม่ได้ทาหน้าที่นี้ก็ถือว่ายังทาหน้าที่ใน
การประเมินที่ไม่สมบูรณ์ มีนักทฤษฎีที่มีความเชื่อในแนวคิดนี้ เช่น Scriven, Worthen
and Sanders, Apple, Cooley and Lohns, Guba and Lincoln เป็ นต้น
และการตัดสินคุณค่านั้น ตามทัศนะของ Scriven เห็นว่า จะต้องตัดสินคุณค่าที่แท้จริง
ทั้งหมด ทั้งคุณค่าของผลที่คาดหวังไว้และที่ไม่ได้คาดหวังไว้ ทั้งทางบวกและทางลบ สาหรับ
ผูบ้ ริหารหรือผูม้ ีอานาจในการตัดสินใจ
ประเมินอย่างไร (how)
“ประเมินอย่างไร” มีแนวคิดในการตอบคาถามนี้ สองแนวคิดคือ
ประเมินโดยยึดวิธีเชิงระบบ (system approach) และ
ประเมินโดยยึดวิธีเชิงธรรมชาติ (naturalistic approach)
สองแนวคิดนี้ ก็มีวธิ ีการ การมองคุณค่า เครื่องมือ การรวบรวมข้อมูล
และการวิเคราะห์ขอ้ มูลที่แตกต่างกันด้วย
system approach VS naturalistic approach
ประเมินโดยยึด “วิธีเชิงระบบ” (system approach) เป็ นการประเมินตามความเชื่อ
ในปรัชญาปรนัยนิ ยม (objectivism) เป็ นการประเมินที่มีการวางแผนการประเมินและ
วิธีดาเนิ นการอย่างชัดเจน รัดกุม และเป็ นระบบ สนับสนุ นการใช้เครื่องมือที่ ได้มาตรฐาน
ในการรวบรวมข้อมูล มีการควบคุมสถานการณ์และตัวแปรแทรกซ้อนที่อาจส่งผลกระทบ
ต่อการประเมิน ทาการวิเคราะห์ขอ้ มูลและมีการสรุปผลตามเกณฑ์มาตรฐานที่กาหนดไว้
ล่วงหน้า
เชิงปริมาณ !!
การประเมินโดยยึด “วิธีเชิงธรรมชาติ” (naturalistic approach) เป็ นการประเมิน
ตามความเชื่อในปรัชญาอัตนัยนิ ยม (subjectivism) มีลกั ษณะการดาเนิ นงานที่
ยืดหยุน่ สนับสนุ นการเก็บรวบรวมข้อมูลในสภาพธรรมชาติ โดยเน้นการสังเกตแบบไม่มี
โครงสร้าง วิเคราะห์ขอ้ มูลโดยอาศัยหลักการเชื่อมโยงเหตุผล การสังเกตและการวิเคราะห์
เบื้ องต้นจะนาไปสู่การสังเกตและวิเคราะห์ในขั้นลึกๆ ต่อไป จนได้ขอ้ สรุปเกี่ยวกับคุณค่า
ของสิ่งของหรือเหตุการณ์ที่ได้รบั การประเมิน โดยต้องอาศัยความรู ้ ความเชี่ยวชาญ และ
ประสบการณ์ของนักประเมินเป็ นเกณฑ์ เชิงคุณภาพ !!
why + how รวมกันเป็ น 4 กลุ่ม
กลุ่มการประเมินเพื่อการตัดสินใจโดยวิธีเชิงระบบ (system decision-oriented
evaluation) เน้นการใช้วิธีเชิงระบบเพื่อการนาเสนอสารสนเทศที่เป็ นประโยชน์ ต่อการ
ตัดสินคุณค่าของผูบ้ ริหารหรือผูม้ ีอานาจการตัดสินใจ
เลือกกลุ่มนี้
กลุ่มการประเมินเพื่อตัดสินใจโดยวิธีเชิงธรรมชาติ (naturalistic decisionoriented evaluation ) เน้นการใช้วิธีเชิงธรรมชาติเพื่อการนาเสนอข้อมูลสารสนเทศ
ที่เป็ นประโยชน์ต่อการตัดสินคุณค่าของผูบ้ ริหารหรือผูม้ ีอานาจการตัดสินใจ
กลุ่มการประเมินเพื่อตัดสินคุณค่าโดยวิธีเชิงระบบ (system value-oriented
evaluation) เน้นใช้วิธีเชิงระบบเพื่อให้นักประเมินทาการตัดสินคุณค่าของสิ่งของหรือ
เหตุการณ์ที่ได้รบั การประเมิน
กลุ่มการประเมินเพื่อตัดสินคุณค่าโดยวิธีเชิงธรรมชาติ ((naturalistic valueoriented evaluation) เน้นใช้วิธีเชิงธรรมชาติเพื่อให้นักประเมินทาการตัดสินคุณค่า
ของสิ่งของหรือเหตุการณ์ที่ได้รบั การประเมิน
ศึกษารายละเอียดอื่ นๆ จากตารา ให้เข้าใจ ไม่จา
ในกลุ่มนี้ ...เลือกใช้…. Stufflebeam’s CIPP Model
ContextInput-ProcessProduct: CIPP
CIPP Model เป็ น 1 ใน..... กลุ่มการประเมินเพื่อการตัดสินใจโดยวิธีเชิงระบบ (system
decision-oriented evaluation) เน้นการใช้วธิ ีเชิงระบบเพื่อการนาเสนอสารสนเทศที่
เป็ นประโยชน์ต่อการตัดสินคุณค่าของผูบ้ ริหารหรือผูม้ ีอานาจการตัดสินใจ
ประเมินบริบท ปั จจัยป้อนเข้า กระบวนการ และผลผลิต
(context-input-process-product)
การ
ตัดสินใจ
4
ประเภท
• การตัดสินใจเพื่อการวางแผน (planning decisions) เป็ นการ
เลือกเป้าหมายหรือจุดมุ่งหมายโครงการ
• การตัดสินใจเพื่อกาหนดโครงสร้าง (structuring decisions)
เป็ นการกาหนดยุทธวิธีหรือแผนงานหรือแนวการดาเนิ นงาน
• การตัดสินใจเพื่อการนาไปปฏิบตั ิ (implementing decisions)
เป็ นการปรับเปลี่ยนยุทธวิธีหรือการดาเนิ นงานให้เหมาะสม
• การตัดสินใจเพื่อการทบทวน (recycling decisions) เป็ นการ
เปลี่ยนแปลงหรือคงหรือขยายหรือยุบหรือเลิกโครงการ
Stufflebeam’s CIPP Model
ประเมินบริบท ปั จจัยป้อนเข้า กระบวนการ และผลผลิต
(context-input-process-product)
การ
ประเมิน
4
ประเภท
•
•
•
•
การประเมินบริบท (context evaluation)
การประเมินปั จจัยป้อนเข้า (input evaluation)
การประเมินกระบวนการ (process evaluation)
การประเมินผลผลิต (product evaluation)
Stufflebeam’s CIPP Model
CIPP + I = CIPPI Model
การ
ประเมิน
5
ประเภท
•
•
•
•
•
การประเมินบริบท (context evaluation)
การประเมินปั จจัยป้อนเข้า (input evaluation)
การประเมินกระบวนการ (process evaluation)
การประเมินผลผลิต (product evaluation)
การประเมินผลกระทบ (impact evaluation) อาจมีหรือไม่
มีตามความเหมาะสม
Stufflebeam’s CIPP Model เพิ่ม Impact
แนวคิดดั้งเดิมของ CIPP/CIPPI Model ประเมินคนละช่วงเวลา
การประเมิน
บริบท
(context
evaluation)
เมื่อสิ้ นสุดโครงการว่า
ประสบผลสาเร็จหรือไม่
เพียงใด
การประเมินผล
ผลิต
(product
evaluation)
แนวคิดดั้งเดิม แยกการ
ประเมินออกเป็ นต่าง
กรรมต่างวาระหรือต่าง
ช่วงเวลา 4 ช่วง
เพื่อกาหนดปั ญหาและความจาเป็ นในการพัฒนา
และกาหนดทิศทางหรือจุดมุง่ หมายของการ
แก้ปัญหาหรือการพัฒนา
1
4
2
การประเมิน
ปั จจัยป้อนเข้า
(input
evaluation)
เพื่อศึกษาความเป็ นไป
ได้ของทรัพยากรที่จะใช้
3
การประเมิน
กระบวนการ
(process
evaluation)
เพื่อศึกษาอุปสรรค ปั ญหา และ
ความก้าวหน้าในการดาเนิ นงาน
การประยุกต์ใช้ CIPP/CIPPI Model เพื่อการประเมินในช่วงเวลาเดียวกัน
1
การประเมินบริบท
(context evaluation)
1
ประเมินช่วงเวลา
เดียวกัน หลังจาก
ดาเนินโครงการ
มาแล้ว ช่วงเวลา
หนึ่ง เช่น 3 ปี 5 ปี
การประเมินปั จจัยป้อนเข้า
(input evaluation)
การประเมินกระบวนการ
(process evaluation)
การประเมินผลผลิต
(product
evaluation)
การประเมินผลกระทบ
(impact evaluation)
1
1
1
การนา CIPP / CIPPI Model
มาใช้ในการประเมินทางการบริหาร
การศึกษา นั้น ส่วนใหญ่มกั เป็ นการ
ประเมินผลการ “ดาเนิ นงานตาม
โครงการใดโครงการหนึ่ ง” ซึ่งมีการ
ดาเนิ นงานมาแล้วในช่วงเวลาหนึ่ ง แต่มี
ความประสงค์จะประเมินใน
องค์ประกอบทั้ง 4 หรือ 5 องค์ประกอบ
นั้นในครั้งเดียวกันหรือในช่วงเวลา
เดียวกัน คือ 1) การประเมินบริบท 2)
การประเมินปั จจัยป้อนเข้า 3) การ
ประเมินกระบวนการ 4) การ
ประเมินผลผลิต และ 5) การ
ประเมินผลกระทบ
การประเมินช่วงเวลาเดียวกัน
กรณี
การประยุกต์ใช้
CIPP/CIPPI Model
เพื่อการประเมินในช่วงเวลา
เดียวกัน
จุดมุง่ หมายการประเมินบริบท....เดิมเพื่อกาหนดวัตถุประสงค์ที่เหมาะสม
เปลี่ยนเป็ นเพื่อตรวจสอบความเหมาะสมของวัตถุประสงค์ที่กาหนดไว้ก่อนหน้า
การประเมินบริบท (context evaluation) แนวคิดเดิมของ
Stufflebeam เป็ นการประเมินปั จจัยภายในและปั จจัยภายนอก มี
จุดมุ่งหมายเพื่อนาผลการประเมินมาประกอบการตัดสินใจระบุสภาพความ
เป็ นปั ญหาหรือความต้องการจาเป็ นในการพัฒนา ที่จะนาไปสู่การกาหนด
วัตถุประสงค์ (objectives) ของโครงการว่าจะทาเพื่ออะไร แต่การ
ประยุกต์แนวคิดของ Stufflebeam มาใช้เพื่อการประเมินโครงการใด
โครงการหนึ่ งที่มีการดาเนิ นงานมาแล้วระยะเวลาหนึ่ งนั้น มีจุดมุ่งหมาย
เพื่อตรวจสอบความเหมาะสมของวัตถุประสงค์ (objectives) ของ
โครงการที่มีการกาหนดมาก่อนหน้านั้น ว่าเมื่อมีการดาเนิ นงานไปช่วง
ระยะเวลาหนึ่ งแล้ว วัตถุประสงค์น้ัน ยังมีความเหมาะสมอยูห่ รือไม่ มี
ข้อเสนอแนะเพื่อการปรับปรุงแก้ไขหรือเพิ่มเติมอะไรบ้าง
จุดมุง่ หมายการประเมินปั จจัยป้อนเข้า.... เดิมเพื่อกาหนดทรัพยากรที่เหมาะสม
เปลี่ยนเป็ นเพื่อตรวจสอบความเหมาะสมของทรัพยากรที่กาหนดไว้ก่อนหน้า
การประเมินปั จจัยป้อนเข้า (input evaluation) แนวคิดเดิมของ
Stufflebeam เป็ นการประเมินความเป็ นไปได้ (feasibility) ของปั จจัยป้อนเข้า
ที่จะนามาใช้ในโครงการ ว่าควรจะใช้ทรัพยากรอะไรบ้าง ในจานวนเท่าไร มีคุณภาพ
อย่างไร และใช้อย่างไร จึงจะทาให้การนาโครงการไปปฏิบตั ิมีโอกาสประสบผลสาเร็จ
ตามวัตถุประสงค์ (objectives) ที่กาหนดไว้ได้ ซึ่งปั จจัยป้อนเข้าหากพิจารณา
ทรัพยากรทางการบริหาร 4 ประเภท หรือ 4M’s แล้ว ก็หมายถึง ปั จจัยเกี่ยวกับคน
(man) เงิน (money) วัสดุอุปกรณ์ (material) และการจัดการ
(management) แต่ในการประยุกต์แนวคิดของ Stufflebeam มาใช้เพื่อการ
ประเมินโครงการใดโครงการหนึ่ งที่มีการดาเนิ นงานมาแล้วระยะเวลาหนึ่ งนั้น มี
จุดมุ่งหมายเพื่อตรวจสอบความเหมาะสมของทรัพยากรทางการบริหาร ของโครงการที่มี
การกาหนดมาก่อนหน้านั้น ว่าเมื่อมีการดาเนิ นงานไปช่วงระยะเวลาหนึ่ งแล้ว ทรัพยากร
ทางการบริหารเหล่านั้น ยังมีความเหมาะสมอยูห่ รือไม่ มีขอ้ เสนอแนะเพื่อการปรับปรุง
แก้ไขหรือเพิ่มเติมอะไรบ้าง
จุดมุง่ หมายการประเมินกระบวนการ....เพื่อตรวจสอบความก้าวหน้าในการปฏิบตั ิงาน
การประเมินกระบวนการ (process evaluation)
เป็ นการประเมินผลการนาโครงการสู่การปฏิบตั ิวา่ เมื่อมี
การดาเนิ นงานไประยะหนึ่ งแล้ว มีความก้าวหน้าในการ
ทางานเพียงใด เป็ นไปตามที่คาดหวังหรือไม่ มีอุปสรรค
ปั ญหาอะไรเกิดขึ้ นบ้าง มีขอ้ เสนอแนะเพื่อการปรับปรุง
แก้ไขหรือเพิ่มเติมอะไรอีกบ้าง เป็ นการประเมินที่มี
จุดมุง่ หมายเดียวกับแนวคิดเดิมของ Stufflebeam
จุดมุง่ หมายการประเมินผลผลิต.....เพื่อตรวจสอบความสาเร็จตามวัตถุประสงค์ที่กาหนด
การประเมินผลผลิต (product
evaluation) เป็ นการประเมินผลผลิต
หรือผลลัพธ์ที่เกิดขึ้ นเมื่อสิ้ นสุดโครงการ ว่า
เป็ นไปตามวัตถุประสงค์ (objectives)
ที่กาหนดไว้หรือไม่ เพียงใด ซึ่งเป็ นการ
ประเมินที่มีจุดมุง่ หมายเดียวกับแนวคิดเดิม
ของ Stufflebeam
จุดมุง่ หมายการประเมินผลกระทบ....เพื่อตรวจสอบผลที่เกิดขึ้ นสืบเนื่ อง
(มีหรือไม่ม.ี ..ตามความเหมาะสม)
การประเมินผลกระทบ (impact evaluation) โดย
หลักการแล้ว เป็ นการประเมินผลที่เกิดขึ้ นสืบเนื่ อง หลัง
สิ้ นสุดโครงการไปแล้วระยะเวลาหนึ่ ง แต่ในการประเมิน
ครั้งเดียวกันหรือในช่วงเวลาเดียวกันทุกองค์ประกอบนั้น
อาจพิจารณาผลกระทบที่เกิดขึ้ นในช่วงระยะเวลา
ดาเนิ นงานตามโครงการ ซึ่งในกรณีนี้ หากผูว้ จิ ยั เห็นว่า ยัง
ไม่สามารถประเมินผลกระทบได้ชดั เจน ก็อาจประเมินเพียง
4 องค์ประกอบแรก คือ การประเมินบริบท การประเมิน
ปั จจัยป้อนเข้า การประเมินกระบวนการ และการ
ประเมินผลผลิต
สรุป....เมื่อดาเนิ นโครงการไประยะเวลาหนึ่ ง...ประเมิน...
วัตถุประสงค์ที่กาหนดก่อนหน้า ...... เหมาะสมหรือไม่ ควรปรับปรุงอะไร ?
ทรัพยากรที่กาหนดก่อนหน้า...... เหมาะสมหรือไม่ ควรปรับปรุงอะไร ?
กิจกรรมที่กาหนดก่อนหน้า.... ก้าวหน้าเพียงใด มีอุปสรรคอะไร ควรปรับปรุงอะไร
ผลลัพธ์ที่คาดหวัง..... ผลลัพธ์ที่เกิดขึ้ นจริง
ผลกระทบที่คาดหวัง.... ผลกระทบที่เกิดขึ้ นจริง
หากตัดสินใจ...
หากตัดสินใจประเมินเชิงระบบ ผูว้ ิจยั ควรเริ่ม review วรรณกรรมที่เกี่ยวข้องที่
สาคัญ คือ 1) หลักการ แนวคิด ทฤษฎีที่เกี่ยวข้องกับโครงการที่ประเมินนั้น
2) รายละเอียดโครงการที่จะประเมิน โดยชี้ ประเด็นให้เห็นถึงองค์ประกอบที่
จะประเมินแต่ละด้าน เพื่อนาไปสู่การกาหนดเป็ นกรอบแนวคิดเพื่อการวิจยั
คือ
ก) C - วัตถุประสงค์ของโครงการที่จะตรวจสอบความเหมาะสม
ข) I - ทรัพยากรที่ใช้ในโครงการที่จะตรวจสอบความเหมาะสม
ค) P - กิจกรรมการดาเนิ นงานในโครงการที่จะตรวจสอบความก้าวหน้า
ง) P - สิ่งที่คาดหวังให้เกิดขึ้ นจากโครงการ
จ) I - ผลกระทบที่คาดหวังให้เกิดขึ้ นจากโครงการ (ถ้าต้องการประเมินผลด้วย)
** โครงการที่ จะประเมินควรเป็ น Master project ไม่เป็ นโครงการเล็กๆ
ข้อควรคานึ ง...
วิจยั เชิงสารวจ
ผลการวิจยั
พหุกรณีศึกษา
การนาเสนอผลการวิจยั ...
นาเสนอข้อมูลจากการวิจยั เชิงสารวจ เสริมด้วยข้อมูลจากพหุกรณีศึกษา เพื่อ
ตอบวัตถุประสงค์การวิจยั ทีละด้าน
 ความเหมาะสมของวัตถุประสงค์ และข้อเสนอแนะเพื่อการปรับปรุง
 ความเหมาะสมของทรัพยากร
และข้อเสนอแนะเพื่อการปรับปรุง
 ความก้าวหน้าของกิจกรรม อุปสรรคที่เกิดขึ้ น และข้อเสนอแนะเพื่อการปรับปรุง
 ผลลัพธ์ที่เกิดขึ้ นจริง ทั้งสาเร็จและไม่สาเร็จ และข้อเสนอแนะเพื่อการปรับปรุง
 ผลกระทบที่เกิดขึ้ นจริง ทั้งคาดหวังและไม่คาดหวัง และข้อเสนอแนะเพื่อการ
ปรับปรุง
กรณีศึกษา...
การประเมินเชิงระบบ.... ผูว้ จิ ยั