Transcript האוניברסיטה הפתוחה ניתוח פריטים חלק א' : מודלים קלאסיים של ניתוח פריטים מבחנים פסיכולוגים : תיאוריה ומעשה

‫האוניברסיטה הפתוחה‬
‫ניתוח פריטים‬
‫חלק א'‪ :‬מודלים קלאסיים של ניתוח פריטים‬
‫מבחנים פסיכולוגים‪ :‬תיאוריה ומעשה‬
‫נושאי הלימוד‬
‫‪2‬‬
‫חלק א'‪ :‬מודלים קלאסיים לניתוח פריטים‬
‫‪ ‬מדדי קושי הפריט‬
‫‪ ‬שיעור המשיבים נכונה (‪)p‬‬
‫‪ ‬סולם רווחים (‪)Z‬‬
‫‪ ‬סולם דלתא (‪)‬‬
‫ השפעת ניחוש‬‫ מדד כללי‪ :‬התפלגות ציוני המבחן‬‫‪ ‬קשר בין קושי הפריט לבין מטרת המבחן‬
‫נושאי הלימוד‬
‫(המשך)‬
‫‪3‬‬
‫‪ ‬מדדי הבחנה‬
‫‪ ‬מדד ‪D‬‬
‫‪ ‬מתאם ביסריאלי (‪)rbis‬‬
‫‪ ‬מתאם פי‬
‫‪ ‬הקשר בין ‪ p‬לבין ‪D‬‬
‫‪ ‬סוגי קריטריונים לניתוח פריטים‬
‫‪ ‬ניתוח מסיחים‬
‫חומר הלימוד‬
‫‪4‬‬
‫הגדרת תחום הדיון‬
‫‪5‬‬
‫‪‬איכותו הפסיכומטרית של כלי המדידה תלויה במאפייני‬
‫הפריטים הנכללים בו‬
‫‪‬במהלך פיתוח מבחן חשוב לערוך ניתוח פריטים‪,‬‬
‫המתמקד בפריט הבודד‬
‫‪‬מטרתו לסייע לבנות מבחנים בעלי איכות פסיכומטרית‬
‫גבוהה יותר‬
‫יתרונות ניתוח פריטים‬
‫‪‬מאפשר לשפר את מהימנות ותוקף המדידה‪ ,‬ובו זמנית‬
‫לקצר את אורכה‬
‫‪‬תיאוריית המהימנות הקלאסית מניחה כי כל פרטי המבחן‬
‫מודדים אותו הדבר (נוסחת ספירמן‪-‬בראון)‬
‫‪‬בניתוח הפריטים קיצור המבחן אינו אקראי‪ ,‬אלא מבוסס‬
‫על בדיקת תרומתם למדידה‬
‫‪7‬‬
‫‪ .1‬מדדי קושי הפריט‬
‫מדד קושי הפריט ‪p‬‬
‫‪8‬‬
‫‪‬הגדרה‪ :‬שיעור המשיבים נכונה על הפריט‬
‫‪‬איזה פריט קשה יותר?‬
‫‪p2=0.7‬‬
‫‪‬סולם סדר‬
‫‪p1=0.5‬‬
‫סולמות רווחים (‪)Z‬‬
‫‪9‬‬
‫‪ ‬מתאים לשימוש רק כאשר התכונה הנמדדת מתפלגת נורמלית‪.‬‬
‫פריט ‪)p=0.84(ׁ1‬‬
‫‪84%‬‬
‫)‪P(16‬‬
‫)‪z(-1‬‬
‫סולם דלתא (‪)‬‬
‫‪10‬‬
‫‪‬סולם רווח‪ ,‬הבנוי כטרנספורמציה ליניארית נוספת על‬
‫בסיס סולם ‪Z‬‬
‫‪  4 zx  13‬‬
‫‪‬מהו ממוצע סולם דלתא?‬
‫‪‬טווח ערכי סולם דלתא נע בין ‪1-25‬‬
‫מדדי קושי הפריט‬
‫(סיכום)‬
‫‪‬שעור המשיבים נכונה (‪)P‬‬
‫‪‬סולמות רווחים (‪)Z‬‬
‫‪‬סולם דלתא (‪)‬‬
‫‪2‬‬
‫‪3‬‬
‫‪‬‬
‫נוסחת‬
‫המרה‬
‫‪Z‬‬
‫‪1‬‬
‫טבלה‬
‫מאון‬
‫‪p‬‬
‫השפעת ניחוש על מדדי קושי הפריט‬
‫(הדגמה)‬
‫‪12‬‬
‫האם הפריטים שקולים?‬
‫פריט סגור‬
‫פריט פתוח‬
‫‪P=0.6‬‬
‫‪P=0.6‬‬
‫מדד כללי‪ :‬התפלגות ציוני המבחן‬
‫‪13‬‬
‫‪‬מדד כוללני‬
‫‪‬מתאים לשימוש כאשר ניתן להניח כי‪:‬‬
‫‪ ‬המדגם מייצג נכונה את האוכלוסייה‬
‫‪ ‬התכונה הנחקרת מתפלגת נורמלית‪.‬‬
‫‪‬קשר בין קושי הפריטים לבין יכולת ההבחנה בין‬
‫נבדקים‪.‬‬
‫מדד כללי‪ :‬התפלגות ציוני המבחן‬
‫(המחשה סכמתית ‪)1‬‬
‫‪14‬‬
‫הפריטים במבחן קשים ("תקרה גבוהה")‬
‫ציוני המבחן‬
‫הבחנה רגישה בחלק העליון של טווח הציונים‬
‫מדד כללי‪ :‬התפלגות ציוני המבחן‬
‫(המחשה סכמתית ‪)2‬‬
‫‪15‬‬
‫‪15‬‬
‫הפריטים במבחן קלים ("רצפה נמוכה")‬
‫ציוני המבחן‬
‫הבחנה רגישה בחלק התחתון של טווח הציונים‬
‫‪16‬‬
‫‪ .2‬קושי הפריט ומטרת המבחן‬
‫סוגי מבחנים‬
‫‪‬‬
‫‪‬‬
‫מבחנים הדורשים הבחנה בטווח רחב של רמות היכולת‬
‫הנחקרת‪.‬‬
‫מבחן סף (ברירה)‬
‫‪18‬‬
‫‪ .3‬מדדי הבחנה‬
‫מדד ‪D‬‬
‫‪ ‬עוסק בשאלה עד כמה פריט מסוגל להבחין בין נבדקים‬
‫ברמות שונות של יכולת בתכונה הנחקרת‬
‫‪ ‬הגדרה‪ :‬ההפרש בין אחוז העונים נכונה על הפריט‬
‫בקבוצות קריטריון מנוגדות‬
‫‪ ‬מה יהיו גבולות מדד ‪?D‬‬
‫‪ = D ‬אפס‪ ,‬מה משמעות הדבר?‬
‫חישוב מדד ‪D‬‬
‫(הדגמה)‬
‫נתונים‪ ,80=N :‬ג'=‪ ,45‬נ'=‪35‬‬
‫שכיחות המשיבים נכונה על פריט ‪1‬‬
‫ג'‬
‫נ'‬
‫‪27‬‬
‫‪14‬‬
‫‪D‬‬
‫?‬
‫מדדי הבחנה המחושבים כמתאמים‬
‫‪21‬‬
‫מתאם פי (‪)‬‬
‫מתאם ביסריאלי (‪)rbis‬‬
‫‪‬‬
‫פריט דיכוטומי‬
‫‪‬‬
‫פריט דיכוטומי‬
‫‪‬‬
‫קריטריון דיכוטומי‬
‫‪‬‬
‫קריטריון רציף‬
‫מתאם פי‬
‫פריט‬
‫קריטריון‬
‫עבר‬
‫נכשל‬
‫עבר‬
‫‪a‬‬
‫‪b‬‬
‫)‪(a+b‬‬
‫נכשל‬
‫‪c‬‬
‫‪d‬‬
‫)‪(c+d‬‬
‫)‪(a+c‬‬
‫)‪(b+d‬‬
‫נוסחת מקדם פי‪:‬‬
‫‪ad  bc‬‬
‫‪‬‬
‫) ‪(a  b)(c  d )(a  c)(b  d‬‬
‫מתאם פי‬
‫(תרגול)‬
‫‪ ‬מבחן ידע מרחבי הועבר ל‪ 80 -‬נבדקים‪ 53 ,‬בלבד הצליחו במבחן‪ .‬על פריט‬
‫‪1‬השיבו נכון ‪ 40‬איש‪ 31 ,‬מבניהם עברו את המבחן בהצלחה‪ .‬מהי יכולת‬
‫ההבחנה של פריט ‪?1‬‬
‫פריט‬
‫נכשל‬
‫עבר‬
‫עבר‬
‫=‪a‬‬
‫=)‪(a+b‬‬
‫=‪b‬‬
‫קריטריון‬
‫נכשל‬
‫נוסחת מקדם פי‪:‬‬
‫=‪c‬‬
‫=‪d‬‬
‫=)‪(a+c‬‬
‫=)‪(b+d‬‬
‫‪ad  bc‬‬
‫) ‪(a  b)(c  d )(a  c)(b  d‬‬
‫=)‪(c+d‬‬
‫‪‬‬
‫מקדם ביסריאלי‬
‫פריט‬
‫ממוצע‬
‫קריטריון‬
‫נכשל‬
‫עבר‬
‫‪X0‬‬
‫‪X1‬‬
‫מקדם ביסריאלי‬
‫‪pq‬‬
‫(נוסחה)‬
‫‪x1  x 0‬‬
‫‪rbis ‬‬
‫‪Sx‬‬
‫‪X1‬‬
‫ממוצע בקריטריון של קבוצת המצליחים בפריט‬
‫‪X0‬‬
‫ממוצע בקריטריון של קבוצת הנכשלים בפריט‬
‫‪p‬‬
‫שעור המצליחים בפריט‬
‫‪q‬‬
‫שעור הנכשלים בפריט‬
‫‪Sx‬‬
‫סטיית התקן של הקבוצה בקריטריון‬
‫מקדם ביסריאלי‬
‫(תרגול)‬
‫‪ ‬בקורס מבחנים פסיכולוגים נבחנו ‪ 20‬תלמידים‪ ,‬ציוני המבחן‬
‫כולו התפלגו עם ממוצע (‪ ,)70.75‬וסטית תקן (‪.)11.23‬‬
‫על פריט ‪ 2‬השיבו נכון ‪ 10‬בלבד‪ .‬בטבלה להלן מפורטים ציוני‬
‫הנבדקים במבחן כולו‪.‬‬
‫מהי יכולת ההבחנה של הפריט ‪?2‬‬
‫‪pq‬‬
‫‪x1  x 0‬‬
‫‪‬‬
‫‪Sx‬‬
‫‪rbis‬‬
‫פריט‬
‫נכשל‬
‫‪72‬‬
‫‪70‬‬
‫‪70‬‬
‫‪70‬‬
‫‪66‬‬
‫‪64‬‬
‫‪62‬‬
‫‪62‬‬
‫‪60‬‬
‫‪56‬‬
‫עבר‬
‫‪90‬‬
‫‪88‬‬
‫‪87‬‬
‫‪86‬‬
‫‪84‬‬
‫‪82‬‬
‫‪72‬‬
‫‪60‬‬
‫‪58‬‬
‫‪56‬‬
‫‪X1=76.3 X0=65.2‬‬
‫‪27‬‬
‫‪ .4‬הקשר בין קושי הפריט (‪ )p‬לבין ‪D‬‬
‫קשר בין קושי הפריט לבין יכולת הבחנה (‪)D‬‬
‫קושי הפריט (‪)p‬‬
‫‪100‬‬
‫‪90‬‬
‫‪70‬‬
‫‪50‬‬
‫‪30‬‬
‫‪10‬‬
‫‪0‬‬
‫ערך מקסימאלי של ‪D‬‬
‫‪0‬‬
‫‪20‬‬
‫‪60‬‬
‫‪100‬‬
‫‪60‬‬
‫‪20‬‬
‫‪0‬‬
‫חישוב מדד ‪ D‬עבור פריט ברמת קושי ‪0.9‬‬
‫מה יהיה ערך ‪ D‬המקסימאלי?‬
‫נתון‪n=100 :‬‬
‫גבוהי יכולת (‪)n=50‬‬
‫נמוכי יכולת (‪)n=50‬‬
‫= ‪D‬‬
‫(הדגמה)‬
‫חישוב מדד ‪ D‬עבור פריט ברמת קושי ‪0.9‬‬
‫האם יתכן כי ערך ‪ D‬יהיה אפס?‬
‫נתון‪n=100 :‬‬
‫גבוהי יכולת (‪)n=50‬‬
‫נמוכי יכולת (‪)n=50‬‬
‫= ‪D‬‬
‫(הדגמה)‬
‫חישוב מדד ‪ D‬עבור פריט ברמת קושי ‪0.9‬‬
‫מה יהיה ערך ‪ D‬המינימאלי?‬
‫נתון‪n=100 :‬‬
‫גבוהי יכולת (‪)n=50‬‬
‫נמוכי יכולת (‪)n=50‬‬
‫‪D=-‬‬
‫(הדגמה)‬
‫קשר בין קושי הפריט לבין יכולת הבחנה‬
‫(סיכום)‬
‫‪ ‬קיימת תלות בין קושי הפריט (‪ )p‬ובין יכולת ההבחנה‬
‫שלו (‪.)D‬‬
‫‪ ‬לפריטים בעלי רמת קושי זהה יתכנו מדדי הבחנה‬
‫שונים‪.‬‬
‫‪33‬‬
‫‪ .5‬סוגי קריטריונים לניתוח פריטים‬
‫סוגי קריטריונים והשלכות השימוש בהם‬
‫‪ ‬יכולת הבחנה של פריט‪ :‬המידה בה פריט מסוגל‬
‫להבחין בין נבדקים ברמות שונות של יכולת בתכונה‬
‫הנחקרת‬
‫‪ ‬מול מה נשווה את הביצוע בפריט?‬
‫קריטריון פנימי ‪ -‬העלאת הומוגניות המבחן‬
‫קריטריון חיצוני ‪ -‬העלאת תוקף המבחן מול קריטריון‬
‫‪35‬‬
‫‪ .6‬ניתוח מסיחים‬
‫ניתוח מסיחים‬
‫‪ ‬במבחן הכולל פריטים רבי‪-‬ברירה ניתן לערוך ניתוח‬
‫כמותי ואיכותי נוסף של פריטים‪ ,‬המכונה ניתוח מסיחים‬
‫‪ ‬בדיקת התפלגות תשובות הנבחנים לכלל אפשרויות‬
‫התשובה‪ ,‬ובכלל זה לתשובות השגויות (מסיחים)‬
‫‪ ‬ניתן לערוך ניתוח מסיחים על ידי חלוקת הנבדקים‬
‫לקבוצות קריטריון מנוגדות (גבוהים‪/‬נמוכים)‬
‫שלבים בניתוח מסיחים‬
‫‪ ‬בפריטים סגורים‪ :‬בדיקת התפלגות התגובות לכלל‬
‫אפשרויות התשובה‪ ,‬וניסיון לזהות מסיח בעייתי‪.‬‬
‫‪ ‬הסבר איכותי לממצאים הכמותיים (על סמך ניתוח‬
‫איכותי)‪.‬‬
‫‪ ‬סיכום והמלצה‪.‬‬
‫ניתוח פריט‬
‫(תרגול)‬
‫מבחן הסקה לוגית‪ ,‬מיועד לשימוש באוכלוסייה הרחבה‪.‬‬
‫נדרשת הבחנה בין נבדקים בטווח השלם‬
‫אפשרויות התשובה‬
‫‪1‬‬
‫‪*2‬‬
‫‪3‬‬
‫‪4‬‬
‫‪5‬‬
‫הישג גבוה‬
‫‪0‬‬
‫‪25‬‬
‫‪14‬‬
‫‪0‬‬
‫‪1‬‬
‫הישג נמוך‬
‫‪0‬‬
‫‪15‬‬
‫‪8‬‬
‫‪8‬‬
‫‪9‬‬
‫ניתוח פריט‬
‫(תרגול)‬
‫חישוב הפרמטרים של הפריט והערכתם‬
‫‪ ,P=0.5‬קושי הפריט ממוצע‪ ,‬רצוי בד"כ למבחנים הדורשים הבחנה בטווח רחב‬
‫של רמות יכולת‪.‬‬
‫‪ ,D=0.25‬רמת הבחנה נמוכה‪ ,‬בפרט כשמדובר בפריט ברמת קושי בינונית‪.‬‬
‫ניתוח מסיחים‬
‫מסיח ‪ 3‬בעייתי‪" ,‬מושך" שעור גבוה של נבדקים גבוהי יכולת (‪ ,)35%‬מסיח ‪1‬‬
‫בעייתי‪ ,‬לא נבחר על ידי איש‪.‬‬
‫ניתן לערוך ניתוח איכותי לבחון האם השאלה מנוסחת באופן רב משמעי‪ ,‬כך‬
‫שדווקא עבור נבדקים השולטים בחומר מסיח ‪ 3‬נראה כאפשרות מתאימה‪.‬‬
‫יש לתקן את ניסוחו של מסיח ‪ ,1‬שכן הוא קל מאוד לפסילה (אינו "מתפקד"‬
‫כמסיח)‪.‬‬
‫מסקנה‬
‫הפריט לא מומלץ לשימוש במתכונתו הנוכחית‬