Transcript Thu thập dữ liệu nghiên cứu

Nghiên cứu KHSPƯD
B3: Đo lường - thu thập dữ liệu
1
B3. Đo lường - Thu thập dữ liệu
1. Thu thập dữ liệu
2. Độ tin cậy và độ giá trị
3. Kiểm chứng độ tin cậy của dữ liệu.
4. Kiểm chứng độ giá trị của dữ liệu
2
Thu thập dữ liệu
• Dữ liệu cần thu thập: Dữ liệu thô:Điểm số
của các bài kiểm tra trước và sau tác
động.
• Thí dụ Bảng điểm kiểm tra của lớp TN và
lớp đối chứng ở thiết kế 2.
• Kết quả phiếu hỏi.
• Kết quả phiếu quan sát…
3
1. Thu thập dữ liệu
Có 3 dạng dữ liệu cần thu thập khi nghiên cứu:
1. Kiến thức/ kĩ
Biết, hiểu, áp dụng…
năng
2. Hành vi/kĩ năng Sự tham gia, thói quen, sự
thuần thục trong thao tác…
3. Thái độ
Hứng thú, tích cực tham gia,
quan tâm, ý kiến.
Lưu ý: căn cứ vào vấn đề nghiên cứu để lựa chọn dạng dữ liệu
cần thu thập phù hợp.
Kĩ năng: Kĩ năng tư duy (1) và kĩ năng thao tác(2).
4
Các phương pháp thu thập dữ liệu
Đo gì ?
Thang đo (Đo bằng cách nào ?)
kĩ
Thiết kế và sử dụng các bài kiểm tra thông
thường hoặc các bài kiểm tra được thiết kế
đặc biệt .
2. Hành vi/
kĩ năng
Thiết kế và sử dụng thang đo xếp hạng hoặc
bảng kiểm quan sát.
3. Thái độ
Thiết kế và sử dụng thang đo thái độ
1.Kiến
thức/
năng
5
Kĩ năng tư duy
•
•
•
•
•
- Kĩ năng giải bài tập nâng cao.
- Kĩ năng tiến hành thí nghiệm nghiên cứu.
- Tư duy phê phán.
- Tư duy sáng tạo.
- Giải quyết vấn đề thực tiễn
6
Đo kiến thức/ kĩ năng tư duy
• Sử dụng các bài thi cũ, các bài kiểm tra thông
thường trong lớp nếu phù hợp với mục đích đo.
Vì: không mất công xây dựng và chấm điểm bài
kiểm tra mới.
Thí dụ: Sử dụng kết quả bài kiểm tra học kì hoặc
các bài kiểm tra trước đó để khẳng định 2 lớp có
trình độ tương đương nhau trước tác động.
7
Đo kiến thức/ kĩ năng tư duy
• Với một số NC, cần có các bài kiểm tra
được thiết kế riêng (Nội dung NC không
có trong SGK, chương trình hoặc phương
pháp mới…).
• Thí dụ: Đề kiểm tra đánh giá kĩ năng tiến
hành thí nghiệm nghiên cứu của HS của
lớp 9 trước khi tác động và sau khi tác
động.
- Đề kiểm tra đánh giá tư duy sáng tạo của
HS lớp 9 trước và sau khi tác động.
8
Đo kiến thức/ kĩ năng tư duy
• Bài kiểm tra có thể:
- Chỉ gồm các câu dạng tự luận.
- Chỉ gồm câu trắc nghiệm khách quan.
- Gồm cả câu hỏi tự luận và trắc nghiệm
khách quan.
9
Đo hành vi
Có thể đo các hành vi của học sinh như:
• Đi học đúng giờ
• Sử dụng ngôn ngữ thanh lịch.
• Ăn mặc phù hợp
• Giơ tay trước khi phát biểu
• Nộp bài tập đúng hạn
• Tham gia tích cực vào hoạt động nhóm
• ...
10
Đo kĩ năng thao tác
Thí dụ một số kĩ
•
•
•
•
•
năng thao tác của học
sinh như:
Sử dụng dụng cụ, hóa chất.
Kĩ năng vẽ bản đồ.
Chơi nhạc cụ
Đánh máy trên máy vi tính
Thuyết trình
11
Đo hành vi/kĩ năng thao tác
Collect
Thudata
thậpon
dữ student’s
liệu về
hành vi/kĩ năngorcủa
học sinh
performance
behavior
Thang
xếp
hạng
Rating
scales
Bảng kiểm quan
sát
Observation
Checklists
12
Đo hành vi: Ví dụ
Thang đo
1 Thang
xếp hạng
2 Bảng kiểm
quan sát
Ví dụ
Tần suất mượn sách trong thư viện nhà
trường của HS đó trong 1 tháng vừa
qua thế nào?
Rất thường xuyên Thường xuyên
Thỉnh thoảng
Hiếm khi
Không bao giờ
Học sinh đó thường xuyên xung phong
lên bảng giải bài tập Toán ở lớp.
Có
Không
13
Đo hành vi
Quan sát
Observation
Công
khai
Obtrusive
Không
công khai
Unobtrusive
Học sinh biết mình
được quan sát
 Có thể ảnh hưởng
đến hành vi của HS,
giảm độ giá trị của dữ
liệu; những hành vi
quan sát được có thể
không phải là các
hành vi tiêu biểu của
HS.
Học sinh không biết
mình được quan sát
 Quan sát trong
điều kiện tự nhiên
đem lại các dữ liệu tin
cậy hơn, phản ánh
các hành vi tiêu biểu
của HS.
14
Đo thái độ
Thang đo thái độ
• Gồm 8-12 câu hỏi theo dạng thang Likert
• Mỗi câu hỏi gồm:
- Một mệnh đề mô tả/ đánh giá liên quan đến đối
tượng được đo thái độ
- Thang đo với 5 mức độ được sử dụng phổ biến
• Các dạng phản hồi có thể sử dụng:
đồng ý,
tính cập nhật,
tần suất,
tính thiết thực
tính tức thì
15
Đo thái độ
Thang đo thái độ
• Các dạng phản hồi:
Đồng ý
Hỏi về mức độ đồng ý
Tần suất
Hỏi về tần suất thực hiện một nhiệm vụ
Tính
tức thì
Tính
cập nhật
Tính
thiết thực
Hỏi về thời điểm bắt đầu thực hiện
nhiệm vụ
Hỏi về thời điểm thực hiện nhiệm vụ gần
nhất
Hỏi về cách sử dụng các nguồn lực (VD:
thời gian rảnh rỗi, tiền thưởng...).
16
Ví dụ về câu hỏi và các dạng
phản hồi của thang đo thái độ
Đồng ý
Bạn thích đọc sách hơn làm một số hoạt động khác.
Hoàn toàn đồng ý
Đồng ý
Bình thường
Không đồng ý
Hoàn toàn không đồng ý
Tần suất
Bạn đọc truyện.
Hằng ngày
Thỉnh thoảng
Hầu hết các ngày
Ít khi
Rất ít khi
17
Tính tức thì
Bạn bắt đầu làm bài tập khi nào?
Ngay trong ngày, …..,
Cho đến khi tôi
có thời gian
Tính cập nhật
Lần cuối cùng bạn đọc sách là khi nào?
Tuần này, ….,
Hai tháng trước
Tính thiết thực
Nếu được cho 200.000đ, bạn sẽ sử dụng bao nhiêu
tiền để mua sách?
50-70.000đ
70-100.000đ
100-150.000đ
150-200.000đ
18
Đo thái độ: Ví dụ
Thang đo thái độ đối với môn Toán
Rất không
đồng ý
1
Tôi chắc chắn mình có khả
năng học toán.
2
Cô giáo rất quan tâm đến
tiến bộ học toán của tôi.
3
Kiến thức về toán học sẽ
giúp tôi kiếm sống.
4
Tôi không tin mình có thể giải
toán nâng cao.
5
Toán học không quan trọng
trong công việc của tôi.
Không
đồng ý
Bình
thường
Đồng ý
Rất đồng ý
Mệnh đề khẳng định (Câu 1, 2, 3), Mệnh đề phủ định (Câu 4,5). Mỗi
mức độ tương ứng với 1 điểm số (1 đến 5) Lưu ý: Đồng ý với
mệnh đề khẳng định được điểm cao hơn. Đồng ý với mệnh đề phủ19
định được điểm thấp hơn
Đo thái độ: Ví dụ
Thang đo thái độ đối với khoa học
1. Khoa học kỹ thuật giúp con người sống khoẻ
mạnh, thuận lợi và tiện nghi hơn.
2. Chúng ta lệ thuộc quá nhiều vào khoa học.
3. Khoa học khiến cuộc sống thay đổi quá nhanh.
4. Việc am hiểu khoa học không quan trọng trong
cuộc sống hằng ngày của tôi.
Câu mang nghĩa tích cực (câu 1), Câu mang nghĩa không tích cực
(câu 2,3,4)
Lưu ý: đồng ý với câu mang nghĩa tích cực thì được điểm cao hơn,
đồng ý với câu mang nghĩa không tích cực thì được điểm thấp hơn
20
Lưu ý khi xây dựng thang đo
• Mỗi mệnh đề chỉ nên diễn đạt một ý tưởng/
khái niệm.
• Sử dụng ngôn ngữ đơn giản.
• Nếu thang đo gồm nhiều câu hỏi, cần phân
chúng thành một số hạng mục. Mỗi hạng
mục cần có tên rõ ràng.
21
Lưu ý khi xây dựng thang đo
• Nêu đầy đủ các mức độ phản hồi, đặc biệt trong
thang đo sử dụng với đối tượng nhỏ tuổi và ít kinh
nghiệm.
• Sử dụng hoặc điều chỉnh lại các thang sẵn có cho
phù hợp; chỉ xây dựng thang đo mới trong trường
hợp thực sự cần thiết.
• Tôn trọng quyền sở hữu trí tuệ
22
Xây dựng và thử nghiệm
thang đo mới ( Phiếu hỏi, phiếu điều tra, bảng kiểm
quan sát, bài kiểm tra…)
• Khi điều chỉnh hoặc xây dựng một thang đo mới, cần
thử nghiệm các thang đo.
• Số lượng mẫu thử không cần nhiều, khoảng từ 10
đến 20 là đủ.
• Mẫu thử phải tương đương với nhóm NC.
• Mục đích chính của việc thử nghiệm là đánh giá liệu
các câu hỏi có dễ hiểu và có ý nghĩa với nhóm NC
hay không.
23
2 - Độ tin cậy và độ giá trị
Khi thu thập dữ liệu, phải đảm bảo các
dữ liệu có độ tin cậy và độ giá trị cao.
24
Độ tin cậy
Độ tin cậy là tính thống nhất, sự nhất quán
giữa các lần đo khác nhau và tính ổn định
của dữ liệu thu thập được.
25
Ví dụ
Đo cân nặng của bạn A
1
Cân nặng
(kg)
58
2
65
3
62
Ngày
Có điều gì đó
bất ổn bởi cân
nặng không thể
thay đổi quá
nhanh như vậy!
Các số liệu trên không đáng tin cậy vì không ổn định/
không nhất quán giữa các lần đo khác nhau. Không
thể sử dụng các dữ liệu này.
26
Độ giá trị
Độ giá trị là tính xác thực của các dữ liệu
thu thập được. Các dữ liệu có giá trị là phản
ánh trung thực kiến thức/hành vi/thái độ
cần đo
27
Ví dụ
Vấn đề nghiên Thái độ của học sinh với môn
cứu
Toán có sự tiến triển không?
Các mệnh đề 1. Tôi thích làm bài tập về nhà
trong thang đo 2. Môn Toán rất thú vị
3. Tôi thích học Tiếng Anh
4. Tôi bắt đầu làm bài tập Vật lý
ngay lập tức
28
Nhận xét:
Trong 4 câu để thu thập dữ liệu, chỉ có câu
2 là thu thập dữ liệu cho câu hỏi nghiên
cứu. Trong trường hợp này, dữ liệu thu
được từ cả 4 câu sẽ không có giá trị.
Để đảm bảo độ giá trị, tất cả các câu đều
phải tập trung vào đo thái độ đối với môn
Toán của học sinh.
29
Độ tin cậy và độ giá trị
• Độ tin cậy và độ giá trị phản ánh chất lượng
của dữ liệu, không phải là công cụ để thu
thập dữ liệu.
• Độ tin cậy và độ giá trị có liên hệ với nhau.
30
Độ tin cậy và giá trị
Tin cậy
Không có giá trị
Giá trị
Không tin cậy
Không tin cậy
Không có giá trị
Tin cậy và có
giá trị
http://trochim.human.cornell.edu/kb/rel&val.htm
Soh K C (2006) AR(3)
31
3. Kiểm chứng độ tin cậy của dữ liệu
Một số phương pháp kiểm chứng độ tin cậy của dữ liệu:
1. Kiểm tra nhiều lần
2. Sử dụng các dạng đề tương đương
3. Chia đôi dữ liệu
32
3. Kiểm chứng độ tin cậy của dữ liệu
1. Kiểm tra nhiều lần
Một nhóm HS sẽ làm một bài kiểm tra hai
lần tại hai thời điểm khác nhau.
Dữ liệu đáng tin cậy khi: điểm số ở hai lần
kiểm tra phải tương đương nhau hoặc có
độ tương quan cao.
33
3. Kiểm chứng độ tin cậy của dữ liệu
Sử dụng các dạng đề tương đương
Thiết kế hai dạng đề khác nhau của cùng
một nội dung kiểm tra. Cùng một nhóm thực
hiện cả hai bài kiểm tra trong cùng một thời
điểm. Tính độ tương quan giữa điểm số kiểm
tra của hai bài kiểm tra để xác định tính nhất
quán của hai dạng đề.
Hai đề được coi là tương đương khi hệ số
tương quan lớn.
34
3. Chia đôi dữ liệu:
• Chia các điểm số kiểm tra của cùng 1 nhóm thành 2
phần (theo câu hỏi số chẵn: Câu 2,4,6,8,10 và câu
hỏi số lẻ: Câu 1,3,5,7,9)
• Kiểm tra tính nhất quán giữa hai phần đó.
• Áp dụng công thức tính độ tin cậy Spearman-Brown.
rSB = 2 * rhh / (1 + rhh)
rSB: Độ tin cậy Spearman-Brown
rhh: Hệ số tương quan chẵn lẻ
Độ tin cậy Spearman-Brown có thể được tính
trên phần mềm Excel
35

Ví dụ: Chúng ta có điểm số của 15 học
sinh (A đến O) sử dụng thang đo thái độ
với 10 câu hỏi (Q1 đến Q10). Mỗi câu hỏi
có điểm dao động từ 1 đến 6 (1: hoàn toàn
không đồng ý và 6: Hoàn toàn đồng ý). Do
đó chúng ta có kết quả như bảng sau:
36
Độ tin cậy Spearman-Brown: Ví dụ
Bảng dưới đây là ví dụ về thang đo với 15 học
sinh (A-O) trả lời 10 câu hỏi (Q1-Q10)
Sinh viên
Tổng
Kết quả trả lời các câu hỏi được biểu thị bằng các số từ
1 đến 6 (ví dụ: Hoàn toàn không đồng ý = 1... Hoàn
toàn đồng ý = 6).
37
Độ tin cậy Spearman-Brown: Ví dụ
Tổng cộng các cột lẻ (Q1 + Q3 + Q5 + Q7 + Q9)
Điểm lẻ lĐiểm chẵn
Hệ số tương quan chẵn lẻ
Độ tin cậy Spearman-Brown
rhh = 0.92 = CORREL (M2:M16, N2:N16)
RSB = 2 * rhh / (1 + rhh) = 0.96
38


Sau đó chúng ta tính hệ số tương quan
chẵn lẻ (rhh) theo công thức trong bảng tính
Excel:
rhh = CORREL (array 1,array 2)
(array 1: cột lẻ, array 2: cột chẵn)
Theo ví dụ trên ta có:
rhh = CORREL (M2:M16, N2:N16) = 0.92
Với giá trị rhh là 0.92, có thể dễ dàng tính
được độ tin cậy Spearman-Brown (rSB)
bằng công thức:
rSB = 2 * 0,92 / (1 + 0,92) = 0.96
39

So sánh kết quả với bảng dưới đây:
rSB ≥ 0,7
Dữ liệu đáng tin cậy
rSB < 0,7
Dữ liệu không đáng tin cậy
 Trong trường hợp này, độ tin cậy có giá trị rất cao
vì rSB = 0.96 cao hơn giá trị 0.7. Chúng ta kết luận
các dữ liệu thu được là đáng tin cậy.
Ghi chú: Xem phần hướng dẫn chi tiết cách sử dụng các
công thức tính toán trong phần mềm Excel tại Phụ lục 1
40
4. Kiểm chứng độ giá trị của dữ liệu
Có 3 cách kiểm chứng độ giá trị:

Độ giá trị nội dung

Độ giá trị đồng quy

Độ giá trị dự báo
41
Kiểm chứng độ giá trị của dữ liệu
1. Độ giá trị nội dung( đề kiểm tra/ thang
đo)
•
•
•
Xem xét liệu các câu hỏi có phản ánh các
vấn đề, khái niệm hoặc hành vi cần đo
trong nghiên cứu hay không.
Có tính chất mô tả nhiều hơn là thống kê.
Có thể lấy nhận xét của GV/CBQL có
kinh nghiệm để kiểm chứng.
42
Kiểm chứng độ giá trị của dữ liệu
2. Độ giá trị đồng quy
• Về mặt logic, điểm số đạt được
trong nghiên cứu phải có độ tương
quan cao với các điểm số hiện có
của cùng môn học.
• Tính hệ số tương quan của hai tập
hợp điểm số là một cách kiểm
chứng độ giá trị.
43
Kiểm chứng độ giá trị của dữ liệu
3. Độ giá trị dự báo
• Tương tự như độ giá trị đồng quy nhưng
có định hướng tương lai.
• Các điểm số đạt được trong nghiên cứu
phải tương quan với điểm số bài kiểm
tra môn học sắp tới.
44
Một số lưu ý khi áp dụng
• Thiết kế thang đo/công cụ đo/thu thập dữ liệu
bảo đảm để đo đúng vấn đề cần NC.
• Độ tin cậy và độ giá trị là chất lượng của dữ liệu,
không phải công cụ thu thập dữ liệu.
• Kiểm chứng độ tin cậy: trong điều kiện không có
phương tiện CNTT có thể sử dụng các phương
pháp đơn giản như kiểm tra nhiều lần, sử dụng
dạng đề tương đương…
45
Bài tập 1
1. Tính hệ số tin cậy Spearman-Brown. Các dữ liệu có đáng tin cậy không?
Học sinh
Tổng
Lẻ
Chẵn
Hệ số tương quan chẵn lẽ
Độ tin cậy Spearman-Brown
46
Bài tập 2
2.1. Hệ số tương quan chẵn - lẻ của một thang đo là
0,50. Độ tin cậy Spearman-Brown tương ứng là
bao nhiêu?
2.2. Để kiểm chứng độ giá trị của dữ liệu thu được
từ thang đo hứng thú đọc, theo bạn có thể sử
dụng kết quả của các bài kiểm tra nào?
47
Bài tập 3
Bài tập 3.1
Các nhóm thiết kế công cụ đo ( Đề kiểm tra/
bảng kiểm quan sát/ phiếu hỏi…) cho đề tài
đã chọn
Bài tập 3.2
Các nhóm dự kiến cách kiểm chứng độ tin cậy,
độ giá trị của dữ liệu thu được từ công cụ đo.
48