ánh là 2,6 : 4,9 : 2,5 nghĩa là 74% ở mức tái tạo và liên kết, 26% ở mức phản ánh, tỉ lệ này là tương đối phù hợp với tỉ lệ % của các mục tiêu đã đề ra.
Bảng 4.9. Ma trận đề kiểm tra đánh giá năng lực SLTKYH (Ma trận 2)
Tái tạo | Liên kết | Phản ánh | Tổng | ||||||
TN KQ | TLu | TN KQ | TLu | TN KQ | TLu | TNKQ | TLu | Điểm | |
MT 1 | 1 | 1 (1) | 1 (0,4) | 1 (1) | (1,4) | ||||
MT 2 | 1 | 1 | 1 (1) | 2 (0,8) | 1 (1) | (1,8) | |||
MT 3 | 1 | 1 | 1 (0,5) | 2 (0,8) | 1 (0,5) | (1,3) | |||
MT 4 | 1 | 1 (1) | 3 | 1 (1,5) | 4 (1,6) | 2 (2,5) | (4,1) | ||
MT 5 | 1 | 1 (1) | 1 (0,4) | 1 (1) | (1,4) | ||||
Tổng | 4 (1,6) | 1 (1) | 6 (2,4) | 3 (2,5) | 2 (2,5) | 10 (4) | 6 (6) | (10) | |
(2,6) | (4,9) | (2,5) | |||||||
Có thể bạn quan tâm!
-
Quy Trình Toán Học Hóa Của Oecd/pisa (2009) Trong Đó: -
Thiết Kế Bộ Công Cụ Đánh Giá Năng Lực Suy Luận Thống Kê Y Học Của Sv Khi Giải Quyết Vấn Đề Thực Tế -
Liệt Kê 14 Vấn Đề Có Bối Cảnh Lâm Sàng Y Học -
Phân Tích Kết Quả Thực Nghiệm Đối Với Bài Kiểm Tra Test 2: -
Kết Quả Trả Lời Tương Ứng Câu Hỏi 7 Của Test 2 -
Kết Quả Trả Lời Tương Ứng Câu Hỏi 1 Của Test 1
Xem toàn bộ 200 trang tài liệu này.
(Ở mỗi ô: chữ số ở bên ngoài dấu ngoặc là số lượng câu hỏi, chữ số ở bên trong dấu ngoặc là trọng số điểm tương ứng)
4.4.3. Biên soạn bộ câu hỏi theo ma trận đề kiểm tra
Căn cứ trên ma trận đề kiểm tra để xác định số lượng câu hỏi và trọng số điểm tương ứng với mỗi MTBG. Ma trận đề kiểm tra cũng là một căn cứ để xác định phạm vi đánh giá của mỗi câu hỏi bao gồm cụm năng lực SLTKYH, mức độ phức tạp và thời gian dự kiến hoàn thành câu hỏi. Câu hỏi được biên soạn tương ứng với từng MTBG, phù hợp với từng mức độ SLTKYH như đã xác định ở các thang đánh giá năng lực SLTKYH trong Bảng 4.3, Bảng 4.4 và Bảng 4.5, mỗi dạng câu hỏi (TNKQ, TL đóng, TL mở) đảm bảo một số yêu cầu khi biên soạn câu hỏi.
Đối với ma trận 1, bộ câu hỏi của bài kiểm tra thứ nhất (Test 1) (Phụ lục 8) được biên soạn tương ứng với các mức năng lực SLTKYH Mô tả, các MTBG và theo một trọng số điểm. Bộ câu hỏi của Test 1 được chọn từ các câu hỏi đã biên
soạn theo 14 vấn đề có bối cảnh lâm sàng (Bảng 4.6), được mô tả theo các vấn đề này như trong Bảng 4.10.
Bảng 4.10. Mô tả bộ câu hỏi của bài kiểm tra Test 1
VẤN ĐỀ | Câu hỏi tương ứng | Loại câu hỏi | Cụm năng lực | Mức SL TKYH | Điểm | MTBG | |
1 | Hàm lượng Glucose | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 3.4 |
2 | Hàm lượng Glucose | Câu hỏi 2 | NLC | Tái tạo | 2 | 0,4 | MTBG 3.4 |
3 | Hàm lượng Glucose | Câu hỏi 3 | NLC | Liên kết | 3 | 0,4 | MTBG 3.5 |
4 | Hàm lượng Glucose | Câu hỏi 4 | NLC | Liên kết | 3 | 0,4 | MTBG 3.5 |
5 | Hàm lượng Glucose | Câu hỏi 5 | TL mở | Liên kết | 4 | 1,5 | MTBG 3.5 |
6 | Nồng độ Hemoglobin | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 3.4 |
7 | Nồng độ Hemoglobin | Câu hỏi 2 | NLC | Tái tạo | 2 | 0,4 | MTBG 3.4 |
8 | Nồng độ Hemoglobin | Câu hỏi 3 | TL đóng | Liên kết | 4 | 1,0 | MTBG 3.5 |
9 | Bệnh mạch vành | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 1.2 |
10 | Bệnh mạch vành | Câu hỏi 2 | NLC | Liên kết | 3 | 0,4 | MTBG 1.2 |
11 | Hàm lượng Protein | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 2.1 |
12 | Hàm lượng | Câu hỏi 2 | NLC | Liên | 3 | 0,4 | MTBG |
Protein | kết | 3.5 | |||||
13 | Hàm lượng Protein | Câu hỏi 3 | TL mở | Phản ánh | 5 | 1,5 | MTBG 3.5 |
14 | Nồng độ men ALT | Câu hỏi 1 | TL đóng | Liên kết | 4 | 1,0 | MTBG 3.5 |
15 | Nồng độ men ALT | Câu hỏi 2 | TL mở | Phản ánh | 5 | 1,0 | MTBG 3.5 |
Đối với ma trận 2, bộ câu hỏi của bài kiểm tra thứ hai (Test 2) (Phụ lục 9) được biên soạn tương ứng với các MTBG, các mức năng lực SLTKYH Mô tả, Giải thích, Dự đoán và theo một trọng số điểm được trình bày như trong Bảng 4.11.
Bảng 4.11. Cấu trúc bộ câu hỏi của bài kiểm tra Test 2
MTBG | Tái tạo | Liên kết | Phản ánh | ||||
Mức 1 | Mức 2 | Mức 3 | Mức 4 | Mức 5 | Mức 6 | ||
MT 1 | MTBG1.2 | Câu 1 | |||||
MTBG1.3 | Câu 2*(1) | ||||||
MT 2 | MTBG2.1 | Câu 3 | |||||
MTBG2.3 | Câu 4 | ||||||
MTBG2.4 | Câu 5*(1) | ||||||
MT 3 | MTBG3.4 | Câu 6 | |||||
MTBG3.5 | Câu 7 | ||||||
MTBG3.5 | Câu 8*(0,5) | ||||||
MTBG4.1 | Câu 9 | ||||||
MTBG4.2 | Câu 10*(1) | ||||||
MTBG5.2 | Câu 11 |
MTBG6.4 | Câu 12 | ||||||
MTBG6.2 | Câu 13 | ||||||
MTBG6.4 | Câu 14*(1,5) | ||||||
MT 5 | MTBG7.3 | Câu 15 | |||||
MTBG7.4 | Câu 16*(1) |
(Ở mỗi ô: kí hiệu * là để chỉ câu hỏi TLu, chữ số ở bên trong dấu ngoặc là trọng số điểm tương ứng)
Bộ 16 câu hỏi của bài kiểm tra Test 2 được chọn các câu hỏi đã biên soạn theo 14 vấn đề có bối cảnh lâm sàng (Bảng 4.6), có thể được mô tả theo các vấn đề trong Bảng 4.12 như sau:
Bảng 4.12. Mô tả bộ câu hỏi của bài kiểm tra Test 2
VẤN ĐỀ | Câu hỏi tương ứng | Loại câu hỏi | Cụm năng lực | Mức SL TKYH | Điểm | MTBG | |
1 | Bệnh mạch vành | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 1.2 |
2 | Tiêm phòng Vaccine | Câu hỏi 1 | TL đóng | Liên kết | 4 | 1,0 | MTBG 1.3 |
3 | Hàm lượng Protein | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 2.1 |
4 | Câu hỏi 4 | NLC | Liên kết | 3 | 0,4 | MTBG 3.5 | |
5 | Laser tái thông mạch máu cơ tim | Câu hỏi 1 | TL đóng | Liên kết | 4 | 1,0 | MTBG 2.4 |
6 | Nồng độ Hemoglobin | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 3.4 |
7 | Hàm lượng | Câu hỏi | NLC | Liên | 3 | 0,4 | MTBG |
Protein | 2 | kết | 3.5 | ||||
8 | Nồng độ men ALT | Câu hỏi 3 | TL đóng | Liên kết | 4 | 0,5 | MTBG 3.5 |
9 | Hàm lượng Cholesterol | Câu hỏi 1 | NLC | Tái tạo | 2 | 0,4 | MTBG 4.1 |
10 | Nồng độ Beta- Crosslaps | Câu hỏi 1 | TL đóng | Tái tạo | 2 | 1,0 | MTBG 4.2 |
11 | Câu hỏi 2 | NLC | Liên kết | 3 | 0,4 | MTBG 5.2 | |
12 | Điều trị cai nghiện ma túy | Câu hỏi 1 | NLC | Liên kết | 3 | 0,4 | MTBG 6.4 |
13 | Phân bố nhóm máu | Câu hỏi 1 | NLC | Liên kết | 3 | 0,4 | MTBG 6.4 |
14 | Bệnh ung thư tuyến tiền liệt | Câu hỏi 1 | TL đóng | Phản ánh | 5 | 1,5 | MTBG 6.4 |
15 | Liên quan giữa Glucose và Hormone | Câu hỏi 1 | NLC | Liên kết | 3 | 0,4 | MTBG 7.3 |
16 | Câu hỏi 3 | TL mở | Phản ánh | 5 | 1,0 | MTBG 7.4 |
4.4.4. Chấm điểm
Biểu điểm chấm đã được xây dựng chi tiết ngay từ khi lập ma trận đề kiểm tra. Căn cứ ma trận đề kiểm tra xác định thang điểm tương ứng các mức SLTKYH với thang điểm toàn bài kiểm tra.
Bảng 4.13, Bảng 4.14 dưới đây mô tả thang điểm tương ứng các mức SLTKYH của ma trận 1 và ma trận 2:
Bảng 4.13. Thang điểm tương ứng mức Suy luận thống kê y học của ma trận 1
Mức SLTKYH | Mức điểm | |
Phản ánh | 5, 6 | (7,5; 10] |
4 | (5; 7,5] | |
3 | (2,4; 5] | |
Tái tạo | 1, 2 | (0; 2,4] |
Bảng 4.14. Thang điểm tương ứng mức Suy luận thống kê y học của ma trận 2
Mức SLTKYH | Mức điểm | |
Phản ánh | 5, 6 | (7,5; 10] |
Liên kết | 4 | (5; 7,5] |
3 | (2,6; 5] | |
Tái tạo | 1, 2 | (0; 2,6] |
4.4.5. Qui trình phân tích và hiệu chỉnh bộ công cụ đánh giá năng lực Suy luận thống kê y học
Tính khách quan và tính hiệu quả của đề kiểm tra trắc nghiệm có thể được xác định bằng cách kiểm chứng chỉ số độ khó P và độ phân biệt D theo quy trình “phân tích câu hỏi”. Quy trình này được đưa ra đầu tiên bởi Ebel (1965) và vẫn được sử dụng cho đến ngày nay bởi các chuyên gia biên soạn đề thi trắc nghiệm.
Bước 1: Sắp bài làm của SV theo danh sách thứ tự điểm từ cao xuống thấp. Bước 2: Theo danh sách thứ tự điểm bài làm, chia các bài làm thành hai nhóm:
Những bài có số điểm cao nhất thành một nhóm, những bài có số điểm thấp nhất
thành một nhóm khác. Có nhiều lý do mang tính thống kê, nhiều nhà nghiên cứu giáo dục toán cho rằng nên chọn 27% những bài làm tốt nhất trong một nhóm và 27% những bài làm yếu nhất trong một nhóm, nghĩa là nhóm trên (H) gồm 27% số bài làm ở đầu danh sách và nhóm dưới (L) gồm 27% số bài làm ở cuối danh sách theo thứ tự. Tuy nhiên, theo thực tế, theo tác giả Nguyễn Thị Lan Phương (2016), đối với số lượng bài làm trong một lớp học thì việc sử dụng số phần trăm nào là không quan trọng lắm, có thể chia theo tỉ lệ (%) là 50:50. Đồng thuận với quan điểm này, chúng tôi đã chọn phương án chia bài làm của SV thành 2 nhóm, mỗi nhóm gồm 50% tổng số SV.
Bước 3: Với mỗi câu hỏi trong số các câu hỏi TNKQ của đề kiểm tra, thống kê số SV trong mỗi nhóm chọn phương án trả lời và ghi lại các số liệu vào bảng như Bảng 4.15 dưới đây.
Bảng 4.15. Kết quả trả lời tương ứng mỗi câu hỏi trắc nghiệm khách quan
Các phương án lựa chọn | |||||
A | B | C* | D | Bỏ trống | |
Nhóm trên | |||||
Nhóm dưới | |||||
Tổng | |||||
Tỉ lệ (%) |
(Ghi chú: * là đáp án đúng)
Bước 4: Đối với mỗi câu hỏi TNKQ, xác định chỉ số độ khó P, tức là tính phần trăm số SV chọn câu trả lời đúng. Chỉ số P chính là một độ đo về khả năng mà một SV sẽ lựa chọn được câu trả lời đúng.
P = n(H) n(L) , trong đó n(H), n(L) là số SV trả lời đúng ở mỗi nhóm, N là
N
tổng số SV của hai nhóm. Như vậy, nếu chia hai nhóm theo tỉ lệ (%) là 50:50 thì P là tỉ số số SV trả lời đúng câu hỏi đó trên tổng số SV. Độ khó lí tưởng là 0,5, nhưng trong thực tế, các chuyên gia biên soạn đề kiểm tra cho rằng chỉ số độ khó trong khoảng 0,3 P 0,7 xem là chấp nhận được.
Bước 5: Đối với mỗi câu hỏi trắc nghiệm khách quan, xác định chỉ số độ phân biệt D theo cách tính hiệu số giữa chỉ số độ khó của nhóm trên và chỉ số độ khó của nhóm dưới.
D = 2. n(H) - n(L) , độ phân biệt là chỉ số đo lường sự khác biệt giữa SV
N
“giỏi” và SV “yếu”, giá trị D càng lớn thì sự khác biệt thành tích giữa hai nhóm SV này càng rò rệt. Những câu hỏi có độ phân biệt D 0,3 xem là chấp nhận được.
Theo tác giả Nguyễn Thị Lan Phương (2016), các chuyên gia biên soạn đề kiểm tra thường lựa chọn chỉ số độ phân biệt D như sau:
Từ 0,4 trở lên: Rất tốt
Từ 0,3 đến 0,39: Khá tốt, có thể làm cho tốt hơn
Từ 0,2 đến 0,29: Tạm được, cần chỉnh sửa cho hoàn chỉnh
Dưới 0,19: Kém, cần loại bỏ hay sửa chữa nếu có thể Chỉnh sửa các phương án lựa chọn dựa vào hai nguyên tắc:
1) Mỗi phương án đúng phải có tương quan thuận với tiêu chí đã định (số SV trả lời đúng ở nhóm cao phải nhiều hơn số SV trả lời đúng ở nhóm thấp);
2) Mỗi phương án nhiễu phải có tương quan nghịch với tiêu chí (số SV trả lời sai ở nhóm cao phải ít hơn số SV trả lời sai ở nhóm thấp).
Ví dụ 4.2. Bảng 4.16 dưới đây là thống kê kết quả trả lời của SV tương ứng với Câu hỏi 7 trong bài kiểm tra Test 2.
Bảng 4.16. Kết quả trả lời tương ứng Câu hỏi 7 của Test 2
Các phương án lựa chọn | ||||||
A | B | C* | D | Bỏ trống | Tổng | |
Nhóm trên | 0 | 1 | 35 | 0 | 0 | 36 |
Nhóm dưới | 4 | 5 | 24 | 3 | 0 | 36 |
Tổng | 4 | 6 | 59 | 3 | 0 | |
Tỉ lệ (%) | 5,6 | 8,3 | 81,9 | 4,2 | 0 | |
Độ khó | P = 0,819 | |||||
Độ phân biệt | D = 0,31 | |||||
(Ghi chú: * là đáp án đúng)
4.4.6. Thiết kế đề kiểm tra đánh giá năng lực Suy luận thống kê y học của SV khi giải quyết vấn đề thực tế với sự hỗ trợ của phần mềm thống kê SPSS Ngoài việc xây dựng các bài kiểm tra đánh giá năng lực SLTKYH của SV khi
GQVĐ thực tế chỉ dùng giấy bút (như bài kiểm tra Test 1, Test 2), chúng tôi cũng đã xây dựng các bài kiểm tra đánh giá năng lực SLTKYH của SV khi GQVĐ thực tế thông qua việc SV thực hành xử lý, phân tích dữ liệu bằng phần mềm thống kê SPSS, đối với bài kiểm tra này, SV được yêu cầu thực hành trên máy tính với phần mềm thống kê SPSS và trình bày bài làm trên giấy.
Ví dụ 4.3. Xây dựng bài kiểm tra thực hành (Test_thuchanh) (Phụ lục 10).