Phân Tích Câu Hỏi Thi Bằng Lý Thuyết Khảo Thí Hiện Đại

Mã số 36. KH: ĐD.B1.STT ( Câu hỏi khối đa diện mức độ thông hiểu (B) loại 1 gắn với số thứ tự của câu hỏi.

Thông hiểu: Tính thể tích khối chóp có liên quan đến yếu tố cạnh hoặc góc đơn giản . Tính thể tích khối lăng trụ đứng có liên quan đến yếu tố cạnh hoặc góc đơn giản

Nội dung

Đáp án

Nhiễu 1

Nhiễu 2

Nhiễu 3

Ghi chú

ĐD.B1.1

Cho khối chóp tam giác đều S.ABC có cạnh đáy bằng a và cạnh bên bằng 2a. Tính thể tích V của khối chóp S.ABC.

V  11a

V  13a

V  11a

ĐD.B1.2

Cho hình chóp tứ giác đều S.ABCD có cạnh đáy bằng 2a, cạnh bên bằng 3a. Tính thể tích V của khối chóp đã cho.

4a3

V  .

4 7 a3

V  .

4 7 a3

V  .

V  4 7a3.

ĐD.B1.3

Cho khối chóp S.ABCD có đáy là hình vuông cạnh a, SA vuông góc với (ABCD) và SC tạo với mặt phẳng (ABC) một góc 30. Tính thể tích V của khối chóp đã cho.

6a3

V 

2a3

V 

V  2a

V  2a3

Có thể bạn quan tâm!

Xem toàn bộ 137 trang tài liệu này.

ĐD.B1.4

Hình chóp S.ABC có đáy là tam giác ABC đều cạnh a. Hình chiếu vuông góc của S trên mặt phẳng (ABC) là trung điểm H của cạnh AB, cạnh bên SC tạo với đáy một góc 600 . Thể tích khối chóp S.ABC là

3a3

3 3a3

3 a3

3a3

ĐD.B1.5

Cho hình lăng trụ ABCD.ABCDcó thể tích bằng 12 và đáy ABCD là hình vuông tâm O. Tính thể tích khối chóp A'.BCO .

V  1.

V  4.

V  3.

V  2.

ĐD.B1.6

Cho hình chóp S.ABC có đáy ABClà tam giác vuông cân tại B với CA a biết SA vuông góc với (ABC) và SB hợp với đáy một góc 60o. Thể tích khối chóp là:

a3 6

a3 3

a3 6

ĐD.B1.7

Cho hình lăng trụ ABC.ABC, có AB a, BC  2a, ABC  900, cạnh bên AAhợp với mặt phẳng đáy một góc 600 . Biết hình chiếu vuông góc của

Atrên ABC trùng với trọng tâm của tam giác ABC .

Thể tích của khối đa diện A.BCCBtính theo a bằng .

2 6a3

a3 3

4a3

2.4. Thử nghiệm đề thi

Quá trình thử nghiệm được diễn ra sau khi hoàn thiện công tác xây dựng đề thi. Quá trình thử nghiệm cần in ấn đề thi và phiếu trả lời theo mẫu chuẩn giúp quá trình nhập dữ liệu được đơn giản.

2.4.1. Chọn mẫu nghiên cứu

Mẫu HS được chọn là học sinh lớp 12, đã hoàn thành chương trình toán 12. Dựa trên điều kiện thực tế của tác giả, số lượng HS được chọn khoảng 200 HS với bốn đề đã được xây dựng. Bốn đề được thử nghiệm cùng nhau (chia làm 4 mã đề 001, 002, 003, 004) với mỗi mẫu. Các học sinh được chọn thử nghiệm là các nhóm HS ở lớp 12A4 Xuân đỉnh - 40hs (Hà Nội), 12A1 Vinschool - 35HS, 12A1 CVP - 35HS (Vĩnh Phúc ), 12B6 Trần Hưng Đạo – 45HS, 12A8 Xuân Trường - 45HS (Nam Định)

2.4.2. Kế hoạch thực hiện

Để đảm bảo tính nghiêm túc, và tính tin cậy, đề thử nghiệm được thực hiện trong khoảng thời gian từ 10 – 4 – 2017 đến ngày 25 – 4 – 2017. Đây là thời gian các HS đã hoàn thành chương lớp 12, nhưng chưa thi hết học kì. Điều này là quan trọng, bởi kết quả bài thi cần phản ánh chính xác năng lực của TS tham gia dự thi. Một khó khăn trong quá trình lấy mẫu là thời gian lấy mẫu chỉ diễn ra trong một khảng thời gian rất ngắn (2 tuần), ngoài khoảng thời gian này, kết quả lấy mẫu không cho kết quả tốt. Kết quả thử nghiệm ban đầu có các câu hỏi tự luận và các câu hỏi trả lời ngắn. Nhưng do hình thức thi trung học quốc gia thay đổi, nên thái độ làm bài của TS không tốt, dẫn đến kết quả thu được không đạt yêu cầu. Do đó phân tích câu hỏi thi đa phân đã không thực hiện được. Đây là một điều hết sức đáng tiếc. Bởi phân tích các câu hỏi đa phân là một ưu điểm của lý thuyết IRT mà trong CTT không có.

2.4.3. Kết quả thử nghiệm.

Sau quá trình trình biên soạn câu hỏi thi theo mẫu phụ lục 4 ta được 4 mã đề thi: Đề số 1, đề số 2, đề số 3, đề số 4 (các câu hỏi trong các đề thi có thể trùng

nhau). Thứ tự các câu hỏi trong mỗi đề thi được trộn đánh số từ 1 – 50. Nhưng để thuận tiện cho việc phân tích chỉ số các câu hỏi chúng ta sẽ sắp xếp lại theo bảng mô tả chỉ tiết từng câu hỏi. Kết quả kiểm tra thu được lưu trong file excel với mỗi đề thi, kết quả thử nghiệm được lưu theo định dạng sau.

Bảng 2.6. Mẫu lưu kết quả câu hỏi thi

STT

Câu 1	Câu 2	Câu 3	…	Câu 49	Câu 50
ĐA	B	A	D	A	C	B
Hs.1	B	A	B	A	D	A
Hs.2	C	B	C	B	A	D
Hs.3	B	C	C	D	A	D
…
Hs.N	A	D	D	A	C	B
Hs.(N+1)	B	D	A	B	C	D

Cột 1. Là số thứ tự tương ứng của TS được kiểm tra. Dòng 2 lưu đáp án của đề thi. Từ dòng 3 trở đi là số thứ tự tương ứng với số báo danh của TS.

Từ cột 2 – 51 là tương ứng với 50 câu hỏi thi tương ứng bảng đặc tả kiến thức của từng câu theo phụ lục 4.

Trong tất cả các đề thử nghiệm câu n luôn tương đương nhau về mặt kiến thức, kĩ năng.

3.1. Giới thiệu

CHƯƠNG 3

KẾT QUẢ NGHIÊN CỨU

Ứng dụng lý thuyết vào IRT vào xây dựng phân tích câu hỏi thi, đề thi là một vấn đề không đơn giản. Những năm 70, dù cơ sở lý thuyết về IRT đã tương đối hoàn thiện nhưng việc ứng dụng IRT vào IRT gặp khó khăn bởi các tính toán phức tạp. Thời gian gần đây, cùng với việc phát triển của công nghệ thông tin, các phần mềm chuyên dụng giúp cho việc ước lượng tham số câu hỏi thi, định chuẩn đề thi, so bằng đề thi, cũng như phân tích câu hỏi thi nhị phân, đa phân và đa chiều đồng thời ước lượng chính xác năng lực của thí sinh trở nên phổ biến hơn. Các phần mềm về IRT có thể kể ra như BILOG, MULTILOG, WINSTEPS, IRTPRO, MPLUS,

QUEST, CONQUEST và HLM. Phần lớn chúng là các phần mềm thương mại đắt tiền và không dễ sử dụng. Dù vậy một số gói IRT đã được phát triển trong phần mềm mã nguồn mở R để ước tính các mô hình IRT khác nhau cũng xuất hiện và đã được đón nhận như TAM. Bao gồm các gói ltm cho IRT không giới hạn ((Rizopoulos, 2006), eRm cho các mô hình Rasch mở rộng (Mair & Hatzinger, 2007), mlirt cho đánh giá đa cấp và Bayesian của một số mô hình IRT (Fox, 2007), gpcm (Johnson, 2007) cho một dự toán Bayesian của mô hình tín dụng một phần tổng quát, MCMCpack cho Bayesian

Trong luận văn này tác giả sử dụng phần mềm Conquest, đây là phần mềm do nhóm tác giả Margaret L.Wu, Raymond J.Adams, Mar R.Wilson, Samuel A.Haldane ở Australian Council for Educational Research phát triển. Đây là một phần mềm rất mạnh với nhiều tính năng và hướng dẫn chi tiết cụ thể. Tuy nhiên bản phần mềm tác giả nhận được dùng để phần tích là bản phần mềm sử dụng dòng lệnh để viết lệnh điều khiển (command), không có giao diện trực quan để thao tác như đa số các phần mềm thương mại khác. Điều này cũng là một cản trở trong việc phổ cập IRT vào cộng đồng. Bởi các khái niệm, các tham số trong IRT của IRT đã quá phức

tạp. Nên việc sử dụng Conquest phân tích các tham số đề thi mất khá nhiều thời gian.

3.2. Phân tích tham số câu hỏi thi

Quá trình biên soạn câu hỏi thi, ta xây dựng được 4 đề thi thử nghiệm, cùng một hệ thống các câu hỏi thi tương đương theo mô tả ở bảng 2.3 . Kết quả thử nghiệm được lưu vào các file excel rồi từ đó chuyển dữ liệu theo định dạng trong file chạy (Ex1.cqc) để lưu vào file Ex1.dat. Ta sử dựng dữ liệu thô đó để phân tích các câu hỏi thử nghiệm và đề thi thử nghiệm bẳng phần mềm ConQuest.

Các file: Ex1.dat, Ex1.cqc,. ex1.lab

Phân tích đề thi 01. Với mẫu thu được các file: ex1.int, ex1.shw.

Đề Toán: Có 4 đề Toán, mỗi đề có 50 câu hỏi (CH) và một đề tự luận ngắn gồm 25 câu hỏi với thành phần CH, bao gồm được soạn từ 7 chủ đề của môn toán lớp 12 ( Ứng dụng đạo hàm, hàm số mũ và logarit, Nguyên hàm, tích phân và ứng dụng, Số phức, Khối đa diện, Khối tròn xoay và Hình giải tích trong không gian) theo tỷ lệ các câu hỏi, mức đó khó trong bảng ma trận đặc trưng của đề thi. Vì vấn đề chọn mẫu vào cuối năm học 2016 – 2017. Bộ giáo dục đã thay đổi hình thức thì từ tự luận sang trắc nghiệm, nên quá trình lấy mẫu các câu hỏi tự luận đã không đạt kết quả tốt. Do vậy mẫu tự luận phải loại bỏ (do học sinh không làm hết khả năng, không nghiêm túc khi làm bài). Với các câu hỏi nhị phân (0-1) - dichotomous đã lựa chọn ta cũng có thể tái tạo được dữ liệu đa phân – polytomous. Tuy nhiên việc tái tạo này không cần thiết, vì mục đích của chúng ta ở đây là tập chung phân các tham số của từng câu hỏi trong từng đề thi, để từ có đánh giá chất lượng thực tế của câu hỏi trên mẫu đã triển khai (vì vậy mẫu lựa chọn không tốt, độ giá trị của câu hỏi không có). Tiếp theo ta minh họa chi tiết cách phân tích các tham số đặc trưng của các câu hỏi trong đề 1 (các đề khác ta làm tương tự).

Khi chạy chương Conquest, nó sẽ sinh ra các file kết quả trong đó file *.int để lấy số liệu phân tích câu hỏi theo CTT, ngược lại file *. Shw dùng số liệu để phân tích câu hỏi theo IRT.

3.2.1. Phân tích câu hỏi thi bằng CTT

Để phân tích một đề thi theo lý thuyết đánh giá cổ điển ta cần quan tâm đến các tham số sau: Độ khó của câu hỏi thi, Các khả năng nhầm đáp án, Chất lượng của các phương án sai (mồi nhử), Độ phân biệt của câu hỏi thi, Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài, Độ tin cậy của đề thi

Như ta đã biết với các câu hỏi : 1, 2, 3, …, 50 ta cần thống kê lại các tham số như bảng vẽ .

Bảng 3.1 Độ khó P của một câu hỏi trắc nghiệm số 1.

Phương án trả lời

A	B	C	D*	Bỏ sót	Tổng
Số lượng	7	2	18	24	0	51
Độ khó P (%)	13.73	3.92	35.29	47.06

Ghi chú: * ký hiệu phương án trả lời đúng.

Ta sẽ xem thông số của từng câu hỏi.

item:1 (CAU_01)

Cases for this item 51 Discrimination 0.36

Item Threshold(s): -1.13 Weighted MNSQ 0.97

Item Delta(s): -1.13

------------------------------------------------------------------------------

Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1

------------------------------------------------------------------------------

0.00	7	13.73	-0.23	-1.69(.098) -1.49	0.21
B	0.00	2	3.92	0.12	0.81(.422) -1.10	0.18
C	0.00	18	35.29	-0.26	-1.88(.067) -1.35	0.34
D	1.00	24	47.06	0.36	2.74(.008) -1.12	0.41

===========================================================

Với câu hỏi 1. Độ khó : p = 47,06%, Độ phân biệt D =0.36

Tương tự với các câu hỏi khác ta cũng thống kê lại các tham số đặc trưng của câu hỏi để từ đó quyết định loại bỏ, chỉnh sửa hay cập nhật một câu hỏi nào đó vào ngân hàng đề thi. Tuy nhiên việc định chuẩn, so bằng giữa các câu hỏi thi, các đề thi thường gặp khó khăn, vì không có cơ sở logic để so bằng giữa các đề tương đương.

3.2.2. Phân tích câu hỏi thi bằng lý thuyết khảo thí hiện đại

Việc phân tích câu hỏi thi bằng lý thuyết đánh giá hiện đại cũng có thể đưa ra những thông tin thống kê để phân tích câu hỏi thi bằng lý thuyết đánh giá cổ điển. Tuy nhiên, việc phân tích câu hỏi thi bằng lý thuyết đánh giá hiện đại (sử dụng phần mềm CONQUEST và các phần mềm chuyên dụng khác) còn có thể giúp có được những thông tin dưới đây:

a) Sự phù hợp của câu hỏi thi

Sự phù hợp của các câu hỏi thi thể hiện các câu hỏi thi cùng đo một đại lượng có tên gọi là INFIT MNSQ, nằm trong khoảng 0.70 đến 1.30 theo [5]. Nếu có một câu hỏi nào có INFIT MNSQ nằm ngoài khoảng trên cần bị loại bỏ. Xem ví dụ minh hoạ:

Bảng 3.2 Bảng tham số các hỏi thi về mức độ phù hợp

------------------------------------------------------------------------------------------ VARIABLES UNWEIGHTED FIT WEIGHTED FIT

--------------- ----------------------- -----------------------

item ESTIMATE ERROR^ MNSQ CI T MNSQ CI T

------------------------------------------------------------------------------------------

CAU_01	-0.179	0.242	1.09 ( 0.61, 1.39) 0.5	1.09 ( 0.66, 1.34) 0.6
2	CAU_02	-2.053	0.297	1.01 ( 0.61, 1.39) 0.1	0.97 ( 0.03, 1.97) 0.1
3	CAU_03	-1.461	0.279	0.87 ( 0.61, 1.39) -0.6	0.93 ( 0.31, 1.69) -0.1
4	CAU_04	-2.045	0.297	0.35 ( 0.61, 1.39) -4.4	0.84 ( 0.04, 1.96) -0.2
5	CAU_05	0.789	0.229	0.95 ( 0.60, 1.40) -0.2	0.97 ( 0.78, 1.22) -0.3
6	CAU_06	-0.175	0.242	0.90 ( 0.61, 1.39) -0.5	0.97 ( 0.66, 1.34) -0.1
7	CAU_07	-0.425	0.248	1.03 ( 0.61, 1.39) 0.2	1.00 ( 0.61, 1.39) 0.0
8	CAU_08	1.699	0.231	1.32 ( 0.61, 1.39) 1.5	1.21 ( 0.78, 1.22) 1.8
9	CAU_09	0.268	0.234	1.35 ( 0.61, 1.39) 1.6	1.33 ( 0.73, 1.27) 2.2
10	CAU_10	0.470	0.231	0.98 ( 0.61, 1.39) -0.1	1.01 ( 0.75, 1.25) 0.1
11	CAU_11	1.612	0.233	1.50 ( 0.60, 1.40) 2.2	1.17 ( 0.78, 1.22) 1.4
12	CAU_12	-2.031	0.296	0.99 ( 0.61, 1.39) 0.0	1.01 ( 0.04, 1.96) 0.2
13	CAU_13	0.665	0.229	1.21 ( 0.61, 1.39) 1.0	1.16 ( 0.77, 1.23) 1.3
14	CAU_14	0.270	0.234	0.88 ( 0.61, 1.39) -0.5	0.92 ( 0.73, 1.27) -0.6
15	CAU_15	-2.027	0.296	0.94 ( 0.61, 1.39) -0.2	1.00 ( 0.05, 1.95) 0.2