Các Đường Cong Đtch Hai Tham Số Với Các Giá Trị A Khác Nhau (B= 0)

Biểu thức (4) chính là hàm đặc trưng của mô hình ứng đáp CH 1 tham số, hay còn gọi là mô hình Rasch, có thể biểu diễn bằng đồ thị dưới đây (khi cho b = 0)

Tuy nhiên, như đã biết, trong CTT, người ta còn sử dụng một tham số quan trọng thứ hai đặc trưng cho CH là độ phân biệt, từ đó nhiều nhà nghiên cứu mong muốn đưa đặc trưng đó vào mô hình đường cong ĐTCH. Các mô hình 1, 2, 3 tham số lần lượt được giới thiệu sau đây được viết khá kĩ và dễ hiểu trong [3, tr. 92 – 99]. Ta có thể đưa thêm tham số a liên quan đến đặc trưng phân biệt của CH vào hệ số ở số

eab

mũ của hàm e, kết quả sẽ có biểu thức: P() 

1 eab

(5)

Hình 1.2 Các đường cong ĐTCH hai tham số với các giá trị a khác nhau (b= 0)

Có thể bạn quan tâm!

Xem toàn bộ 137 trang tài liệu này.

Hàm đáp ứng năng lực của CH (5) chính là hàm ĐTCH 2 tham số. Hệ số a biểu diễn độ dốc của đường cong ĐTCH tại điểm có hoành độ θ= b và tung độ P(θ) = 0,5. Hàm ĐTCH 2 tham số trình bày trên đây và hàm ĐTCH 1 tham số theo mô hình Rasch có cùng dạng thức, chỉ khác nhau ở giá trị tham số a (đối với mô hình 1 tham số a=1). Hình 1.2 biểu diễn các đường cong ĐTCH theo mô hình 2 tham số với b=0, và a lần lượt bằng 0,5; 1,0; 1,5; 2,0; 3,0 nên độ dốc của các đường cong ở đoạn giữa tăng dần. Có thể thấy rằng tung độ tiệm cận trái của các đường cong ĐTCH 1 và 2 tham số đều có giá trị bằng 0, điều đó có nghĩa là nếu TS có năng lực rất thấp, tức là Θ → 0 và θ = ln Θ → -∞, thì xác suất P(θ) trả lời đúng CH cũng bằng 0. Tuy nhiên, trong thực tế triển khai trắc nghiệm, chúng ta đều biết có khi năng lực của TS rất thấp nhưng do đoán mò hoặc trả lời hú hoạ một CH nên TS vẫn có một khả năng nào đó trả lời đúng

CH. Trong trường hợp đã nêu thì tung độ tiệm cận trái của đường cong không phải bằng 0 mà bằng một giá trị xác định c nào đó, với 0 < c < 1. Từ thực tế nêu trên, người ta có thể đưa thêm tham số c phản ánh hiện tượng đoán mò vào hàm ứng đáp CH để tung độ tiệm cận trái của đường cong khác 0. Kết quả sẽ thu được

eab

P() c  (1c)

1 eab

(6)

Hình 1.3. Các đường cong ĐTCH 3 tham số với a = 2, c = 0,1 và 0,2.

Hàm đáp ứng năng lực của CH (6) chính là hàm ĐTCH 3 tham số. Rõ ràng khi θ → -∞, hàm P(θ)→ c. Trong trường hợp hàm ĐTCH 3 tham số khi θ = b sẽ có P(θ) = (1+c)/2. Chúng ta đã chọn mô hình một tham số, mô hình Rasch, làm mô hình trình bày đầu tiên trong các mô hình đường cong ĐTCH vì mô hình này đơn giản nhất và phản ánh tường minh nhất mối quan hệ giữa TS và CH, sau đó chúng ta đã làm quen, mở rộng với mô hình hai, ba tham số. Đã có rất nhiều các nghiên cứu so sánh chất lượng đánh giá câu hỏi thi ở các mô hình 1, 2, 3 tham số. Nhưng mô hình một tham số vẫn được dùng phổ biến bởi tính đơn giản của nó. Tuy nhiên, như đã nói trên đây, trong tiến trình lịch sử hình thành IRT, không phải mô hình Rasch xuất hiện trước các mô hình khác. Nhà toán học và tâm lý học người Đan Mạch, George Rasch, đã có ý tưởng xây dựng "một mô hình cấu trúc cho các CH trong một đề trắc nghiệm" từ thập niên 1950, đề xuất mô hình xác suất logistic đó từ 1953, nhưng ở Mỹ, người ta biết đến công trình của ông từ khi ông công bố chính thức trong một cuốn sách xuất bản năm 1960 [12]. Động cơ của Rasch muốn thể hiện qua mô hình của mình là hạn chế

việc dựa vào tổng thể TS khi phân tích các đề trắc nghiệm (ĐTN). Theo ông, phân tích

trắc nghiệm chỉ đáng giá khi dựa vào từng cá nhân TS, với các thuộc tính của TS và CH được tách riêng. Quan điểm của Rasch đã đánh dấu sự chuyển tiếp từ CTT, dựa trên tổng thể với việc nhấn mạnh đến biện pháp tiêu chuẩn hoá và ngẫu nhiên hoá, sang IRT với mô hình xác suất tương tác giữa một TS và một CH. Sự tồn tại của các số liệu thống kê đầy đủ của các tham số của CH trong mô hình Rasch có thể được sử dụng vào việc điều chỉnh ước lượng các tham số năng lực theo một cách thức đặc biệt. Để chi tiết hơn ta có thể tham khảo các tài liệu [Wikipedia], [3].

Theo [3], một trong những ưu điểm lớn của mô hình Rasch là tách biệt được năng lực của TS và đặc trưng của CH (độ khó) trong phép đo lường. Thật vậy, nếu có hai TS có năng lực θ1 và θ2 cùng ứng đáp một CH thì từ biểu thức (3) có thể thu được ln (O1/O2) = (θ1 – θ2), tức là có thể xác định các năng lực của TS không phụ thuộc độ khó CH. Vì tính đối xứng của biểu thức, cũng dễ thấy rằng, ngược lại, có thể xác định các độ khó của CH không phụ thuộc năng lực TS. Chính vì tính chất cơ bản này nên có thể đặt năng lực của các TS và độ khó của các CH trên cùng một thang đo để so sánh chúng với nhau. Tuy nhiên, một số nhà nghiên cứu khác cho rằng về lý thuyết thì dạng toán học của mô hình Rasch có nhiều lợi thế, nhưng khi nói đến mô hình toán học, tức là nói đến một sự giả định, tiêu chuẩn để đánh giá hiệu quả của mô hình là sự phù hợp của chúng với số liệu thực nghiệm chứ không chỉ thuần túy ở dạng toán học. Người ta thường gọi quan điểm của Wright là quan điểm "dựa trên mô hình" (model– based), còn quan điểm ngược lại là quan điểm "dựa trên dữ liệu" (data–based).[3, tr. 98 – 99].

1.3.3. Điểm thực và đường cong đặc trưng đề trắc nghiệm

Đây là một khái niệm hoàn toàn mới, bởi trước đây chúng ta thường quen thuộc với các điểm thô, điểm Z, điểm bách phân. Chúng chỉ phản ánh các con số khô khan mang tính định danh và thứ tự mà chưa phản ảnh rõ “tính chất” của đối tượng cần đo. Trong các phép đo lường, để xác định chính xác giá trị được đo và sai số của một phép đo người ta thường thực hiện phép đo đó nhiều lần. Trong trắc nghiệm, thực tế không làm được như vậy, nhưng có thể quy ước định nghĩa về điểm trung bình của một TS qua hàng loạt phép đo bằng một ĐTN. Điểm quan sát X của một ĐTN qua hàng loạt phép đo được xem là một biến ngẫu nhiên với một phân bố tần suất nào đó thường là

không biết. Giá trị trung bình của phân bố đó được gọi là điểm thực τ của TS, có quan hệ như sau với các điểm quan sát X và sai số ε: ε = X – τ. (7)

Theo [3, tr. 117 – 128], trong CTT, điểm thực được định nghĩa trên đây là một sự trừu tượng toán học, không có quy trình nào để xác định. Cũng do đó, sai số của phép đo ε là một đại lượng có tính chất trung bình đối với toàn bộ dải năng lực của TS. Tuy nhiên trong IRT, có thể chứng minh được rằng điểm thực được xác định bởi một

ĐTN gồm n CH có thể tính theo biểu thức sau đây: 

P(j )

j1

(8)

Tức là: điểm thực của một TS có năng lực θ là tổng của các xác suất trả lời đúng của mọi CH của ĐTN tại giá trị θ. Như vậy, đối với mọi giá trị θ, nếu chúng ta tiến hành cộng tất cả mọi đường cong ĐTCH trong ĐTN, sẽ thu được đường cong đặc trưng của ĐTN, hoặc cũng gọi là đường cong điểm thực. Đường cong đặc trưng của ĐTN là quan hệ hàm số giữa điểm thực và thang năng lực: cho trước một mức năng lực bất kì có thể tìm điểm thực tương ứng qua đường cong đặc trưng ĐTN.

Hình 1.4. Đường cong đặc trưng của ĐTN gồm 5 CH và 5 đường cong ĐTCH tương ứng.

Minh họa trên Hình 1.4 cho thấy một đường cong đặc trưng ĐTN thu được bằng cách cộng 5 đường cong ĐTCH. Vì là chồng chất của các đường cong ĐTCH nên đường cong đặc trưng ĐTN cũng có dạng một hàm đồng biến. Tiệm cận phải của đường cong khi θ → +∞ bằng điểm thực tối đa, n, tức là bằng tổng số CH trong ĐTN. Tung độ tiệm cận trái của đường cong khi θ tiến đến θ → -∞ bằng 0 đối với các mô hình 1 và 2 tham số, và bằng giá trị tổng cộng các tham số đoán mò Σcj của toàn

bộ n CH trong ĐTN đối với mô hình 3 tham số. Độ nghiêng của phần giữa đường cong

đặc trưng ĐTN liên quan đến độ phân biệt của ĐTN. Mức năng lực ứng với trung điểm của thang điểm thực (n/2) xác định vị trí của ĐTN trên thang năng lực. Hoành độ của điểm đó xác định độ khó của ĐTN. Hai yếu tố độ dốc và mức năng lực ở trung điểm thang điểm thực mô tả khá rõ đặc tính của một ĐTN.

Một điều khá lý thú là, khi biết năng lực θ của một TS, nhờ đường cong điểm thực của một ĐTN cụ thể có thể xác định được điểm thực của TS thu được từ ĐTN đó mà TS không cần phải làm ĐTN. Từ đó có thể tiên đoán điểm thực của TS hoặc tình trạng TS đạt hay không đạt điểm cần thiết đối với một ĐTN mới.

1.3.4. Hàm thông tin của câu hỏi và của đề trắc nghiệm

Để đánh giá chất lượng các đề thi và so sánh định chuẩn các đề thi, người ta cần xây dựng các tham số phản ánh tính chất nội tại của đề thi. Theo [3, tr. 129 – 136] mỗi một CH trắc nghiệm cung cấp một lượng thông tin nào đó về năng lực cần đo của các TS. Birnbaum A. đã đề xuất biểu thức hàm hàm thông tin của CH (item information

[P' ()]2

function) được biểu diễn như sau:

Ii () i

Pi ()Qi ()

(9)

Trong đó Ii(θ) là thông tin cung cấp bởi CH thứ i ở mức năng lực θ, Qi(θ)=1- Pi(θ), P'i(θ)là đạo hàm của Pi(θ) theo θ. Từ biểu thức (9) có thể suy ra các biểu thức hàm thông tin tương ứng với các mô hình ứng đáp CH khác nhau. Đối với mô hình

2 (P () c )2 Q ()

tổng quát 3 tham số, ta có:

Ii () ai

i i i

(10)

(1 c )2 P ()

i i

Vì tính độc lập địa phương của các CH trắc nghiệm, 'hàm thông tin của ĐTN (Test information Function) là tổng các hàm thông tin của các CH có trong ĐTN:

I () Ii() (11)

i1

Hình 1.5. Đồ thị các hàm thông tin của các CH trắc nghiệm và của ĐTN do các CH đó hợp thành

Ở Hình 1.5 đường cong nét đậm biểu diễn hàm thông tin của ĐTN, còn các đường cong nét nhạt là các hàm thông tin của các CH trắc nghiệm. Mức thông tin chung của ĐTN cao hơn nhiều so với mức thông tin của từng CH riêng rẽ, tức là một ĐTN sẽ đo năng lực chính xác hơn nhiều so với chỉ một CH trắc nghiệm. Từ định nghĩa hàm thông tin theo công thức (11) có thể thấy rõ: ĐTN càng có nhiều CH thì giá trị của hàm thông tin càng cao, tức là một ĐTN dài thường đo năng lực chính xác hơn một ĐTN ngắn. Tùy theo tính chất của các CH tạo nên ĐTN mà hàm thông tin sẽ có giá trị lớn (tức là đo chính xác) ở các khoảng năng lực xác định nào đó và giá trị bé (tức là đo kém chính xác) ở các khoảng năng lực khác. Do những đặc điểm nêu trên, hàm thông tin là một công cụ cực kì quan trọng của IRT, nó giúp thiết kế các ĐTN cho các phép đo theo các mục tiêu xác định. Hàm thông tin lý tưởng của một ĐTN là một đường nằm ngang, tức là phép đo có độ chính xác như nhau ở mọi khoảng năng lực. Tuy nhiên, một ĐTN như vậy có thể không phải là tốt nhất đối với các mục tiêu cụ thể. Chẳng hạn, nếu muốn thiết kế một ĐTN để cấp học bổng, cần một ĐTN đo rất chính xác trong một khoảng hẹp ở mức năng lực là ranh giới giữa những TS được và không được học bổng, tức là hàm thông tin có đỉnh cực đại ở điểm cắt (cut–off score), vì rằng một sai số lớn trong phép đo ở khoảng năng lực này có thể chuyển một TS từ loại được sang loại không được học bổng hoặc ngược lại.

Sai số tiêu chuẩn của ĐTN: Sai số tiêu chuẩn của việc ước lượng năng lực ở vị

Ii ()

trí θ bằng: () 1

(12)

Biểu thức (12) cho thấy hai đường cong hàm thông tin và sai số tiêu chuẩn của một ĐTN có hình dạng gần như đối xứng với nhau qua một đường nằm ngang. Sự phụ thuộc của sai số tiêu chuẩn Ϭ vào năng lực θ có một ý nghĩa quan trọng, chỉ rõ một trong những khác biệt giữa CTT và IRT. Biểu thức (7) cho thấy trong CTT sai số ε của phép đo là một đại lượng không đổi chung cho ĐTN đối với mọi TS có năng lực khác nhau. Trong khi đó, đối với IRT, sai số của phép đo bằng ĐTN thay đổi theo các mức năng lực. Đây cũng là một biểu hiện của việc "cá thể hoá" phép đo lường của IRT mà chúng ta đã đề cập khi bàn về mô hình Rasch trên đây.

Sai số tiêu chuẩn Ϭ(θ) của việc ước lượng năng lực θ là độ lệch tiêu chuẩn của phân bố gần chuẩn khi ước lượng giá trị năng lực theo biến cố hợp lý cực đại ở một giá trị năng lực θ nào đó. Phân bố sẽ tiến đến dạng chuẩn khi ĐTN đủ dài. Tuy nhiên, nhiều nghiên cứu cho thấy rằng thậm chí các ĐTN ngắn cỡ 10 – 20 CH, sự phân bố gần chuẩn cũng thoả mãn đối với một số mục đích.

Biên độ của hàm sai số tiêu chuẩn nói chung phụ thuộc vào: (1) số CH trong ĐTN (số CH càng lớn sai số tiêu chuẩn càng bé); (2) chất lượng các CH của ĐTN (nói chung các CH càng có độ phân biệt cao và khả năng đoán mò thấp sẽ tạo sai số tiêu chuẩn bé); (3) độ khó CH gần với giá trị năng lực được đo (tức là ĐTN không quá khó và không quá dễ). Việc tăng số CH trong ĐTN hoặc chọn các CH với giá trị hàm thông tin lớn sẽ làm tăng giá trị thông tin của ĐTN và giảm sai số tiêu chuẩn; tuy nhiên khi hàm thông tin vượt quá một giá trị nào đó thì sai số tiêu chuẩn sẽ trở nên ổn định và sự tăng tiếp tục của hàm thông tin sẽ có tác động không lớn lên giá trị của sai số tiêu chuẩn.

Áp dụng hàm thông tin vào việc khảo sát và thiết kế ĐTN: Hàm thông tin của ĐTN có một số ứng dụng quan trọng. Trước hết, qua hàm thông tin có thể biết mức độ chính xác của phép đo bằng ĐTN: Giá trị hàm thông tin càng lớn ở khoảng năng lực nào thì độ chính xác của phép đo ở khoảng năng lực đó càng cao, và ngược lại. Một ứng dụng khác rất quan trọng của hàm thông tin là giúp thiết kế các ĐTN có mức

tương đương cao. Theo IRT, các ĐTN tương đương phải thoả mãn hai điều kiện: (1) điều kiện về nội dung và mục tiêu, thể hiện ở sự trùng hợp của các ma trận đặc trưng ĐTN (số lượng câu hỏi trong các ô ứng với nội dung và mục tiêu học tập cụ thể phải trùng nhau); (2) điều kiện về thống kê: các đường cong hàm thông tin của các ĐTN phải trùng khớp nhau trong một phạm vi sai số chấp nhận nào đó.

1.3.5. Ước lượng năng lực thí sinh và tham số câu hỏi

Như đã biết, các mô hình IRT xét mối tương tác của một TS có năng lực θ với một CH có các tham số a, b, c. Tuy nhiên, trong hoạt động đánh giá thực tế, cái mà chúng ta có thể thu được trực tiếp từ số liệu kiểm tra là việc trả lời các CH của các TS qua bài trắc nghiệm. Từ các số liệu thu được trực tiếp đó làm sao xác định các tham số a, b, c' của các CH và năng lực θ của các TS? Đó là bài toán cơ bản và quan trọng nhất của IRT, vì năng lực của TS là cái cuối cùng mà ta muốn biết, còn các tham số của CH là cần thiết để chúng ta có thể sử dụng các CH nhằm thiết kế các công cụ thích hợp để đo lường chính xác năng lực của TS. Bài toán quan trọng đó được giải quyết bằng các thuật toán ước lượng năng lực TS và tham số CH, việc tìm ra các thuật toán tốt nhất để giải bài toán này là một trong các mục tiêu quan trọng của IRT, và có thể nói quyết định thành công của việc áp dụng IRT vào thực tế hoạt động đánh giá. Tuy nhiên, muốn trình bày đầy đủ thuật toán đã nêu cần nhiều kiến thức về toán học và thống kê học. Bạn đọc muốn đi sâu vào những vấn đề đó có thể tìm hiểu sơ bộ ở [10] , và đầy đủ hơn trong [3].

1.3.6. So bằng và kết nối các đề trắc nghiệm

Theo IRT, về nguyên tắc, các tham số CH xác định được không phụ thuộc vào mẫu TS, và năng lực TS đo được không phụ thuộc vào ĐTN cụ thể. Tuy nhiên đó là các tính chất lý tưởng, chỉ tuyệt đối đúng trong cả tổng thể khảo sát khi số liệu thực tế hoàn toàn phù hợp với mô hình giả định, và các giả thiết khác về mô hình được tuân thủ. Thao tác đưa tham số của các CH cũng như năng lực TS về thang đo chung gọi là so bằng (equating). So bằng là yêu cầu rất quan trọng trong thực tiễn đánh giá. Chẳng hạn, có hai mẫu TS khác nhau được đánh giá bằng hai ĐTN khác nhau, năng lực của mỗi mẫu TS được một ĐTN đo lường và thu được một bộ điểm. Muốn hai bộ điểm của hai mẫu TS thu được từ hai ĐTN có thể so sánh được với nhau, người ta phải