Đánh Giá Độ Tin Cậy Và Độ Hiệu Lực Của Công Cụ Đo Lường

2.2.2. Mô hình lý thuyết nghiên cứu của đề tài

Trên cơ sở phân tích các khái niệm về tự học, các lý thuyết về năng lực, năng lực tự học đã trình bày ở phần cơ sở lý luận của nghiên cứu, đặc biệt là khái niệm, cấu trúc năng lực tự học của hai tác giả Trinh & Rijlaarsdam năm 2003 [14] và tác giả Lê Công Triêm [28], cũng như những phân tích các yếu tố ảnh hưởng đến năng lực tự học của tác giả Lê Đình [4] có thể thấy rằng, khi đề cập đến năng lực tự học của SV là đề cập đến nhận thức, thái độ và kĩ năng của sinh viên về vấn đề tự học và có 2 nhóm yếu tố ảnh hưởng đến năng lực tự học của sinh viên là nhóm các yếu tố bên trong (mục đích học, ngành học, giới tính, hoàn cảnh kinh tế) và nhóm các yếu tố bên ngoài (phương pháp giảng dạy của giảng viên, độ khó của môn học, điều kiện cơ sở vật chất của Trường và hoàn cảnh gia đình). Từ những cơ sở lý luận và căn cứ trên, tác giả đã khái quát khung lý thuyết nghiên cứu của đề tài biểu diễn qua sơ đồ 2.2.2.1:

Sơ đồ 2.2.2.1. Mô hình lý thuyết của đề tài

2.2.3. Thiết kế công cụ đo lường

Trên cơ sở nghiên cứu lý luận và thực tiễn các công trình nghiên cứu về năng lực tự học, tác giả tiến hành thiết kế và xây dựng phiếu khảo sát phục vụ cho việc nghiên cứu theo các bước chính sau:

- Xác định mục đích, phạm vi, nội dung của phiếu khảo sát:

Phiếu khảo sát được xây dựng với mục đích thu thập ý kiến của SV đang học năm thứ nhất đến năm thứ ba các ngành sư phạm học theo học chế tín chỉ tại Trường Đại học Sư phạm Đà Nẵng. Nội dung trọng tâm của phiếu khảo sát là lấy ý kiến của SV tự đánh giá về hoạt động tự học của bản thân.

- Thiết kế dự thảo phiếu khảo sát:

+ Dựa trên cơ sở lý luận, tham khảo các công trình nghiên cứu có liên quan đến đề tài, các câu hỏi được thiết kế dựa trên các yếu tố hình thành nên năng lực tự học của sinh viên về các mặt nhận thức, thái độ và các kĩ năng tự học.

+ Phiếu sơ thảo được thảo luận giữa tác giả với chuyên gia để phân tích kỹ về tính logic của cấu trúc phiếu, các nội dung của từng câu hỏi trong phiếu và số lượng các câu hỏi trong từng nhân tố.

+ Phiếu dự thảo được gửi tới 5 giảng viên trong khoa Tâm lý giáo dục của Trường và một nhóm SV để đánh giá về nội dung, mức độ rò ràng của các câu hỏi và hướng dẫn trả lời của phiếu.

+ Phân tích các ý kiến đóng góp của các giảng viên và SV, chỉnh lý lại các câu hỏi và tổng thể phiếu để hoàn thiện lần cuối phiếu khảo sát và định dạng lại hình thức phiếu khảo sát để đưa vào thử nghiệm.

- Nội dung phiếu khảo sát:

Phiếu khảo sát bao gồm 2 phần:

Phần I: Thông tin về đối tượng khảo sát.

Phần II: Nội dung khảo sát, phần này gồm 3 nội dung chính, trong đó nội dung 2 được xây dựng trên cơ sở sử dụng thang đo Likert với 5 mức độ.

Nội dung 1 về Nhận thức và thái độ của sinh viên đối với vấn đề tự học.

Nội dung 2 về khả năng tự học của sinh viên thông qua các kỹ năng tự học. Nội dung này gồm 8 tiêu chí nhỏ, mỗi tiêu chí bao gồm nhiều chỉ báo và thể hiện một kỹ năng tự học quan trọng.

Nội dung 3 về các yếu tố ảnh hưởng đến năng lực tự học của sinh viên (phương pháp giảng dạy của giảng viên, cơ sở vật chất, năng lực ngoại ngữ của sinh viên).

2.2.4. Đánh giá độ tin cậy và độ hiệu lực của công cụ đo lường

2.2.4.1. Điều tra thử nghiệm

Phiếu khảo sát sau khi hoàn thành sẽ được tiến hành khảo sát thử để đánh giá

chất lượng bộ công cụ và trên cơ sở đó điều chỉnh bộ công cụ (nếu cần thiết).

- Mẫu điều tra thử nghiệm:

Phiếu khảo sát được thử nghiệm trên mẫu 75 SV các khóa tuyển sinh 2012, 2011 và 2010 các ngành đại học sư phạm hệ chính quy đang học tại Trường. Phương pháp chọn mẫu là chọn mẫu ngẫu nhiên không theo tỷ lệ (mỗi khóa lấy ngẫu nhiên 25 SV).

- Quy trình khảo sát:

Tác giả đến các lớp được chọn điều tra để hướng dẫn về mục đích, ý nghĩa của việc khảo sát này và giải thích ý nghĩa của từng câu hỏi, từng nhân tố trong phiếu hỏi cho SV. Cho sinh viên trả lời các phiếu khảo sát trong 30 phút sau đó thu lại. Cụ thể, tổng số phiếu khảo sát phát ra là 75 phiếu, tổng số phiếu thu về là 75 phiếu.

- Phân tích số liệu điều tra:

Các phiếu khảo sát thu về từ đợt khảo sát thử nghiệm sẽ được sử dụng để đánh giá chất lượng của bộ công cụ đo lường. Việc đánh giá này được thực hiện qua 3 bước:

Bước 1: Xử lý thô các phiếu khảo sát thu thập được, số phiếu sau khi xử lý

đạt yêu cầu là 75 phiếu.

Bước 2: Mã hóa các thông tin và nhập số liệu vào phần mềm SPSS;

Bước 3: Phân tích số liệu: Sử dụng 2 phần mềm chuyên dụng trong phân tích xử lý số liệu khảo sát là SPSS và QUEST. Sử dụng phần mềm SPSS để xác định độ tin cậy của phiếu khảo sát và sự tương quan giữa các câu hỏi. Sử dụng phần mềm QUEST để khẳng định lại độ tin cậy của phiếu khảo sát và sự phù hợp giữa các câu hỏi trong cấu trúc của phiếu.

- Kết quả phân tích số liệu thử nghiệm:

Sử dụng Cronbach Alpha để kiểm tra độ tin cậy của các mục hỏi trong bảng hỏi để tìm ra các hệ số sau:

- Hệ số Cronbach Alpha: thang đo được chấp nhận khi hệ số Cronbach Alpha

đạt từ 0,6 trở lên (Nunnally, 1978; Peterson, 1994; Slater, 1995).

- Các biến quan sát có hệ số tương quan biến tổng (Corrected Item-Total Correlation) nhỏ hơn 0,3 sẽ bị loại (Nunnaly 1994).

- Các biến quan sát có hệ số Alpha nếu bỏ đi mục hỏi (Alpha if Item Deleted) lớn hơn hệ số Cronbach’s Alpha sẽ bị loại (Hoàng Trọng 2008) [29].

Trong nghiên cứu này, thang đo năng lực tự học của sinh viên bao gồm 11 câu (từ câu 1 đến câu 11 được thiết kế theo thang đo Likert với 5 mức độ); các câu hỏi khác (từ câu 12 đến câu 15) phục vụ cho đánh giá mức độ ảnh hưởng của các yếu tố bên trong và bên ngoài đến năng lực tự học của sinh viên. Do đó, việc phân tích chất lượng phiếu khảo sát bằng các phần mềm được thực hiện đối với 11 câu hỏi đầu tiên của phiếu khảo sát. Cụ thể, tác giả sử dụng phần mềm SPSS 16.0 để tính toán hệ số Cronbach Alpha cho toàn thang đo và giá trị Cronbach Alpha nếu như loại bỏ bớt một mục hỏi nào đó.

Kết quả phân tích cho thấy phiếu khảo sát (11 câu với 50 biến) có độ tin cậy Cronbach's Alpha = 0.890. Hệ số Cronbach's Alpha nếu loại bất kỳ một biến nào đó dao động trong khoảng từ 0.856 đến 0.896. Như vậy có thể thấy, trong số 50 biến tiến hành khảo sát có những biến không đóng góp độ tin cậy cho phiếu khảo sát.

Cần xem xét những biến nào không đóng góp vào độ tin cậy của thang đo để điều chỉnh hoặc loại bỏ ra khỏi phiếu khảo sát. Bảng phân tích Crobach Alpha (chi tiết tại phụ lục 2) cho thấy các biến 25, 29, 34 làm cho độ tin cậy của thang đo tăng

lên khi loại bỏ các biến này đi. Cụ thể là khi loại bỏ biến 25 độ tin cậy của thang đo sẽ là 0.905, loại bỏ biến 29 độ tin cậy của toàn thang đo sẽ là 0.897 và khi loại bỏ biến 34 sẽ làm độ tin cậy của toàn thang đo tăng lên là 0.895. Ba biến này không đóng góp gì cho độ tin cậy của thang đo nên cần loại bỏ ba biến này ra khỏi phiếu khảo sát. Kết quả phân tích Cronbach Alpha sau khi loại bỏ 3 biến này cho kết quả cronbach Alpha bằng 0.907. Như vậy, phiếu khảo sát có độ tin cậy cao.

Kiểm tra tương quan giữa tổng điểm của từng người và điểm của từng mục hỏi của phiếu khảo sát (sau khi đã loại bỏ 3 biến 25, 29, 34) cho thấy hệ số tương quan này dao động trong khoảng từ 0.311 đến 0.642.

Từ kết quả phân tích bằng phần mềm SPSS có thể thấy các câu hỏi trong phiếu khảo sát (đã loại bỏ 3 biến 25, 29, 34) có mối tương quan tốt, tất cả các câu hỏi đều đóng góp vào độ tin cậy của kết quả khảo sát và các câu hỏi cũng giúp phân biệt được những sinh viên có năng lực tự học tốt và những sinh viên có năng lực học tập yếu, kém.

Tác giả sử dụng phần mềm QUEST để phân tích chất lượng bộ công cụ khảo sát

nhằm khẳng định lại độ tin cậy của phiếu khảo sát.

Trong Tập bài giảng Môn hình Rasch và Phân tích dữ liệu bằng phần mềm QUEST năm 2011 (trang số 43 và 44) của Tiến sĩ Phạm Xuân Thanh chỉ rò để dữ liệu phù hợp với mô hình RASCH thì khi phân tích dữ liệu bằng phần mềm QUEST giá trị mean trong Summary of item Estimates phải bằng hoặc gần bằng 0,00, giá trị SD phải bằng hoặc gần bằng 1,00. Giá trị mean trong Fit Statistics phải bằng hoặc gần bằng 1 và SD phải bằng hoặc xấp xỉ bằng 0 [22].

Kết quả phân tích bằng phần mềm QUEST đối với dữ liệu thu được qua đợt khảo sát thử nghiệm bằng phiếu khảo sát cho thấy giá trị mean trong Summary of item Estimates là 0,00, giá trị SD bằng 0,92 và giá trị mean trong Infit Mean Square đạt 1,00 và mean trong Outfit Mean Square 1,01. Độ tin cậy Reability of estimates bằng 0,94. Với kết quả này có thể kết luận dữ liệu khảo sát phù hợp với mô hình Rasch.

Bảng 2.2.4.1.1. Kết quả phân tích chất lượng phiếu khảo sát bằng phần mềm QUEST.

Summary of item Estimates

=========================

Mean .00

SD .92

SD (adjusted) .91

Reliability of estimate .94

Fit Statistics

===============

Infit Mean Square Outfit Mean Square

Mean 1.00

Mean	1.01
SD .14	SD	.19

Có thể bạn quan tâm!

Xem toàn bộ 137 trang tài liệu này.

Summary of case Estimates

=========================


Mean	-.41
SD	.93
SD (adjusted)	.92
Reliability of estimate	.92

Fit Statistics

===============

Infit Mean Square Outfit Mean Square

Mean

1.05	Mean	1.02
SD	.39	SD	.43

Infit t Outfit t

Mean

.08	Mean	-.06
SD	1.75	SD	1.51

Kiểm tra mức độ phù hợp của từng câu hỏi với nhau. Các câu hỏi nằm trong khoảng đồng bộ cho phép từ 0,77 đến 1,30 thì được giữ lại để tiến hành điều tra cho đợt khảo sát chính thức, những câu hỏi nào nằm ra ngoài khoảng đồng bộ này thì cần phải sửa chữa lại hoặc loại bỏ ra khỏi phiếu khảo sát.

Kết quả phân tích cho thấy các câu hỏi có mối tương quan tốt, nhưng đã phát hiện ra 3 biến ngoại lai nằm ra khỏi khoảng đồng bộ cho phép đó là biến “25, 29, 34”. Ba biến này cũng chính là ba item làm giảm độ tin cậy của thang đo khi phân tích bằng phần mềm SPSS. Bản đồ “Map” do phần mềm QUEST tạo ra cho phép xem xét kết quả một cách nhanh chóng.

PHAN TICH PHIEU KHAO SAT TEST LVTA

--------------------------------------------------------------------------------------------------------------------------

Item Fit 13/ 2/13 18:42

all on PTICHTEST (N = 75 L = 50 Probability Level= .50)

-------------------------------------------------------------------------------------------------------------------------- INFIT

MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50

----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+-

1 item 1 . * | .

2 item 2 . * | .

3 item 3 . | * .

4 item 4 . * | .

5 item 5 . *| .

6 item 6 . | * .

7 item 7 . * | .

8 item 8 . * | .

9 item 9 . * | .

10 item 10 . * | .

11 item 11 . * | .

12 item 12 . * | .

13 item 13 . | * .

14 item 14 . * | .

15 item 15 . | * .

16 item 16 . * | .

17 item 17 . * | .

18 item 18 . * | .

19 item 19 . * | .

20 item 20 . * | .

21 item 21 . | * .

22 item 22 . |* .

23 item 23 . | * .

24 item 24 . | * .

25 item 25 * . | .

26 item 26 . * | .

27 item 27 . | * .

28 item 28 . | * .

29 item 29 . | . *

30 item 30 . * | .

31 item 31 . | * .

32 item 32 . * | .

33 item 33 . * | .

34 item 34 . | . *

35 item 35 . | * .

36 item 36 . * | .

37 item 37 . | * .

38 item 38 . * | .

39 item 39 . * | .

40 item 40 . * | .

41 item 41 . * | .

42 item 42 . * | .

43 item 43 . | * .

44 item 44 . * | .

45 item 45 . | * .

46 item 46 . * | .

47 item 47 . * | .

48 item 48 . * | .

49 item 49 . * | .

50 item 50 . * | .

==========================================================================================================================

Hình 2.2.4.1.1. Bản đồ thể hiện mức độ phù hợp của các câu hỏi

Cần xem xét lại ba câu hỏi này, tìm ra lý do mà các câu hỏi này nằm trong khoảng đồng bộ cho phép từ đó có ra quyết định điều chỉnh hay loại bỏ những câu hỏi này ra khỏi phiếu điều tra.

Biến 25: “Đặt câu hỏi cho giáo viên ngay khi phát hiện vấn đề trong bài giảng” (Kĩ năng nghe giảng)

Biến 29: “Ghi vào một vở riêng” (Kĩ năng ghi bài giảng)

Biến 34: “Bảo vệ đến cùng ý kiến của mình” (Kĩ năng làm việc nhóm) Có thể giải thích lý do 3 item này nằm ngoài khoảng đồng bộ cho phép như sau:

Đối với biến 25: Biến này không đồng nhất khía cạnh đánh giá về kĩ năng nghe giảng với các biến còn lại trong câu hỏi số 6. Trong khi 4 biến còn lại trong thang đo này tập trung vào nội dung cần phải chú ý khi nghe giảng, thì biến 25 lại đề cập đến việc SV đặt câu hỏi cho GV khi phát hiện vấn đề.

Đối với biến 29: Biến này không đồng nhất khía cạnh đánh giá về kĩ năng ghi bài giảng với 04 biến còn lại trong câu hỏi số 7. Trong khi 4 biến còn lại trong thang đo này tập trung vào nội dung cần phải ghi, thì biến 25 lại đề cập đến công cụ mà SV dùng để ghi bài.

Đối với biến 34: Biến này không đồng nhất khía cạnh đánh giá về kĩ năng làm việc nhóm với 05 biến còn lại trong câu hỏi số 8. Trong khi 5 biến còn lại trong thang đo này đều thể hiện các hành vi tích cực trong kĩ năng làm việc nhóm thì biến này lại đưa ra một hành vi tiêu cực trái với các biến còn lại trong nhóm.

Trên cơ sở những phân tích này, tác giả quyết định loại bỏ 3 biến này ra khỏi phiếu khảo sát. Phiếu khảo sát chuyển từ 50 biến xuống còn 47 biến. Chạy lại chương trình Quest để đánh giá mức độ phù hợp của các câu hỏi sau khi đã loại bỏ 3 biến (25, 29, 34). Kết quả chạy lại phần mềm QUEST như sau: