N | L | R | A | V | I | E | |
Tổng sai số | 21 | 14 | 7 | 16 | 8 | 3 | 1 |
Có thể bạn quan tâm!
- Phối Hợp Mạng Nơ-Rôn Nhận Dạng Tín Hiệu Điện Tim Bằng Mô Hình Cây Quyết Định
- Quy Trình Xây Dựng Cây Quyết Định Cho Khối Tổng Hợp Kết Quả
- Các Chỉ Tiêu Đánh Giá Chất Lượng Mô Hình Nhận Dạng Tín Hiệu Điện Tim
- Xây dựng mô hình phối hợp các mạng Nơ-rôn nhận dạng tín hiệu điện tim (ECG) - 12
Xem toàn bộ 98 trang tài liệu này.
Bảng 4.9. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và RF khi nhận dạng 7 loại nhịp, thử nghiệm trên bộ CSDL MIT-BIH
Số mẫu nhận dạng sai | % Sai số | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 110 | 3,59 | 18 | 905 | 30 | 2115 | 99,16 | 96,79 |
TSK | 100 | 3,26 | 23 | 920 | 15 | 2110 | 98,92 | 98,40 |
SVM | 60 | 1,96 | 15 | 919 | 16 | 2118 | 99,30 | 98,29 |
RF | 70 | 2,28 | 20 | 914 | 21 | 2113 | 99,06 | 97,75 |
Từ bảng kết quả 4.9 ta thấy, các kết quả cao nhất trong các mô hình nhận dạng đơn là SVM, thấp nhất là mạng MLP, sự chênh lệch về kết quả kiểm tra khá lớn (gần 50%). Từ các ma trận phân bố kết quả nhận dạng của các mô hình đơn ta thấy lỗi nhận dạng từng loại nhịp không giống nhau, như đối với mạng MLP hầu hết các trường hợp nhận nhầm là giữa loại N và A (số lần nhận nhầm N thành A là 17), đối với mạng TSK chỉ là 9, nhưng mạng TSK lại có lỗi nhận nhầm lớn nhất là giữa bệnh A và R (12 lần), trong khi đối với mạng MLP chỉ là 5. Như vậy mỗi mô hình nhận dạng đơn có ưu điểm và nhược điểm khác nhau khi nhận dạng từng loại nhịp, kết quả nhận dạng không trùng nhau, đây một cơ sở quan trọng để khẳng định hướng sử dụng mô hình kết hợp là đúng đắn.
b) Thử nghiệm trên bộ dữ liệu trong bảng 4.2
Thử nghiệm trên bộ cơ sở dữ liệu MIT-BIH, nhận dạng hai loại nhịp: Bình thường (normal) và bất thường (abnormal). Do đó, ma trận phân bố kết quả sẽ có dạng chung như trong bảng 4.10, nên đối với trường hợp nhận dạng hai loại nhịp các kết quả chỉ cần tổng kết như trên bảng 4.11 là đủ.
Bảng 4.10. Ma trận phân bố kết quả nhận dạng 2 loại mẫu nhịp: Normal và abnormal
Normal | Abnormal | |
Normal | TN | FN |
Abnormal | FP | TP |
Bảng 4.11. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và RF khi nhận dạng hai loại nhịp, thử nghiệm trên bộ CSDL MIT-BIH
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 39 | 1,27 | 14 | 910 | 25 | 2119 | 99,34 | 97,33 |
TSK | 41 | 1,34 | 17 | 911 | 24 | 2116 | 99,20 | 97,43 |
SVM | 26 | 0,85 | 8 | 917 | 18 | 2125 | 99,.62 | 98,07 |
RF | 37 | 1,21 | 13 | 911 | 24 | 2120 | 99,39 | 97,43 |
4.3.2. Trên bộ cơ sở dữ liệu MGH/MF
a) Thử nghiệm trên bộ dữ liệu trong bảng 4.3
Thử nghiệm trên bộ cơ sở dữ liệu MGH/MF, nhận dạng ba loại nhịp
Bảng 4.12. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng MLP
N | V | S | |
N | 979 | 15 | 11 |
V | 13 | 225 | 7 |
S | 11 | 9 | 230 |
Tổng sai số | 24 | 24 | 18 |
Bảng 4.13. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng TSK
N | V | S | |
N | 983 | 29 | 15 |
V | 16 | 219 | 8 |
S | 4 | 1 | 225 |
Tổng sai số | 20 | 30 | 23 |
Bảng 4.14. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng SVM
N | V | S | |
N | 991 | 3 | 3 |
V | 10 | 242 | 10 |
S | 2 | 4 | 235 |
Tổng sai số | 12 | 7 | 13 |
Bảng 4.15. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng RF
N | V | S | |
N | 982 | 35 | 35 |
V | 10 | 213 | 4 |
S | 11 | 1 | 209 |
Tổng sai số | 21 | 36 | 39 |
Bảng 4.16. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và RF khi nhận dạng ba loại nhịp, thử nghiệm trên bộ CSDL MGH/MF
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 66 | 4,40 | 26 | 979 | 24 | 471 | 94,77 | 97,61 |
TSK | 73 | 4,87 | 44 | 983 | 20 | 453 | 91,15 | 98,01 |
SVM | 32 | 2,13 | 6 | 991 | 12 | 491 | 98,79 | 98,80 |
RF | 96 | 6,40 | 70 | 982 | 21 | 427 | 85,92 | 97,91 |
b) Thử nghiệm trên bộ dữ liệu trong bảng 3.4
Thử nghiệm trên bộ cơ sở dữ liệu MGH/MF, nhận dạng hai loại nhịp (bình thường và bất thường)
Bảng 4.17. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM
và RF khi nhận dạng hai loại nhịp, thử nghiệm trên bộ CSDL MGH/MF
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 37 | 2,47 | 22 | 988 | 15 | 475 | 95,57 | 98,50 |
TSK | 62 | 4,13 | 37 | 978 | 25 | 460 | 92,56 | 97,51 |
SVM | 20 | 1,33 | 6 | 989 | 14 | 491 | 98,79 | 98,60 |
RF | 78 | 5,20 | 54 | 979 | 24 | 443 | 89,13 | 97,61 |
4.4. Kết quả thử nghiệm mô hình kết hợp mạng nơ-rôn bằng cây quyết định
4.4.1. Thử nghiệm kết hợp giữa ba mạng cơ sở MLP, TSK và SVM
Khi sử dụng ba mô hình nhận dạng cơ sở là MLP, TSK và SVM thì ta thu được kết quả của mô hình kết hợp MLP-STK-SVM như trong bảng 4.18 sau đây.
Bảng 4.18. Ma trận phân bố kết quả nhận dạng 7 loại mẫu nhịp bằng mô hình kết hợp
MLP, TSK, SVM
N | L | R | A | V | I | E | |
N | 928 | 1 | 1 | 10 | 0 | 0 | 0 |
L | 1 | 557 | 0 | 2 | 3 | 1 | 0 |
R | 1 | 0 | 481 | 1 | 0 | 2 | 0 |
A | 5 | 0 | 3 | 383 | 1 | 0 | 0 |
V | 0 | 2 | 0 | 1 | 446 | 0 | 0 |
I | 0 | 0 | 0 | 1 | 1 | 198 | 0 |
E | 0 | 1 | 0 | 0 | 0 | 0 | 37 |
Tổng sai số | 7 | 4 | 4 | 15 | 5 | 3 | 0 |
Bảng 4.19. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và mô hình kết hợp MLP-TSK-SVM khi nhận dạng 7 loại nhịp
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 110 | 3,59 | 18 | 905 | 30 | 2115 | 99,16 | 96,79 |
TSK | 100 | 3,26 | 23 | 920 | 15 | 2110 | 98,92 | 98,40 |
SVM | 60 | 1,96 | 15 | 919 | 16 | 2118 | 99,30 | 98,29 |
MLP-TSK- SVM | 38 | 1,24 | 12 | 928 | 7 | 2121 | 99,44 | 99,25 |
Bảng 4.18 là ma trận phân bố kết quả của mô hình kết hợp (MLPTSK-SVM), ta thấy hầu hết các trường hợp nhận nhầm là giữa loại A và N (số lần nhận nhầm A thành N là 10), nguyên nhân là do hình dạng của nhịp loại A và N khá giống nhau, còn các lỗi nhầm lẫn khác là không đáng kế (≤ 3 lỗi);
Hình 4.3. So sánh số mẫu nhận dạng sai, chẩn đoán âm tính sai FN, chẩn đoán dương tính sai FP của ba mô hình nhận dạng cơ sở và mô hình kết hợp
Bảng 4.19 là tổng hợp thông số chất lượng của các mô hình nhận dạng đơn và mô hình kết hợp. Ta thấy, trong ba mô hình nhận dạng đơn thì SVM có chất lượng cao nhất, kết quả nhận dạng tiếp tục được cải thiện khi sử dụng mô hình kết hợp MLP- TSK-SVM bằng cây quyết định, nếu so sánh với mô hình đơn tốt nhất là SVM thì tất cả các tiêu chí đánh giá chất lượng đều có kết quả tốt hơn, cụ thể:
- Sai số kiểm tra đã giảm 22 mẫu (từ 60 mẫu xuống còn 38 mẫu);
- Số trường hợp chẩn đoán âm tính sai FN đã giảm 3 mẫu (từ 15 mẫu xuống 12
mẫu);
- Số trường hợp chẩn đoán dương tính sai FP đã giảm 9 mẫu (từ 16 mẫu xuống
7 mẫu);
- Tỷ lệ chẩn đoán dương tính đúng Sensitivity đã được cải thiện thêm khoảng
0,14%;
- Tỷ lệ chẩn đoán âm tính tính đúng Specificity đã được cải thiện thêm khoảng
0,96%;
Tiếp tục so sánh với các giải pháp kết hợp kết quả phổ biến khác như: Majority voting (biểu quyết theo đa số), weighted voting (bỏ phiếu có trọng số), Kullback– Leibler (theo xác suất thông kê), và modified Bayes (theo xác suất điều kiện Bayes), các kết quả này lấy trong nghiên cứu của Osowski và cộng sự [28], từ kết quả trong bảng 4.20 ta rút ra một số nhận xét sau:
- Tất cả các hệ thống nhận dạng sử dụng mô hình kết hợp đều có kết quả nhận dạng tốt hơn so với các hệ thống nhận dạng sử dụng một mô hình nhận dạng, trường hợp kết quả kém nhất là 1,63% - trường hợp biểu quyết theo đa số (majority voting), nhưng vẫn cao hơn so với mô hình nhận dạng đơn tốt nhất là SVM (1,96% trong bảng 4.18);
- Mô hình kết hợp dùng cây quyết định DT có kết quả nhận dạng tốt nhất với tỷ lệ nhận dạng sai là 1,24%.
Bảng 4.20. Bảng kết quả của các mô hình kết hợp kết quả của ba mô hình nhận dạng đơn MLP-TSK-SVM
Phương pháp tổng hợp | Số mẫu nhận dạng sai | % Sai số | |
1 | Majority voting | 50 | 1,63 |
2 | Weighted voting | 42 | 1,37 |
3 | Kullback–Leibler | 45 | 1,47 |
4 | Modified Bayes | 48 | 1,56 |
5 | Decision tree | 38 | 1,24 |
Qua các kết quả thử nghiệm trên bộ cơ sở dữ liệu MIT-BIH (là được các nhóm nghiên cứu quốc tế thường dùng để tham chiếu), tác giả đã minh chứng được giải pháp
kết hợp song song ba mô hình nhận dạng cơ sở (MLP, TSK, SVM) bằng cây quyết định DT đã tiếp tục nâng cao chất lượng kết quả nhận dạng tín hiệu điện tim ECG;
4.4.2. Các thử nghiệm kết hợp khác
Ngoài các kết quả đã trình bày ở mục trên (4.4.1), luận văn còn tiến hành thêm có một số thử nghiệm sau:
- Luận văn khảo sát thêm mô hình nhận dạng cơ sở thứ 4 là rừng ngẫu nhiên RF, để có thêm nhiều trường hợp thử nghiệm khác như, ví dụ ta sẽ tạo ra các trường hợp kết hợp như: (1) MLP-TSK-SVM, (2) MLP-TSK-RF, (3) MLP-RF-SVM, (4) RF-
TSK-SVM, (5) MLP-TSK-SVM-RF;
- Thử nghiệm kết quả thêm với bộ cơ sở dữ liệu MGH/MF;
- Thử nghiệm kết quả khi nhận dạng hai loại nhịp (bình thường và bất thường);
Cụ thể sẽ tiến hành thêm bốn thử nghiệm:
Thử nghiệm 1: Trên bộ cơ sở dữ liệu MIT-BIH (cụ thể trong bảng 4.1), có kết quả như trong bảng 4.21, để thuận tiện cho việc so sánh các thông số giữa các mô hình nhận dạng cơ sở và các mô hình kết hợp, tác giả đưa lại kết quả của các mô hình nhận dạng cơ sở.
Bảng 4.21. Kết quả nhận dạng 7 loại nhịp (CSDL MIT-BIH) bằng các mô hình đơn và các mô hình kết hợp
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 110 | 3,59 | 18 | 905 | 30 | 2115 | 99,16 | 96,79 |
TSK | 100 | 3,26 | 23 | 920 | 15 | 2110 | 98,92 | 98,40 |
SVM | 60 | 1,96 | 15 | 919 | 16 | 2118 | 99,30 | 98,29 |
RF | 70 | 2,28 | 20 | 914 | 21 | 2113 | 99,06 | 97,75 |
MLP-TSK-SVM | 38 | 1,24 | 12 | 928 | 7 | 2121 | 99,44 | 99,25 |
MLP-TSK-RF | 43 | 1,40 | 16 | 927 | 8 | 2117 | 99,25 | 99,14 |
MLP-RF-SVM | 40 | 1,30 | 13 | 923 | 12 | 2120 | 99,39 | 98,72 |
RF-TSK-SVM | 39 | 1,27 | 10 | 920 | 15 | 2123 | 99,53 | 98,40 |
MLP-TSK- SVM-RF | 37 | 1,21 | 4 | 916 | 19 | 2129 | 99,81 | 97,97 |
Thử nghiệm 2: Trên bộ cơ sở dữ liệu MIT-BIH (cụ thể trong bảng 3.2), nhận dạng hai loại nhịp (bình thường và bất thường).
Bảng 4.22. Kết quả nhận dạng 2 loại nhịp (CSDL MIT-BIH) bằng các mô hình đơn và các mô hình kết hợp
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 39 | 1,27 | 14 | 910 | 25 | 2119 | 99,34 | 97,33 |
TSK | 41 | 1,34 | 17 | 911 | 24 | 2116 | 99,20 | 97,43 |
SVM | 26 | 0,85 | 8 | 917 | 18 | 2125 | 99,62 | 98,07 |
RF | 37 | 1,21 | 13 | 911 | 24 | 2120 | 99,39 | 97,43 |
MLP-TSK- SVM | 21 | 0,68 | 6 | 920 | 15 | 2127 | 99,72 | 98,40 |
MLP-TSK-RF | 22 | 0,72 | 8 | 921 | 14 | 2125 | 99,62 | 98,50 |
MLP-RF-SVM | 23 | 0,75 | 9 | 921 | 14 | 2124 | 99,58 | 98,50 |
RF-TSK-SVM | 16 | 0,52 | 5 | 924 | 11 | 2128 | 99,77 | 98,82 |
MLP-TSK- SVM-RF | 15 | 0,49 | 7 | 927 | 8 | 2126 | 99,67 | 99,14 |
Thử nghiệm 3: Trên bộ cơ sở dữ liệu MGH/MF (cụ thể trong bảng 3.3), nhận dạng ba loại nhịp N, S, V.
Bảng 4.23. Kết quả nhận dạng 3 loại nhịp (CSDL MGH/MF) bằng các mô hình đơn và các mô hình kết hợp
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 66 | 4,40 | 26 | 979 | 24 | 471 | 94,77 | 97,61 |
TSK | 73 | 4,87 | 44 | 983 | 20 | 453 | 91,15 | 98,01 |
SVM | 32 | 2,13 | 6 | 991 | 12 | 491 | 98,79 | 98,80 |
RF | 96 | 6,40 | 70 | 982 | 21 | 427 | 85,92 | 97,91 |
MLP-TSK-SVM | 25 | 1,67 | 3 | 994 | 9 | 494 | 99,40 | 99,10 |
MLP-TSK-RF | 30 | 2,00 | 10 | 992 | 11 | 487 | 97,99 | 98,90 |
MLP-RF-SVM | 25 | 1,67 | 6 | 996 | 7 | 491 | 98,79 | 99,30 |
RF-TSK-SVM | 25 | 1,67 | 5 | 994 | 9 | 492 | 98,99 | 99,10 |
21 | 1,40 | 5 | 996 | 7 | 492 | 98,99 | 99,30 |
Thử nghiệm 4: Trên bộ cơ sở dữ liệu MGH/MF (cụ thể trong bảng 3.4), nhận dạng hai loại nhịp (bình thường và bất thường).
Bảng 4.24. Kết quả nhận dạng 2 loại nhịp (CSDL MGH/MF) bằng các mô hình đơn và các mô hình kết hợp
Số mẫu nhận dạng sai | Sai số (%) | FN | TN | FP | TP | Sensitivity (%) | Specificity (%) | |
MLP | 37 | 2,47 | 22 | 988 | 15 | 475 | 95,57 | 98,50 |
TSK | 62 | 4,13 | 37 | 978 | 25 | 460 | 92,56 | 97,51 |
SVM | 20 | 1,33 | 6 | 989 | 14 | 491 | 98,79 | 98,60 |
RF | 78 | 5,20 | 54 | 979 | 24 | 443 | 89,13 | 97,61 |
MLP-TSK-SVM | 17 | 1,13 | 5 | 991 | 12 | 492 | 98,99 | 98,80 |
MLP-TSK-RF | 20 | 1,33 | 6 | 989 | 14 | 491 | 98,79 | 98,60 |
MLP-RF-SVM | 19 | 1,27 | 6 | 990 | 13 | 491 | 98,79 | 98,70 |
RF-TSK-SVM | 18 | 1,20 | 6 | 991 | 12 | 491 | 98,79 | 98,80 |
MLP-TSK- SVM-RF | 15 | 1,00 | 4 | 992 | 11 | 493 | 99,20 | 98,90 |
Từ các kết quả thử nghiệm trên ta có một số đánh giá như sau:
- Sai số kiểm tra (số mẫu nhận dạng sai) của các mô hình kết hợp đề thấp hơn so với các mô hình nhận dạng cơ sở, riêng có một trường hợp bằng nhau – trong thử nghiệm 4, sai số của mô hình SVM và mô hình kết hợp MLP-TSKRF có số mẫu nhận dạng sai là 20;
- Số trường hợp chẩn đoán âm tính sai FN và số trường hợp chẩn đoán dương tính sai FP phần lớn có kết quả tốt hơn so với các mô hình nhận dạng cơ sở, chỉ có bốn trường hợp kết quả kém hơn, cụ thể:
- Trong thí nghiệm 1: Số trường hợp chẩn đoán âm tính sai FN (của MLPTSK- RF) đã tăng 1 mẫu (từ 15 mẫu lên 16 mẫu) so với FN (của SVM).
Số trường hợp chẩn đoán dương tính sai PN (của MLP-TSK-SVM-RF) đã tăng 4 mẫu (từ 15 mẫu lên 19 mẫu) so với FP (của TSK);
- Trong thí nghiệm 2: Số trường hợp chẩn đoán âm tính sai FN (của MLPRF- SVM) đã tăng 1 mẫu (từ 8 mẫu lên 9 mẫu) so với FN (của SVM);