Xây dựng mô hình phối hợp các mạng Nơ-rôn nhận dạng tín hiệu điện tim (ECG)

Mẫu Kết quả

Tổng sai số

Có thể bạn quan tâm!

Bảng 4.9. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và RF khi nhận dạng 7 loại nhịp, thử nghiệm trên bộ CSDL MIT-BIH‌

Loại mô hình

Số mẫu nhận dạng sai	% Sai số	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	110	3,59	18	905	30	2115	99,16	96,79
TSK	100	3,26	23	920	15	2110	98,92	98,40
SVM	60	1,96	15	919	16	2118	99,30	98,29
RF	70	2,28	20	914	21	2113	99,06	97,75

Từ bảng kết quả 4.9 ta thấy, các kết quả cao nhất trong các mô hình nhận dạng đơn là SVM, thấp nhất là mạng MLP, sự chênh lệch về kết quả kiểm tra khá lớn (gần 50%). Từ các ma trận phân bố kết quả nhận dạng của các mô hình đơn ta thấy lỗi nhận dạng từng loại nhịp không giống nhau, như đối với mạng MLP hầu hết các trường hợp nhận nhầm là giữa loại N và A (số lần nhận nhầm N thành A là 17), đối với mạng TSK chỉ là 9, nhưng mạng TSK lại có lỗi nhận nhầm lớn nhất là giữa bệnh A và R (12 lần), trong khi đối với mạng MLP chỉ là 5. Như vậy mỗi mô hình nhận dạng đơn có ưu điểm và nhược điểm khác nhau khi nhận dạng từng loại nhịp, kết quả nhận dạng không trùng nhau, đây một cơ sở quan trọng để khẳng định hướng sử dụng mô hình kết hợp là đúng đắn.

b) Thử nghiệm trên bộ dữ liệu trong bảng 4.2

Thử nghiệm trên bộ cơ sở dữ liệu MIT-BIH, nhận dạng hai loại nhịp: Bình thường (normal) và bất thường (abnormal). Do đó, ma trận phân bố kết quả sẽ có dạng chung như trong bảng 4.10, nên đối với trường hợp nhận dạng hai loại nhịp các kết quả chỉ cần tổng kết như trên bảng 4.11 là đủ.

Bảng 4.10. Ma trận phân bố kết quả nhận dạng 2 loại mẫu nhịp: Normal và abnormal

Mẫu

Kết quả

Normal	Abnormal
Normal	TN	FN
Abnormal	FP	TP

Bảng 4.11. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và RF khi nhận dạng hai loại nhịp, thử nghiệm trên bộ CSDL MIT-BIH

Loại mô hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	39	1,27	14	910	25	2119	99,34	97,33
TSK	41	1,34	17	911	24	2116	99,20	97,43
SVM	26	0,85	8	917	18	2125	99,.62	98,07
RF	37	1,21	13	911	24	2120	99,39	97,43

4.3.2. Trên bộ cơ sở dữ liệu MGH/MF

a) Thử nghiệm trên bộ dữ liệu trong bảng 4.3

Thử nghiệm trên bộ cơ sở dữ liệu MGH/MF, nhận dạng ba loại nhịp

Bảng 4.12. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng MLP

Mẫu

Kết quả

N	V	S
N	979	15	11
V	13	225	7
S	11	9	230
Tổng sai số	24	24	18

Bảng 4.13. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng TSK

Mẫu

Kết quả

N	V	S
N	983	29	15
V	16	219	8
S	4	1	225
Tổng sai số	20	30	23

Bảng 4.14. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng SVM

Mẫu

Kết quả

N	V	S
N	991	3	3
V	10	242	10
S	2	4	235
Tổng sai số	12	7	13

Bảng 4.15. Ma trận phân bố kết quả nhận dạng 3 loại mẫu nhịp bằng mạng RF

Mẫu

Kết quả

N	V	S
N	982	35	35
V	10	213	4
S	11	1	209
Tổng sai số	21	36	39

Bảng 4.16. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và RF khi nhận dạng ba loại nhịp, thử nghiệm trên bộ CSDL MGH/MF

Loại

mô hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	66	4,40	26	979	24	471	94,77	97,61
TSK	73	4,87	44	983	20	453	91,15	98,01
SVM	32	2,13	6	991	12	491	98,79	98,80
RF	96	6,40	70	982	21	427	85,92	97,91

b) Thử nghiệm trên bộ dữ liệu trong bảng 3.4

Thử nghiệm trên bộ cơ sở dữ liệu MGH/MF, nhận dạng hai loại nhịp (bình thường và bất thường)

Bảng 4.17. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM

và RF khi nhận dạng hai loại nhịp, thử nghiệm trên bộ CSDL MGH/MF

Loại mô hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	37	2,47	22	988	15	475	95,57	98,50
TSK	62	4,13	37	978	25	460	92,56	97,51
SVM	20	1,33	6	989	14	491	98,79	98,60
RF	78	5,20	54	979	24	443	89,13	97,61

4.4. Kết quả thử nghiệm mô hình kết hợp mạng nơ-rôn bằng cây quyết định

4.4.1. Thử nghiệm kết hợp giữa ba mạng cơ sở MLP, TSK và SVM

Khi sử dụng ba mô hình nhận dạng cơ sở là MLP, TSK và SVM thì ta thu được kết quả của mô hình kết hợp MLP-STK-SVM như trong bảng 4.18 sau đây.

Bảng 4.18. Ma trận phân bố kết quả nhận dạng 7 loại mẫu nhịp bằng mô hình kết hợp

MLP, TSK, SVM

Mẫu

Kết quả

N	L	R	A	V	I	E
N	928	1	1	10	0	0	0
L	1	557	0	2	3	1	0
R	1	0	481	1	0	2	0
A	5	0	3	383	1	0	0
V	0	2	0	1	446	0	0
I	0	0	0	1	1	198	0
E	0	1	0	0	0	0	37
Tổng sai số	7	4	4	15	5	3	0

Bảng 4.19. Các thông số đánh giá chất lượng của bốn mô hình cơ sở MLP, TSK, SVM và mô hình kết hợp MLP-TSK-SVM khi nhận dạng 7 loại nhịp

Loại mô

hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	110	3,59	18	905	30	2115	99,16	96,79
TSK	100	3,26	23	920	15	2110	98,92	98,40
SVM	60	1,96	15	919	16	2118	99,30	98,29
MLP-TSK- SVM	38	1,24	12	928	7	2121	99,44	99,25

Bảng 4.18 là ma trận phân bố kết quả của mô hình kết hợp (MLPTSK-SVM), ta thấy hầu hết các trường hợp nhận nhầm là giữa loại A và N (số lần nhận nhầm A thành N là 10), nguyên nhân là do hình dạng của nhịp loại A và N khá giống nhau, còn các lỗi nhầm lẫn khác là không đáng kế (≤ 3 lỗi);

Hình 4.3. So sánh số mẫu nhận dạng sai, chẩn đoán âm tính sai FN, chẩn đoán dương tính sai FP của ba mô hình nhận dạng cơ sở và mô hình kết hợp

Bảng 4.19 là tổng hợp thông số chất lượng của các mô hình nhận dạng đơn và mô hình kết hợp. Ta thấy, trong ba mô hình nhận dạng đơn thì SVM có chất lượng cao nhất, kết quả nhận dạng tiếp tục được cải thiện khi sử dụng mô hình kết hợp MLP- TSK-SVM bằng cây quyết định, nếu so sánh với mô hình đơn tốt nhất là SVM thì tất cả các tiêu chí đánh giá chất lượng đều có kết quả tốt hơn, cụ thể:

- Sai số kiểm tra đã giảm 22 mẫu (từ 60 mẫu xuống còn 38 mẫu);

- Số trường hợp chẩn đoán âm tính sai FN đã giảm 3 mẫu (từ 15 mẫu xuống 12

mẫu);

- Số trường hợp chẩn đoán dương tính sai FP đã giảm 9 mẫu (từ 16 mẫu xuống

7 mẫu);

- Tỷ lệ chẩn đoán dương tính đúng Sensitivity đã được cải thiện thêm khoảng

0,14%;

- Tỷ lệ chẩn đoán âm tính tính đúng Specificity đã được cải thiện thêm khoảng

0,96%;

Tiếp tục so sánh với các giải pháp kết hợp kết quả phổ biến khác như: Majority voting (biểu quyết theo đa số), weighted voting (bỏ phiếu có trọng số), Kullback– Leibler (theo xác suất thông kê), và modified Bayes (theo xác suất điều kiện Bayes), các kết quả này lấy trong nghiên cứu của Osowski và cộng sự [28], từ kết quả trong bảng 4.20 ta rút ra một số nhận xét sau:

- Tất cả các hệ thống nhận dạng sử dụng mô hình kết hợp đều có kết quả nhận dạng tốt hơn so với các hệ thống nhận dạng sử dụng một mô hình nhận dạng, trường hợp kết quả kém nhất là 1,63% - trường hợp biểu quyết theo đa số (majority voting), nhưng vẫn cao hơn so với mô hình nhận dạng đơn tốt nhất là SVM (1,96% trong bảng 4.18);

- Mô hình kết hợp dùng cây quyết định DT có kết quả nhận dạng tốt nhất với tỷ lệ nhận dạng sai là 1,24%.

Bảng 4.20. Bảng kết quả của các mô hình kết hợp kết quả của ba mô hình nhận dạng đơn MLP-TSK-SVM

STT

Phương pháp tổng hợp	Số mẫu nhận dạng sai	% Sai số
1	Majority voting	50	1,63
2	Weighted voting	42	1,37
3	Kullback–Leibler	45	1,47
4	Modified Bayes	48	1,56
5	Decision tree	38	1,24

Qua các kết quả thử nghiệm trên bộ cơ sở dữ liệu MIT-BIH (là được các nhóm nghiên cứu quốc tế thường dùng để tham chiếu), tác giả đã minh chứng được giải pháp

kết hợp song song ba mô hình nhận dạng cơ sở (MLP, TSK, SVM) bằng cây quyết định DT đã tiếp tục nâng cao chất lượng kết quả nhận dạng tín hiệu điện tim ECG;

4.4.2. Các thử nghiệm kết hợp khác

Ngoài các kết quả đã trình bày ở mục trên (4.4.1), luận văn còn tiến hành thêm có một số thử nghiệm sau:

- Luận văn khảo sát thêm mô hình nhận dạng cơ sở thứ 4 là rừng ngẫu nhiên RF, để có thêm nhiều trường hợp thử nghiệm khác như, ví dụ ta sẽ tạo ra các trường hợp kết hợp như: (1) MLP-TSK-SVM, (2) MLP-TSK-RF, (3) MLP-RF-SVM, (4) RF-

TSK-SVM, (5) MLP-TSK-SVM-RF;

- Thử nghiệm kết quả thêm với bộ cơ sở dữ liệu MGH/MF;

- Thử nghiệm kết quả khi nhận dạng hai loại nhịp (bình thường và bất thường);

Cụ thể sẽ tiến hành thêm bốn thử nghiệm:

Thử nghiệm 1: Trên bộ cơ sở dữ liệu MIT-BIH (cụ thể trong bảng 4.1), có kết quả như trong bảng 4.21, để thuận tiện cho việc so sánh các thông số giữa các mô hình nhận dạng cơ sở và các mô hình kết hợp, tác giả đưa lại kết quả của các mô hình nhận dạng cơ sở.

Bảng 4.21. Kết quả nhận dạng 7 loại nhịp (CSDL MIT-BIH) bằng các mô hình đơn và các mô hình kết hợp

Loại mô hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	110	3,59	18	905	30	2115	99,16	96,79
TSK	100	3,26	23	920	15	2110	98,92	98,40
SVM	60	1,96	15	919	16	2118	99,30	98,29
RF	70	2,28	20	914	21	2113	99,06	97,75
MLP-TSK-SVM	38	1,24	12	928	7	2121	99,44	99,25
MLP-TSK-RF	43	1,40	16	927	8	2117	99,25	99,14
MLP-RF-SVM	40	1,30	13	923	12	2120	99,39	98,72
RF-TSK-SVM	39	1,27	10	920	15	2123	99,53	98,40
MLP-TSK- SVM-RF	37	1,21	4	916	19	2129	99,81	97,97

Thử nghiệm 2: Trên bộ cơ sở dữ liệu MIT-BIH (cụ thể trong bảng 3.2), nhận dạng hai loại nhịp (bình thường và bất thường).

Bảng 4.22. Kết quả nhận dạng 2 loại nhịp (CSDL MIT-BIH) bằng các mô hình đơn và các mô hình kết hợp

Loại mô hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	39	1,27	14	910	25	2119	99,34	97,33
TSK	41	1,34	17	911	24	2116	99,20	97,43
SVM	26	0,85	8	917	18	2125	99,62	98,07
RF	37	1,21	13	911	24	2120	99,39	97,43
MLP-TSK- SVM	21	0,68	6	920	15	2127	99,72	98,40
MLP-TSK-RF	22	0,72	8	921	14	2125	99,62	98,50
MLP-RF-SVM	23	0,75	9	921	14	2124	99,58	98,50
RF-TSK-SVM	16	0,52	5	924	11	2128	99,77	98,82
MLP-TSK- SVM-RF	15	0,49	7	927	8	2126	99,67	99,14

Thử nghiệm 3: Trên bộ cơ sở dữ liệu MGH/MF (cụ thể trong bảng 3.3), nhận dạng ba loại nhịp N, S, V.

Bảng 4.23. Kết quả nhận dạng 3 loại nhịp (CSDL MGH/MF) bằng các mô hình đơn và các mô hình kết hợp

Loại mô hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	66	4,40	26	979	24	471	94,77	97,61
TSK	73	4,87	44	983	20	453	91,15	98,01
SVM	32	2,13	6	991	12	491	98,79	98,80
RF	96	6,40	70	982	21	427	85,92	97,91
MLP-TSK-SVM	25	1,67	3	994	9	494	99,40	99,10
MLP-TSK-RF	30	2,00	10	992	11	487	97,99	98,90
MLP-RF-SVM	25	1,67	6	996	7	491	98,79	99,30
RF-TSK-SVM	25	1,67	5	994	9	492	98,99	99,10

MLP-TSK- SVM-RF

1,40

996

492

98,99

99,30

Thử nghiệm 4: Trên bộ cơ sở dữ liệu MGH/MF (cụ thể trong bảng 3.4), nhận dạng hai loại nhịp (bình thường và bất thường).

Bảng 4.24. Kết quả nhận dạng 2 loại nhịp (CSDL MGH/MF) bằng các mô hình đơn và các mô hình kết hợp

Loại mô hình

Số mẫu nhận dạng sai	Sai số (%)	FN	TN	FP	TP	Sensitivity (%)	Specificity (%)
MLP	37	2,47	22	988	15	475	95,57	98,50
TSK	62	4,13	37	978	25	460	92,56	97,51
SVM	20	1,33	6	989	14	491	98,79	98,60
RF	78	5,20	54	979	24	443	89,13	97,61
MLP-TSK-SVM	17	1,13	5	991	12	492	98,99	98,80
MLP-TSK-RF	20	1,33	6	989	14	491	98,79	98,60
MLP-RF-SVM	19	1,27	6	990	13	491	98,79	98,70
RF-TSK-SVM	18	1,20	6	991	12	491	98,79	98,80
MLP-TSK- SVM-RF	15	1,00	4	992	11	493	99,20	98,90

Từ các kết quả thử nghiệm trên ta có một số đánh giá như sau:

- Sai số kiểm tra (số mẫu nhận dạng sai) của các mô hình kết hợp đề thấp hơn so với các mô hình nhận dạng cơ sở, riêng có một trường hợp bằng nhau – trong thử nghiệm 4, sai số của mô hình SVM và mô hình kết hợp MLP-TSKRF có số mẫu nhận dạng sai là 20;

- Số trường hợp chẩn đoán âm tính sai FN và số trường hợp chẩn đoán dương tính sai FP phần lớn có kết quả tốt hơn so với các mô hình nhận dạng cơ sở, chỉ có bốn trường hợp kết quả kém hơn, cụ thể:

- Trong thí nghiệm 1: Số trường hợp chẩn đoán âm tính sai FN (của MLPTSK- RF) đã tăng 1 mẫu (từ 15 mẫu lên 16 mẫu) so với FN (của SVM).

Số trường hợp chẩn đoán dương tính sai PN (của MLP-TSK-SVM-RF) đã tăng 4 mẫu (từ 15 mẫu lên 19 mẫu) so với FP (của TSK);

- Trong thí nghiệm 2: Số trường hợp chẩn đoán âm tính sai FN (của MLPRF- SVM) đã tăng 1 mẫu (từ 8 mẫu lên 9 mẫu) so với FN (của SVM);