Hướng dẫn phân tích đường cong ROC

ỨNG DỤNG ĐƯỜNG CONG ROC TRONG NGHIÊN CỨU Y HỌC 25.1 Khái niệm về đường cong ROC Từ ROC (Receiver Operating Characteristic) bắt nguồn từ một phần của lĩnh vực được gọi là thuyết phát hiện tín hiệu (Signal Detection Theory). Từ các tín hiệu nhận được, máy sẽ phân tích và vẽ đường cong ROC, để phân biệt tín hiệu của máy bay địch và tín hiệu nhiễu (noise) trong thế chiến thứ hai. Từ sau những năm 1970, thuyết phát hiện tín hiệu này được dùng để diễn dịch kết quả các test trong chẩn đoán y học. Mỗi điểm trên đường cong ROC là tọa độ tương ứng với tần suất dương tính thật (độ nhạy) trên trục tung và tần suất dương tính giả (1độ đặc hiệu) trên trục hoành. Đường biểu diễn càng lệch về phía bên trên và bên trái thì sự phân biệt giữa 2 trạng thái (ví dụ có bệnh hoặc không bệnh) càng

Trang 1

Hướng dẫn phân tích Đường cong R.O.C trong chẩn đoán

sử dụng Medcalc, SPSS và R

19/08/2015 Kiến thức Nghiên cứu khoa học 4,623 Lượt xem

http://www.bomonnhiydhue.edu.vn/huong-dan-phan-tic-duong-cong-r-o-c-trong-chan-doan-su-dung-r/

Phân tích đường biểu diễn R.O.C trong nghiên cứu y học sử dụng Medcalc

PGS TS Lê Đình Vấn

Một học viên cao học nghiên cứu về nồng độ α feto protein máu của bệnh nhân bị ung thư gan và các bệnh gan khác (xơ

gan…)với kết quả như sau

Nhóm bệnh

(1: ung thư,

0: không

ung thư)

α feto protein

Nhóm bệnh (1: ung thư, 0: không ung thư)

α feto protein

Nhóm bệnh (1: ung thư, 0: không ung thư)

α feto protein

Trang 2

1 215.5 1 565 0 210

Trang 3

1 800 0 145 0 35

Từ kết quả xét nghiệm trên, học viên đã đưa ra lần lượt các ngưỡng kết luận dương tính của bệnh ung thư gan dựa vào α

feto protein là 365/ml và 325/ml có kết quả cụ thể như sau

Chọn ngưỡng kết luận dương tính Khi α feto protein ≥ 365

Đối tượng

Tổng Không ung

Độ nhạy (Se) = 57/82 = 69,5%Độ đặc hiệu (Sp) = 65/74 = 87,8%

Chọn ngưỡng kết luận dương tính α feto protein ≥ 325

Không ung thư Ung thư

Độ nhạy (Se) = 58/82= 70,7%Độ đặc hiệu (Sp) = 60/74 = 81,1%

Từ kết quả của hai bảng 2 và 3 cho thấy nếu ngưỡng kết luận α feto protein ≥ 365 thì chẩn đoán đúng được (dương thật) là

57 trường hợp trên 82 người bị bệnh và chẩn đoán lầm 9 người xét nghiệm dương tính trên 74 người lành, nhưng với ngưỡng kết luận α feto protein ≥ 325 thì độ nhạy có tăng lên chút ít nhưng khả năng chẩn đoán lầm tăng lên rất nhiều là 14 người Như vậy khi tăng ngưỡng kết luận dương tính càng lớn thì độ nhạy càng giảm nhưng độ đặc hiệu càng tăng và ngược lại

Trong ví dụ trên, rõ ràng chọn ngưỡng α feto protein ≥ 365 là tốt hơn α feto protein ≥ 325 ( Se = 69, 5% và Sp = 87,8% so cới Se = 70,7% và Sp = 81,1%)

Tuy nhiên vấn đề đặt ra ở đây là nếu chọn ngưỡng α feto protein = 385 hay α feto protein ≥ 35 5, hay một ngưỡng khác nữa…thì độ nhạy và độ đặc hiệu của các ngưỡng này thế nào?

Trang 4

Vấn đề đặt ra là lấy ngưỡng nào có thể chấp nhận được Đây là vấn đề mà người nghiên cứu phải giải quyết Biện pháp tốt nhất để chọn ngưỡng kết luận đó là dựa vào phân tích đường biểu diễn R.O.C

Trong nghiên cứu y học, có rất nhiều loại xét nghiệm mà kết quả của nó là một số thực hay nói cách khác là biến số định lượng như nghiên cứu trên ví dụ như nồng độ glucose máu, nồng độ CRP trong nhồi máu cơ tim, CE 125, Ca 19 -9…các giá

trị của một tập hợp bệnh nhân là một chuỗi số, ngưỡng kết luận dương tính của các biến số này tốt nhất là bao nhiêu?

Nếu ngưỡng này quá cao thì dễ bỏ sót những ngường bị bệnh nhưng lại ít chẩn đoán lầm, thấp quá thì ngược lại Giải quyết câu hỏi trên cần phải sử dụng R.O.C curve analyse

R.O.C là chữ viết tắt của receiver operator characteristic, là phương pháp phân tích được các nhà quân sự nghiên cứu đưa

ra vào thế chiến 2 Sau Trận Trân Châu Cảng, bộ chỉ huy Hải quân của Mỹ đã tiến hành biện pháp nghiên cứu khả năng phát hiện thăm dò của radar, để báo động thế nào cho tốt nhất, không báo động sớm quá sẽ lãng phí, không trể quá vì nguy hiểm

Sau đó phân tích R.O.C curve đã được ứng dụng nhiều trong lĩnh vực dân sự, đặc biệt là thương mãi và y học

Đường biểu diễn R.O.C là đường biểu diễn của các điểm có tọa độ tương ứng x = dương tính giả và y là độ nhạy hay dương thật của xét nghiệm của các ngưỡng kết luận từ thấp đến cao

Từ ví dụ trên, độ nhạy và tỷ lệ dương tính giả của các ngưỡng kết luận tùy ý

Ngưỡng

kết luận

Độ

nhạy

(Se)

Tỷ lệ dương tính giả ( 1 – Sp)

Ngưỡng kết luận

Độ nhạy (Se)

Ngưỡng kết luận

Độ nhạy (Se)

Trang 5

82.5 0.988 0.743 307.5 0.732 0.284 725 0.354 0

Bảng trên có 123 ngưỡng kết luận của α feto protein từ 0 đến 2341 Đường biểu diễn của tọa độ các điểm đó theo Se và 1 –

Sp được vẽ ở hình sau

Trang 6

R.O.C curve

Các nhà thống kê học đã nghiên cứu và đưa ra kết luận ngưỡng kết luận tốt nhất là ngưỡng khi tọa độ của ngưỡng đó nằm

ở điểm uốn của đường biễu diễn (điểm này thường ngang mức giao điểm của đường biễu diễn và đường chéo nối góc trên trái đến góc dưới phải của hình vuông nếu đường trên đối xứng qua trục là đường chéo trên) Nếu không đối xứng chúng ta

có thể đo trên biểu đồ và tham khảo bảng kết quả ở bảng 4

Từ biểu đồ trên chúng ta thấy rằng điểm uốn nằm trong khoảng các điểm có tọa độ trục tung từ 67% đến 72% Tham khảo bảng 4 chúng ta thấy trong các mức thì mức tốt nhất là nằm trong khoảng 377.5 ( Se = 69,5% và 1- Sp = 10,8% (sp = 89,2%)

Ở ví dụ trên số lượng của mẫu mới chỉ bằng 156, dù vậy nếu tính toán thủ công, thì chúng ta đã mất khá nhiều thời gian, khi

n > 1000 thì thời gian sẽ mất rất nhiều

May thay trong các phần mềm vi tính phổ biến hiện nay có phần mềm Medcalc và SPSS có cho phép phân tích R.O.C curve, nên công việc của chúng ta chỉ cần trong vòng 10-15 phút Đặc biệt phần mềm Medcalc còn cho chúng ta biết giá trị tốt nhất của ngưỡng kết luận

Cách sử dụng phần mềm Medcalc để phân tích R.O.C curve

Chạy chương trình chúng ta sẽ có màn hình của medcalc như sau:

Hình 1: Màn hình chưa có dữ liệu

Nhập dữ liệu vào như hình 2:

Hình 2: Màn hình saiu khi nhập dữ liệu

Thao tác như sau sẽ có hộp thoại (Hình 3)

Statistics/ROC curves /ROC curve analysis

Hình 3

Nhập tên variable vào textbox variable và classification variable ta sẽ có hộp thoại như hình 4

Hình 4

Nhấp nút OK chúng ta sẽ có ba màn hình như hình 5, hình 6 và hình 7

– Hình 5 : đường biễu diễn ROC

– Hình 6 : tổ chức đồ của các tọa độ so với ngưỡng kết luận

– Hình 7 : màn hình mô tả các kết quả cụ thể

Hình 5

HÌnh 6

Hình 7

Các kết quả ở hình 7 chúng ta cần chú ý các chi tiết sau:

– Area under the ROC curve = 0.855

Standard error = 0.030

95% Confidence interval = 0.790 to 0.906

Area under the ROC curve (AUC): diện tích nằm dưới đường biểu diễn (chương trình tính sẵn) cho chúng ta biết mức độ hiệu quả của xét nghiệm Tùy theo diện tích mà hiệu quả như sau:

Trang 7

• 0.90-1.00 = Tốt (excellent)

• 0.80-0.90 = Khá (good)

• 0.70-0.80 = Trung bình (fair)

• 0.60-0.70 = Ít (poor)

• < 0.60 = Vô ích (worthless )

> 370 * 69.5 ( 58.4- 79.2) 89.2 ( 79.8- 95.2) 6.43 0.34

370 là ngưỡng kết luận tốt nhất nên chọn (tuy nhiên ngưỡng này có thể thêm bớt tùy mục đích xử dụng của thử nghiệm: tầm soát hay chẩn đoán)./

**Mục đích của bài này là trình bày về việc xác định ngưỡng kết luận, Phân tích ROC curve còn xử dụng xác định thêm được AUC, So sánh các test, xác định được dự đoán dương tính và âm tính đề nghị quý bạn tự nghiên cứu Ngoài phần mềm Medcalc, còn có phần mềm SPSS cũng có thể xử dụng để Phân tích ROC curve

Tài liệu tham khảo

1 Tom Fawcett (2005) An introduction to ROC analysis Institute for the Study of Learning and Expertise, 2164

Staunton Court, Palo Alto, CA 94306, USA Available online 19 December 2005

4 R B D’Agostino (2004) Tutorials in Biostatistics, Volume 1: Statistical Methods in Clinical Studies Edited by

Cách s d ng ph n m m SPSS ử ụ ầ ề để phân tích R.O.C curve

Nguyễn Hữu Châu Đức

Sử dụng ví dụ của bài viết trên, áp dụng trong spss như sau:

Bước 1: Mở phần mềm SPSS/Analyze/ROC Curve

Trang 8

Bước 2:

– Chuyển biến OUTCOME sang ô State Variable; chọn Value of State Variable = 1

Trang 9

– Chuyển biến cần đánh giá, ở đây là biến alpha Feto, sang ô Test Variable

– Chọn Display như hình bên dưới

– Nhấn OK

Bước 3: Phân tích kết qủa:

– Area: 0.855 cho thấy mức hiệu quả của test là Khá (good)

– Xác định ngưỡng giá trị chẩn đoán dựa vào Điểm uốn của đường biễu diễn (điểm này thường ngang mức giao điểm của đường biễu diễn và đường chéo nối góc trên trái đến góc dưới phải của hình vuông nếu đường trên đối xứng qua trục là đường chéo trên) Trên biểu đồ cho thấy điểm uốn có vị trí (0.27; 0.72)

Trang 10

Bước 4: Tham khảo bảng Coordinates of the Curve để tìm giá trị thích hợp:

– Ta xác định điểm uốn ở bước 3 là (0.27; 0.72): tức là giá trị cần tìm có Sensitivity # 0.72 và 1- Specificity # 0.27

– Tìm trong bảng Coordinates of the Curve ta thấy : trong các mức thì mức tốt nhất là nằm trong khoảng 377.5 ( Se = 69,5%

và 1- Sp = 10,8% (sp = 89,2%)

(tuy nhiên ngưỡng này có thể thêm bớt tùy mục đích xử dụng của thử nghiệm: tầm soát hay chẩn đoán)

Định dạng
Số trang	11
Dung lượng	813,5 KB