Roc curve 意義

ROC曲線 (Receiver operating characteristic curve) 是第二次世界大戰中的發明，最初用在1941年的珍珠港事件，以偵測戰場上的日軍載具（飛機、船艦），其原理係利用雷達上的信號強弱設定閾值，以作為軍事行動的判斷依據[1]，而發展出的信號偵測理論(Signal Detection Theory )，1950年代被應用在心理學領域[2]。此後的數十年，ROC分析被用於無線電、生物學、犯罪心理學領域中，而且最近在機器學習（machine learning）和數據挖掘（data mining）領域也得到了很好的發展[3]。在醫學上，廣泛地應用在疾病的診斷，同時也被應用在流行病學、實證醫學研究、放射技術、社會科學的研究上[4-6]。在臨床上可能會面對檢驗方法複雜、耗時、有侵入性、結果需要有經驗者才能準確判讀等因素，而利用ROC曲線發展出更簡易操作的替代方式，並與臨床認定的黃金標準(Gold standard)作比較，例如以癌症的切片檢查作為黃金標準，該標準將病人判定為罹癌與未罹癌，以鑑定新的診斷工具替代黃金標準的可行性。

圖片來源：以斯帖統計顧問公司

(繪圖軟體: SigmaPlot，繪製方法請連結：http://goo.gl/nCFg3y）

在信號偵測理論中，ROC曲線是以圖像的方式呈現二分類系統(binary classifier system)在特定的分類或閾值(discrimination threshold)下的表現。圖形的縱軸(y-axis)為真陽性率(true positive rate; TPR)，又稱為敏感度(sensitivity)；橫軸(x-axis)為偽陽性率(false-posiitive rate; FPR)，以1 – 特異度(specificity)表示，而敏感度為將結果正確判斷為陽性的機率，特異度係將結果正確判斷為負向或陰性的機率。當指定一個分界點(cut-point)來區分檢驗的陽性與陰性時，這個分界點會影響到診斷工具的敏感度(sensitivity)及特異度(specificity)。在醫學上，敏感度表示有病者被判為陽性的機率，而特異度表示無病者被判為陰性的機率。在曲線上的任何一個點都會對應到一組敏感度與1-特異度，而敏感度與特異度會受到分界點移動的影響。

圖片改編自: wikipedia [7]

圖片改編自: wikipedia [7]

<< 名詞定義 >> 

1.敏感度(Sensitivity)與特異度(Specificity)

2.偽陽性率(False Positive Rate; FPR)與偽陰性率(False Negative Rate; FNR)

3.準確度(Accuracy; ACC)

ROC曲線在判別時，會以對角線為一個參考線，若是檢驗工具的ROC曲線剛好落在對角的參考線上，則表示檢驗工具對於此疾病的診斷沒有鑑別性。若是ROC曲線愈往左上方移動，表示檢驗工具對於疾病的敏感度愈高，且偽陽性率愈低，亦即此工具的鑑別力較佳，而最靠近左上角的的點 (0,1) 是錯誤歸類最少的切點，其敏感度(sensitivity)是最大的且偽陽性率(1 –specificity)是最小的。。

一般在判別檢驗工具的好壞時，除了看曲線的圖形之外，也可以利用曲線下的面積(Area Under Curv; AUC)來判別ROC曲線的鑑別力，AUC數值的範圍從0到1，數值愈大愈好。以下為AUC數值一般的判別規則：

AUC=0.5 (no discrimination 無鑑別力)

0.7≦AUC≦0.8 (acceptable discrimination 可接受的鑑別力)

0.8≦AUC≦0.9 (excellent discrimination 優良的鑑別力)

0.9≦AUC≦1.0 (outstanding discrimination 極佳的鑑別力)

ROC曲線的評估方法係根據資料的實際情況，除了可將連續型資料(如血壓、血糖)分為兩類，也允許將資料劃分為多個有序分類，如高、中、低等級。ROC曲線除可評估連續型資料的敏感度與特異度，也適用在有序型資料的分析。

      ROC曲線的優點為簡單、直觀，通過圖示可觀察分析方法的臨床準確性，並可用肉眼作出判斷。ROC曲線將靈敏度與特異性以圖示方法結合在一起，可準確反映檢驗工具之特異性和敏感性的關係，是試驗準確性的綜合代表。ROC曲線可以在不固定分界點(cut-off)的情況下，選擇一個最佳切點作為診斷參考值。利用曲線下面積(AUC)的比較可評估何項工具的診斷準確性較佳。ROC曲線結合了敏感度(sensitivity)和特異度(specificity)兩個指標，除了判別某一診斷工具的準確度外，還可更進一步地建議診斷工具的最佳切點(best cut-off point)，一般常用尋找切點的方法爲Youden index，即將每一個切點的敏感度(Sensitivity) 與 特異度(Specificity)相加，並取最大值，即為最佳切點。

Reference:

1. 1. Green, David M.; Swets, John A. (1966). Signal detection theory and psychophysics. New York, NY: John Wiley and Sons Inc. ISBN 0-471-32420-5.
2. 2. Zweig, Mark H.; Campbell, Gregory (1993). "Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine". Clinical Chemistry 39 (8): 561–577. PMID 8472349
3. 3. Swets, John A.; Signal detection theory and ROC analysis in psychology and diagnostics : collected papers, Lawrence Erlbaum Associates, Mahwah, NJ, 1996
4. 4. Obuchowski, Nancy A. (2003). "Receiver operating characteristic curves and their use in radiology". Radiology 229 (1): 3–8. doi:10.1148/radiol.2291010898.PMID 14519861
5. 5.Spackman, Kent A. (1989). "Signal detection theory: Valuable tools for evaluating inductive learning". Proceedings of the Sixth International Workshop on Machine Learning. San Mateo, CA: Morgan Kaufmann. pp. 160–163.
6. 6.  Hanley JA, McNeil BJ (1982).The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143:29-36.
7. 7. Wikipedia, Receiver operating characteristic, http://en.wikipedia.org/wiki/Receiver_operating_characteristic.

 SPSS軟體操作

(一) 連續型資料

實例：醫師對失智症病人做了各種測量，想從測量數據中找出幾個可以用來初步判斷病人是否為失智症的工具，請以SPSS找出準確性較高的診斷工具。

dementia是臨床醫師對失智症的確診， Index1~Index3為新的檢驗工具。

執行步驟

(1)   Analyze → ROC Curve…

(2)  將3種測量數據 Index1~Index3 選入右邊的『檢定變數 (Test Variable List)』下的方格，將失智症(dementia)選入右邊的『狀態變數 (State Variable)』下的方格。

(3)  『狀態變數的值 (Value of State Variable)』，將異常組定義為positive，故填入 "1"。 [註：Negative為 "0" ]

(4) 『顯示 (Display)』下選入『ROC Curve』、『With diagonal reference line(具有參考對角線)』、『標準誤與信賴區間 (Standard error and confidence interval )』、『曲線的座標點 (Coordinate points of the ROC Curve)』

(5)  在『選項 (Option)』中的『檢定方向 (Test Direction)』 選擇「較小檢定結果指示更正向的檢定 (smaller test result indicates more positive test)」，並在『區域標準誤的參數 (Parameters for Standard Error of Area)』中選擇「分配假設 (Distribution assumption)：無母數 (Nonparametric)」。

當數值愈小愈傾向異常時，需要選擇檢定方向為「較小檢定結果指示更正向的檢定」，使評估方向不致相反，而造成曲線顛倒。

【分析結果】

       根據ROC曲線圖以及輸出報表，Index1的曲線下面積最大 (AUC=0.887; 95% CI=0.804-0.970)，屬於鑑別度良好的診斷工具，且顯著大於AUC=0.5的參考線(p<0.01)，最差者為Index3 (AUC= 0.779)。至於三條間的AUC是否有統計上的差異，SPSS尚無法計算，需要藉助其他軟體。

下表為Index1~Index3的敏感度(Sensitivity)與1-特異度(Specificity)，利用Youden index，即將每一個切點的敏感度(Sensitivity) 與 特異度(Specificity)相加，並取最大值，即可找到最佳切點。利用最佳切點說明敏感度(Sensitivity) 與 特異度(Specificity)的大小。

  (二) 有序分類型資料

以切片檢驗和X光片的解讀兩種方式判斷腫瘤是否為良性或惡性，結果整理如下表，請問醫師對這批資料的診斷水準如何？

  大家可以利用以上介紹步驟嘗試看看！ 

【分析結果】