Ikhtisar
Evaluasi model mengukur seberapa baik kinerja model prediktif pada data yang tidak terlihat, ukuran inti dari kegunaan praktisnya. Dalam bioinformatika, dimana model memandu keputusan klinis, memprioritaskan eksperimen, atau menghasilkan hipotesis biologis, evaluasi yang cermat sangat penting untuk menghindari klaim yang terlalu optimis dan hasil yang tidak dapat direproduksi. Tantangan mendasarnya adalah bahwa kinerja yang diukur pada data pelatihan merupakan perkiraan yang berlebihan dari kemampuan generalisasi yang sebenarnya; protokol evaluasi yang tepat mensimulasikan prediksi data yang benar-benar baru.
Metode
Validasi silang mempartisi data menjadi subkumpulan yang saling melengkapi, melatih sebagian besar data, dan mengevaluasi data yang ada. Validasi silang K-fold mengulangi proses ini sebanyak K kali, memberikan perkiraan kinerja yang kuat dengan varian yang lebih kecil. Validasi silang bertingkat mempertahankan proporsi kelas di setiap kelompok dan sangat penting untuk kumpulan data yang tidak seimbang. Validasi silang tinggalkan satu kali cocok untuk ukuran sampel yang sangat kecil namun memiliki varian yang tinggi. Bootstrapping mengambil sampel ulang data dengan penggantian untuk memperkirakan interval keyakinan seputar metrik kinerja. Metrik klasifikasi umum mencakup akurasi, presisi, perolehan, skor F1, dan area di bawah kurva karakteristik operasi penerima (AUROC). Untuk regresi, mean squared error dan R-squared adalah standar. Uji statistik seperti uji McNemar membandingkan apakah dua model memiliki performa yang berbeda secara signifikan.
Protokol Praktis
Alur kerja evaluasi model praktis dimulai setelah melatih pengklasifikasi biner pada data biomedis. Peneliti pertama-tama membuat prediksi pada set tes yang diadakan dan membuat matriks kebingungan: positif benar (TP), negatif benar (TN), positif palsu (FP), dan negatif palsu (FN). Dari sini, sensitivitas atau perolehan kembali (TP / (TP + FN)) dan spesifisitas (TN / (TN + FP)) dihitung. Untuk kumpulan data biomedis yang tidak seimbang dimana kelas minoritas relevan secara klinis, kurva presisi-recall lebih disukai dibandingkan kurva ROC, karena ROC dapat terlihat terlalu optimis ketika angka negatif jauh lebih banyak daripada angka positif. Kurva perolehan presisi diplot di seluruh ambang batas keputusan, dan skor presisi rata-rata (AP) merangkum kinerja. Kurva ROC juga dihasilkan, dan area di bawah kurva (AUROC) dihitung, model dengan AUROC di atas 0,9 dianggap sangat baik untuk sebagian besar aplikasi. Untuk membandingkan dua model, pengujian McNemar menilai apakah tingkat kesalahannya berbeda secara signifikan. Evaluasi lengkap melaporkan metrik dengan interval kepercayaan 95% yang diperkirakan melalui bootstrapping dengan 2.000 sampel ulang. Misalnya, dalam mengevaluasi model yang memprediksi sepsis dari data catatan kesehatan elektronik, kurva presisi-recall menunjukkan AP sebesar 0,42 meskipun AUROC sebesar 0,91, yang menyoroti pentingnya penggunaan metrik yang tepat untuk kejadian yang jarang terjadi. Kalibrasi model juga harus dinilai menggunakan diagram keandalan; probabilitas yang dikalibrasi dengan buruk dapat diperbaiki melalui penskalaan Platt atau regresi isotonik sebelum penerapan klinis.
Aplikasi
Evaluasi yang ketat sangat penting ketika model digunakan untuk mendiagnosis penyakit dari profil microarray DNA dan ekspresi gen, memprediksi hasil pasien dalam biokimia kanker, atau mengklasifikasikan strain bakteri dalam genetika bakteri. Dalam setiap kasus, validasi yang tepat memastikan bahwa kinerja yang dilaporkan mencerminkan sinyal prediktif asli dan bukan artefak kebocoran data, efek batch, atau overfitting, sehingga mendukung terjemahan yang andal untuk penggunaan klinis atau laboratorium.
