Übersicht
Bei der Modellbewertung wird quantifiziert, wie gut ein Vorhersagemodell auf der Grundlage bisher unbekannter Daten funktioniert – das zentrale Maß für seinen praktischen Nutzen. In der Bioinformatik, wo Modelle klinische Entscheidungen leiten, Experimente priorisieren oder biologische Hypothesen generieren, ist eine strenge Bewertung unerlässlich, um zu optimistische Behauptungen und nicht reproduzierbare Ergebnisse zu vermeiden. Die grundlegende Herausforderung besteht darin, dass die anhand der Trainingsdaten gemessene Leistung eine überhöhte Schätzung der tatsächlichen Generalisierungsfähigkeit ist. Geeignete Auswertungsprotokolle simulieren die Vorhersage wirklich neuer Daten.
Methoden
Kreuzvalidierung unterteilt die Daten in komplementäre Teilmengen, trainiert die meisten und bewertet die zurückgehaltene Falte. Die K-fache Kreuzvalidierung wiederholt diesen Vorgang K-mal und liefert so eine robuste Leistungsschätzung mit reduzierter Varianz. Stratifizierte Kreuzvalidierung bewahrt die Klassenverhältnisse in jeder Falte und ist entscheidend für unausgeglichene Datensätze. Die einmalige Kreuzvalidierung eignet sich für sehr kleine Stichprobengrößen, weist jedoch eine hohe Varianz auf. Beim Bootstrapping werden die Daten erneut abgetastet und ersetzt, um Konfidenzintervalle rund um Leistungsmetriken abzuschätzen. Zu den gängigen Klassifizierungsmetriken gehören Genauigkeit, Präzision, Rückruf, F1-Score und die Fläche unter der Receiver Operating Characteristic Curve (AUROC). Für die Regression sind der mittlere quadratische Fehler und das R-Quadrat Standard. Statistische Tests wie der McNemar-Test vergleichen, ob zwei Modelle deutlich unterschiedliche Leistungen aufweisen.
Praktisches Protokoll
Ein praktischer Modellbewertungsworkflow beginnt nach dem Training eines binären Klassifikators für biomedizinische Daten. Der Forscher generiert zunächst Vorhersagen für den durchgehaltenen Testsatz und erstellt eine Verwirrungsmatrix: wahr-positive Ergebnisse (TP), wahr-negative Ergebnisse (TN), falsch-positive Ergebnisse (FP) und falsch-negative Ergebnisse (FN). Daraus werden Sensitivität bzw. Recall (TP/(TP + FN)) und Spezifität (TN/(TN + FP)) berechnet. Bei unausgeglichenen biomedizinischen Datensätzen, bei denen die Minderheitenklasse klinisch relevant ist, werden Precision-Recall-Kurven gegenüber ROC-Kurven bevorzugt, da ROC übermäßig optimistisch erscheinen kann, wenn die Negativen die Positiven bei weitem überwiegen. Die Präzisions-Erinnerungskurve wird über alle Entscheidungsschwellenwerte aufgetragen und der durchschnittliche Präzisionswert (AP) fasst die Leistung zusammen. Außerdem wird die ROC-Kurve generiert und die Fläche unter der Kurve (AUROC) berechnet – ein Modell mit einem AUROC über 0,9 gilt für die meisten Anwendungen als ausgezeichnet. Beim Vergleich zweier Modelle beurteilt der McNemar-Test, ob sich ihre Fehlerraten signifikant unterscheiden. Eine vollständige Auswertung liefert Metriken mit 95 %-Konfidenzintervallen, die über Bootstrapping mit 2.000 Resamples geschätzt wurden. Bei der Auswertung eines Modells zur Vorhersage einer Sepsis anhand elektronischer Patientenakten ergab die Precision-Recall-Kurve beispielsweise einen AP von 0,42 trotz eines AUROC von 0,91, was die Bedeutung der Verwendung geeigneter Metriken für seltene Ereignisse unterstreicht. Die Modellkalibrierung sollte auch anhand eines Zuverlässigkeitsdiagramms beurteilt werden; Schlecht kalibrierte Wahrscheinlichkeiten können vor dem klinischen Einsatz durch Platt-Skalierung oder isotonische Regression korrigiert werden.
Anwendungen
Eine strenge Bewertung ist von entscheidender Bedeutung, wenn Modelle zur Diagnose von Krankheiten anhand von [DNA-Mikroarrays und Genexpressionsprofilen] (/de/guides/dna-microarrays-and-gene-expression.html), zur Vorhersage von Patientenergebnissen in der [Krebsbiochemie] (/de/guides/cancer-biochemistry.html) oder zur Klassifizierung von Bakterienstämmen in der [Bakteriengenetik] (/de/guides/bacterial-genetics.html) verwendet werden. In jedem Fall stellt eine ordnungsgemäße Validierung sicher, dass die gemeldete Leistung ein echtes Vorhersagesignal und keine Artefakte von Datenlecks, Batch-Effekten oder Überanpassung widerspiegelt, was eine zuverlässige Übertragung auf den klinischen oder Laborgebrauch unterstützt.
