This article is also available in English.
Über künstliche Intelligenz in der Intensivmedizin wird viel geschrieben, meist mit einer Prognose: Sie wird die Versorgung verbessern, oder sie wird Schaden anrichten. Eine Arbeit im American Journal of Respiratory and Critical Care Medicine geht einen anderen Weg. David Maslove, Leo Celi und fünf Koautoren aus Kanada, Uganda und den USA beschreiben zehn erfundene Szenarien. Sie betonen ausdrücklich, dass es keine Vorhersagen sind. Die Szenarien sollen zeigen, welche Entscheidungen heute anstehen, bevor sich Systeme festsetzen.
Die Arbeit ist als State of the Art erschienen und liegt bisher als akzeptiertes Manuskript vor. Sie enthält keine eigenen Daten. Wo es Belege gibt, verweisen die Autoren darauf, und sie trennen das von dem, was spekulativ bleibt.
Vier Leitfragen
Die zehn Szenarien kreisen um vier Fragen. Was kann ein Modell wissen, das mit Daten aus der Vergangenheit trainiert wurde? Wem gehören die Daten, und wer profitiert davon? Wer ist verantwortlich, wenn etwas schiefgeht? Und welche ärztlichen Fähigkeiten bleiben erhalten, welche gehen verloren?
Drei Szenarien im Detail
Die Prognose, die sich selbst bestätigt. Angenommen, ein Modell sagt nach einer Reanimation ein schlechtes neurologisches Ergebnis voraus. Die Familie entscheidet sich im Sinne des Patienten gegen weitere lebenserhaltende Therapie, der Patient stirbt. Ein Jahr später wird das Modell mit den neuen Daten nachtrainiert, und dieser Tod zählt als richtige Vorhersage. Die Kennzahlen des Modells steigen. Ob der Patient ohne die Vorhersage überlebt hätte, lässt sich aus diesen Daten nicht beantworten. Die Autoren weisen darauf hin, dass das kein Problem neuer Verfahren ist. Jeder Score, der einen schlechten Verlauf vorhersagt, kann ihn über die Therapieentscheidung mit herbeiführen, ob logistische Regression oder neuronales Netz.
Die Frage der Haftung. Angenommen, ein KI-System befundet ein CT als Lungenembolie. Die Patientin erhält eine Lyse und stirbt an einer Hirnblutung, in der Obduktion findet sich keine Embolie. Die behandelnde Ärztin hatte Zweifel und ist dem Befund trotzdem gefolgt. Im Szenario haften Klinik und Hersteller gemeinsam, und alle Beteiligten halten danach die anderen für verantwortlich. Die Autoren sprechen von einem Verantwortungsvakuum. Es entsteht, wenn vor dem Einsatz niemand festgelegt hat, wer wofür einsteht.
Meine Einordnung dazu: Dass ein KI-Unternehmen jemals die Verantwortung für einen Patienten übernimmt, halte ich für unwahrscheinlich. Ein Hersteller steht allenfalls für sein Produkt ein, nicht für die Behandlung. Die Entscheidung am Bett und damit die Verantwortung für den Patienten bleiben beim Arzt, auch wenn er einem KI-Befund folgt. Das Verantwortungsvakuum füllt sich in der Praxis also von selbst, und zwar zulasten der Ärzte.
Never-Skilling. Angenommen, eine Assistenzärztin in der Intensivrotation fragt nachts einen Chatbot nach Differenzialdiagnose, Intubation und Narkosemedikamenten. Am Ende der Rotation wertet ein weiteres System ihre Dokumentation aus und empfiehlt, die Rotation zu bestehen. Bei erfahrenen Ärzten wird über den Verlust von Fähigkeiten diskutiert, das De-Skilling. Bei Weiterbildungsassistenten sehen die Autoren ein anderes Risiko: Die Fähigkeit entsteht gar nicht erst.
Weitere Szenarien behandeln die Schätzung des Hirndrucks aus Routinesignalen, KI-gestützte Forschung, die überstürzte Einführung eines Triagesystems in einer Region mit anderem Patientenspektrum, automatische Dokumentation, Verwaltungsarbeit, vernetzte Patientendaten in Ruanda und die Vergabe des letzten Intensivbetts während einer Welle von Atemwegsinfektionen.
Arbeitsregeln aus der datengestützten Medizin
Im Epilog fassen die Autoren Regeln zusammen, die schon für frühere datengestützte Verfahren galten:
- Eine Vorhersage ist keine Behandlung.
- Bessere Trennschärfe ist kein Beleg für bessere Entscheidungen.
- Ein System wird in der Population und dem Ablauf geprüft, in dem es eingesetzt werden soll, nicht nur dort, wo es entwickelt wurde.
- Die Leistung wird nach der Einführung weiter überwacht, weil die Genauigkeit unbemerkt abdriften kann.
- Die Verantwortung für Fehler wird vor dem Einsatz geklärt, nicht erst durch einen Rechtsstreit.
- Anreize für die Einführung hängen an unabhängig geprüften Ergebnissen, nicht an der Einführung selbst.
- Die Bedingungen, unter denen Ärzte und Weiterbildungsassistenten ihr Wissen und Können entwickeln und erhalten, werden geschützt.
Für die überstürzte Einführung ziehen die Autoren den Vergleich mit der elektronischen Patientenakte. Sie wurde in den USA mit staatlichen Anreizen eingeführt, bevor ihr Nutzen belegt war. Als Gegenmodell schlagen sie strategische Geduld vor: abwarten, bis Systeme, Abläufe und Evidenz gereift sind.
Grenzen der Arbeit
Die Szenarien sind erfunden und von den Autoren ausgewählt. Sie zeigen, was passieren könnte, nicht wie wahrscheinlich es ist. Die meisten spielen in den USA und Kanada, mit dem dortigen Haftungs- und Vergütungssystem. Auf deutsche Verhältnisse lassen sie sich nur teilweise übertragen. Ein Autor ist an einer Analysefirma beteiligt. Die Autoren geben außerdem an, die Gestaltung ihrer Abbildung mit Unterstützung eines Sprachmodells erstellt zu haben. Die Inhalte stammen nach eigener Angabe von ihnen selbst.
Was man daraus mitnehmen kann
Die Arbeit liefert keine Antworten, sie ordnet Fragen. Ihr Wert liegt darin, dass sie Risiken benennt, die nicht von der Technik abhängen, sondern von Entscheidungen über deren Einsatz: wer prüft, wer haftet, wer überwacht und wie Weiterbildung gesichert bleibt. Diese Fragen müsste man beantworten, bevor ein System in die Versorgung kommt.
Was müsste aus eurer Sicht zuerst geklärt sein? Meinungen gern in die Kommentare.
Quelle: Maslove DM, Cotton C, Kwizera A, Mousavi P, Piquette D, Uzun A, Celi LA. The Future of AI in Critical Care: An Exploration in Ten Parables. Am J Respir Crit Care Med 2026, akzeptiertes Manuskript. doi:10.1093/ajrccm/aamag582
Quelle: DOI: 10.1093/ajrccm/aamag582 · Originalarbeit