Ein Mann, 61 Jahre, kommt mit zunehmender Atemnot. Der Assistenzarzt denkt an eine dekompensierte Herzinsuffizienz und lässt seine Verdachtsdiagnose von einem KI-System gegenprüfen. Das System bestätigt ihn und schlägt die leitliniengerechte Therapie vor. Er übernimmt den Plan.

Untergegangen ist dabei ein einzelner Befund: den atemabhängigen Thoraxschmerz hatte der Assistenzarzt gezielt erfragt, aber nicht dokumentiert — dafür war ja die KI zuständig. Erfasst hat sie ihn nicht. Die Oberärztin übernimmt später, kennt die Schwächen solcher Systeme, liest die Aufzeichnung nach und findet die Lücke. Die CT-Angiographie zeigt eine segmentale Lungenembolie.

Der Fall stammt aus einem Perspective-Artikel im New England Journal of Medicine und ist ein konstruiertes Lehrbeispiel, kein realer Patient. Der Mechanismus dahinter ist es nicht.

Das Automationsparadox

Je flüssiger ein System formuliert, desto mehr Aufgaben gibt man ab. Und mit jeder abgegebenen Aufgabe verliert man etwas von genau der Fähigkeit, die man braucht, um die Fehler des Systems zu bemerken.

Der Kreislauf läuft in vier Schritten: Eine flüssige Antwort erzeugt ungeprüftes Vertrauen. Die Denkarbeit wandert ab. Die eigene Sicherheit im Fach nimmt ab. Die Abhängigkeit wächst. Das Tückische daran ist, dass jeder einzelne Schritt für sich vernünftig aussieht — Arbeit delegieren ist schließlich der Sinn eines Werkzeugs.

Der Vorschlag kommt aus dem Cockpit

Die Autoren schlagen vor, das Crew Resource Management aus der Luftfahrt zu übertragen. Der Kerngedanke in einem Satz: Die KI ist Kopilot, nie Kommandant. Aufgaben lassen sich delegieren, die Verantwortung nicht.

Voraussetzung dafür ist eine einzige Fähigkeit, und sie ist unbequem: alleine fliegen können. Wer einen Fall nicht selbst durchdenken kann, hat keinen Maßstab, an dem sich die Antwort der KI überhaupt messen ließe. Ohne eigenes Urteil bleibt nur Zustimmung.

Fünf Kompetenzen für die tägliche Arbeit

Das Lagebild steht am Anfang: die eigene Unsicherheit im Moment bemerken und dann langsamer werden. Das gelingt nur mit Fachwissen, denn ein Warnsignal erkennt nur, wer weiß, was eines ist.

Kommunikation ist die zweite Kompetenz, und sie funktioniert wie beim Konsil: Die Qualität der Antwort hängt davon ab, wie gefragt wird. Also aussprechen, was man wissen will, warum, und woran man die Antwort messen wird.

Beim Verteilen der Aufgaben stellt sich die Frage jedes Mal neu — bei dieser Aufgabe, mit diesem Werkzeug, bei diesem Risiko: wie viel darf abgegeben werden? Zum Gegenprüfen gehört, dass das Verwerfen eines KI-Vorschlags keine Niederlage ist, sondern Teil der ärztlichen Arbeit. Weil sich die Systeme schneller ändern als die Daten zu ihrer Prüfung, gilt im Zweifel die strengere Kontrolle.

Die fünfte Kompetenz ist eine Reihenfolge: erst selbst denken, dann fragen. Den Fall zuerst allein durchdenken, die KI danach nutzen, um die eigene Überlegung zu schärfen, in Frage zu stellen oder zu erweitern. Nur so bleibt vergleichbar, was von einem selbst kam und was vom System — und ohne diesen Vergleich merkt man nicht, wann man nur noch nachvollzieht, statt zu denken.

Was das für die Weiterbildung bedeutet

Wann man einem Konsil vertraut, wann man widerspricht, wann man eine zweite Meinung einholt: Gelernt wird das durch Zuschauen, benannt wird es fast nie, geprüft so gut wie nie. Genau hier setzt der Vorschlag der Autoren an — diese Fähigkeit als Kompetenz zu benennen und prüfbar zu machen, etwa mit Übungen, in denen die KI absichtlich falsche Angaben liefert und gemessen wird, wer sie findet.

Für die Station heißt das weniger eine neue Regel als eine Reihenfolge, die sich einhalten lässt: erst die eigene Einschätzung, dann die Anfrage. Wer den Befund selbst erhoben hat, sollte ihn auch selbst dokumentieren. Und wer einen Vorschlag verwirft, tut seine Arbeit.

Quelle: DOI: 10.1056/NEJMp2600938 · Originalarbeit