Vertrauenswürdige KI im Gesundheitswesen: Ein zweischneidiges Schwert

Künstliche Intelligenz (KI) wird zunehmend Teil von Gesundheitsversorgung und Public Health – von diagnostischer Unterstützung und klinischer Entscheidungsfindung über Surveillance und Arzneimittelentwicklung bis hin zu patientennahen digitalen Informations- und Interaktionstools. Diese Entwicklung geht einher mit der wachsenden Erkenntnis, dass KI-Systeme trotz ihrer nachgewiesenen Potenziale auch neue Herausforderungen mit sich bringen: etwa algorithmische Verzerrungen, intransparente Entscheidungsprozesse und eine übermäßige Automatisierung. Zugleich schreitet die Einführung von KI in einer Geschwindigkeit voran, wie sie bei früheren digitalen Gesundheitstechnologien kaum zu beobachten war. In sensiblen klinischen und Public-Health-Kontexten sind diese Risiken nicht theoretisch. Sie haben unmittelbare Auswirkungen auf Patientensicherheit, gerechten Zugang zu Versorgung und das öffentliche Vertrauen in Gesundheitssysteme.

KI im Gesundheitswesen erscheint damit zunehmend als zweischneidiges Schwert: als Technologie, die Gesundheitsergebnisse sowohl verbessern als auch gefährden kann – je nachdem, wie sie reguliert, umgesetzt und überwacht wird.

Diese Spannung erreicht nun einen entscheidenden Moment: Der EU AI Act, der weltweit erste umfassende horizontale Rechtsrahmen für Künstliche Intelligenz, tritt in Kraft. Vor diesem Hintergrund hat die Arbeitsgruppe 2025/2026 des Global Health Hub Germany zu Künstlicher Intelligenz in Gesundheit den Policy Brief „Trustworthy AI in Health: Governing a Double-Edged Sword“ erarbeitet.

Für den Gesundheitssektor setzt der EU AI Act wichtige neue Anforderungen. Die Analyse der Arbeitsgruppe zeigt jedoch: Die Erfüllung dieser Anforderungen allein stellt nicht automatisch sicher, dass KI-Systeme gerecht funktionieren, transparent bleiben oder Patientinnen und Patienten darüber informiert werden, wenn KI ihre Versorgung mitprägt.

Der zentrale analytische Beitrag des Policy Briefs besteht darin, das Verhältnis zwischen rechtlicher Compliance im Rahmen des EU AI Acts und dem weniger eindeutig gesetzlich gefassten Konzept der Vertrauenswürdigkeit zu untersuchen. Auf Basis empirischer Fallanalysen zeigt der Brief, dass beides nicht zwangsläufig deckungsgleich ist. Vertrauenswürdige KI-Governance erfordert zusätzliche regulatorische Maßnahmen, die die rechtlichen Vorgaben des EU AI Acts ergänzen.

Um dies zu verdeutlichen, untersucht die Working Group zwei KI-Anwendungen, die bereits aktiv eingesetzt werden: ein KI-basiertes „Second Reader“-System im nationalen Mammographie-Screening-Programm in Deutschland sowie einen KI-gestützten Chatbot, der im britischen NHS zur Triage von Überweisungen eingesetzt wird. Beide Systeme haben reale, messbare Vorteile erbracht – schnellere Befundung, höhere Erkennungsraten und verbesserte Abschlussraten bei Überweisungen. Beide zeigen jedoch auch klare Governance-Lücken: begrenzte unabhängige Evidenz, kaum Offenlegung gegenüber Patientinnen und Patienten, dass KI an ihrer Versorgung beteiligt ist, und nur wenig öffentliche Infrastruktur, die nachverfolgt, wie diese Systeme nach ihrer Einführung tatsächlich funktionieren.

Ein zentraler Bestandteil der Analyse ist die Anwendung des FUTURE-AI Frameworks – einer international entwickelten, auf Expertinnen- und Expertenkonsens beruhenden Leitlinie. Der Policy Brief bewertet die beiden Fallstudien entlang von sechs Prinzipien: Fairness, Universality, Traceability, Usability, Robustness und Explainability. Anschließend zeigt er auf, wo bestehende Implementierungspraktiken und rechtliche Verpflichtungen nicht ausreichen, und formuliert gezielte Handlungsempfehlungen.

Die Empfehlungen konzentrieren sich auf drei Prioritäten: 

1. Patientinnen, Patienten und Gesundheitsfachkräfte müssen im Zentrum KI-gestützter Versorgung stehen. 
2. Sinnvolle menschliche Aufsicht und öffentliche Rechenschaftspflicht müssen gestärkt werden. 
3. Zudem braucht es Governance-Strukturen, die flexibel genug sind, um die Leistungsfähigkeit von KI-Systemen auch lange nach ihrer Markteinführung kontinuierlich zu überwachen.

Die Sorgfalt und Investitionen, die in nationale Governance-Mechanismen fließen, sollten zugleich Grundlage für eine glaubwürdige Mitgestaltung internationaler Normen sein. Die Empfehlungen richten sich daher auf den strategisch wichtigen kurzfristigen Handlungsbedarf: Sie sollen Deutschland dabei unterstützen, den EU AI Act im eigenen Gesundheitssektor umzusetzen und zugleich seine Rolle in internationalen Gesundheitsprozessen und in der globalen Gesundheitsgovernance weiterzuentwickeln.

„Trustworthy AI in Health: Governing a Double-Edged Sword“ wird vom Global Health Hub Germany veröffentlicht, der bei der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH angesiedelt ist.

Der Artikel und der Policy Brief sind Ergebnisse der Hub-Arbeitsgruppe zu AI in Global Health, dem communityübergreifenden Jahresthema des Global Health Hub Germany 2025/2026. Auch die Hub Arbeitsgruppe zu Global Women's Health hat zu dem Thema künstliche Intelligenz ein Paper zu “Feminist Perspectives on AI Deployment in Women's Health" veröffentlicht. 

Als kommendes Jahresthema haben die Hub Communities Universal Health Coverage (UHC) gewählt. Wer Interesse hat, sich in die nächste Phase der communityübergreifenden Zusammenarbeit einzubringen, kann sich gerne schon jetzt bei Katrin Würfel (katrin.wuerfel(at)globalhealthhub.de) melden. 

Für weitere Informationen zum Policy Brief oder zu den GHHG Communities, die ihn erarbeitet haben, wenden Sie sich bitte an: info(at)globalhealthhub.de