Während generative KI immer näher an die klinische Versorgung heranrückt, lautet die wichtigste Frage nicht mehr, was KI leisten kann, sondern ob wir darauf vertrauen können, dass sie dies verantwortungsvoll tut.

Künstliche Intelligenz bewegt sich rasant aus Forschungslaboren in reale Gesundheitsumgebungen. Sie wird bereits in der medizinischen Bildgebung, der klinischen Dokumentation, der Patientenkommunikation, der Arzneimittelentwicklung und bei Entscheidungsunterstützungssystemen erforscht und eingesetzt.

Doch je leistungsfähiger KI-Systeme werden, desto deutlicher tritt eine neue Herausforderung hervor: Wie sollte das Gesundheitswesen Technologien bewerten, die Antworten generieren, ihre Ergebnisse anpassen und zunehmend komplexe Aufgaben übernehmen können?

Diese Frage ist in letzter Zeit in den Mittelpunkt gerückt. Am 18. August 2026 veröffentlichte die U.S. Food and Drug Administration (FDA) ein Diskussionspapier, das sich speziell mit der Regulierung generativer KI-gestützter Medizinprodukte befasst. Darin wurden Stakeholder um Rückmeldungen dazu gebeten, wie diese Technologien über ihren gesamten Lebenszyklus hinweg bewertet werden sollten.

Der Zeitpunkt ist bedeutend. Healthcare AI geht längst nicht mehr nur um Mustererkennung; zunehmend geht es um Schlussfolgerungen, Generierung, Interaktion und Entscheidungsunterstützung. Und das verändert alles.

Von Predictive AI zu Generative AI

Traditionelle KI-gestützte Medizintechnologien sind in der Regel auf spezifische und klar definierte Aufgaben ausgerichtet: ein Bild analysieren, ein Merkmal erkennen, einen Risikowert berechnen oder einen Zustand klassifizieren.

Generative KI führt eine völlig andere Komplexitätsebene ein. Large Language Models (LLMs) und multimodale Systeme können auf Grundlage mehrerer Informationsquellen neue Ergebnisse generieren. Sie können klinische Dokumentationen zusammenfassen, konversationell interagieren, unterschiedliche Datenströme interpretieren und Fachkräfte in verschiedenen Phasen eines klinischen Workflows unterstützen.

Art des Outputs

• Prädiktive / traditionelle KI: Feste Outputs (Klassifikation, Risikowert)

• Generative KI: Dynamische Outputs (Text, Zusammenfassung, multimodale Inhalte)

Anwendungsbereich

• Prädiktive / traditionelle KI: Einzelne, klar definierte Aufgabe

• Generative KI: Multitasking, an verschiedene Workflows anpassbar

Evaluierung

• Prädiktive / traditionelle KI: Etablierte, statische Validierungskriterien

• Generative KI: Kontinuierliche Bewertung auf Grundlage des Kontexts und sich weiterentwickelnder Modelle

Obwohl Flexibilität eine der größten Stärken generativer KI ist, stellt sie gleichzeitig ihre wichtigste Herausforderung dar. Ein System, das für eine klar definierte Aufgabe einen festen Output erzeugt, kann anhand etablierter Metriken bewertet werden.

Ein generatives System kann hingegen unterschiedliche Antworten auf ähnliche Eingaben erzeugen, dynamisch mit Benutzern interagieren und sich verändern, wenn die zugrunde liegenden Modelle aktualisiert werden.

Die grundlegende Frage lautet daher: Wie bewerten wir ein System, dessen Fähigkeiten nicht immer unverändert bleiben?

Die FDA stellt eine andere Frage

Das Diskussionspapier der FDA untersucht regulatorische Aspekte wie Risikobewertung, Bewertung vor der Markteinführung und Überwachung nach der Markteinführung von generativer KI-gestützten Medizinprodukten.

Ein besonders wichtiges Konzept, das aus diesem Dialog hervorgeht, ist die Bewertung von KI anhand ihrer Kompetenz für die spezifische Aufgabe, für die sie eingesetzt werden soll.

Statt nur zu fragen: „Funktioniert die Technologie?“, müssen wir zunehmend fragen: „Ist die Technologie für die spezifische klinische Aufgabe, für die sie eingesetzt wird, ausreichend kompetent?“

Diese Unterscheidung ist von enormer Bedeutung. Ein KI-System, das eine medizinische Fachkraft bei der Organisation administrativer Informationen unterstützt, weist ein anderes Risikoprofil auf als ein KI-System, das zu einer diagnostischen oder therapeutischen Entscheidung beiträgt.

Die Folgen eines fehlerhaften Outputs sind grundlegend unterschiedlich.

Die zukünftige Regulierung von KI im Gesundheitswesen wird daher nicht auf einer einzigen, universellen Definition von „guter KI“ beruhen. Stattdessen werden Risiko, bestimmungsgemäße Verwendung, klinischer Kontext und potenzielle Konsequenzen die Bewertungsrahmen bestimmen.

Das Gesundheitswesen kann KI nicht wie gewöhnliche Software behandeln

Generative KI bringt eine weitere grundlegende Herausforderung mit sich: Ihre Outputs sind häufig probabilistisch statt deterministisch. Dasselbe Modell kann je nach Kontext, Formulierung des Prompts oder Modellversion unterschiedliche Antworten erzeugen.

Konventionelle Paradigmen der Softwareentwicklung reichen für klinische Szenarien mit hohem Risiko nicht aus. Gesundheitssysteme müssen über Genauigkeit, Performance und Benutzerfreundlichkeit hinaus bewerten:

• Transparenz und Nachvollziehbarkeit: Verstehen, wie Eingaben zu generierten Outputs führen.

• Bias und Fairness: Eine gleichberechtigte Leistungsfähigkeit über unterschiedliche Patientengruppen hinweg sicherstellen.

• Datenschutz und Cybersicherheit: Patientendaten in konversationellen und generativen Schnittstellen schützen.

• Menschliche Kontrolle und klinische Validierung: Klare Grenzen für die Verantwortung medizinischer Fachkräfte gewährleisten.

• Überwachung nach der Implementierung: Leistungsabweichungen verfolgen, während sich Modelle und Einsatzumgebungen weiterentwickeln.

Aktuelle Forschung, die in Nature veröffentlicht wurde, zeigt, dass die schnelle Integration von Large Language Models in das Gesundheitswesen neue Verantwortlichkeiten, Schwachstellen und potenzielle Sicherheitsrisiken schafft, die vor einer breiten klinischen Einführung systematisch bewertet werden müssen.

Ein leistungsfähiges KI-System für das Gesundheitswesen zu entwickeln, ist nur die Hälfte der Herausforderung. Ein System zu entwickeln, dem verantwortungsvoll vertraut werden kann, ist die andere Hälfte.

Der menschliche Fachmann bleibt zentral

Ein weit verbreitetes Missverständnis im Zusammenhang mit KI im Gesundheitswesen besteht darin, dass ihr Ziel die Ersetzung medizinischer Fachkräfte sei. Die weitaus bedeutendere Chance liegt in der Erweiterung menschlicher Fähigkeiten.

Eine klinische Fachkraft bringt Kontextverständnis, klinische Intuition, Kommunikationsfähigkeit, ethisches Urteilsvermögen und letztlich die Verantwortung für Entscheidungen mit.

Künstliche Intelligenz bietet dazu ergänzende Fähigkeiten:

• Verarbeitung großer Mengen unstrukturierter klinischer Daten

• Erkennung zugrunde liegender Muster über unterschiedliche Datenquellen hinweg

• Reduzierung repetitiver administrativer Aufgaben

• Unterstützung beim schnellen Abruf relevanter Informationen und wissenschaftlicher Erkenntnisse

• Unterstützung strukturierter und personalisierter Patienten-Workflows

• Bereitstellung zusätzlicher Signale zur Entscheidungsunterstützung

Das effektivste Modell im Gesundheitswesen ist nicht Mensch gegen KI, sondern Menschliche Expertise + Künstliche Intelligenz.

Der wahre Wert von KI könnte unsichtbar sein

Die wertvollste Healthcare AI wird nicht unbedingt die Technologie mit der beeindruckendsten Demo sein. Es wird die Technologie sein, die die Arbeitsweise medizinischer Fachkräfte leise und nahtlos verbessert.

Stellen wir uns eine Umgebung vor, in der KI fragmentierte Patientendaten in strukturiertes Wissen umwandelt, routinemäßige Dokumentation automatisiert und relevante Informationen genau zu den Zeitpunkten bereitstellt, an denen sie benötigt werden.

Die KI muss nicht selbst die Entscheidung treffen. Sie fungiert als intelligente Unterstützungsebene für die Menschen, die die Entscheidungen treffen.

Hier entwickelt sich KI von einer technologischen Neuheit zu einer echten Infrastruktur des Gesundheitswesens.

Vertrauen muss von Anfang an entwickelt werden

Vertrauen kann nicht nachträglich in ein KI-System eingebaut werden. Es muss von Anfang an als grundlegender Bestandteil des Systems konzipiert werden.

Verantwortungsvolle Innovation erfordert, wichtige Fragen bereits im Vorfeld zu beantworten:

1. Datenherkunft: Auf welchen Daten wurde das System aufgebaut und feinabgestimmt?

2. Evaluierung: Wie wurde das Modell anhand von Grenzfällen validiert?

3. Fehlerszenarien: Welche Sicherheitsmechanismen greifen, wenn das System einen Fehler macht?

4. Erklärbarkeit: Können medizinische Fachkräfte verstehen, warum ein bestimmter Output generiert wurde?

5. Verantwortlichkeit: Wer trägt letztlich die Verantwortung für klinische Entscheidungen?

6. Lebenszyklusmanagement: Wie wird die Leistung überwacht, wenn zugrunde liegende Modelle aktualisiert werden?

Die Arbeit der FDA spiegelt einen breiteren Wandel in der Branche wider: KI über ihren gesamten Lebenszyklus hinweg zu bewerten, anstatt sich auf eine einzige statische Prüfung vor der Implementierung zu verlassen.

Die nächste Generation von Healthcare AI

KI im Gesundheitswesen tritt in eine neue Reifephase ein:

• Phase 1: Nachweis, dass KI beeindruckende, isolierte Aufgaben ausführen kann.

• Phase 2: Nachweis, dass KI sicher, verantwortungsvoll und sinnvoll in realen klinischen Workflows eingesetzt werden kann.

Um Phase 2 zu erreichen, sind robuste Bewertungsrahmen, eine strenge Data Governance, starke Cybersicherheit, eine kontinuierliche Überwachung nach der Markteinführung und eine enge Zusammenarbeit zwischen Technologieentwicklern und medizinischen Fachkräften erforderlich.

Allein die Leistungsfähigkeit wird nicht darüber entscheiden, ob KI im Gesundheitswesen erfolgreich sein wird.

Entscheidend wird Vertrauen sein.

Die Perspektive von Kemetica

Bei Kemetica sind wir überzeugt, dass die Zukunft von KI im Gesundheitswesen nicht durch die Ersetzung menschlicher Expertise definiert wird, sondern durch ihre Verstärkung.

Die wirkungsvollsten KI-Lösungen lösen konkrete operative und klinische Herausforderungen, vereinfachen komplexe Workflows, unterstützen Gesundheitsteams, verbessern den Zugang zu Informationen und ermöglichen eine personalisiertere und effizientere Patientenversorgung.

Unsere grundlegenden Prinzipien für KI im Gesundheitswesen:

• Human-Centered: Entwickelt rund um reale klinische Workflows und die Kontrolle durch medizinische Fachkräfte.

• Evidence-Informed: Basierend auf einem fundierten klinischen Kontext und der Integrität der Daten.

• Responsible by Design: Mit Datenschutz, Sicherheit und Schutz als grundlegenden Bestandteilen entwickelt.

• Practical & Scalable: Mit unmittelbarem operativem Mehrwert und ohne unnötige Reibungsverluste.

Die zentrale Frage, vor der unsere Branche steht, lautet nicht einfach: „Wie intelligent kann Healthcare AI werden?“

Sie lautet: „Wie können wir zunehmend intelligente KI wirklich nützlich, sicher und vertrauenswürdig für die Menschen machen, die auf das Gesundheitswesen angewiesen sind?“

Das ist die Herausforderung, die vor uns liegt – und sie ist weitaus wichtiger als Intelligenz allein.

Quellen und weiterführende Informationen:

• U.S. Food and Drug Administration: Considerations for the Regulation of Generative AI-Enabled Medical Devices: Discussion Paper and Request for Feedback (FDA Discussion Paper)

• U.S. Food and Drug Administration: FDA Seeks Public Feedback to Inform Regulatory Approach for Generative AI-Enabled Medical Devices (FDA Press Announcement)

• Nature: Safety and security of large language models in healthcare (Nature Journal)