Medizinprodukte, die auf Methoden der künstlichen Intelligenz (KI) aufbauen, verbessern bereits heute die Gesundheitsversorgung. Ein Beispiel sind Kamerasysteme mit KI-gestützter Bildauswertung für komplexe Operationen. Künstliche Intelligenz bietet darüber hinaus großes Potenzial für eine verstärkte Automatisierung von Routineaufgaben und eröffnen völlig neue Wege in der Prävention, Diagnostik, Therapie und Pflege.
Die Marktzulassung KI-gestützer Anwendungen muss hohen regulatorische Anforderungen genügen – im Sinne der Sicherheit für Patientinnen und Patienten. Allerdings stellt dies die mittelständisch geprägte deutsche Medizintechnikbranche vor erhebliche Herausforderungen.
Vielzahl von Anforderungen für KI-gestützte Medizin
Die Anforderungen sind unter anderem in der Medical Device Regulation MDR (und der In-vitro Device Regulation IVDR geregelt. Sind KI-Modelle Teil eines Medizinprodukts, so wird seit 2024 zusätzlich der EU AI Act relevant. Dessen umsetzungsfreundliche Ausgestaltung ist ein wichtiger Baustein zur Steigerung der Innovationsfähigkeit.
Der EU AI Act zielt darauf ab, die verantwortungsvolle Entwicklung von innovativen Anwendungen auf Grundlage von KI-Verfahren in der Europäischen Union zu vereinheitlichen. Im Gesundheitswesen trifft sie allerdings auf vorhandene Vorgaben, wie zum Beispiel die MDR, und verschärft damit potenziell das Spannungsfeld zwischen Innovationsfähigkeit und Produktsicherheit, etwa durch Überschneidungen und Doppelregulierungen.
Denn auch die Umsetzung der MDR ist komplex, selbst noch acht Jahre nach der Einführung. Laut Zahlen aus einer Umfrage aus dem Jahr 2022 hat sich die durchschnittliche Zeit für eine Zertifizierung eines Medizinprodukts in Folge der MDR von circa 6 auf aktuell 13–18 Monate mehr als verdoppelt. Allerdings wurde bereits eine Initiative zur Vereinfachung der Vorschriften gestartet.
Herausforderungen für KMU in der Medizintechnik
Die deutsche Medizintechnikbranche wird Stand 2024 zu 93 Prozent von kleinen und mittelständischen Unternehmen (KMU) getragen und ist ein wesentlicher Wirtschaftsfaktor mit über 210.000 Arbeitsplätzen und fast 20 Milliarden Euro jährlicher Wertschöpfung. Großunternehmen der Branche verfügen über spezialisierte Abteilungen mit Expertinnen und Experten für die Umsetzung regulatorischer Anforderungen.
KMU sowie Start-Ups stellt die Umsetzung komplexer regulatorischer Anforderungen jedoch vor Herausforderungen, da sie nicht über die notwendigen personellen und finanziellen Ressourcen verfügen.
Einige mögliche Innovationshemmnisse insbesondere für KMU und Start-Ups wurden bei der Ausarbeitung des AI Acts bereits beachtet: Für KMU und Start-ups soll beispielsweise eine vereinfachte technische Dokumentation bei der Zulassung von Hochrisiko-Systemen ermöglicht werden und diese Unternehmen sollen einen vorrangigen und erleichterten Zugang zu Testumgebungen erhalten.
Damit der AI Act auch langfristig zur Entwicklung und zum Einsatz innovativer Medizinprodukte mit KI-Nutzung unter Wahrung der strikten Anforderungen an die Produktsicherheit beiträgt, sind weitere Maßnahmen notwendig. Am Anfang steht dabei der Abgleich bestehender Anforderungen, zum Beispiel durch die MDR, und neuer Anforderungen durch den EU AI Act, insbesondere die Möglichkeit einer einheitlichen technischen Dokumentation. Im AI Act ist diese Möglichkeit bereits angelegt.
Herausforderungen für KI-gestützte Verfahren
Erklärbarkeit
Die technologischen Fortschritte von KI sollen künftig noch stärker durch innovative Medizinprodukte nutzbar werden. Die Erklärbarkeit von KI-Anwendungen (explainable AI – XAI) ist dabei eines der Grundprinzipien für eine menschenzentrierte Entwicklung von KI-Anwendungen. Erklärbarkeit meint technische Verfahren, die es den Nutzenden von KI-Systemen ermöglichen, nachvollziehbar die Gründe für Entscheidungen des KI-Systems zu bewerten und zu überwachen.
Bei komplexeren nicht-linearen KI-Verfahren, wie Deep-Learning-Verfahren, ist die Erklärbarkeit noch Teil aktueller Forschung. Aber gerade solche nicht-lineare KI-Modelle bieten oft einen großen Mehrwert, da sie zum Beispiel eine hohe Modellgüte bei komplexeren Aufgaben erreichen, vielseitiger einsetzbar sind und hochdimensionale, multimodale Datensätze besser verarbeiten können. Perspektivisch müssen daher auch unter Berücksichtigung von technologischen Entwicklungen im Bereich KI Zwischenlösungen in Bezug auf Erklärbarkeit ermöglicht werden.
Menschliche Aufsicht gefordert
Im AI Act wird menschliche Aufsicht bei Hochrisiko-Systemen. gefordert. Daraus ergeben sich potenziell weitere Herausforderungen: Die Weiterentwicklung von KI-Methoden könnte dazu führen, dass menschliche Aufsicht zum Risikofaktor beim Einsatz von KI-basierten Systemen allgemein und damit auch bei KI-basierten Medizinprodukten – speziell im Bereich der Entscheidungsunterstützung – wird.
Untersuchungen in unterschiedlichen Anwendungsbereichen zeigen unter anderem zwei mögliche Fehlerquellen bei der Kopplung von KI-basierten Vorschlägen mit menschlicher Entscheidungsfindung:
Erstens, wenn den Vorschlägen des KI-Systems ohne Prüfung quasi blind vertraut wird und zweitens, wenn den Ergebnissen der KI zu wenig vertraut wird. Im ersten Fall erfüllt der Mensch nicht die im AI Act angedachte Aufgabe einer Kontrollinstanz, im zweiten Fall senkt die menschliche Aufsicht potenziell die Ergebnisqualität des KI-Systems.
Die Frage, ob eine menschliche Aufsicht bei automatisierten Entscheidungssystemen zu besseren Ergebnissen führt, ist daher noch nicht abschließend geklärt. Ähnlich zu den Anforderungen für die Erklärbarkeit von KI-Systemen im AI Act sollte die Pflicht zur menschlichen Aufsicht daher ebenfalls dynamisch und in Abhängigkeit des jeweiligen KI-Systems und Anwendungsbereichs betrachtet werden.
Bisher keine lernenden Systeme im Gesundheitswesen
Aktuell sind auf Grund der Zulassungsregeln nur statische KI-Anwendungen im Gesundheitswesen im Einsatz, da die Zulassung nur eine bestimmte Modellversion berücksichtigt. Üblicherweise werden sogenannte statische KI-Modelle einmalig erstellt und dann im Betrieb nicht mehr geändert. Bei kontinuierlichem Lernen werden den KI-Modellen stattdessen sukzessive immer neue Datenpunkte zum iterativen Training zur Verfügung gestellt, um mit Hilfe der stetig wachsenden Datengrundlage deren Prognosequalität zu verbessern.
Dabei könnte ein kontinuierlich lernendes KI-System Fachkräfte besser unterstützen und seine bereits erlernten Aufgaben stetig verfeinern, zum Beispiel bei der Erstellung von Diagnosen. Der AI Act berücksichtigt bereits kontinuierlich lernende KI-Systeme
Gesundheitsdaten Voraussetzung für KI-Systeme
Die umsetzungsfreundliche Ausgestaltung des AI Acts ist ein wichtiger, aber nicht der einzige Baustein zur Steigerung der Innovationsfähigkeit im Bereich KI-gestützter Medizinprodukte. Trotz technischer Fortschritte ist die Verfügbarkeit von realen und qualitativ hochwertige Gesundheitsdaten nach wie vor eine zentrale Voraussetzung für die Entwicklung neuer KI-Systeme.
Dabei kann und sollte der europäische Gesundheitsdatenraum eine wesentliche Rolle spielen, da er erstmals Zugang zu einer Vielzahl von nationalen Datenquellen ermöglichen soll. Auch auf nationaler Ebene gibt es eine Vielzahl an positiven Entwicklungen: Beispiele sind das Gesundheitsdatennutzungsgesetz oder auf universitärer Seite das Netzwerk Universitätsmedizin und das Forschungsdatenportal Gesundheit (FDPG) der Medizininformatik-Initiative. Im FDPG stehen bereits heute strukturierte und standardisierte Daten für Forschung und Entwicklung zur Verfügung.
Für Deutschland und Europa bietet sich so die Chance, der bestehenden Marktmacht internationaler Unternehmen mit einer gesteigerten EU-Innovationsfähigkeit entgegenzutreten. Einerseits werden Verbesserungen in der Gesundheitsversorgung und die Zukunftsfähigkeit der Gesundheitswirtschaft gestärkt.
Andererseits kann durch eine aktive Entwicklung KI-gestützter Anwendungen für das Gesundheitssystem verhindert werden, dass die Bedingungen und Möglichkeiten für die Nutzung von Gesundheitsdaten ausschließlich von nicht-europäischen Akteuren definiert werden. Nur so wird auch in Zukunft ein souveräner Umgang mit KI-Gesundheitsanwendungen innerhalb der EU möglich sein.
Weitere Informationen finden Sie in einem Impulsbericht der Plattform Lernende Systeme.
Kommentar verfassen