Auswirkungen von KI-Anwendungen in der Medizin in klinischen Studien überprüfen
KI-Anwendungen sollten vor ihrem Einsatz in der Medizin durch unabhängige klinische Studien geprüft werden.
Der 130. Deutsche Ärztetag in Hannover hat den Gesetzgeber, den Gemeinsamen Bundesausschuss (G-BA) und das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) sowie Fachgesellschaften, Forschungsinstitute und Hersteller von KI-Anwendungen aufgefordert, sich für die Durchführung von prospektiven und methodisch hochwertigen klinischen Studien einzusetzen. „Insbesondere bei patientenrelevanten Auswirkungen müssen regelhaft auch randomisierte kontrollierte Studien durchgeführt werden“, heißt es in dem Ärztetags-Beschluss.
In den Studien sollte unter anderem untersucht und dargelegt werden, wie die KI in klinische Entscheidungsprozesse eingebunden ist, welchen Einfluss sie auf ärztliche Entscheidungen hat und welche Risiken durch Fehlinterpretation, Übervertrauen oder Automationsbias bestehen. Studien müssten patientenrelevante und klinisch aussagekräftige Endpunkte untersuchen, insbesondere Behandlungserfolg, Sicherheit für Patientinnen und Patienten, Kosteneffektivität sowie Auswirkungen (u.a. organisatorisch, zeitlich) auf Versorgungsabläufe in Praxis und Klinik.
Zusätzlich sollten aus Sicht der Ärzteschaft praxisnahe Handlungs- und Bewertungsleitfäden sowie standardisierte Prüfkriterien für Ärztinnen und Ärzte entwickelt werden.
Ärztliche Entscheidungsfreiheit bei Verwendung von Hochrisiko-KI-Systeme in Medizinprodukten
Der Ärztetag in Hannover hat den EU-Gesetzgeber in einem weiteren Beschluss aufgefordert, bei der derzeit stattfindenden Überarbeitung der EU-Medizinprodukteverordnung und der EU-Verordnung über Künstliche Intelligenz (KI) die beschlossenen Standards zum Schutz von Patientinnen und Patienten nicht auszuhöhlen. Dies gelte insbesondere für das Erfordernis der menschlichen Aufsicht für alle Hochrisiko-KI-Systeme.
Mit Hochrisiko-KI-Systemen sind gemäß AI-Act der Europäischen Union KI-Anwendungen gemeint, die ein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte von Menschen darstellen können.
Behandelnden Ärztinnen und Ärzten müsse die Entscheidung offenstehen, ein Hochrisiko-KI-System nicht zu verwenden. Dazu gehöre, die Ausgabe des Systems außer Acht zu lassen und auch rückgängig zu machen und auch den Betrieb unterbrechen zu können, um das System in einem sicheren Zustand zum Stillstand zu bringen, betonten die Abgeordneten des Ärztetages.
Sicherzustellen sei außerdem, dass die Verantwortlichkeiten im Rahmen der Weiterentwicklung der regulatorischen Anforderungen an KI-basierte Medizinprodukte klar und rechtssicher geregelt sind. Ärztinnen und Ärzte dürften nicht für Fehler, Fehlfunktionen oder unzutreffende Ergebnisse von KI-Systemen haftbar gemacht werden – vorausgesetzt, diese werden in der vorgesehenen Anwendung eingesetzt.