Gemeinsame Entscheidungsfindung mit klinischen Entscheidungshilfesystemen im Rahmen der KI-Verordnung
08/2026
1. Einleitung
Künstliche Intelligenz (KI) hat im Bereich der Medizin zahlreiche Anwendungsmöglichkeiten gefunden, die von der biomedizinischen Forschung über die Arzneimittelentwicklung bis hin zur direkten Patientenversorgung reichen. KI-Systeme können unter anderem Patienten triagieren, radiologische Aufnahmen nach Tumoren durchsuchen, Hautläsionen klassifizieren, Alarm auslösen, wenn sich der Zustand eines Patienten zu verschlechtern scheint, und Behandlungen empfehlen. Die Gesamtheit dieser Instrumente, die darauf abzielen, die Genauigkeit, Effizienz oder andere Aspekte der Patientenversorgung zu verbessern, wird oft als klinische Entscheidungsunterstützungssysteme (CDSS) bezeichnet, womit ihre beabsichtigte unterstützende Rolle hervorgehoben wird. Diese Technologien spielen bei medizinischen Entscheidungsprozessen eine immer grössere Rolle, doch gibt es Gründe zu bezweifeln, ob sie diese unterstützende Rolle erfolgreich ausfüllen oder den komplexen Charakter medizinischer Entscheidungsprozesse vollständig erfassen können.
Behandlungsempfehlungen sind oft weder richtig noch falsch, sondern weisen vielmehr eine bestimmte Erfolgswahrscheinlichkeit auf, die gegen mögliche Nebenwirkungen abgewogen werden muss. Zudem kann die Abwägung von Zielen wie Lebenserwartung und Lebensqualität in jedem Einzelfall zu unterschiedlichen Entscheidungen führen. Medizinische Entscheidungsprozesse müssen sich daher mit Unsicherheit, Wahrscheinlichkeiten und unterschiedlichen Wertesystemen auseinandersetzen. In Anerkennung dessen hat sich das System der medizinischen Entscheidungsfindung im Allgemeinen von einem historisch eher paternalistischen Ansatz hin zu einem Modell der gemeinsamen Entscheidungsfindung zwischen Patient und medizinischem Fachpersonal entwickelt, wobei von den medizinischen Fachpersonen erwartet wird, dass sie Erklärungen liefern und Präferenzen berücksichtigen. In diesem Bild der gemeinsamen Entscheidungsfindung hält die KI als dritter Akteur allmählich Einzug in das Sprechzimmer und verändert damit die Arzt-Patienten-Beziehung. Wann immer KI im Gesundheitswesen eingesetzt wird – selbst in Situationen, in denen Patienten nicht direkt mit ihr interagieren –, tragen sie das Risiko negativer Folgen für ihre Gesundheit und ihr Wohlbefinden. Die Sichtweisen der Patienten zum Einsatz von KI (sollten) daher bei Entscheidungen über deren Einführung ein grosses Gewicht haben. Zu den wichtigsten Bedenken der Patienten hinsichtlich des Einsatzes von KI scheinen die Aufsicht und Verantwortung des Arztes beim Einsatz neuer Technologien sowie die Autonomie und die Fähigkeit, fundierte Entscheidungen zu treffen, zu gehören.
Mit dem Ziel, den technologischen Fortschritt zu regulieren, trat am 1. August 2024 die Verordnung über künstliche Intelligenz (KI-VO) in Kraft. Das Gesetz ist zwar kein Einzelfall in seinem Bestreben, KI zu regulieren, stellt jedoch den ersten Versuch einer horizontalen (sektorübergreifenden) KI-Regulierung in der EU dar und zielt darauf ab, die KI-Gesetzgebung in Europa zu harmonisieren und den Einsatz vertrauenswürdiger KI zu fördern. Die Anforderungen der KI-VO treten im Laufe von drei Jahren nach seinem Inkrafttreten in verschiedenen Phasen in Kraft.
Bereits vor dem Inkrafttreten der KI-VO wurden die Entwicklung und der Einsatz medizinischer KI in gewissem Umfang durch sektorspezifische Rechtsvorschriften geregelt. Zudem lassen sich einige Anforderungen an die Entwicklung und den Einsatz medizinischer KI aus den Grundrechten oder dem Datenschutzrecht ableiten. Somit wurde medizinische KI nicht in einem rechtlichen Vakuum entwickelt. Insbesondere die Medizinprodukteverordnung (MDR) und die Verordnung über In-vitro-Diagnostika (IVDR) sehen Beschränkungen für die Hersteller von Medizinprodukten vor, zu denen auch Software und damit medizinische KI gehören. Für das in diesem Beitrag erörterte Szenario (dargestellt unter Abschnitt 2 ) gilt die MDR und nicht die IVDR; daher wird hier in erster Linie auf die MDR Bezug genommen, obwohl ähnliche Überlegungen auch für die IVDR gelten würden. Die Datenschutz-Grundverordnung (DSGVO) regelt die Bearbeitung von Personendaten und enthält einige Bestimmungen speziell zur automatisierten Entscheidungsfindung und Profilerstellung (Art. 22 DSGVO). Darüber hinaus unterliegt die Praxis von Fachpersonen im Gesundheitswesen dem nationalen und internationalen Medizinrecht sowie der ärztlichen Standesordnung, die sich beispielsweise mit den Informationspflichten gegenüber Patienten und dem Umfang befassen, in dem die Entscheidungsfindung durch Technologien unterstützt werden darf. Diese regeln somit die Erbringung von Gesundheitsdienstleistungen, unabhängig davon, ob dies den Einsatz von KI-Systemen umfasst.
Angesichts des komplexen Zusammenspiels zwischen der KI-Verordnung und bereits bestehenden Vorschriften ist es das Ziel dieses Beitrags zu beurteilen, ob die KI-Verordnung wesentliche Veränderungen für den Prozess der gemeinsamen Entscheidungsfindung zwischen Ärzten und Patienten im Gesundheitswesen mit sich bringt. Dies erfordert eine Analyse der Bestimmungen in der KI-Verordnung, die sich auf die Situation der gemeinsamen Entscheidungsfindung im klinischen Umfeld auswirken. Dazu gehören die Erwartungen an Gesundheitsfachkräfte hinsichtlich der Überwachung von KI-Systemen sowie die Einbeziehung – oder das Fehlen derselben – von Patienten als Entscheidungsakteure. Zu diesem Zweck untersuche ich die beiden Aspekte der menschlichen Aufsicht und der Patientenbeteiligung in der KI-Verordnung und stelle die neuen Bestimmungen dem bisherigen Rechtsrahmen gegenüber. Ziel ist es, zu verstehen, inwieweit die KI-Verordnung neue Instrumente zur Regulierung der KI als Akteur in der klinischen gemeinsamen Entscheidungsfindung bietet.
Zunächst skizziere ich die Definition der «Einsatzbetreiber» in der KI-VO und gehe kurz auf die Beziehungen zwischen den Rollen in der KI-VO (Anbieter und Einsatzbetreiber), in der MDR (Hersteller und Anwender) und in der DSGVO (Verantwortliche, Auftragsverarbeiter und betroffene Personen) ein. In den folgenden Abschnitten werden die Anforderungen an die menschliche Aufsicht (Abschnitt 3) sowie die rechtlichen Anforderungen an die Patientenbeteiligung (Abschnitt 4) vor und nach dem Inkrafttreten der KI-VO analysiert. Der Ausblick fasst zusammen, inwieweit die KI-VO neue Instrumente zur Steuerung des Prozesses der gemeinsamen Entscheidungsfindung bietet, wenn KI-Tools zum Einsatz kommen.
2. Die Betreiber von risikoreicher medizinischer KI und ihre Rolle gemäss der KI-VO
Die KI-VO verfolgt einen risikobasierten Ansatz und führt umfassende Anforderungen für das ein, was in Art. 6 als risikoreiche KI definiert wird. Die Last der Einhaltung der Vorschriften für risikoreiche Systeme liegt grösstenteils bei den KI-Anbietern (gemäss Definition in Art. 3 Abs. 3 KI-VO). Allerdings werden auch die Einsetzer mit einigen neuen Anforderungen konfrontiert sein, die sich auf die Einführung von KI-Systemen im Gesundheitswesen auswirken können, ebenso wie auf die Mechanismen, die von den Akteuren im Gesundheitswesen eingerichtet werden müssen, die diese Systeme implementieren möchten. Der Fokus der KI-Verordnung auf die Anbieter deutet auf den Wunsch hin, die angestrebten Werte bereits in der Entwurfsphase zu verankern und ein Produkt zu konzipieren, das vertrauenswürdig ist, noch bevor es überhaupt in die Sprechstunde gelangt. Die Art und Weise jedoch, wie die klinische Entscheidungsfindung – einschliesslich CDSS als neuem Akteur – weiter unten in der Kette gesteuert wird, wird ebenfalls den Prozess und die Ergebnisse dieser gemeinsamen Entscheidungsfindung beeinflussen. In diesem Abschnitt werden daher kurz die Definitionen von Betreibern und von «hohem Risiko» gemäss der KI-Verordnung sowie deren Anwendung auf den medizinischen Bereich umrissen.
Betreiber im Sinne der KI-VO sind «jede natürliche oder juristische Person, Behörde, Behörde oder sonstige Stelle, die ein KI-System unter ihrer Aufsicht nutzt, es sei denn, das KI-System wird im Rahmen einer persönlichen, nichtberuflichen Tätigkeit genutzt» (Art. 3 Abs. 4 KI-VO). Im Zusammenhang mit einem KI-basierten Medizinprodukt, das in einem Labor, Spital oder einer Klinik eingesetzt wird, wäre der Betreiber daher die juristische Person, die es unter ihrer Aufsicht nutzt – je nach ihrem Status als Rechtsträger möglicherweise das Labor, Spital oder die Klinik selbst – oder die natürliche Person in einer privaten Arztpraxis.
Gemäss der KI-VO könnten lokale Anpassungen des Systems dazu führen, dass ein Betreiber als Anbieter eingestuft wird (Art. 25 Abs. 1 Bst. b KI-VO). Solange dies nicht der Fall ist, gelten Spitäler und Kliniken, die KI-Systeme mit hohem Risiko einsetzen, nach der KI-VO höchstwahrscheinlich nur als Betreiber; sie sind daher nicht für die Durchführung der Konformitätsbewertung verantwortlich und direkt nur von wenigen Anforderungen der KI-VO betroffen. Diese sind in erster Linie in Art. 26 formuliert, obwohl sich einige Anforderungen auch aus anderen Abschnitten ableiten lassen, beispielsweise aus Art. 4, der sowohl von Anbietern als auch von Betreibern verlangt, Massnahmen zu ergreifen, um die KI-Kompetenz ihres Personals sicherzustellen.
Der räumliche Geltungsbereich der KI-VO beschränkt sich auf «Betreiber von KI-Systemen, die ihren Sitz in der Union haben oder sich dort befinden» (Art. 2 Abs. 1 Bst. b KI-VO) oder auf Betreiber, die ihren Sitz in einem Drittstaat haben oder sich dort befinden, «sofern die vom KI-System erzeugten Ergebnisse in der Union verwendet werden» (Art. 2 Abs. 1 Bst. c KI-VO). Das Gesetz schliesst Systeme aus, die ausschliesslich zu Forschungszwecken entwickelt und in Betrieb genommen werden (Art. 2 Abs. 6 KI-VO). Dies wird für einige KI-Anwendungen in der medizinischen Forschung oder in den frühen Entwicklungsphasen medizinischer KI relevant sein, ist jedoch für die hier im Fokus stehenden Implementierungsphasen von KI in der medizinischen gemeinsamen Entscheidungsfindung weniger relevant.
Kapitel III, einschliesslich Art. 26 KI-VO, gilt nur für KI mit hohem Risiko. Es lohnt sich daher, zu klären, was unter diese Kategorie fällt, wie in Art. 6 dargelegt. KI-Systeme können auf zwei Arten als Systeme mit hohem Risiko eingestuft werden. Erstens besagt Art. 6 Abs. 1, dass KI-Systeme als risikoreich gelten, wenn zwei Bedingungen erfüllt sind: «Das KI-System ist dazu bestimmt, als Sicherheitskomponente eines Produkts verwendet zu werden, oder das KI-System ist selbst ein Produkt, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt»; und das KI-System muss gemäss diesen Harmonisierungsrechtsvorschriften der Union «einer Konformitätsbewertung durch eine unabhängige Stelle unterzogen werden».
Zweitens verweist Artikel 6 Absatz 2 der KI-VO zusätzlich auf Anhang III, der eine Liste der als risikoreich eingestuften KI-Systeme enthält. Beide Anhänge können im Laufe der Zeit aktualisiert werden (Art. 112 Abs. 1 und Art. 112 Abs. 12 KI-VO). Medizinische KI als solche ist nicht in Anhang III enthalten, obwohl dieser einige für den Gesundheitssektor relevante Systeme umfasst. Die MDR (wie auch die IVDR) ist jedoch in Anhang I enthalten. Daher werden Systeme, die zuvor einer Konformitätsbewertung gemäss der MDR unterzogen werden mussten (Medizinprodukte der Risikokategorien IIa, IIb und III gemäss der Definition in Anhang VIII der MDR), gemäss Art. 6 Abs. 1 KI-VO als KI mit hohem Risiko eingestuft. Die Konformitätsbewertung erfolgt weiterhin gemäss der MDR; es gelten nun jedoch zusätzlich die Anforderungen der KI-VO, und die Dokumentation ist zu integrieren (Art. 8 Abs. 2 KI-VO).
Die Anbieter von KI mit hohem Risiko sind für die Umsetzung der meisten Anforderungen der KI-VO für Systeme mit hohem Risiko verantwortlich. Diese Aufteilung der Verantwortung zwischen Anbietern und Betreibern weicht nicht wesentlich von der MDR ab, da der Fokus der KI-VO auf den Anbietern den Fokus der MDR auf die Hersteller widerspiegelt. Die Definition des Begriffs «Anbieter» in der KI-VO und die Definition des Begriffs «Hersteller» in der MDR unterscheiden sich geringfügig in ihrem Geltungsbereich. Die KI-VO legt fest, dass unter «Anbieter» «eine natürliche oder juristische Person, eine Behörde, eine Stelle oder eine andere Einrichtung zu verstehen ist, die ein KI-System oder ein Allzweck-KI-Modell entwickelt oder ein KI-System oder ein Allzweck-KI-Modell entwickeln lässt und dieses unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringt oder in Betrieb nimmt, sei es gegen Entgelt oder unentgeltlich» (Art. 3 Abs. 3 KI-VO). Die MDR definiert einen Hersteller hingegen als «eine natürliche oder juristische Person, die ein Medizinprodukt herstellt oder vollständig überholt oder ein Medizinprodukt entwerfen, herstellen oder vollständig überholen lässt und dieses Medizinprodukt unter ihrem Namen oder ihrer Marke vermarktet» (Art. 2 Abs. 30 MDR). Dennoch scheint es, dass häufig (zumindest, wenn eine natürliche oder juristische Person ein KI-System unter ihrem Namen oder ihrer Marke in Verkehr bringt) derselbe Akteur sowohl als Anbieter im Sinne der KI-VO als auch als Hersteller im Sinne der MDR gilt.
Die Definition des Begriffs «Betreiber» in der KI-VO («natürliche oder juristische Person, Behörde, Agentur oder sonstige Stelle, die ein KI-System unter ihrer Aufsicht nutzt, es sei denn, das KI-System wird im Rahmen einer persönlichen, nichtberuflichen Tätigkeit genutzt» (Art. 3 Abs. 4 KI-VO)) und des Begriffs «Anwender» in der MDR («jede medizinische Fachperson oder jede Laienperson, die ein Medizinprodukt verwendet» (Art. 2 Abs. 37 MDR)) weichen ebenfalls in ihrem genauen Geltungsbereich voneinander ab. Zwar können dieselben Akteure unter Umständen beide Kategorien erfüllen, doch kann es auch zu Unterscheidungen kommen, beispielsweise wenn einzelne Angehörige der Gesundheitsberufe als Anwender gelten, die juristische Person, unter deren Aufsicht ein KI-System genutzt wird, jedoch als Betreiber gilt. Es kann daher häufig zu Überschneidungen zwischen den Kategorien kommen, diese sind jedoch nicht gleichbedeutend.
Ähnlich wie in der KI-VO könnte ein Benutzer gemäss der MDR zum Hersteller werden, wenn er das System in ausreichendem Masse verändert, und infolgedessen würden die Anforderungen an Hersteller für ihn gelten. Die DSGVO hingegen konzentriert sich auf die Regulierung der Bearbeitung von Personendaten und unterscheidet daher zwischen betroffenen Personen und den an der Datenbearbeitung Beteiligten (Verantwortliche oder Auftragsbearbeiter). Die Kategorien in der DSGVO entsprechen daher nicht den Kategorien der KI-VO. So können beispielsweise sowohl Anbieter als auch Betreiber gemäss KI-VO als Verantwortliche im Sinne der DSGVO auftreten und somit für die Wahrung der Rechte der betroffenen Personen verantwortlich sein. Patienten sind im Rahmen der DSGVO höchstwahrscheinlich betroffene Personen, wenn Entscheidungen über ihre Versorgung durch automatisierte Mittel unterstützt werden.
Das folgende hypothetische Szenario veranschaulicht mögliche Rollen verschiedener Akteure bei der Entwicklung und dem Einsatz eines medizinischen KI-Systems: Ein Technologieunternehmen entwickelt ein KI-basiertes System, das personalisierte Empfehlungen für die Behandlungswege mit den besten Erfolgsaussichten für Brustkrebspatientinnen ausspricht. In der Trainings- und Entwicklungsphase fällt das System nicht in den Anwendungsbereich der KI-VO oder der MDR. Die Bearbeitung von Personendaten wird jedoch durch die DSGVO geregelt, und das Unternehmen handelt gemäss Art. 24 der DSGVO als Verantwortlicher. Das Technologieunternehmen möchte das Produkt in Verkehr bringen und ist daher als Hersteller gemäss der MDR und als Anbieter gemäss der KI-VO dafür verantwortlich, die entsprechende Konformitätsbewertung durchzuführen. Das System in diesem Beispiel ist als Medizinprodukt der Klasse IIb eingestuft und fällt somit auch in die Hochrisikokategorie der KI-VO. Die Konformitätsbewertung erfolgt nach den festgelegten Verfahren der MDR; der zuständigen Behörde müssen jedoch zusätzliche Unterlagen vorgelegt werden, um die Einhaltung der Anforderungen für KI mit hohem Risiko nachzuweisen, wie beispielsweise die Einrichtung eines Risikomanagementsystems, die Festlegung von Massnahmen zur Datenverwaltung für Schulungs-, Validierungs- und Testdaten sowie die Bereitstellung der technischen Dokumentation. Nach der Markteinführung setzt ein Spital das Tool als klinisches Entscheidungsunterstützungssystem ein, was eine Beurteilung der Rolle des Spitals gemäss verschiedenen Rechtsvorschriften erfordert. Das Spital stellt in diesem Fall fest, dass es gemäss KI-VO als Einsatzbetreiber, gemäss MDR als Anwender und gemäss DSGVO als Verantwortlicher für die Bearbeitung der Patientendaten des Spitals fungiert. Es gelten die DSGVO-Verpflichtungen in Bezug auf Profiling und ausschliesslich automatisierte Verarbeitung (Art. 22 DSGVO), was bedeutet, dass der Verantwortliche entweder sicherstellen muss, dass eine Entscheidung nicht auf einer ausschliesslich automatisierten Verarbeitung beruht, oder dass eine der Ausnahmen gemäss Art. 22 zutrifft. Gemäss der KI-VO muss das Spital die Verpflichtungen für Inbetriebnehmer einhalten, von denen sich einige mit den Anforderungen der DSGVO oder der MDR decken. Zu den relevanten KI-VO-Anforderungen gehören die Verpflichtung zur Einhaltung der Gebrauchsanweisung und die Zuweisung einer menschlichen Aufsicht, die beide Auswirkungen auf die menschliche Kontrolle über die Entscheidungsfindung haben.
3. Menschliche Aufsicht
Die Europäische Kommission hat an verschiedenen Stellen die Bedeutung der menschlichen Aufsicht oder der menschlichen Beteiligung im Zusammenhang mit algorithmischen Empfehlungen hervorgehoben. Dieses Versprechen scheint daher einen starken Signalcharakter in Bezug auf Sicherheit, Vertrauenswürdigkeit und Rechenschaftspflicht zu haben. Als gesetzliche Anforderung für den Einsatz von KI ist die menschliche Aufsicht neu. Wie jedoch im nächsten Abschnitt näher erläutert wird, wurde die menschliche Aufsicht bereits in ethischen Leitlinien vorgeschlagen und ergab sich implizit als Antwort auf das Verbot einer ausschliesslich automatisierten Entscheidungsfindung in der DSGVO. Damit die menschliche Aufsicht in der Praxis sinnvoll und wirksam ist, muss die betreffende Person eine Reihe von Kriterien erfüllen, wie beispielsweise ein ausreichendes Verständnis des Systems und der Situation sowie genügend Entscheidungsbefugnis. Das Verständnis des Systems hängt nicht nur von den persönlichen Qualifikationen ab, sondern auch von der sogenannten Erklärbarkeit des Systems. Zudem können externe Faktoren wie Zeitdruck und Belastung oder persönliche Faktoren wie unzureichende Ausbildung oder mangelnde digitale Kompetenz in der Praxis Hindernisse für eine wirksame menschliche Aufsicht darstellen, selbst wenn diese auf dem Papier vorgesehen ist. In den nächsten Abschnitten werden die rechtlichen Rahmenbedingungen untersucht, die eine menschliche Aufsicht durch medizinisches Fachpersonal vor und nach der Umsetzung der KI-VO vorschreiben und ermöglichen.
3.1. Menschliche Aufsicht vor der Einführung der KI-VO
Bestimmte Aspekte der KI-Implementierung wurden bereits zuvor unter datenschutzrechtlichen Gesichtspunkten geregelt. Neben der Regelung der Bearbeitung von Personendaten enthält die DSGVO auch eine spezifische Bestimmung zur automatisierten Entscheidungsfindung. Artikel 22 besagt: «Die betroffene Person hat das Recht, nicht einer Entscheidung unterworfen zu werden, die ausschliesslich auf einer automatisierten Bearbeitung, einschliesslich Profiling, beruht und die für sie rechtliche Wirkungen hat oder sie in ähnlicher Weise erheblich beeinträchtigt», gefolgt von einer Reihe von Ausnahmen.
Gemäss der DSGVO gilt eine menschliche Beteiligung nur dann als aussagekräftig, wenn «der Verantwortliche sicherstellt, dass jede Überprüfung der Entscheidung aussagekräftig ist und nicht nur eine Alibimassnahme darstellt. Sie sollte von einer Person durchgeführt werden, die über die Befugnis und Kompetenz verfügt, die Entscheidung zu ändern“, wie es in den von der Artikel-29-Arbeitsgruppe erarbeiteten Leitlinien zur automatisierten individuellen Entscheidungsfindung und Profilerstellung heisst. Das bedeutet, dass beispielsweise ein Prozess, bei dem ein Mensch routinemässig automatisch generierte Profile anwendet, ohne in den Prozess einzugreifen, dennoch als eine Entscheidung gelten würde, die ausschliesslich auf einer automatisierten Verarbeitung beruht.
Der EuGH hat kürzlich weiter klargestellt, dass Art. 22 kein Recht ist, das von der betroffenen Person geltend gemacht werden muss, sondern ein Verbot, das die für die Datenverarbeitung Verantwortlichen bindet, mit wenigen und eng definierten Ausnahmen. Gemäss der DSGVO ist der für die Datenverarbeitung Verantwortliche für die Umsetzung von Art. 22 zuständig. Daher wäre im Beispiel eines in Abschnitt 2 beschriebenen KI-Implementierungsprozesses das Spital (oder die zuständige juristische Person) höchstwahrscheinlich der Datenverantwortliche und somit dafür verantwortlich, Mechanismen zu implementieren, die den Schutz der betroffenen Personen vor (ausschliesslich) automatisierter Datenbearbeitung gewährleisten. Es liegt auch in der Verantwortung des Datenverantwortlichen, die Einhaltung dieser Bestimmung nachzuweisen, insbesondere durch die Erfassung des Ausmasses der menschlichen Beteiligung in einer Datenschutz-Folgenabschätzung (DPIA). Laut Meszaros et al. hat Art. 22 DSGVO die Umsetzung von KI im Gesundheitswesen massgeblich beeinflusst, indem er die spezifischen Rechtsgrundlagen umriss, auf denen Profiling, automatisierte Entscheidungsfindung und ausschliesslich automatisierte Entscheidungsfindung zulässig sind, und angemessene Schutzmassnahmen vorschreibt. Zudem hat er eine breite Diskussion über die Definition der automatisierten Entscheidungsfindung und die verschiedenen Arten menschlicher Beteiligung (Beteiligung an der einzelnen Entscheidung, Überprüfung, Konzeption und Entwicklung des Systems, Überwachung) ausgelöst. Fachpersonen im Gesundheitswesen im Rahmen einer medizinischen Behandlung oder Diagnose wären der offensichtlichste Fall menschlicher Beteiligung an einzelnen Entscheidungen, da sie diejenigen sind, die mit der Einleitung einer Behandlung oder anderer Massnahmen betraut sind. Sie können jedoch auch an der Überprüfung von Entscheidungen beteiligt sein, zu Gestaltungsprozessen beitragen und die Leistung und Sicherheit im Laufe der Zeit überwachen. Das EuGH-Urteil im Fall SCHUFA aus dem Jahr 2023 lenkte erneut grosse Aufmerksamkeit auf die Bestimmung in Art. 22 DSGVO. Es legte eine recht weit gefasste Auslegung des darin enthaltenen Verbots vor, die sogar jene Akteure in der Lieferkette betraf, die zwar keine endgültige Entscheidung gegenüber Einzelpersonen treffen, sondern – wie beispielsweise im Fall der SCHUFA – eine automatisierte Bewertung dafür bereitstellen. Vorschläge an die Verantwortlichen, eine Kombination verschiedener Formen menschlicher Beteiligung umzusetzen, standen daher bereits vor der KI-VO als Reaktion auf Art. 22 DSGVO im Vordergrund. Gemäss der MDR muss der Hersteller eine Gebrauchsanweisung gemäss Kapitel III von Anhang I bereitstellen, damit die Anwender in die Lage versetzt werden, die ordnungsgemässe Verwendung und die Risiken eines Produkts zu verstehen. Zudem könnte sich die Anforderung an die Anwender, die Aufsicht über das System zu gewährleisten, bei einigen Produkten aus Art. 32 ergeben, der von den Herstellern implantierbarer Produkte oder von Produkten der Klasse III verlangt, eine Zusammenfassung der Sicherheit und der klinischen Leistung vorzulegen, einschliesslich «empfohlener Anwenderprofile und Schulungen» (Art. 32 Abs. 2 Bst. g MDR). Zwar erlegt dieser Rahmen in erster Linie den Herstellern Verpflichtungen auf und nicht den Anwendern Aufsichtspflichten, doch schafft sein Zusammenspiel mit nationalen Gesetzen – die von den Anwendern verlangen, die Gebrauchsanweisung zu befolgen, da eine Nichteinhaltung einen Behandlungsfehler darstellen könnte – dennoch Erwartungen hinsichtlich des Masses an Aufsicht, das von den Anwendern auszuüben ist. Da Hersteller verpflichtet sind, eine klinische Bewertung durchzuführen (Art. 10 Abs. 3 MDR), und diese eine klinische Untersuchung zum Nachweis der Konformität umfassen kann (beispielsweise um zu zeigen, dass das Medizinprodukt die beabsichtigte Leistung erbringt, oder um die klinische Sicherheit festzustellen und zu überprüfen (Art. 62 Abs. 1 MDR)), kann dies ein geeigneter Rahmen für Hersteller sein, um zu prüfen und nachzuweisen, ob ein Medizinprodukt wirksam überwacht werden kann.
Es ist daher wichtig hervorzuheben, dass neben dem EU-Rechtsrahmen Aspekte des medizinischen Entscheidungsprozesses häufig auch im nationalen Recht geregelt sind. Das nationale Medizinrecht oder das Berufsrecht für medizinische Fachkräfte definiert oft Aufgaben, die nur von Ärzten ausgeführt werden dürfen (z. B. die Beschränkungen hinsichtlich der Fachkräfte, die bestimmte Tätigkeiten ausüben dürfen), regelt die Informationsgrundlage, auf der Ärzte Entscheidungen treffen dürfen, oder die Behandlungsmethoden, die für Patienten in Betracht gezogen werden dürfen (z. B. Sorgfaltspflichten und Versorgungsqualität, die es medizinischen Fachkräften möglicherweise nicht erlauben, automatisierte Empfehlungen ohne Überprüfung zu befolgen), und regelt allgemein, was unter der gebotenen Sorgfalt zu verstehen ist. Dabei kann es den Einsatz von Technologie direkt oder indirekt regeln, indem es Einschränkungen für die Verwendung von KI-Ergebnissen bei der medizinischen Entscheidungsfindung festlegt.
Schliesslich ist anzumerken, dass menschliche Aufsicht als solche zwar vor der KI-VO nicht im europäischen Recht verankert war, das Konzept jedoch auf politische Initiativen zurückgeht, die bereits seit mehreren Jahren bestehen. Das Weissbuch der Europäischen Kommission zur künstlichen Intelligenz aus dem Jahr 2020, die Ethikrichtlinien der Hochrangigen Expertengruppe für vertrauenswürdige KI (HLEG) sowie die Politik- und Investitionsempfehlungen der HLEG sehen die menschliche Aufsicht allesamt als ein Schlüsselelement bei der Gestaltung sicherer, vertrauenswürdiger KI vor.
3.2. Menschliche Aufsicht gemäss der KI-VO
Artikel 14 der KI-VO wird als erste klar formulierte Vorschrift zur menschlichen Aufsicht im europäischen Recht bezeichnet. Artikel 14 richtet sich an Anbieter und verpflichtet diese, Systeme so zu gestalten, dass sie wirksam überwacht werden können (Art. 14 Abs. 1 KI-VO), wodurch bereits in frühen Entwicklungsphasen proaktiv Aufsichtsmechanismen implementiert werden. Die Bestimmung zur menschlichen Aufsicht im KI-VO spiegelt den allgemeinen Ansatz des Gesetzes wider, dessen Schwerpunkt auf den Anbietern liegt. Dies kann dazu beitragen, Informationsasymmetrien zwischen Anbietern und Betreibern zu bekämpfen. Die menschliche Aufsicht (im Gegensatz zum «Human-Centrism», bei dem menschliche Werte bereits von Beginn weg in die Technologieentwicklung integriert werden) wird in der Regel als reaktive Massnahme betrachtet, die nicht von Anfang an eingebettet ist, sondern erst bei der Inbetriebnahme als Sicherheitsvorkehrung gewährleistet wird. Daher mag die Zuweisung der Verantwortung an den Anbieter angesichts des Wesens der menschlichen Aufsicht kontraintuitiv erscheinen. Um den von der KI-VO angestrebten menschenzentrierten Ansatz zu entwickeln, bei dem menschliche Werte im Mittelpunkt stehen, erscheint es sinnvoll, hohe Standards für Anbieter festzulegen, um einen proaktiven Regulierungsansatz zu gewährleisten, anstatt erst in der Umsetzungsphase reaktive Massnahmen zu entwickeln. Dennoch wurde in Frage gestellt, ob die KI-VO den Anbietern generell zu viel Vertrauen entgegenbringt. Unabhängig von unterschiedlichen Ansichten darüber, ob Anbieter die Hauptakteure sein sollten, auf die sich die KI-Gesetzgebung richtet, erscheint es in der Praxis schwierig, dass Anbieter eigenständig eine Massnahme umsetzen, die ihrem Wesen nach reaktiv ist und die nachgelagerte Interpretation des KI-Systems betrifft. Dies wird dadurch gelöst, dass von den Anbietern lediglich verlangt wird, Systeme mit hohem Risiko so zu entwickeln, dass sie wirksam überwacht werden können (Art. 14 Abs. 1 KI-VO).
Die KI-VO behandelt die menschliche Aufsicht daher aus zwei Perspektiven, wobei die strengere Anforderung an die Anbieter gerichtet ist. Art. 14 Abs. 1 besagt: «KI-Systeme mit hohem Risiko sind so zu entwerfen und zu entwickeln, einschliesslich geeigneter Mensch-Maschine-Schnittstellen, dass sie während der Zeit ihrer Nutzung von natürlichen Personen wirksam überwacht werden können». Dies kann entweder durch integrierte technische Massnahmen oder durch die Bereitstellung von Möglichkeiten zur Gewährleistung der Überwachung erfolgen, die dann vom Betreiber umgesetzt werden müssen (Art. 14 Abs. 3 KI-VO). Art. 14 Abs. 4 Bst. b befasst sich speziell mit der Automatisierungsverzerrung und verpflichtet die Anbieter, den Betreibern zu ermöglichen, sich der Tendenz bewusst zu bleiben, sich übermässig auf die Ergebnisse von KI-Systemen zu verlassen. Eine Möglichkeit, dies sinnvoll umzusetzen, sind integrierte Benachrichtigungen an die Betreiber, die diese daran erinnern, dass sie mit einem KI-System interagieren. Die Umsetzung solcher Warnsysteme in der Praxis hat jedoch oft zu einer «Warnmüdigkeit» geführt; dies ist einer von mehreren Gründen, warum Menschen oft als Aufseher automatisierter Systeme als nicht besonders leistungsfähig gelten. Daher kann nicht erwartet werden, dass alle technischen Lösungen, die in der Entwicklungsphase implementiert werden können, zu einer wirksamen menschlichen Aufsicht führen.
Die Überwachungspflicht – und insbesondere Massnahmen, die vom Anbieter vorgesehen sind, aber vom Betreiber umgesetzt werden müssen – steht in engem Zusammenhang mit der Verpflichtung des Anbieters zur Erstellung von Informationsmaterialien und Anleitungen sowie mit den Transparenzanforderungen gemäss Art. 13 KI-Verordnung. Art. 13 umreisst den Mindestinhalt der Gebrauchsanweisungen. Dazu gehören beispielsweise «die technischen Fähigkeiten und Eigenschaften des KI-Systems mit hohem Risiko, um Informationen bereitzustellen, die für die Erläuterung seiner Ergebnisse relevant sind» (Art. 13 Abs. 3 Bst. b Ziff. iv KI-VO) sowie «Informationen, die es den Betreibern ermöglichen, die Ergebnisse des KI-Systems mit hohem Risiko zu interpretieren und angemessen zu nutzen»; (Art. 13 Abs. 3 Bst. b Ziff. vii KI-VO), was den Betreiber theoretisch in die Lage versetzen soll, die Systemausgaben zu interpretieren und zu erklären. Diese decken ähnliche Punkte ab wie der Inhalt der gemäss MDR bereitzustellenden Gebrauchsanweisung (Punkt 23.4 von Anhang I MDR), zu der «Informationen» gehören, «die es dem Anwender und/oder Patienten ermöglichen, über allfällige Warnhinweise, Vorsichtsmassnahmen, Kontraindikationen, zu treffende Massnahmen und Anwendungsbeschränkungen in Bezug auf das Medizinprodukt informiert zu werden. Diese Informationen sollen es dem Anwender, soweit relevant, ermöglichen, den Patienten über allfällige Warnhinweise, Vorsichtsmassnahmen, Kontraindikationen, zu treffende Massnahmen und Anwendungsbeschränkungen in Bezug auf das Medizinprodukt aufzuklären.“ Da sich die MDR jedoch nicht auf Software konzentriert, ist der spezifische Verweis auf die Interpretation von Ausgabedaten neu in der KI-VO.
Onitiu kritisiert den Wortlaut von Artikel 14 im Entwurf vom Juni 2023, der eher auf die Vorbereitung auf Vorfälle wie einen Systemausfall ausgerichtet zu sein scheint als auf Unklarheiten bei der Entscheidungsfindung und Unsicherheiten. Die endgültige Fassung der Verordnung weist weiterhin in diese Richtung, da sie beispielsweise festlegt, dass «die menschliche Aufsicht darauf abzielen soll, Risiken für Gesundheit, Sicherheit oder Grundrechte zu verhindern oder zu minimieren, die entstehen können, wenn ein KI-System mit hohem Risiko gemäss seinem Verwendungszweck oder unter Bedingungen eines vernünftigerweise vorhersehbaren Missbrauchs eingesetzt wird» (Art. 14 Abs. 2 KI-VO). Das KI-System ist dem Betreiber so zur Verfügung zu stellen, dass dieser «die relevanten Fähigkeiten und Einschränkungen des KI-Systems mit hohem Risiko angemessen verstehen und dessen Betrieb ordnungsgemäss überwachen kann, unter anderem im Hinblick auf die Erkennung und Behebung von Anomalien, Funktionsstörungen und unerwarteten Leistungen» (Art. 14 Abs. 4 Bst. a KI-Gesetz). Unsicherheit ist jedoch untrennbar mit der medizinischen Entscheidungsfindung verbunden, und Mehrdeutigkeit ist die Norm, da es beispielsweise bei der Entscheidung über eine Behandlung möglicherweise nicht eine einzige richtige Antwort gibt, sondern vielmehr eine Bandbreite an Risiken und potenziellen Ergebnissen, die auf der Grundlage der Werte des Patienten abgewogen werden müssen. Die Herausforderung für die KI bei der medizinischen Entscheidungsfindung wird nicht nur darin bestehen, zu überwachen, ob ein System fehlerhaft funktioniert, sondern auch darin, darzustellen, wie ein System Beweise abwägt, Schwellenwerte für Risiken festlegt und Werte gegeneinander abwägt, damit die Ärzte selbst die Informationen verstehen und an die Patienten weitergeben können.
Der zweite Aspekt dabei, nämlich die Anforderung an die Betreiber, eine menschliche Aufsicht sicherzustellen, findet sich in Art. 26 Abs. 2: «Die Betreiber müssen die menschliche Aufsicht natürlichen Personen übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis sowie die notwendige Unterstützung verfügen.» Diese Bestimmung verdient aus zwei Gründen besondere Beachtung: Erstens erscheint es unwahrscheinlich, dass Massnahmen bezüglich der nachgelagerten Umsetzung ausschliesslich von den Anbietern so umgesetzt werden, dass die Rechte und die Sicherheit der Patienten wirksam gewahrt werden. Daher spielen die Bestimmungen, die sich an die Einsatzverantwortlichen richten, eine bedeutende Rolle. Zweitens wird die künftige Akzeptanz vorgeschlagener KI-Lösungen sicherlich mit dem Grad der Rechtssicherheit und dem Aufwand für Compliance-Massnahmen zusammenhängen, denen die Einsatzverantwortlichen ausgesetzt sind.
Massnahmen zur menschlichen Aufsicht ergeben sich zudem aus der Verpflichtung des Einsatzbetreibers, die Gebrauchsanweisungen zu befolgen (Artikel 26 Absatz 1 KI-VO), sofern diese Anweisungen Strategien zur menschlichen Aufsicht vorgeben. Die Mittel, mit denen die erforderliche Kompetenz, Ausbildung, Befugnis und Unterstützung festgelegt werden sollen, sind nicht im Detail beschrieben. Sollten Kompetenz und Ausbildung auch technische Kompetenz und Ausbildung umfassen, ist es nicht unwahrscheinlich, dass Art. 26 Abs. 2 zu neuen Ausbildungsanforderungen für medizinisches Fachpersonal führen wird, das direkt mit KI-Systemen interagiert. Würde die menschliche Aufsicht erfordern, jede Ausgabe ebenso detailliert zu überprüfen, wie dies ohne KI geschehen würde, gäbe es keinen Effizienzvorteil. In Bezug auf klinische Arbeitsabläufe könnten die Kompetenzen zur Aufrechterhaltung der menschlichen Aufsicht daher beispielsweise bedeuten, dass bei der erstmaligen Einführung eines neuen KI-Systems zusätzliche Schulungen angeboten werden und dass anschliessend Prozesse zur Überwachung des Systems etabliert werden. Die KI-VO führt somit neue Anforderungen hinsichtlich der menschlichen Aufsicht ein. Aus Sicht des Betreibers könnten jedoch bereits zuvor umgesetzte Massnahmen zur Erfüllung seiner Pflichten als Verantwortlicher gemäss Art. 22 DSGVO in der Praxis ausreichen, um auch die Anforderungen an die menschliche Aufsicht gemäss KI-VO zu erfüllen, sofern sie auf das jeweils eingesetzte KI-System zugeschnitten sind. Dennoch bietet die KI-VO die Gelegenheit, klarere Standards und bessere Leitlinien für die menschliche Aufsicht zu entwickeln.
Betreiber sollten verschiedene Arten der menschlichen Aufsicht in Betracht ziehen (z. B. «Human-in-the-Loop», «Human-on-the-Loop», Optionen für die Häufigkeit der Überwachung), und Normungsgremien sollten Leitlinien für den Einsatzbereich der medizinischen KI entwickeln, da der Schwerpunkt bei den Leitlinien bisher weniger auf der Umsetzung in klinische Arbeitsabläufe als vielmehr auf den frühen Entwicklungsphasen lag. Die Umsetzung von Massnahmen zur menschlichen Aufsicht bereits auf der Ebene der Leistungserbringer ist wichtig, da sie Informationsasymmetrien zwischen Leistungserbringer und Einsatzbetreiber entgegenwirkt und verhindert, dass Einsatzbetreiber auf sich allein gestellt sind und die volle Verantwortung für Systeme übernehmen müssen, die sie nicht selbst entwickelt haben. Allerdings können nicht alle Entscheidungen, beispielsweise über optimale Behandlungswege für Patienten, im Vorfeld getroffen werden, da sie die Berücksichtigung der Werte und Prioritäten einzelner Patienten im Rahmen des gemeinsamen Entscheidungsprozesses erfordern. Für die Patienten selbst bleiben die Rechenschaftspflicht und die endgültige Entscheidungsfindung des Klinikers entscheidend. Die KI-Verordnung greift nicht in bestehende medizinrechtliche Bestimmungen ein, die die Verantwortung unter den Gesundheitsfachpersonen aufteilen, legt jedoch in gewissem Masse einen Mindeststandard an Erwartungen gegenüber dem Nutzer fest, der mit dem KI-System interagieren wird. Die Person, der gemäss den Anforderungen der KI-VO die menschliche Aufsicht übertragen wird, muss über die erforderliche Kompetenz, Ausbildung und Befugnis sowie die notwendige Unterstützung verfügen. Damit wird die Interaktion zwischen Gesundheitsfachperson und CDSS geregelt.
4. Einbezug der Patienten
Die Anforderung der KI-VO an die menschliche Aufsicht könnte ein neues Instrument darstellen, um sicherzustellen, dass Kliniker, die mit KI-Systemen arbeiten, über deren Funktionsweise informiert sind und die Kontrolle über den Entscheidungsprozess behalten, während sie gleichzeitig auf Fehlfunktionen achten. Im Sinne zeitgemässer Modelle der Patientenautonomie bleibt jedoch die Frage nach der Einbeziehung der Patienten in die gemeinsame Entscheidungsfindung mit CDSS bestehen. Um Patienten das Verständnis von Diagnosen oder Behandlungsoptionen zu ermöglichen, wurden im Laufe der Zeit Strategien entwickelt und diskutiert, mit denen Laien über eine bestimmte Gesundheitssituation und die dazu verfügbaren wissenschaftlichen Erkenntnisse informiert werden können. Mit der Einführung komplexer neuer Technologien hat sich diese Diskussion zwangsläufig weiterentwickelt, um sicherzustellen, dass Patienten in ihrem eigenen Entscheidungsprozess weiterhin informierte und handlungsfähige Akteure bleiben können. In diesem Abschnitt untersuche ich den rechtlichen Rahmen für die Informationsbereitstellung und die sinnvolle Einbeziehung von Patienten in medizinische Entscheidungsprozesse, der bereits vor der KI-VO bestand, und gehe der Frage nach, ob die KI-VO in dieser Hinsicht neue Instrumente bereitstellt, um die Patientenautonomie beim Einsatz neuer Technologien zu gewährleisten.
4.1. Einbezug der Patienten vor der KI-VO
Einige Informationspflichten gegenüber Patienten ergeben sich aus datenschutzrechtlicher Sicht, wobei die Informationsbereitstellung eines der Rechte der betroffenen Personen gemäss Art. 13 und 14 der DSGVO darstellt. Diese Artikel betreffen Informationen, die Patienten speziell über die Bearbeitung ihrer Personendaten bereitgestellt werden. Zudem kann Art. 22 Abs. 3 der DSGVO als Informationspflicht im Falle einer ausschliesslich automatisierten Bearbeitung ausgelegt werden, da er den Verantwortlichen verpflichtet, den betroffenen Personen die Möglichkeit zu geben, menschliches Eingreifen zu erwirken oder eine Entscheidung anzufechten.
Darüber hinaus ist die Bereitstellung von Informationen an Patienten Teil des Prozesses der informierten Einwilligung zur Datenbearbeitung. Die Einwilligung ist eine der Rechtsgrundlagen gemäss der DSGVO, und die ausdrückliche Einwilligung ist eine der Ausnahmen, die die Bearbeitung besonderer Kategorien personenbezogener Daten gemäss der DSGVO (Art. 9 Abs. 2 Bst. a KI-VO) – einschliesslich Gesundheitsdaten – zulassen. Die ausdrückliche Einwilligung ist auch eine der Ausnahmen in Art. 22 Abs. 2 Bst. c, unter denen eine automatisierte Bearbeitung zulässig ist. Die Einwilligung muss auf der Grundlage von Informationen erfolgen, um aussagekräftig zu sein, wie aus Art. 7 und Erwägungsgrund 33 der DSGVO hervorgeht. Aus dem Datenschutzrecht lassen sich daher Informationspflichten ableiten, wann immer die Einwilligung die Rechtsgrundlage für die Datenbearbeitung ist. Datenschutzbehörden haben zusätzliche Leitlinien zur informierten Einwilligung für den Einsatz von KI herausgegeben. So betont beispielsweise die französische Datenschutzbehörde (CNIL), dass im Zusammenhang mit der Verarbeitung unter Einsatz von KI-Methoden die Einwilligung Informationen über die Rechte und die Möglichkeit der betroffenen Personen zur Ausübung ihrer Rechte hervorheben muss, da beim Einsatz von KI gewisse nennenswerte Einschränkungen der Rechte auftreten können. Nicht näher ausgeführt wird dabei, inwieweit Patienten über die konkrete Funktionsweise des KI-Systems informiert werden sollten, da es aufgrund des «Black-Box»-Problems der KI schwierig ist, nachzuvollziehen, wie eine Entscheidung zustande kommt.
Das Medizinproduktegesetz kann als Bezugspunkt für die Informationsbereitstellung an Patienten dienen, wie beispielsweise Artikel 18 der MDR, der die Informationsbereitstellung bei implantierten Produkten regelt. Für Software gibt es jedoch keine entsprechende Bestimmung. Die in Artikel 10 dargelegten allgemeinen Pflichten der Hersteller, die sich auf die in Anhang I aufgeführten allgemeinen Sicherheits- und Leistungsanforderungen beziehen, legen fest, welche Informationen den Anwendern zur Verfügung gestellt werden müssen. Anwender wären nur bei selbstverabreichten Produkten Patienten, weshalb sich daraus im hier diskutierten Szenario keine Verpflichtungen zur Informationsbereitstellung für Patienten ergeben. Der Schwerpunkt der MDR liegt auf dem, was Kiseleva et al. als interne Transparenz bezeichnen: sie richtet sich eher an medizinisches Fachpersonal als an die «Kunden» des Gesundheitssystems. Darüber hinaus enthält die MDR in Artikel 32 Transparenzanforderungen für bestimmte Medizinprodukte (die Veröffentlichung einer Zusammenfassung der Sicherheit und der klinischen Leistung). Diese müssen «in einer Weise verfasst sein, die für den vorgesehenen Anwender und, falls relevant, für den Patienten verständlich ist» (Art. 32 MDR), wobei jedoch nicht präzisiert wird, wann es relevant wäre, sich an den Patienten zu wenden. All dies deutet darauf hin, dass die MDR Anforderungen an die interne Transparenz stellt, die externe Transparenz jedoch weiterhin im Bereich des nationalen und internationalen Medizinrechts verbleibt.
Das Medizinrecht zur Einwilligung nach Aufklärung versetzt die Anwender im Allgemeinen in die Lage, Patienten über die Behandlung und die Risiken zu informieren. Die klarsten Anforderungen an die Informationsbereitstellung für Patienten ergeben sich aus der Oviedo-Konvention, die die Bedeutung der Einholung einer freien Einwilligung nach Aufklärung betont und die Bereitstellung von Informationen über Zweck, Art, Folgen und Risiken eines medizinischen Eingriffs vorschreibt (Art. 5 Oviedo-Konvention).
Dies ist nicht unbedingt eine klare Vorgabe hinsichtlich des Umfangs der Informationen, die den Patienten zur Verfügung gestellt werden müssen, da Ärzte stets abwägen müssen zwischen der Bereitstellung von Informationen und einer kontraproduktiven Überinformation, was Unklarheit darüber hinterlässt, ob der Einsatz von KI offengelegt werden muss oder nicht. In der Praxis werden Patienten häufig nicht direkt über den Einsatz von KI bei ihrer Behandlung informiert, was durch die Befürchtung begünstigt wird, dass die mangelnde Erfahrung mit KI-Tools bei den Patienten Ängste auslösen könnte. Darüber hinaus besteht ein gewisser Konsens darüber, dass – da Patienten über Risiken informiert werden müssen – die Verpflichtung zur Aufklärung über den Einsatz von Technologien umso stärker ist, je höher die potenziellen Risiken sind (auch wenn Risiken bei KI oft schwer vorherzusagen sind) und je grösser der Einfluss der KI auf den Prozess ist. Viele etablierte KI-Technologien im Gesundheitswesen stellen für die Patientenversorgung noch geringere (wenn auch nicht zu vernachlässigende) Risiken dar als dies in einigen Jahren der Fall sein wird, da der Einsatz von Technologien des unüberwachten Lernens noch begrenzt ist. Dies deutet darauf hin, dass sich die Verfahren zur Einholung der Einwilligung nach Aufklärung weiterentwickeln müssen.
Auch hier haben andere Institutionen als der Gesetzgeber eine Rolle bei der Gestaltung der Patienteninformation übernommen. Sowohl der Lenkungsausschuss für Menschenrechte in den Bereichen Biomedizin und Gesundheit (CDBIO) als auch die HLEG haben Vorschläge zur Anpassung der Informationspflichten an den Einsatz prädiktiver KI unterbreitet. Trotz Diskussionen darüber, ob medizinisches Fachpersonal bei der Offenlegung des Einsatzes von KI über einen Ermessensspielraum verfügen sollte, vertritt der CDBIO die Auffassung, dass medizinisches Fachpersonal und/oder Gesundheitsdienstleister die Verantwortung haben, Patienten in klarer Sprache darüber zu informieren, warum und wie KI-Systeme eingesetzt werden.
4.2. Einbeziehung der Patienten gemäss der KI-VO
Die KI-VO schreibt in Artikel 26 Absatz 11 vor, dass Betreiber natürliche Personen, die von Entscheidungen betroffen sind, die durch risikoreiche KI getroffen oder unterstützt werden, informieren müssen: «Unbeschadet des Artikels 50 dieser Verordnung müssen Betreiber von in Anhang III genannten risikoreichen KI-Systemen, die Entscheidungen in Bezug auf natürliche Personen treffen oder bei solchen Entscheidungen unterstützen, die betroffenen natürlichen Personen darüber informieren, dass sie vom Einsatz des risikoreichen KI-Systems betroffen sind.» Diese Bestimmung ist jedoch ausdrücklich auf die in Anhang III genannten Hochrisikosysteme beschränkt, zu denen derzeit keine Medizinprodukte gehören. Ebenso räumt Artikel 86 der KI-VO Personen, die Entscheidungen unterliegen, die auf den Ergebnissen von Hochrisiko-KI-Systemen basieren, das Recht ein, vom Betreiber klare und aussagekräftige Erklärungen zu erhalten, sofern diese Hochrisikosysteme in Anhang III aufgeführt sind. Da Medizinprodukte nicht in Anhang III aufgeführt sind, findet dieser Artikel auf sie keine Anwendung. Medizinprodukte sind daher von beiden Bestimmungen ausgenommen. Da es sich bei den KI-Systemen, die nicht über Anhang III, sondern über Anhang I als risikoreich eingestuft werden (wie es bei Medizinprodukten der Fall ist), um KI-Systeme handelt, die bereits Konformitätsbewertungen gemäss anderen Rechtsvorschriften der Union unterzogen werden, scheint es, dass sie bewusst ausgenommen wurden, um durch andere bestehende Rechtsvorschriften geregelt zu werden. Wie der vorangehende Abschnitt jedoch gezeigt hat, enthält die Medizinprodukteverordnung keine konkreten Vorgaben bezüglich der Informationen, die den Patienten zur Verfügung gestellt werden.
Andererseits betreffen die Transparenzanforderungen in Art. 50 Abs. 1 der KI-VO die Transparenz gegenüber Personen, die mit dem KI-System interagieren, und gelten somit eher für die Transparenz gegenüber Fachpersonen im Gesundheitswesen, ausser in Fällen, in denen Patienten direkt mit medizinischer KI interagieren. Ebenso betreffen die Transparenzanforderungen für Hochrisikosysteme in Art. 13 die Transparenz gegenüber dem Einsatzträger und legen fest, welche Informationen ihm vom Anbieter zur Verfügung gestellt werden müssen. Diese Rechtsakte enthalten daher keine neuen Anforderungen hinsichtlich der Informationsbereitstellung für Patienten.
Darüber hinaus besteht die Einbeziehung der Patienten in die gemeinsame Entscheidungsfindung nicht lediglich darin, Informationen zu erhalten. Wie das CDBIO schreibt: «Autonomie ist mehr als nur Einwilligung». Eine aktive Rolle umfasst die Möglichkeit, Werte, Präferenzen und Perspektiven einzubringen. Dies würde beispielsweise das Recht erfordern, eine Zweitmeinung einzuholen oder der Nutzung eines CDSS zu widersprechen. Entscheidend ist, wie Solaiman und Malik hervorheben, dass die KI-VO eher Verpflichtungen betont, als neue Rechte zu schaffen. Vielleicht am bedeutendsten ist, dass sie kein Widerspruchsrecht enthält. Besteht die einzige Möglichkeit für Patienten, Widerspruch einzulegen, dann darin, sich anderswo behandeln zu lassen? Was geschieht, wenn algorithmische Entscheidungshilfen so weit verbreitet sind, dass Alternativen praktisch nicht mehr erreichbar sind? Bei jeder Datenbearbeitung, die gemäss der DSGVO auf einer Einwilligung beruht, hätten Patienten weiterhin das Recht, ihre Einwilligung zur Datenbearbeitung zu widerrufen (Art. 7 Abs. 3 DSGVO). In einem Szenario, in dem die Datenbearbeitung durch KI-gestützte Mittel eine Voraussetzung für die Inanspruchnahme von Gesundheitsleistungen ist, ist es jedoch zweifelhaft, ob die Einwilligung eine geeignete Rechtsgrundlage wäre (da sie die Voraussetzung der Freiwilligkeit gemäss Art. 7 und Erwägungsgrund 32 DSGVO nicht erfüllt). Obwohl es von Mitgliedstaat zu Mitgliedstaat Unterschiede gibt, ist die Einwilligung selten die primäre Rechtsgrundlage für die Datenbearbeitung zum Zweck der Gesundheitsversorgung. Stattdessen stützen sich Gesundheitsdienstleister häufig entweder auf eine gesetzliche Verpflichtung (Art. 6 Abs. 1 Bst. c DSGVO) oder auf das öffentliche Interesse (Art. 6 Abs. 1 Bst. e DSGVO) in Verbindung mit den Rechtsvorschriften zur Gesundheitsversorgung (Art. 9 Abs. 2 Bst. h), wodurch nur begrenzte Möglichkeiten für einen Widerspruch gemäss Art. 21 Abs. 1 DSGVO verbleiben. Das Verbot von Entscheiden, die ausschliesslich auf einer automatisierten Verarbeitung beruhen (Art. 22 Abs. 1 DSGVO), gilt weiterhin. Dies erweitert jedoch nicht die Patientenrechte in Bezug auf den Einsatz von KI, da dieser keine automatisierte Einzelentscheidung darstellt.
Ein gewisses Mass an Entscheidungsfindung findet bereits auf Seiten der Anbieter statt, noch bevor KI-Systeme überhaupt zum Einsatz kommen, ohne dass Patienten oder medizinisches Fachpersonal notwendigerweise einbezogen werden. Es werden Genauigkeitsschwellen für die Abgabe einer Empfehlung festgelegt, der Grad der Erklärbarkeit der Ergebnisse bestimmt und akzeptable Risikoniveaus festgelegt. Solaiman und Malik stellen in diesem Zusammenhang die Frage, warum die KI-VO nicht vorschreibt, dass medizinisches Fachpersonal und Patienteninteressengruppen in die Festlegung von Risikostufen oder Schwellenwerten auf Anbieterseite einbezogen werden, da dies ebenfalls eine verpasste Gelegenheit hinsichtlich der Kontrolle durch die Endnutzer und der Patientenautonomie in der KI-VO zu sein scheint.
Die Anforderungen an die Einbeziehung der Patienten und deren Autonomie, die sich direkt aus der KI-VO ergeben, sind somit eher begrenzt und ergeben sich möglicherweise nur aus der Verpflichtung zur Befolgung der Gebrauchsanweisungen, sofern diese Anweisungen Leitlinien zur Informationsbereitstellung enthalten. So argumentiert Onitiu beispielsweise, dass die Gebrauchsanweisungen tatsächlich Leitlinien dazu enthalten sollten, wie Patienten über die Funktionsweise eines KI-Systems informiert werden sollen, da «die Hersteller angeben sollten, welche technischen Spezifikationen einen Zustand des ‹Informationsaustauschs› zwischen Arzt und Patient unterstützen, wenn diese Schutzmassnahmen in einem bestimmten Umfeld wirksam sind». Dies würde wiederum einen Teil der Verantwortung auf die Anbieter verlagern, ein angemessenes Informationsniveau festzulegen. Hierzu ist hinzuzufügen, dass Kliniker die Akteure mit direktem Kontakt zu den Patienten sind, von denen im Allgemeinen erwartet wird, dass sie mit den Patienten kommunizieren und dabei sowohl deren emotionale Bedürfnisse als auch die benötigten Informationen berücksichtigen. Es erscheint sinnvoll, dass die Entscheidung über Form und Umfang der Informationsbereitstellung vom Anwender getroffen wird, der jedoch zuvor ausreichende Informationen vom Anbieter benötigen würde.
In der empirischen Forschung wird die Wahrung von Wahlfreiheit und Autonomie durchweg als eines der zentralen Anliegen von Patienten identifiziert, die zur Einführung von KI in der Medizin befragt wurden. Wahlfreiheit und damit Autonomie sind nur dann sinnvoll, wenn sie auf fundierten Informationen beruhen. Wenn jedoch neue Rechtsvorschriften nicht festlegen, welche Informationen den Patienten über KI-Systeme zur Verfügung gestellt werden müssen, um eine informierte Entscheidungsfindung zu ermöglichen, und das bestehende Medizinrecht die informierte gemeinsame Entscheidungsfindung im Zusammenhang mit KI nicht spezifisch definiert, könnten Entscheidungen darüber, wie eine informierte Entscheidungsfindung und die Patientenautonomie im Zeitalter der KI gewahrt werden können, eher fragmentiert getroffen werden. Es scheint dennoch, dass strenge Informationspflichten bezüglich des Einsatzes und der Fähigkeiten medizinischer KI-Systeme weiterhin eher aus dem Medizinrecht hervorgehen werden und dass die KI-VO in der Praxis kaum Auswirkungen auf die den Patienten bereitgestellten Informationen hat, während es gleichzeitig nur wenige weitere Instrumente zur Unterstützung der Patientenautonomie bietet.
5. Ausblick
Die Einführung algorithmischer Entscheidungshilfen verändert den Prozess der medizinischen Entscheidungsfindung. Die KI-VO regelt in erster Linie die Anbieter und legt Anforderungen weiter im Vorfeld fest. Dennoch gibt es einige Bestimmungen, die sich direkt auf den Prozess der gemeinsamen Entscheidungsfindung zwischen medizinischem Fachpersonal, Patient und CDSS auswirken können. Die KI-VO führt einige neue Anforderungen an die menschliche Aufsicht ein, wobei der Schwerpunkt stark auf den Anbietern liegt, Mechanismen zu entwickeln, die eine solche Aufsicht ermöglichen. Die Verpflichtung der Betreiber zur Umsetzung einer menschlichen Aufsicht ist weniger streng formuliert, wird aber dennoch zu einigen wichtigen Fragen bei der Umsetzung führen, da die erforderlichen Kompetenzen und Schulungen genauer definiert werden müssen. Dies hat das Potenzial, das medizinische Fachpersonal vor Ort zu befähigen, die Aufsicht über KI-Technologien zu behalten. Die Verpflichtung zur menschlichen Aufsicht ist jedoch nicht gänzlich neu, da die Bestimmungen zur automatisierten Datenbearbeitung in der DSGVO (Art. 22) und politische Initiativen wie die HLEG-Leitlinien bereits zu einigen Umsetzungsstrategien für die menschliche Aufsicht geführt haben.
Das nationale Medizinrecht regelt im Allgemeinen die Verantwortung von medizinischen Fachkräften. Die KI-VO hat das Potenzial, relevante Aspekte europaweit zu harmonisieren. Allerdings ändert die KI-VO die Informationspflicht gegenüber Patienten nur in sehr begrenztem Umfang, und Patienten als Akteure stehen in der Gesetzgebung nicht im Mittelpunkt. Die Bestimmungen der KI-VO, die eine Informationspflicht gegenüber den Betroffenen bei KI-gestützten Entscheidungsprozessen vorschreiben (Art. 26 Abs. 11 und Art. 86), schliessen die Hochrisikosysteme gemäss Anhang I aus, sodass diese Angelegenheit den bereits bestehenden sektoralen Rechtsvorschriften der Union oder dem nationalen Recht überlassen bleibt. Da die MDR (bzw. die IVDR) kaum auf die externe Transparenz (gegenüber den «Kunden» des Gesundheitssystems) eingehen, wird die Informationsbereitstellung an Patienten weiterhin in erster Linie durch nationales sektorales Recht geregelt. Die KI-VO löst daher die derzeitige Rechtsunsicherheit hinsichtlich der Informationsbereitstellung für Patienten speziell im Zusammenhang mit KI nicht. Es bleibt klar, dass Patienten über die Risiken ihrer Behandlung informiert werden sollten und dass sie gemäss Datenschutzrecht über ihre Rechte aufgeklärt werden müssen, insbesondere wenn diese Rechte durch den Einsatz neuer Technologien eingeschränkt werden könnten. Die KI-VO bietet kaum neue Instrumente für die Informationsbereitstellung an Personen, die klinischen Entscheidungsunterstützungssystemen unterliegen.
In der Praxis wird ein Grossteil der Klärung weiterhin durch Normungsgremien und die Gerichte erfolgen. Zum jetzigen Zeitpunkt ist lediglich eine vorläufige Analyse der Anforderungen an die Betreiber möglich, und es ist durchaus denkbar, dass klarere Anforderungen an die menschliche Aufsicht entstehen werden, wobei wichtige institutionelle Akteure zudem zusätzliche Leitlinien entwickeln werden, einschliesslich der erwarteten Normen, die derzeit ausgearbeitet werden. Dies setzt jedoch voraus, dass sich Normungs- und Leitlinieninitiativen auch auf die Umsetzungsseite (und damit auf den Betreiber) konzentrieren.
Die Konkretisierung der Patientenautonomie und der Einbeziehung in den Entscheidungsprozess dürfte hingegen im Rahmen der Umsetzung der KI-VO kaum erfolgen, da es zum jetzigen Zeitpunkt noch nicht einmal eine anwendbare Bestimmung gibt, die konkretisiert werden könnte. Die Patientenautonomie durch Einbeziehung in den Entscheidungsprozess sowie die Fähigkeit des medizinischen Fachpersonals, Technologien zu überwachen, tauchen in der empirischen Forschung immer wieder als Faktoren auf, die die Vorbehalte der Patienten gegenüber KI verringern würden.( Um medizinische KI zu entwickeln, die den Erwartungen der Patienten entspricht, deren Werte respektiert und somit Vertrauen schafft, lohnt es sich, den Fokus auf diese beiden Aspekte zu richten, die zumindest teilweise bereits in der Einführungsphase und nicht erst in der Entwicklungsphase berücksichtigt werden müssen. Da die KI-VO hierfür keine neuen Instrumente bietet, muss der Schwerpunkt weiterhin auf der Auslegung der Transparenzpflichten des nationalen Medizinrechts im Lichte des zunehmenden KI-Einsatzes liegen.
Angesichts der Bedeutung der Rechtssicherheit für die Anwender und der erheblichen Risiken für die Patienten ist es nun wichtig, dass Qualitätskriterien und Standards für die Umsetzung Beachtung finden. Dazu gehören sowohl die menschliche Aufsicht als auch die Information der Personen, die im medizinischen Umfeld von Entscheidungsprozessen betroffen sind. Empirische Daten zu Erfahrungen mit bereits implementierten medizinischen KI-Systemen sollten Einblicke in den Umgang mit Risiken und Unsicherheiten bei CDSS liefern. Zudem dürfen die an der Festlegung der Anforderungen an KI-Systeme beteiligten Akteure nicht vergessen, auch Leitlinien für die Einsatzseite bereitzustellen.
Zur einfacheren Lesbarkeit wurden die Literatur- und Quellverweise entfernt.
Übersetzung Boris Wanzeck, Swiss Infosec AG
Saskia Kaltenbrunner in: Computer Law & Security Review, Elsevier, Volume 61, July 2026
https://doi.org/10.1016/j.clsr.2026.106281
https://creativecommons.org/licenses/by/4.0
KI-Governance, Security und Privacy
Unsere KI-, Governance-, Datenschutz- und Security-Spezialisten begleiten Sie bei der Erstellung der übergeordneten firmeninternen KI-Vorgaben, bei der Abwicklung von KI-Projekten, bei der Klärung von Einzelfragen und der Durchführung unabhängiger Audits. Ebenfalls unterstützen sie Organisationen in ihrer Rolle als Nutzer/Betreiber, Anbieter oder Entwickler von KI-Systemen sowohl nach Schweizer Recht als auch gemäss dem EU-AI Act.
Kontaktieren Sie uns und erfahren Sie in einem unverbindlichen Beratungsgespräch, was unsere Spezialistinnen und Spezialisten für Sie tun können: +41 41 984 12 12, infosec@infosec.ch