Seite 2: Weitere Risiken beim Einsatz von KI-Systemen im Medizinbereich

Inhaltsverzeichnis

Welche weiteren Risiken beim Einsatz von KI gibt es?

Da ist zum Beispiel die Frage der Voreingenommenheit (sogenannter KI-Bias). Oder die Frage, welche Informationen der Entwickler des KI-Systems den Nutzern zur Verfügung stellen muss, damit die Ergebnisse der KI interpretiert werden können (Gebrauchsanweisungen).

Für bildgebende Systeme im medizinischen Bereich muss der Systemhersteller ein Handbuch bereitstellen. Ärztinnen und Ärzte müssen wissen, wie das System verwendet und die Ergebnisse interpretiert werden dürfen.

Es ist wichtig, den Zweck des Systems und seine Zuverlässigkeit zu kennen, einschließlich möglicher Fehler. Ebenso muss klargestellt sein, unter welchen Bedingungen das System nicht zuverlässig funktioniert.

Welche Konsequenzen sind das beispielsweise bei einem Verstoß beim Einsatz von Medizinprodukten?

Bei Medizinprodukten gibt es strenge Vorgaben für Hersteller und Ärzte. Die KI-Verordnung verlangt, dass die Nutzer das Handbuch befolgen. Wenn sie dies nicht tun, können Fehler auftreten. Verstöße können nach der KI-Verordnung mit Bußgeldern belegt werden, da die unsachgemäße Nutzung zu Fehlbehandlungen führen kann.

Wer am Ende entgegen bestimmter datenschutzrechtlicher Verpflichtungen Patientendaten in einem KI-System verarbeiten lässt, begeht einen Verstoß, der gleichrangig neben anderen Verstößen gegen die KI-Verordnung steht. Es besteht damit die Gefahr der doppelten Bußgeldbelegung. Dies gilt sowohl für Hersteller als auch für Anwender.

Gibt es noch weitere Dinge, die zu beachten sind?

Neben den Pflichten der Hersteller regelt die KI-Verordnung auch ein umfangreiches Pflichtenprogramm für Nutzer, also etwa für Ärzte.

Angesichts des Charakters von KI-Systemen und der Risiken für die Sicherheit und die Grundrechte, die mit ihrer Verwendung verbunden sein können, ist insbesondere Pflicht der Nutzer maßgeblich, eine angemessene Überwachung der Leistung des KI-Systems unter realen Bedingungen sicherzustellen. Nutzer sollen Hochrisiko-KI-Systeme zudem nur gemäß der beigefügten Gebrauchsanweisung verwenden. Zudem gilt es, spezifische Aufbewahrungspflichten für KI-Protokolle zu beachten.

Nutzer müssen das KI-System also sachgerecht anwenden und jederzeit die menschliche Kontrolle, also das Letztentscheidungsrecht wahren können. Es darf nicht einfach ein System zum Einsatz gebracht werden, dessen Ergebnis anschließend an den Patienten ausgegeben wird. Genau diese Pflichten werden dezidiert in der KI-Verordnung geregelt.

Wird die Datenschutzerklärung dann länger, die man beim Arzt unterschreiben muss?

Ja, die datenschutzrechtlichen Verpflichtungen, die bereits jetzt nach der DSGVO bestehen, gelten auch in Zukunft beziehungsweise werden Stück für Stück erweitert. Beim Chatbot muss man dann auch einwilligen, dass die Stimme während des Telefonats aufgezeichnet wird. Auf diese Verarbeitung muss transparent hingewiesen werden. Auch die Rechtsgrundlage muss erklärt werden. Außerdem muss die Praxis die Datenverarbeitung überwachen. Die Umsetzung muss angemessen, technisch und rechtlich sicher sein. Damit überlange Datenschutzerklärungen die Verständlichkeit und damit die Transparenz nicht gefährden, sind adressatengerechte und gut strukturierte Texte wichtig. Praxen sollten die Datenschutzerklärung sachgerecht erweitern.

Bereits jetzt müssen beispielsweise von einem KI-System erzeugte Logfiles erfasst werden. Die einzelnen Anwendungen werden protokolliert, um den Betriebsablauf nachvollziehbar zu gestalten und damit dem Black-Box-Phänomen ein Stück weit entgegenzutreten.

Müssen die Log-Dateien aufbewahrt werden?

Der Anwender ist verpflichtet, diese Log-Dateien für einen angemessenen Zeitraum aufzubewahren. Die Ärztinnen und Ärzte sind schon jetzt dazu verpflichtet, Dokumentationen wie Patientenakten aufzubewahren. Praxen sollten das System nicht für alle Zeit unbewacht laufen lassen, sondern grundsätzlich sicherstellen, dass Fehler erkannt werden. Die bisherigen Anforderungen an die technische Datenverarbeitung gelten auch für KI-Systeme. Da sind Ärzte auch bei anderen Softwareangeboten üblicherweise in der Pflicht – je nach Vertrag. Je nach Konstellation kann auch eine sogenannte gemeinsame Verantwortlichkeit in Betracht kommen. Gerade das, was mit der Telematikinfrastruktur zu tun hat, ist nochmal besonders kompliziert.

Eine gemeinsame Verantwortlichkeit liegt vor, wenn beide Parteien die Zwecke und Mittel der Verarbeitung gemeinsam bestimmen. Dies richtet sich nach faktischen Gegebenheiten und nicht danach, wie man das selbst vertraglich bestimmt. Wo die Verantwortlichkeit der Ärzte aufhört und die anderer Beteiligter anfängt, ist damit einzelfallbezogen zu erörtern und kann nicht allgemein beantwortet werden. Für Praxen ist das Wissen über den Verlauf der Veranwortlichkeitssphären jedoch in besonderem Maße relevant.

(mack)