Worum geht es? Programme mit künstlicher Intelligenz halten in immer mehr Bereiche der Medizin Einzug, von der Auswertung von Röntgenbildern über die Unterstützung bei der Dokumentation bis hin zu Apps, die Patient:innen selbst auf dem Smartphone nutzen. Damit stellt sich eine nüchterne, aber folgenreiche Frage: Welche dieser Programme unterliegen einer staatlichen Kontrolle, und welche nicht? Zwei Fachautoren aus dem Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) und dem Bundesgesundheitsministerium haben dazu im Bundesgesundheitsblatt eine Einordnung veröffentlicht. Sie zeigt, wie das europäische Regelwerk aufgebaut ist und an welchen Stellen es noch unfertig ist.
Wann eine Software zum Medizinprodukt wird
Entscheidend ist nicht, was eine Software technisch könnte, sondern wofür der Hersteller sie ausdrücklich bestimmt hat. Diese sogenannte Zweckbestimmung, also die vom Hersteller festgelegte Anwendung, ist der juristische Dreh- und Angelpunkt. Nennt ein Hersteller als Zweck etwa Diagnose, Überwachung, Vorhersage, Prognose oder Behandlung einer Erkrankung beim Menschen, gilt die Software als Medizinprodukt und muss ein Konformitätsverfahren durchlaufen, also eine formale Prüfung gegen gesetzliche Anforderungen. Eine App, die lediglich allgemeine Gesundheitsinformationen anzeigt, fällt dagegen nicht darunter, selbst wenn Nutzer:innen sie faktisch zur Selbsteinschätzung verwenden. Diese Unterscheidung erklärt, warum zwei äußerlich ähnliche Programme regulatorisch sehr unterschiedlich behandelt werden können. Der Hinweis auf die Zweckbestimmung steht in der Regel in der Produktbeschreibung oder Gebrauchsanweisung, nicht im Werbetext.
Zwei Regelwerke mit unterschiedlicher Logik
Für KI in der Medizin greifen in Europa zwei Regelwerke ineinander. Die Medizinprodukteverordnung MDR und ihr Gegenstück für Labortests, die IVDR, teilen Produkte nach dem Gefährdungspotenzial in vier Klassen ein. Software wird dabei nach einer eigenen Regel bewertet, die danach fragt, wie schwer die Folgen wären, wenn eine gelieferte Information zu einer falschen diagnostischen oder therapeutischen Entscheidung führt. Parallel dazu unterscheidet die europäische KI-Verordnung, der sogenannte AI Act, ebenfalls vier Stufen: unannehmbares, hohes, geringes und minimales Risiko. Medizinprodukte und In-vitro-Diagnostika, also Labortests außerhalb des Körpers, fallen mit KI-Anteil laut der Einordnung in den allermeisten Fällen in die Kategorie Hochrisiko, nämlich immer dann, wenn eine Benannte Stelle, also eine staatlich überwachte unabhängige Prüfstelle, am Verfahren beteiligt sein muss.
Wo sich die beiden Systeme reiben
Die Autoren benennen ein strukturelles Missverhältnis: Ein Produkt kann nach der Medizinprodukteverordnung in einer niedrigen Klasse liegen und zugleich als Hochrisiko-KI-System gelten, weil beide Regelwerke von unterschiedlichen Kriterien ausgehen. Für Hersteller entstehen daraus teils widersprüchliche Anforderungen. Inhaltlich verlangt der AI Act unter anderem, dass Trainingsdaten dokumentiert und validiert werden, dass systematische Verzerrungen, im Fachjargon Bias, also eine Schieflage der Daten zulasten bestimmter Gruppen, erkannt und korrigiert werden und dass Datenschutz von Beginn an Teil der Entwicklung ist. Auch Betreiber solcher Systeme, also etwa Kliniken und Praxen, stehen in der Pflicht, Datenschutzaspekte in den laufenden Betrieb einzubinden.
Offene Fragen, die noch nicht geklärt sind
Bemerkenswert offen bleibt der Beitrag an mehreren Stellen. Für Produkte der niedrigsten Risikoklassen seien zahlreiche Fragen derzeit noch völlig offen. Für selbstlernende Systeme, die sich also nach der Marktzulassung weiter verändern, müssten Konzepte erst noch erarbeitet werden. Ebenso fehlen etablierte Methoden für die klinische Bewertung von KI-gestützten Produkten. Und selbst bei großen Sprachmodellen, also Programmen, die Texte erzeugen und aus Chatbots bekannt sind, ist laut den Autoren unklar, unter welchen Bedingungen sie als Medizinprodukt einzuordnen wären. Bundesgesundheitsministerium und BfArM arbeiten den Angaben zufolge an pragmatischen Lösungen und an europäischen Leitlinien. Die Einordnung stammt damit unmittelbar aus jener Behörde, die in Deutschland für Medizinprodukte zuständig ist.
Für Sie als Patient:innen ergibt sich daraus zweierlei. Erstens ist ein Prüfnachweis keine Formalie, sondern derzeit die einzige belastbare Auskunft darüber, ob ein Programm für einen bestimmten medizinischen Zweck geprüft wurde. Zweitens fehlt diese Prüfung bei frei verfügbaren Gesundheits-Apps und Chatbots häufig, ohne dass es auf den ersten Blick erkennbar wäre. In unserer Praxis begegnen uns zunehmend Auswertungen und Einschätzungen, die Patient:innen aus solchen Anwendungen mitbringen. Wir ordnen sie gern gemeinsam mit Ihnen ein, im Gespräch und im Zusammenhang mit Ihrer Krankengeschichte. Ein Rechenergebnis ersetzt weder die Untersuchung noch die ärztliche Bewertung, und die Regulierung ist genau der Versuch, diesen Unterschied verbindlich abzusichern.
