Immer öfter werden KI-Modelle im Alltag eingesetzt – auch in der Medizin. Eine Studie zeigt nun mögliche Diskriminierungen bei Therapievorschlägen der KI.
Künstliche Intelligenz (KI) wird in der medizinischen Diagnostik schon heute in vielen Bereichen eingesetzt. In der Radiologie analysieren KI-Modelle Röntgenbilder auf Tumoren. In der Dermatologie werden sie in der Hautkrebsdiagnose genutzt. Die KI kann daraufhin Behandlungsmöglichkeiten vorschlagen. Doch eine Studie zeigt, dass die empfohlene Therapie nicht nur von medizinischen Faktoren abhängt. Diskriminierungen beeinflussen dei Ergebnisse
Ein internationales Forschungsteam unter Leitung der Icahn School of Medicine at Mount Sinai in New York untersuchte die medizinischen Therapiemöglichkeiten, die verschiedene KI-Modelle vorschlagen. Die Ergebnisse wurden im Fachmagazin “Nature Medicine” veröffentlicht.
Die Forscher testeten neun KI-Sprachmodelle, unter anderem ChatGPT. Sie präsentierten der KI 1.000 Krankheitsfälle – 500 echte Patienten aus Notaufnahmen und 500 nachgebildete Fälle. Jeder Fall wurde in 32 verschiedenen Varianten dargestellt. Dafür ermittelten die Forscher soziodemografische Gruppen. Darunter fallen die sexuelle Identität, das Einkommen und die ethnische Zugehörigkeit. Sie änderten diese Kategorien bei jedem Fall und erhielten so mehr als 1,7 Millionen medizinische Empfehlungen von der KI.
Gleichzeitig bewerteten zwei Ärzte die Fälle nach ihren Maßstäben. Die Ergebnisse: Die KI schlägt verschiedenen soziodemografischen Gruppen unterschiedliche Therapiemöglichkeiten vor. Schwarzen Personen oder Menschen, die sich als LGBTQ identifizieren, wird häufiger eine psychiatrische Untersuchung empfohlen.
Fälle mit wohnungslosen Patienten oder trans Personen werden von der KI öfter als dringend eingestuft. Hier werden dementsprechend invasive Behandlungsmöglichkeiten wie Operationen vorgeschlagen. Einkommensstarke Patienten bekommen deutlich mehr Empfehlungen für erweiterte Therapien, etwa ein CT oder MRT.
Personen, die von mehreren Diskriminierungen betroffen sind, benachteiligt die KI am stärksten. Dazu zählen unter anderem schwarze Menschen mit niedrigem Einkommen oder wohnungslose trans Personen. Zudem empfiehlt die KI schwarzen trans Frauen im Vergleich zu weißen heterosexuellen Menschen fast doppelt so oft eine psychiatrische Untersuchung.
Die Studie legt nahe, dass die KI klinische Empfehlungen generiert, die nicht nur von medizinischen Faktoren abhängen, sondern auch Vorurteile einbeziehen. Laut den Forschern sind zwar gewisse Unterschiede in den KI-Ergebnissen zu erwarten. Allerdings zeige die Studie ein Muster. Medizinische Diskriminierung gegenüber marginalisierten Personengruppen ist demnach bereits in den Trainingsdaten der KI-Modelle enthalten und wird in den Antworten vervielfältigt.
Auch wenn soziodemografische Faktoren in der medizinischen Diagnostik berücksichtigt werden müssen, sieht das Forscherteam ein Problem. “Die Ergebnisse der KI könnten bestehende Ungleichheiten verstärken und zu medizinischen Missverhältnissen führen, wenn sie ohne Sicherheitsvorkehrungen in klinische Arbeitsabläufe einfließen”, heißt es in dem Studienbericht.
Das Team rät zu einem vielseitigen Ansatz bei der Arbeit mit KI in der medizinischen Diagnostik. Mediziner sollten auf eine sorgfältige Formulierung in den Prompts achten und die Ergebnisse der KI immer überprüfen, um Ungleichheiten abzubauen.
