Bias und Diskriminierung
Datenbasierte KI-Systeme lernen auf Basis vorhandener Daten. Resultierende Prognosen und
Empfehlungen schreiben somit die Vergangenheit in die Zukunft fort, wodurch Stereotype, aber
auch bestehende gesellschaftliche Ungerechtigkeiten durch den Einbau in scheinbar neutrale
Technologien reproduziert und sogar verstärkt werden können. In den letzten Jahren wurden
die teils diskriminierenden Effekte insbesondere datenbasierter Technologien zur Entscheidungsunterstützung in zahlreichen Sektoren nachgewiesen. Für den Bereich der öffentlichen
Verwaltung sei hier exemplarisch auf die Debatten rund um die Software COMPAS hingewiesen (vgl. Abschnitt 8.3.1). Auch im Kontext der für öffentliche Kommunikation und Meinungsbildung zentralen Sozialen Medien und Suchmaschinen konnte gezeigt werden, dass algorithmische Systeme gesellschaftliche Stereotype und Ungerechtigkeiten reproduzieren können und
dies in systematischen diskriminierenden Verzerrungen resultieren kann. In der Medizin wiederum gibt es zahlreiche Beispiele, dass verzerrte Trainingsdaten zu diskriminierenden Ergebnissen bei der Beurteilung von Patientinnen und Patienten durch KI-basierte Systeme führen
können, so etwa bei der Einschätzung,, wieviel Nachsorgebehandlungen Menschen nach einem
Krankenhausaufenthalt benötigen – so wurde in diesem Fall die vorhandene Verzerrung in den
Trainingsdaten in eine direkte Benachteiligung bestimmter Personengruppen übersetzt. 433
Auch im Bildungsbereich können systematische Verzerrungen nachgewiesen werden, insbesondere im Kontext von Audio- und Videoanalysen zum Zweck der Emotions- und Affekterkennung.
Die Ursachen für Diskriminierung durch KI-Systeme sind vielfältig. Oft liegt bei deren Entwicklung keine unmittelbare Diskriminierungsabsicht vor. Stattdessen sind diskriminierende
Effekte das Resultat gesellschaftlicher Realitäten oder Stereotype in Kombination mit technisch-methodischen Entscheidungen, wie beispielsweise der Wahl der Zielvariablen und Labels,
433 Obermeyer, Z. et al. (2019): Dissecting racial bias in an algorithm used to manage the health of populations.
In: Science 366 (6464), 447-453. (DOI: 10.1126/science.aax2342).
+++ Vorabfassung! Wird durch die lektorierte Fassung ersetzt. +++
282
der Auswahl der Trainingsdaten oder der verwendeten statistischen Analysemethoden. Dies
erschwert einerseits die Anwendung rechtlicher Regulierungen, die auf Vorsätzlichkeit von
Diskriminierung bauen. Andererseits bedarf es detaillierter Analysen der methodisch-technischen Ursachen für diskriminierende Effekte, die häufig schwierig zu erkennen und nachzuweisen sind.
Von besonderer Bedeutung sind hier Trainingsdaten. Mangelnde Qualität, aber auch existierende gesellschaftliche Ungleichheiten, die sich in Daten widerspiegeln, können zu diskriminierenden Modellen führen. Über- und Unterrepräsentativität sind weitere Probleme, die diskriminierende Effekte haben können. Wenn Software im Bereich der Medizin zur Diagnostik
von Hautkrebs vor allem auf Bildern mit heller Haut trainiert wurde, kann dies zu unterschiedlicher Genauigkeit bei der Befundung von verschiedenen Hautfarben führen. Die Folge wären
beispielsweise überproportional häufigere Fehldiagnosen für Patientinnen und Patienten mit
dunklerer Hautfarbe.
Das Gegenteil dieser mangelnden Berücksichtigung von Personengruppen in Datensätzen ist
die Überrepräsentativität. Ein Beispiel ist der Einsatz von Software zur Vorhersage von Straftaten im Kontext von prädiktiver Polizeiarbeit. Falls eine Software eine bestimmte Gegend aufgrund bisheriger Straftaten als Hoch-Risikozone kategorisiert, werden dort gegebenenfalls in
der Folge Polizeikontrollen verstärkt. Gerade aufgrund der erhöhten Kontrolle können dort
dann noch mehr Straftaten verzeichnet werden. Im Gegenzug bleiben gegebenenfalls Straftaten
in Niedrig-Risiko-Zonen aufgrund ausbleibender Kontrollen unerkannt. Durch beide Effekte
kann sich die Datenlage weiter zuungunsten der Bewohnerschaft einer Hoch-Risikozone verschieben – nämlich für jene, die durch verstärkte Kontrollen unter Umständen ungerechtfertigt
stigmatisiert werden.
Darüber hinaus besteht das Problem der sogenannten redundanten Enkodierung: Sensible Attribute wie beispielsweise Geschlecht, religiöse Zugehörigkeit oder sexuelle Orientierung lassen sich teilweise aus anderen Datenpunkten, etwa Bewegungsprofilen, Details des Medienkonsums sowie Angaben über Wohnort oder Hobbys ableiten. Dadurch können diese Daten als
sogenannte Proxy-, bzw. Stellvertretervariablen für die geschützten Variablen fungieren. Das
Resultat ist, dass Personen auch dann aufgrund ihres Geschlechts oder ihrer sexuellen oder religiösen Orientierung von der Software diskriminiert werden können, wenn diese Angaben gar
nicht erhoben wurden, eben weil diese Kategorien aus anderen erhobenen Daten ableitbar sind.
In den zuvor genannten Beispielen ist Diskriminierung der Effekt von technisch-methodischen
Entscheidungen, aber nicht notwendigerweise intendiert. Es ist allerdings zumindest denkbar,
+++ Vorabfassung! Wird durch die lektorierte Fassung ersetzt. +++
283
dass auch explizite Diskriminierungsabsichten in komplexen Systemen versteckt werden könnten. Dies gilt umso mehr in proprietärer, das heißt rechtlich geschützter Software, in welche die
Personen, die sie verwenden, nicht nur aufgrund von technischer Komplexität, sondern auch
aus rechtlichen Gründen keine Einsicht haben.
Empfehlung
Empfehlung Querschnittsthema 9: Zum Schutz vor Diskriminierung in Anbetracht der zuvor dargelegten Herausforderungen bedarf es angemessener Aufsicht und Kontrolle von KISystemen. Besonders in sensiblen Bereichen erfordert dies den Auf- oder Ausbau gut ausgestatteter Institutionen. Hier gilt: je größer die Eingriffstiefe und je unumgänglicher die
Systeme, desto höher die Anforderungen an Diskriminierungsminimierung.
Auch bereits bei der Entwicklung von Technologien gilt es, Diskriminierung zu minimieren
bzw. Fairness, Transparenz und Nachvollziehbarkeit herzustellen. Dies sollte sowohl durch
Anreize – etwa Forschungsförderung – als auch durch entsprechende gesetzliche Anforderungen befördert werden, etwa hinsichtlich der Offenlegung, welche Maßnahmen zur Diskriminierungsminimierung bei der Softwareentwicklung ergriffen wurden.434
Allerdings haben technische wie regulatorische Maßnahmen zur Minimierung von Diskriminierung ihre Grenzen, unter anderem weil unterschiedliche Fairnessziele technisch nicht
gleichzeitig erfüllt werden können. Es müssen also zugleich ethische und politische Entscheidungen getroffen werden, welche Kriterien für Gerechtigkeit in welchem Kontext zum
Tragen kommen sollen. Diese Entscheidungen dürfen nicht den Personen, die Software entwickeln, und anderen direkt Beteiligten überlassen werden. Stattdessen bedarf es der Entwicklung geeigneter Verfahren und Institutionen, um diese Kriterien kontextspezifisch und
demokratisch, gegebenenfalls immer wieder neu auszuhandeln. Je nach Anwendungskontext und Sensibilität des einzusetzenden Systems kann die Beteiligung der Öffentlichkeit
erforderlich sein. Dabei sollte der Schutz der jeweils bedürftigsten bzw. von Entscheidungen besonders betroffenen Gruppen besonders berücksichtigt werden.
434 Der derzeit diskutierte Entwurf eines EU Artificial Intelligence Act (AI Act) verfolgt bereits diesen Ansatz,
auf der einen Seite die Forschung zu KI-Technologien zu fördern und auf der anderen, einen rechtlichen Rahmen
für ihre Entwicklung und Anwendung zu schaffen.
+++ Vorabfassung! Wird durch die lektorierte Fassung ersetzt. +++
284
10.10 Querschnittsthema 10: Transparenz und Nachvollziehbarkeit – Kontrolle und
Verantwortung
KI-Systeme sind mitunter wenig transparent und nachvollziehbar. Diese Opazität hat verschiedene Ursachen, die vom Schutz geistigen Eigentums über die Komplexität und Nicht-Nachvollziehbarkeit der Verfahren bis hin zur mangelnden Durchsichtigkeit von Entscheidungsstrukturen, in die der Einsatz algorithmischer Systeme eingebettet ist, reichen. Als Reaktion auf
diese vielfältigen Herausforderungen gibt es Bemühungen, die Transparenz und Nachvollziehbarkeit durch technische, organisatorische und rechtliche Mittel zu erhöhen.435
Fragen von Transparenz, Erklärbarkeit und Nachvollziehbarkeit sind mit Fragen von Kontrolle
und Verantwortung verbunden. Zwar besteht zwischen ihnen ein gewisser Zusammenhang,
doch ist die Transparenz und Nachvollziehbarkeit algorithmischer Systeme für die Kontrolle
und die Verantwortung für ihren Einsatz weder zwingend notwendig noch hinreichend.
Einerseits kann es auch bei prinzipiell transparenten und nachvollziehbaren Methoden wie zum
Beispiel Entscheidungsbäumen dazu kommen, dass verantwortliches Handeln und angemessene Kontrolle ausbleiben. Zudem ist in Bezug auf Offenlegungspraktiken auf das Problem
strategischer Transparenz hinzuweisen. So könnten insbesondere im Bereich der öffentlichen
Kommunikation und Meinungsbildung Plattformbetreibende entweder irrelevante und unzureichende Informationen transparent machen (beispielsweise in Bezug auf Prozesse und Effekte
von Content-Moderation) oder aber relevante Informationen unter einer Fülle irrelevanter Information verbergen. In diesen Fällen würde Transparenz also nicht zwingend zu verantwortlichem Handeln und Kontrolle führen.
Andererseits sind Kontrolle und Verantwortung auch ohne vollständige Transparenz möglich.
So können bei der Nutzung von Softwaresystemen, die auf Deep Learning-Ansätzen beruhen,
Herstellern oder Anwendern die volle Verantwortung für den Einsatz dieser Systeme zugewiesen werden, selbst wenn ihnen die Details der Verarbeitung unbekannt sind. Sie trügen dann
die Verantwortung, derartige Systeme zum Einsatz gebracht zu haben, und müssten begründen,
warum diese Intransparenz akzeptabel ist – etwa weil der mögliche Schaden gering oder der
zusätzliche Nutzen dieser Systeme (beispielsweise in Bezug auf eine höhere Genauigkeit der
Prognosen) die Nachteile der Intransparenz überwiegt. So kann es einerseits sein, dass im medizinischen Kontext aus guten Gründen Software in der Krebsdiagnostik eingesetzt wird, deren
435 Schlagworte dieser Debatte sind neben Transparenz (transparency) insbesondere auch Erklärbarkeit
(explainability/explainable AI/explicability), Beobachtbarkeit (observability) und Nachvollziehbarkeit sowie
Verantwortung und Haftung (responsibility, accountability und liability).
+++ Vorabfassung! Wird durch die lektorierte Fassung erset