Diskriminierung durch maschinelles Lernen
Von Heiner Koch (Duisburg-Essen)
Dieser Blogbeitrag basiert auf einem Aufsatz, der im Schwerpunkt “Diskriminierung” in der Zeitschrift für Praktische Philosophie erschienen ist.
Maschinelles Lernen – oft auch als Künstliche Intelligenz verhandelt – birgt die Gefahr von neuen Formen der Diskriminierungen, die darüber hinaus auch noch schwer erkennbar sein können. Der Einsatz maschinellen Lernens in sensiblen Bereichen muss daher so erfolgen, dass Diskriminierungen erkennbar sind – oder es muss auf den Einsatz verzichtet werden.
Dass maschinelles Lernen diskriminierend sein kann, ist mittlerweile weithin bekannt und gut untersucht. Gleichzeitig ist es wenig überraschend, dass maschinelles Lernen diskriminierend sein kann. Das Lernen findet schließlich anhand von Trainingsdaten statt und diese Trainingsdaten sind oft schon mit Diskriminierungen vorbelastet. So hat etwa Amazon mit maschinellem Lernen versucht, aus einer großen Anzahl von Jobbewerbungen die leistungsstärksten Bewerber*innen automatisch herauszufiltern. Trainiert wurde der Algorithmus anhand von früheren Bewerbungen von Mitarbeiter*innen, die als besonders leistungsstark galten. Da Amazon jedoch in der Vergangenheit hauptsächlich Männer eingestellt hat, hat der Algorithmus gelernt, dass beispielsweise Frauen ungeeignet für den Job wären.
Wenn wir glauben, dass nur eine kleine Menge unterschiedlicher Gruppen von Diskriminierungen betroffen sein können (etwa diejenigen, die in Art. 3 des Grundgesetztes aufgezählt sind), dann lassen sich die meisten Algorithmen verhältnismäßig gut auf diese Diskriminierungen hin untersuchen. korreliert eines von diesen Gruppenmerkmalen stark mit den Entscheidungen oder Bewertungen des Algorithmus, liegt der Verdacht zumindest nahe, dass eine Diskriminierung vorliegen könnte. Schwieriger wird es, wenn man annimmt, dass anhand beliebiger Merkmale diskriminiert werden kann.
Man denke an ein Sozialkreditsystem wie es in China existiert. Ob man Kredit erhält, Reisen darf oder bestimmte Berufe ergreifen kann, hängt dann davon ab, ob man eine gute Punktezahl hat. China definiert bisher diejenigen Verhaltensweisen die einem Punkte bringen oder verlieren lassen explizit und ohne maschinelles Lernen. Bei Rot über die Ampel gehen, zu viele Computerspiele kaufen oder mit Personen befreundet sein, die einen schlechten Punktestand haben, kostet Punkte. China könnte sich jedoch auch dazu entscheiden maschinelles Lernen einzusetzen, um die Punktveränderungen zu bestimmen. Einkaufsverhalten, Bewegungsprofile, Sozialbeziehungen oder Hobbies könnten damit auf einmal zu einem Punkteabzug führen und dieser Punkteabzug kann gravierende Folgen für das gesamte Leben haben. Eingeschränkt werden solche Methoden schon im Sicherheitsbereich eingesetzt. Maschinelles Lernen soll dabei helfen einzuschätzen, wer gefährlich ist und wer nicht. Überwachung und Repression kann die Folge sein.
Hier sind wir mit einer nahezu unendlich großen Menge von Merkmalen konfrontiert, die für Bewertungen und Entscheidungen eine Rolle spielen können. Manche Merkmale könnten nicht diskriminierend sein, weil sie zielgenau Merkmale mit großer Erklärungskraft herausgreifen. Steht eine Person auf einer Liste von gesuchten Terrorist*innen, ist es sicherlich nicht diskriminierend diese Person als Sicherheitsrisiko einzustufen (ob die Person aufgrund von Diskriminierungen auf der Liste gelandet ist, soll hierbei unberücksichtigt bleiben). Wird eine Personengruppe als Sicherheitsrisiko eingestuft, die häufiger Dr. Pepper Cola konsumiert, weil der Algorithmus in Datensätzen über Terrorist*innen entdeckt hat, dass die meisten Terrorist*innen häufiger Dr. Pepper Cola getrunken haben, so ist diese Einstufung fragwürdig und kann weitreichende Konsequenzen für die Gruppe derjenigen haben, die häufiger Dr. Pepper Cola trinken. Um nun identifizieren zu können, welche der verwendeten Merkmale diskriminierend sind, müssten wir sehr viele dieser Merkmale genau untersuchen. Der Arbeitsaufwand ist also deutlich höher, als wenn man annimmt, dass nur eine sehr begrenzte Menge an Merkmalen diskriminierungsrelevant ist.
Leider wird die Situation im Kontext maschinellen Lernens noch deutlich unübersichtlicher. Bisher sind wir davon ausgegangen, dass die Entscheidungs- und Bewertungsmerkmale, die der Algorithmus erlernt hat, bekannt sind. Das ist bei maschinellem Lernen jedoch oft nicht der Fall.
Maschinelles Lernen wird oft als eine Art Blackbox beschrieben. Wir wissen welche Daten wir reintun (eine Vereinfachung, denn in Wirklichkeit ist das nicht immer der Fall) und wir wissen, was am Ende rauskommt, aber wir wissen nicht was dazwischen passiert. Das heißt wir wissen beispielsweise auch nicht unbedingt, anhand welcher Merkmale der Algorithmus eine Person als Sicherheitsrisiko eingestuft hat. Wir kriegen nur die Information, dass die Person ein Sicherheitsrisiko sei. Ob eine Diskriminierung stattgefunden hat, wissen wir dann natürlich nicht.
Eine naheliegende Lösung besteht darin, dass wir den Algorithmus so gestalten, dass er uns immer genau sagt, anhand welcher Merkmale er eine Entscheidung oder Bewertung vorgenommen hat. Leider hilft dies nicht unbedingt. Zum einen könnte er uns viele Tausend Merkmale (im Extremfall sogar Millionen von Merkmalen) ausspucken und diese könnten dann auch noch so komplex sein, dass wir gar keinen Sinn aus diesen Merkmalen machen können. Wenn wir durch die Menge und Komplexität der Merkmale kognitiv überfordert sind, können wir auch kaum beurteilen, ob eine Diskriminierung vorliegt. Letzten Endes müssen wir schließlich verstehen, warum diese Merkmale zu einer Entscheidung oder Bewertung geführt haben, weil wir nur dann sagen können, ob diese Entscheidung oder Bewertung angemessen war oder nicht.
Auch hier werden jedoch Lösungen erarbeitet. Maschinelles Lernen soll erklärbar werden. Erforscht wird dies als Explainable Artificial Intelligence (XAI). Hierzu gibt es viele unterschiedliche Verfahren. So kann man etwa versuchen den Lernprozess so zu gestalten, dass die Merkmale, anhand derer entschieden und bewertet wird, alltagssprachlich beschrieben werden können. Zumeist leidet hierunter jedoch auch die Leistungsfähigkeit des Algorithmus. Andere Ansätze versuchen eine post-hoc Rationalisierung für das Verhalten des Algorithmus zu liefern. Hierbei wird nicht gesagt, was der Algorithmus tatsächlich genau gemacht hat. Es werden nur Visualisierungen erzeugt oder lokale oder beispielhafte Erklärungen gegeben. Dies ist zwar nicht unbedingt hinreichend, um Diskriminierungen sicher feststellen zu können, aber auch Menschen geben oft nur Rationalisierungen ihres Verhaltens und wir wissen nicht genau, ob nicht andere als die angegebenen Motive ausschlaggebend für das Verhalten gewesen sind.
Das Problem bleibt jedoch bestehen, dass der Einsatz maschinellen Lernens zu systematischen und unangemessenen Benachteiligen anhand von unbekannten Merkmalen führen kann. Hier sind Regelungen für die Technikentwicklung und für den Technikeinsatz nötig. Ähnlich wie Privacy by Design bei der Technik und Produktentwicklung gefordert wird, macht es Sinn, hier auch Transparency by Desgin zu fordern. Der Technikeinsatz kann dann von einer Überprüfung auf diskriminierende Effekte begleitet werden. Dort wo die Transparenz nicht gewährleistet werden kann oder sich geweigert wird Transparenz herzustellen, könnte der Technikeinsatz reguliert und begrenzt werden. Dort wo maschinelles Lernen erheblichen Auswirkungen auf Menschen hat (Sicherheit, Gesundheit, Kreditvergabe, Arbeit etc.), könnten dann intransparente Bewertungen und Entscheidungen durch maschinelles Lernen verboten werden.
Heiner Koch ist Doktorand an der Universität Duisburg-Essen und forscht schwerpunktmäßig zu maschinellem Lernen, Herrschaft, Wissenschaftstheorie der Sozialwissenschaften und Metaphysik des Sozialen.
