Epistemische Ungerechtigkeiten im Kontext Künstlicher Intelligenz
Von Anastassija Kostan (Paderborn/Frankfurt)
Aktuell gibt es fast jede Woche Neuigkeiten zur künstlichen Intelligenz. Aus dem rasanten Wechsel zwischen Personalia-Skandalen bei den Tech-Giganten, der fortlaufenden Präsentation immer wieder neuer Etappen der Technologieentwicklung und den nachhinkenden Regulierungsdebatten ist mittlerweile eine regelrechte „KI-Fatigue“ entstanden. Gleichzeitig ist der Einsatz künstlicher Intelligenz aus unserem Alltag überhaupt nicht mehr weg zu denken. KI getriebene Programme urteilen immer häufiger und zunehmend ohne menschliche Aufsicht darüber, wer einen Job bekommt, Anspruch auf einen Kredit hat oder Sozialhilfe beziehen kann und dergleichen mehr.
Dass eine so entscheidende Technologie, auf deren vermeintliche Objektivität und Neutralität wir uns verlassen (müssen), bestehende Ungleichheitsverhältnisse verschärft (Lin & Chen 2022) und neue hervorbringt (Noble 2018, Eubanks 2018), ist nicht nur längst im öffentlichen Diskurs angekommen, sondern wirft Fragen nach KI-produzierten Formen der epistemischen Ungerechtigkeit auf (Medina 2013, Fricker 2023), welche philosophisch bislang nur wenig im Detail analysiert worden sind (El Kassar 2022: 279). Schlaglichtartig werden im Folgenden drei Dimensionen epistemischer Ungerechtigkeiten von KI als wichtige Stellschrauben vorgestellt, die einer größeren Aufmerksamkeit bedürfen: Der Beitrag sucht damit eine Diskussion um die Intransparenz, die Normalisierung sexistischer und rassistischer Stereotype und die Missstände in der Produktion von KI anzuregen.
„Blackboxing AI“
Die genauen Funktionsmechanismen eines KI-generierten Outputs sind häufig unbekannt. Entweder werden die von einer KI genommenen Entscheidungswege aus betrieblichen Gründen oder zum Schutz von geistigem Eigentum geheim gehalten oder gelten als zu komplex, um diese zu erklären. Obschon es zunehmend „erklärbare“ KI-Anwendungen gibt, sind viele KI-basierte Alltagsdienstleistungen, aber auch entscheidende Bereiche der medizinischen wie kritischen Infrastruktur schlicht „geblackboxed“, weswegen auch von einer KI produzierte Ungerechtigkeiten nur schwierig auszumachen bis hin zu völlig unmöglich festzusetzen sind (Milano & Prunkl 2024).
In den traurige Bekanntheit erlangten Fällen wiederholt unschuldig verhafteter People of Colour auf Basis einer falschen Zuordnung von biometrischen KI-Gesichtserkennungsdaten[1] etwa entfaltet das Blackboxing künstlicher Intelligenz gleich auf mehreren Ebenen seine Wirkung. Die ohnehin schon überproportionale Wahrscheinlichkeit, dass Schwarze Personen in eine Polizeikontrolle geraten und dabei strengere Maßnahmen erdulden (Garvie et al. 2016), wächst mit der falschen Verhaftung durch eine Schwarzen Menschen gegenüber fehlerhafte KI in einem Zirkel vielfältiger Intransparenzen. So ähneln sich die Geschichten auffällig: Weder bekamen die Festgenommenen Auskunft darüber, dass lediglich ein KI-basierter Verdacht zu deren unrechtmäßiger Verhaftung führte, noch ist allen an den automatisierten Zuordnungs-Prozessen Beteiligten klar, in welcher Weise oder dass sie überhaupt zur Intensivierung eines ohnehin schon rassistischen Polizeivorgehens beitragen:
Die Polizei greift bei Fahndungen nicht allein auf eigene Bilddatenbanken zurück, sondern auf von Firmen wie Clearview AI aufbereitetes Bildmaterial, welches zuvor aus im Internet öffentlich verfügbaren Fotos „gecrawled“ und „gescraped“ wurde. Wer ein Selfie hochlädt, kann mit einer relativ hohen Wahrscheinlichkeit rechnen, in diese Verfahren einbezogen zu werden, ohne dem je explizit zugestimmt zu haben (Martini & Kemper 2023: 347). Im Zuge einer Festnahme wird biometrisches Bildmaterial und Fingerabdrücke der unschuldig Verhafteten gespeichert, welches dann nicht nur in der Polizeiakte verbleibt, sondern mit Milliarden von Bildern abgeglichen werden kann.
Auch Nutzer*innen der immer beliebter werdenden smart home Schließanlagen sind in der Regel nicht darüber informiert, dass bei Betätigung ihrer Videotürklingel automatisch angefertigte live-Videoaufnahmen der Haustürumgebung direkt an die Polizei und andere Sicherheitsbehörden gehen können. Wenn Amazons Ring nach jahrelangem öffentlichen Druck von Netzaktivist*innen nun auch ankündigte, die Zusammenarbeit mit der Polizei zumindest teilweise einzudämmen, werden sich mit der wachsenden Verbreitung smarter Videotürklingel zweifelsohne bald schon neue Kooperationsmöglichkeiten mit anderen Anbietern auftun.
„Brotopia“-Normalität
Eine weitere Dimension epistemischer Ungerechtigkeit zeigt sich in der flächendeckenden Normalisierung von Sexismus und Rassismus durch generative KI (Zou & Schiebinger 2018). Dass das generative Bildprogramm Stable Diffusion[2] Schlagzeilen machte, weil es bei einem neutralen Wortbefehl wie „Person“ entweder Portraits weißer mittelalter Männer kreiert oder Bilder hochgradig sexualisierter Frauen, ist nicht präzedenzlos: So sortierte bereits 2015 Googles Foto-App die Gesichter Schwarzer Menschen automatisch in die Rubrik „Gorillas“ ein oder kennzeichnete das Fotoportal Flickr diese als „Affe“ oder „Tier“. Auch Facebook hatte sich dafür zu entschuldigen, Videoaufnahmen Schwarzer Menschen als „Primaten“ klassifiziert zu haben. Solch eine Persistenz dieser Fälle spiegelt das fehlende Diversitätsbewusstsein vieler Tech-Firmen wider (Stinson & Vlaad 2024), deren feastgefahrene „Brotopia“-Kultur (Chang 2019) sich auf die generativer KI zugrundeliegenden Normalitätsvorstellungen auswirkt (Crawford 2021: 130-138; Ricaurte 2022).
Da viele Unternehmen die KI generierten Bilder von Stable Diffusions und ähnlicher Anbieter zu Marketing- und Werbezwecken nutzen, werden so bereits bestehende gesellschaftliche Stereotype in überspitzter Weise wieder in die Gesellschaft eingespeist. Dies trägt nicht nur entscheidend zu deren weiteren Normalisierung und Verfestigung bei, sondern sorgt auch für eine Verschärfung solcher Stereotype. Zum Beispiel bildet Stable Diffusion hoch angesehene und gut bezahlte Berufstätige ausschließlich als weiße mittelalte Männer ab, während Beschäftigte im Niedriglohnsektor regelmäßig als weiblich und dunkelhäutig dargestellt werden, obwohl sich eine Verteilung in dieser extremen Form längst nicht mehr mit der Realität deckt.
„Garbage in, Garbage out“
Auch die Produktionsbedingungen von „Wahrheits“-Elementen, auf denen KI-Entscheidungen später basieren (Girard-Chanudet 2023), sind durch wissentlich in Kauf genommene Missstände ausgewiesen. Eine KI „lernt“ mit extrem großen Datenmengen entweder bestimmte Informationen nach einem vorher programmierten Lösungsweg zu erkennen und zu sortieren oder selbstständig anhand vorgegebener Gütekriterien und dem Informationsgehalt der Daten bestimmte Aufgaben zu erfüllen. Es handelt sich dabei zumeist um transkribiertes und verschlagwortetes Video-, Bild- und Tonmaterial, welches in minutiöser Handarbeit aufbereitet wird oder um Textkorpora, die für einen bestimmten Zweck händisch analysiert, markiert und klassifiziert werden. Solche entscheidenden Kleinstarbeiten sind nicht automatisierbar. Sie werden ausgelagert an ein sich neu formiertes digitales Proletariat sogenannter „Micro-“ oder „Clickworker“, welche – häufig im globalen Süden – unter prekären Bedingungen über Mittlerfirmen wie Amazons Mechanical Turk für KI-Unternehmen arbeiten.
Vielen KI-Anwendungen liegen außerdem Trainingsdaten von mangelnder Qualität zugrunde, was bestehende epistemische Ungerechtigkeiten durch fehlende Repräsentation verstärkt und den „unfairen Vorteil“ der „Mächtigen hinsichtlich der Gestaltung kollektiver sozialer Verhältnisse“ erhärtet (Fricker 2023: 201). Die zum Training von KI-Programmen herangezogenen Datensätze sind oft unvollständig, nicht repräsentativ oder zu klein.[3] Beispielsweise stammen mehr als 45 % der auf ImageNet gesammelten und klassifizierten Daten aus den USA, obwohl dort nur 4 % der Weltbevölkerung leben. Zum Vergleich: Bilddaten aus China und Indien machen zusammen nur einen Anteil von 3 % aus, obwohl hier 36 % der Weltbevölkerung leben (Zou & Schiebinger 2018: 325). Viele KI-Anwendungen werden daher mit englischsprachigen Daten trainiert, welche auch durch angelsächsische Weltanschauungen geprägt sind, die dann als universelle Wahrheiten ausgegeben werden. Beispielsweise verfälscht ChatGPT Informationen zu anderen Kulturkreisen durch eine zusehends U.S.-amerikanische Perspektive (Heleta 2023).
Es ist dringend notwendig, in der Komplexität und Dynamik der Ereignisse um künstliche Intelligenz näher und ausführlich in den Blick zu nehmen, wie der Einsatz von KI bestehende Ungerechtigkeiten verschärft und neue produziert. Damit sich die Asymmetrie zwischen jenen, die über die Entwicklung und den Einsatz dieser „wichtigsten Zukunftstechnologie“ verfügen und davon profitieren und jenen ohne faktisches Mitspracherecht, die davon marginalisiert, bedroht und unterdrückt werden (Scotto 2020), nicht ungebremst weiter verfestigt, ist es geboten, sich den epistemischen und lebensweltlichen Ungerechtigkeiten von KI auch philosophisch im Detail anzunehmen.
[1] Bisher handelt es sich dabei um Vorgänge in den USA, im Zuge des kürzlich verabschiedeten AI-Act wird jedoch auch in der EU eine KI-gestützte Biometrie in Echtzeit erlaubt sein.
[2] Nichtbinäre und Transpersonen kommen als neutrale „Personen“ überhaupt nicht erst vor und Indigene und People of Colour werden gar nicht oder nur in unangemessener Weise abgebildet. Ähnliches gilt auch für andere generative KI-Programme wie Midjourney, Dall-E, Craiyon oder Adobe Firefly.
[3] Wie etwa bezüglich der Datensätze von Common Crawl problematisiert wird.
Literatur
Crawford, K. (2021). The atlas of AI: Power, Politics, and the planetary Costs of artificial Intelligence. Yale University Press.
El Kassar, N. (2022). Epistemische Ungerechtigkeiten in und durch Algorithmen – ein Überblick. Zeitschrift für Praktische Philosophie 9(1): 279–304.
Eubanks, V. (2018). Automated Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press.
Fricker, M. (2023). Epistemische Ungerechtigkeit. Macht und die Ethik des Wissens. München: CH Beck.
Garvie, C., Bedoya, A., & Frankle, J. (2016). The perpetual line-up: Unregulated police face recognition in America. Georgetown Law, Center on Privacy & Technology.
Girard-Chanudet, C. (2023). ‘But there the algo’s going to mimic our mistakes!’: Constraints and effects of annotating AI training data. Réseaux, 240: 111-144.
Heleta, S. (2023). AI and epistemic injustices: Garbage data in, garbage out. University World News. Ausgabe vom 23. August 2023. Online-Ressource, zuletzt aufgerufen am 13. April 2024: https://www.universityworldnews.com/post.php?story=2023082311181279.
Lin, T. A., & Chen, P. H. C. (2022). Artificial intelligence in a structurally unjust society. Feminist Philosophy Quarterly, 8(3/4).
Martini, M., & Kemper, C. (2023). Clearview AI: das Ende der Anonymität? Teil 1: Zulässigkeit der App. Computer und Recht, 39(5): 341-348.
Medina, J. (2013). The Epistemology of Resistance: Gender and racial Oppression, epistemic Jnjustice, and the social Imagination. Oxford: Oxford University Press.
Milano, S. & Prunkl, C. (2024). Algorithmic profiling as a source of hermeneutical injustice. Philosophical Studies: 1-19.
Noble, S. (2018). Algorithms of Oppression: How Search Engines Reinforce Racism. New York, USA: New York University Press.
Ricaurte, P. (2022). Ethics for the majority world: AI and the question of violence at scale. Media, Culture & Society, 44(4): 726-745.
Scotto, S. C. (2020). Digital Identities and Epistemic Injustices. HUMANA. MENTE Journal of Philosophical Studies, 13 (37): 151–80.
Stinson, C., & Vlaad, S. (2024). A feeling for the algorithm: Diversity, expertise, and artificial intelligence. Big Data & Society, 11(1).
Zou, J. & Schiebinger L. (2018). AI can be sexist and racist – it’s time to make it fair. Nature, 559: 324-326.
Dieser Beitrag ist eine übersetzte und für praefaktisch.de überarbeitete Fassung des Vortrags „Intelligence artificielle – intelligence masculine? La violence épistémique de la reconnaissance IA“, welchen ich auf dem Congrès de la philosophie féministe francophone am 23. November 2023 in Paris gehalten habe.
Anastassija Kostan studierte Philosophie und Soziologie in Frankfurt am Main und Paris. An der Goethe-Universität promoviert sie zu den neuen feministischen Materialismen Elizabeth Grosz’ und Vicki Kirbys. Derzeit ist sie Wissenschaftliche Mitarbeiterin an der Universität Paderborn, wo sie zu sozialen Implikationen digitaler Technologien forscht und lehrt. Sie ist Mitglied im CNRS-Forschungsverbund Internet, IA et Société sowie im Editorial Team der Fachzeitschrift Big Data & Society. Zu ihren aktuellen Publikationen gehören:
2024: Exploring digital Security and Privacy in relative Poverty in Germany through qualitative Interviews. 33rd USENIX Security Symposium (gemeinsam mit Yasemin Acar, Sara Olschar und Lucy Simko, im Erscheinen).
2024: Feministische Neomaterialismen: Die ontologische Immanenz und posthumanistische Performativität von Natur, Kultur und Technik. In: Loos, C. & Stephan, P. (Hg.). Widerständige Glieder. Der Leib als politischer Standort. De Gruyter (im Erscheinen).
2023: Die epistemische Gewalt KI-basierter Gesichtserkennung. Wie ein codierter Blick neue Formen der technologisierten Subalternität erschafft. In: Schleidgen, S., Friedrich, O. & Wolkenstein, A. (Hg.). Bedeutung und Implikationen epistemischer Ungerechtigkeit. Ethik & Moral 3. Tectum Verlag: 253-276.
