Informed Consent, Vulnerabilität und algorithmische Diskriminierung
Von Hauke Behrendt (Stuttgart) und Wulf Loh (IZEW Tübingen)
Zu den größten Binsen des Digitalisierungsdiskurses der letzten Jahre gehört die Einsicht, dass personenbezogene Daten für große Digitalkonzerne wie Apple, Facebook, Amazon oder Google eine Schlüsselrolle einnehmen. Mehr noch: Für manche besitzt die Ressource Daten einen vergleichbaren Stellenwert für die Plattformökonomie des digitalen Zeitalters wie das Rohöl im ancien régime des klassischen Industriekapitalismus im 20. Jahrhundert. Die ehemalige EU-Kommissarin für Verbraucherschutz, Meglena Kuneva, stellte mit Blick auf Netzbetreiber und Großunternehmen bereits vor mittlerweile mehr als 10 Jahren fest: „Personal data is the new oil of the Internet and the new currency of the digital world“ (Speech 09/156, 31.3.2009).
Theoretiker:innen wie Shoshana Zuboff (2018) haben detailliert aufgezeigt, wie mit der Datafizierung, also dem systematischen Sammeln und Verarbeiten personenbezogener Daten, von Kunden und Nutzern digitaler Services und Plattformen neben dem offiziellen Kerngeschäft im Hintergrund eine Reihe von weiteren lukrativen Geschäftsfeldern bespielt werden können. So werden akkumulierte digitale Daten nicht nur gebraucht, um die Funktionalität der nach außen beworbenen Angebote sicherzustellen, etwa passende Suchergebnisse oder auf die Nutzenden zugeschnittene Produktevorschläge zu liefern. Im Kontext von Künstlicher Intelligenz und Big Data können sie auch für andere Anwendungen verwendet werden, wie beispielsweise das Vorhersagen künftigen Verhaltens, dem Erstellen von Rankings und Risiko-Profilen oder für Schlussfolgerungen auf weitere nicht preisgegebene Informationen (sog. „predictive privacy“), die sich gewinnbringend weiterverkaufen lassen. Oder wie es Googles ehemaliger Vorstandsvorsitzender, Eric Schmidt, einmal ausdrückte: „We know where you are. We know where you’ve been. We can more or less know what you’re thinking about“ (Thompson 2010).
In dieser Gemengelage lassen sich verschiedene Formen und Quellen einer durch algorithmische Entscheidungs- und Profiling-Systeme unterstützten bzw. ermöglichten Diskriminierung ausmachen. Dabei birgt der Zusammenhang zwischen der angeblich „freiwilligen“ Weitergabe personenbezogener Daten und den potenziellen Gefahren autonomer Entscheidungsfindung und Profilings eine ganz eigene Problematik. Da die vermeintliche Freiwilligkeit dieser Maßnahmen oftmals stark in Zweifel steht, wird so u.U. die moralische Erlaubnis, die mit einer wohlinformierten Einwilligung in die Verdatung einhergeht, unterlaufen.
Wenn nun die genutzten Datafizierungspraktiken frühere Benachteiligungen verschärfen oder auf neue Lebensbereiche ausweiten, verschlimmern sie historische Ungerechtigkeiten und stellen nach Hellman (2018) somit eine spezielle Form der Diskriminierung dar. Dies gilt insbesondere für bestimmte schutzbedürftige Gruppen, da Angehörige dieser Gruppen tendenziell eher unter Druck stehen, ihre Daten preiszugeben. Erschwerend kommt hinzu, dass auf diese Weise ohnehin schon vulnerable Personengruppen noch anfälliger für weitere algorithmische Diskriminierungen werden, die auf den zusätzlich erhobenen Daten basieren. Diesen Zusammenhang werden wir im Folgenden kurz näher erläutern.
In der Debatte wird immer wieder argumentiert, dass sich Datafizierungspraktiken systematisch einer informierten Einwilligung der User („informed consent“) in die Verdatung entziehen (Helm & Seubert, 2020). Dies liegt nicht nur an dem detaillierten juristischen und IT-Fachwissen, das für ein tiefgreifendes Verständnis der Mechanismen der Datenerhebung, -aggregation und -verarbeitung erforderlich ist (Prainsack, 2019). Darüber hinaus setzen Unternehmen eine Vielzahl von Instrumenten ein, um die informationelle Selbstbestimmung im Sinne individueller Einwilligung zur Datenerhebung zu untergraben oder zu umgehen (Brignull, 2013; Eyal & Hoover, 2014).
Wie Studien zeigen, sind ohnehin benachteiligte Gruppen wie ärmere und/oder weniger gebildete Bevölkerungsgruppen besonders anfällig für diese Effekte und Instrumente, da sie (a) oft weniger mit Daten und dem Schutz der Privatsphäre vertraut sind, (b) mit größerer Wahrscheinlichkeit mehr Zeit online verbringen und daher mehr Datenspuren hinterlassen oder (c) einfach nicht über die finanziellen Mittel verfügen, um ökonomische Anreize wie Cashback-Systeme oder Bonusprogramme großer Einzelhändler oder Versicherungen abzulehnen.
Diese unterschiedlichen Benachteiligungen stellen eine Form der Diskriminierung dar, die ihrerseits die Wahrscheinlichkeit erhöht, Opfer weiterer Diskriminierungen durch algorithmische Profilerstellung und Empfehlungssysteme zu werden. Dies kann beispielsweise der Fall sein, wenn die zusätzlichen Daten in Profiling-Algorithmen (PA) eingespeist werden, die aus diesen Daten Rückschlüsse auf nicht offengelegte persönliche Informationen ziehen, oder in algorithmischen Entscheidungsmechanismen (ADM) verwendet werden, die auf dieser Grundlage Job-, Kredit- oder Versicherungsempfehlungen ausgeben.
Natürlich sind auch Mitglieder privilegierterer Gruppen von diesen Mechanismen betroffen. Allerdings sind marginalisierte Gruppen, um die es uns hier geht, besonders vulnerabel: Sie stehen systematisch unter Druck, persönliche Informationen im Rahmen von Datafizierungspraktiken preiszugeben. Für sie sind nicht nur die Anreize von Cashback-Systemen und anderen wirtschaftlichen Anreizen naturgemäß höher, auch die negativen Folgen (z. B. schlechte Kreditwürdigkeit oder teure Versicherungen) wiegen für sie im Durchschnitt schwerer. Außerdem haben sie in der Regel weniger Möglichkeiten, eine angemessene digitale und datenschutzrechtliche Kompetenz zu entwickeln und leben seltener in sozialen und politischen Verhältnissen, in denen sie dies eigenverantwortlich tun können. Es ist diese strukturelle Anfälligkeit, die ihre Benachteiligung gegenüber anderen Gruppen unverhältnismäßig macht. Mitglieder vulnerabler Gruppen leiden also nicht nur unter den gleichen Ungerechtigkeiten innerhalb von Datafizierungspraktiken wie Mitglieder anderer Gruppen auch. Vielmehr sind sie darüber hinaus zusätzlich von einer Form der Diskriminierung betroffen.
Um dies zu verdeutlichen, verwenden wir Deborah Hellmans Begriff der Diskriminierung als „compounding historical injustice“ (2018), dem zufolge eine Benachteiligung gegenüber Mitgliedern sozial bedeutsamer Gruppen eine Diskriminierung darstellt, wenn sie historische Ungerechtigkeiten verstärkt. Wir schlagen vor, Hellmans Ansatz so auszubuchstabieren, dass der Tatbestand einer mittelbaren (sog. „indirekten“) Diskriminierung von vier Voraussetzungen abhängt:
(a) Mitglieder einer sozial bedeutsamen Gruppe werden im Vergleich zu anderen betroffenen Personen in unverhältnismäßiger Weise benachteiligt (Group-Membership-Condition).
(b) Diese Benachteiligung spiegelt weder eine bewusste noch unbewusste Absicht wider, Mitglieder dieser Gruppe aufgrund ihrer Gruppenzugehörigkeit zu benachteiligen (No-Intention-Condition).
(c) Die Benachteiligung verschärft frühere Ungerechtigkeiten oder überträgt deren Auswirkungen auf einen anderen Lebensbereich (Compounding-Injustice-Condition).
(d) Die frühere Ungerechtigkeit ist selbst eine Form früherer oder gegenwärtiger unmittelbarer Diskriminierung (Discrimination-Condition).
In diesem Sinne können Datafizierungspraktiken und die darauf basierenden algorithmischen Profiling- und Empfehlungsmechanismen die Quelle von drei Ebenen potenzieller Diskriminierungen sein:
- Angehörige bestimmter vulnerabler Gruppen stehen strukturell stärker unter Druck ihre Daten „freiwillig“ preiszugeben. Die Berufung vieler der derzeitigen Datenerfassungspraktiken auf eine „informierte Einwilligung“ ist nicht nur unaufrichtig (und damit moralisch falsch), sie diskriminiert darüber hinaus Mitglieder vulnerabler Gruppen. Sie sind nicht nur anfälliger für wirtschaftliche und psycho-motivationale Anreizstrukturen als andere Gruppen, diese Benachteiligung ist auch das Ergebnis früherer historischer Ungerechtigkeiten.
- Dies kann in der Folge zu weiteren Diskriminierungen führen, da die so erhobenen Daten verwendet werden können, um Profile anzulegen und persönliche Informationen über sie abzuleiten, die sie nicht aktiv – und schon gar nicht in wohlinformierter Einwilligung – preisgegeben haben. Eine solche „predictive privacy“-Verletzung (Mühlhoff, 2021) unterläuft aber nicht nur die informationelle Selbstbestimmung, sie ist in den Fällen vulnerabler Gruppen häufig selbst wiederum eine Diskriminierung, da die ursprüngliche Datenoffenlegung zumindest teilweise das Ergebnis historischer Ungerechtigkeiten ist.
- Die daraus resultierenden Empfehlungen und Entscheidungen der PAs und ADMs (Kreditwürdigkeit, Arbeitsplatzanpassung usw.), die eine Folge dieses Profilings sind, können auf einer dritten Ebene ebenfalls Mitglieder dieser Gruppen diskriminieren, sofern auch sie historische Ungerechtigkeiten verschärfen, die ursächlich dafür sind, dass sie stärker von Datenerhebungspraktiken betroffen sind.
Fassen wir zusammen: Algorithmische Diskriminierung ist nicht auf die Voreingenommenheit von Entwickler:innen oder die Verzerrungen von Trainingsdaten beschränkt, sondern tritt häufig auch dadurch auf, dass frühere Diskriminierungen durch algorithmische Profiling- (PA) und Entscheidungsunterstützungssysteme (ADM) verschärft werden. In diesen Fällen verstärken PAs oder ADMs historische Ungerechtigkeiten und diskriminieren dadurch bereits marginalisierte Gruppen. Dies gilt auch und gerade für Kontexte der Datenerhebung selbst, bspw. wenn das Ideal der informierten Zustimmung durch bestimmte Datafizierungspraktiken untergraben wird, die es (a) den Nutzern erschweren, eine informierte Entscheidung zu treffen, und die (b) dadurch bestimmte sozial bedeutsame Gruppen gegenüber privilegierteren Gesellschaftsschichten benachteiligen. Solche Praktiken verstärken nicht nur kurzfristig historische Ungerechtigkeiten im Zusammenhang mit unfreiwilliger Datafizierung, sie führen auch zu einer weiteren Verschärfung, wenn die gewonnenen Daten später verwendet werden, um weitere sensible Informationen abzuleiten oder Risiken zu Ungunsten bereits benachteiligter Gruppen abzuwägen. Selbst wenn die statistischen Korrelationen solide, der Algorithmus fehlerfrei und die Trainingsdaten unvoreingenommen sein könnten, werden in diesen Kontexten frühere Ungerechtigkeit potenziell verstärkt und daher die Betroffenen dieser Ungerechtigkeiten diskriminiert.
Technische Lösungen sind daher nicht ausreichend, um diese moralischen Herausforderungen in den Griff zu bekommen. Vielmehr ist es von entscheidender Bedeutung, dass wir uns mit den anhaltenden historischen Ungerechtigkeiten auseinandersetzen, die die Ursachen für diese Diskriminierungen sind. Paradoxerweise könnten uns KI-Systeme dabei sogar helfen, sofern sie diese strukturellen Diskriminierungen sichtbar machen und u.U. sogar die schlimmsten Auswirkungen abmildern. Selbst im besten Fall können sie jedoch nur eines von vielen Werkzeugen sein, um strukturelle Diskriminierungen aufgrund historischer Ungerechtigkeiten ernsthaft anzugehen.
Referenzen
Brignull, Harry (2013): 90% of Everything. A paraphrased transcript of my talk at SMX Munich. Available https://www.90percentofeverything.com/2013/07/23/the-slippery-slope/.
Eyal, Nir; Hoover, Ryan (2014): Hooked. How to build habit-forming products. London, New York, Toronto: Portfolio Penguin.
Hellman, Deborah (2018): Indirect Discrimination and the Duty to Avoid Compounding Injustice. In Hugh Collins, Tarunabh Khaitan (Eds.): Foundations of indirect discrimination law. Oxford, Portland, Oregon: Hart Publishing an imprint of Bloomsbury Publishing Plc, pp. 105–122.
Helm, Paula; Seubert, Sandra (2020): Normative Paradoxes of Privacy: Literacy and Choice in Platform Societies. In Surveillance & Society 18 (2), pp. 185–198.
Kuneva, Meglena (2009): European Consumer Commissioner – Keynote Speech – Roundtable on Online Data Collection, Targeting and Profiling, http://europa.eu/rapid/press-release_SPEECH-09-156_en.htm.
Mühlhoff, Rainer (2021): Predictive Privacy: Towards an Applied Ethics of Data Analytics. In SSRN Electronic Journal, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3724185.
Prainsack, Barbara (2019): Logged out: Ownership, exclusion and public value in the digital data and information commons. In Big Data & Society 6 (1), 205395171982977.
Thompson, Derek (2010): Google’s CEO: ‚The Laws Are Written by Lobbyists‘, https://www.theatlantic.com/technology/archive/2010/10/googles-ceo-the-laws-are-written-by-lobbyists/63908/#video.
Zuboff, Shoshana (2018): The age of surveillance capitalism. The fight for a human future at the new frontier of power. New York: PublicAffairs.
Dieser Beitrag basiert auf unserem Aufsatz „Informed consent and algorithmic discrimination – is giving away your data the new vulnerable?“, in: Review of Social Economy, 80 (1) 2022, 58–84; https://doi.org/10.1080/00346764.2022.2027506.
