“My device made me do it” – Zur Wechselwirkung von Heteronomie und Autonomie bei der Interaktion mit künstlichen intelligenten Systemen

Von Andreas Schönau (Seattle)

Noch befinden wir uns im Jahr 2019 – dem Jahr, das in Deutschland vom Bundesministerium für Bildung und Forschung zum Jahr der künstlichen Intelligenz (KI) gekürt worden ist und mit zahlreichen integrativen Projekten einhergeht, die aktuelle Entwicklungen sowie zukünftige Erwartungen aufarbeiten, veranschaulichen und reflektieren. Ein Blick auf die inhaltlichen Schwerpunkte der dazugehörigen Website verrät, dass KI eine große Bandbreite an Themen umfasst, die u.a. Grundsatzfragen um Mobilität, Medizin sowie Bildung beinhalten. Bei all den diskutierten Versprechungen, Hoffnungen und vielleicht auch Ängsten ist oft aber noch nicht ganz klar, was KI genau ist und auf welchen Ebenen sie welche Prozesse überhaupt verbessern oder gar erleichtern soll. Tatsächlich erweist es sich nicht als ganz einfach, darauf eine zufriedenstellende Antwort zu geben.

So hat man ein künstliches, intelligentes System nicht schon dadurch geschaffen, dass man einen bestehenden Prozess einfach automatisiert. Ein einfaches, aber einleuchtendes Beispiel: Eine Waschmaschine automatisiert den Prozess des Waschens, sodass dieser nicht mehr von Hand erledigt werden muss. Unbestritten handelt es sich dabei um ein ungemein praktisches und aus dem Alltag nicht mehr wegzudenkendes Hilfsmittel. Doch die Automatisierung alleine – zwischen Wäsche einladen, Knopfdruck und Wäsche ausladen hat der Nutzer ja nichts mehr zu tun – macht das System zwar künstlich, noch nicht aber intelligent. Die Waschmaschine bleibt, wie viele andere digitalisierte Systeme in unserem Umfeld auch, ein rein statischer Empfänger eines Startsignals per Knopfdruck, der eine ebenso statischen Durchführung eines bestimmten Programms zur Folge hat. Das kann dazu führen, dass die Waschmaschine stur ihrem Betrieb nachgeht, obwohl kein Waschpulver eingeladen ist oder sich nur wenig – vielleicht sogar gar keine – Wäsche in der Trommel befindet. Das Programm wird stur abgearbeitet, sobald der Knopf gedrückt ist.

Damit ein künstliches System nun als intelligent oder autonom gilt, muss es sich von dieser statischen Charakteristik lösen und dazu in der Lage sein, adaptiv auf sich verändernde Bedingungen in der Umwelt reagieren zu können. Was das genau heißt, lässt sich gut bei der Entwicklung autonomer Fahrzeuge beobachten. Dabei ist z.B. ein Auto mit zahlreichen Sensoren ausgestattet, die das System mit konkreten Inputs  über den aktuellen Zustand der Welt informieren. Diese Informationen werden vom System verarbeitet und, je nach Situation, adaptiv in spezifische Handlungen umgesetzt. Autonom bzw. intelligent wird das Fahrzeug damit letztendlich dadurch, dass es nun anhand der gesammelten Daten selbstständig entscheidet, welche Handlungen als nächstes ausgeführt werden. Ein durch KI gestütztes Auto kann damit u.a. auf bremsende (oder schneller werdende) Fahrzeuge reagieren, Ampeln erkennen und Fußgängern den Vorrang lassen. Dabei lassen sich mehrere Stufen des automatisierten Fahrens voneinander unterscheiden. Auf der höchsten Stufe der Entwicklung muss der Nutzer weder dazu in der Lage sein, das System dauerhaft zu überwachen noch potentiell bereit sein, im Notfall zu übernehmen, da von Anfang bis Ende kein Fahrer erforderlich ist.

Künstliche, intelligente Systeme können nun unterschiedlichste Anwendungen umfassen und sich stark in ihrer Reichweite, Implementierung sowie ihrem tatsächlichen Nutzen unterscheiden. So muss ein autonomes Fahrzeug auf der Straße oder ein Roboter im Pflegebetrieb sicherlich weitaus dynamischer – bisweilen auch menschlicher – agieren als ein einfacher Staubsaugerroboter. Hinzu kommt als eine gewisse Grauzone die Verwendung von smarter Technologie, die häufig als Schlagwort verwendet wird, um durch die Verbindung mit anderen smarten Geräten eine potentiell autonome Vernetzung der jeweiligen Systeme zu gewährleisten. Dies beginnt bei der Entwicklung smarter Haushaltsgeräte, zieht sich über die Nutzung zahlreicher Tracking-Apps im Smartphone und reicht bis zur Implementierung von KI in bisher vom Menschen bedienten System. Im ersten Fall wird die o.g. Waschmaschine smart und ist dann nicht nur mit sämtlichen anderen Haushaltsgeräten vernetzt, sondern besitzt nun eine Sensorautomatik, mit der sie u.a. die Waschmenge, den Verschmutzungsgrad und die Textilart autonom ermitteln kann. Im zweiten Fall mag das Smartphone bspw. zum Zwecke der vermeintlichen Schlafoptimierung seine Sensoren verwenden, um dem Nutzer am nächsten Morgen über die Qualität seines Schlafes zu informieren. Hier besteht die Adaptivität und Intelligenz eher darin, die gesammelten Informationen autonom online hochzuladen und dieser auf einer Metaebene mit anderen Nutzerdaten zur Generierung eines individuellen Outputs zu vergleichen. Im dritten Fall übernimmt eine KI die vollständige Steuerung eines Fahrzeugs, während der Nutzer wie bei einer Zugfahrt entspannt aus dem Fenster blickt oder ein Buch liest. Problematisch wird die Entwicklung derartiger adaptiver Automatisierungsprozesse dann, wenn eine Diskrepanz zwischen dem Output des künstlichen Systems und dem erwarteten Ergebnis aus Sicht des Nutzers auftritt (was je nach Anwendung zwischen einem Schweregrad von trivial bis substantiell reichen kann): Die smarte Waschmaschine hat einen zu seichten Waschgang gewählt, da sie die Wäsche als nur leicht verschmutzt bewertet hat, obwohl sie aus Sicht des Nutzers stark verschmutzt war. Die Schlaf-App teilt dem Nutzer mit, dass er schlecht geschlafen hat, obwohl er gerade außerordentlich frisch und positiv gestimmt aufgewacht ist. Das Fahrzeug beschleunigt in einer gefährlichen Situation, obwohl der Nutzer in dieser Situation das Auto lieber zum Stehen gebracht hätte.

Wenn das eigene Empfinden in dieser Form der maschinellen Einschätzung widerspricht, dann hat das negative Konsequenzen auf den eigenen emotionalen Zustand: Die Waschmaschine frustriert, die Schlaf-App sorgt für schlechte Laune, das autonome Fahrzeug generiert ein Gefühl des Unbehagens. Als Folge mag sich beim Nutzer entweder das Vertrauen in das artifizielle System verringern und in die eigene Beobachtungsgabe erhöhen („Die KI hätte in dieser Gefahrensituation bremsen sollen“) oder – genau im Gegenteil – das Vertrauen in die maschinellen Algorithmen erhöhen und das in die eigenen Fähigkeiten zur Einschätzung von Sachverhalten verringern („Ich habe also eigentlich schlecht geschlafen und kann meinem Gefühl des Ausgeruhtseins nicht vertrauen“). Beide Ausgänge sind mit unterschiedlichen Nachteilen verbunden. Im ersten Fall wird die Entscheidung des künstlichen Systems komplett negiert. Hier wird die Kompetenz des Systems zur Problemlösung komplett in Frage gestellt, obwohl es durch die Vielzahl an Sensoren und Algorithmen die Situation vielleicht besser (oder zumindest nicht notwendigerweise schlechter) als der Nutzer einschätzen kann. Im zweiten Fall lagert der Nutzer seine eigene Kompetenz zur Bewertung von Situationen auf die Algorithmen der künstlichen Intelligenz aus. Damit macht er sich aber abhängig vom Output der Technik. Statt also zu lernen, den eigenen Körper zu beobachten und einzuschätzen, wie man sich in einer gegebenen Situation fühlt, findet diese Einschätzung anhand einer vermeintlich objektiven Auswertung von Daten statt, die einem das System zur Verfügung stellt. Bei diesen Beispielen stellt sich die generelle Frage, in welchen Fällen man die Deutungshoheit über eine Situation eher beim Menschen belassen oder dem künstlichen System übertragen sollte. Beide Fälle sind außerordentlich interessant und sollen an dieser Stelle kurz diskutiert werden.

Fall 1 beschreibt einen Vertrauensverlust in ein künstliches System, bei dem die Deutungshoheit über eine gegebene Situation vielleicht ungerechtfertigt vom Menschen eingefordert wird. Hier stellt sich die Frage, inwiefern der Mensch in der Situation tatsächlich besser gehandelt hätte. In diese Richtung weisende Technik befindet sich derzeit noch in den Kinderschuhen, weshalb entsprechende Szenarien aus der heutigen Perspektive eher abstrakt erscheinen. Doch man stelle sich ein vernetztes Nah- und Fernverkehrssystem vor, bei dem (Fern)Züge, Straßenbahnen, autonome Autos und vielleicht auch aktuelle Ampelzeiten über ein  künstliches System gesteuert werden. Echtzeitdaten werden dann an diese autonome KI übermittelt, die anhand eingehender Werte wie aktuellem Andrang und dem verfügbarem Fuhrpark die optimalen Auslastungen und Umsteigverbindungen berechnet. Das System kann dynamisch auf neue Werte reagieren, lernt kontinuierlich dazu und behält auf eine Art und Weise den Überblick, die für den Menschen nicht ohne weiteres möglich wäre. Dem Menschen würde schlichtweg das Wissen und die Kapazität zur Aufnahme aller eingehenden Daten fehlen, um sich über den aktuellen Zustand des Systems ein angemessenes Urteil bilden zu können. In einem derartigen Szenario kann es aufgrund der zu erwartenden, enorm hohen Komplexität sinnvoll sein, ein autonomes System entstehende Sachverhalte analysieren und entscheiden zu lassen. An dieser Stelle kann es sinnvoll sein, die Deutungshoheit über den Umgang mit externen Gegebenheiten bewusst an die KI zu übertragen.

Fall 2 beschreibt einen Vertrauensverlust in die eigenen Fähigkeiten, wobei die Deutungshoheit vielleicht ungerechtfertigt an das künstliche System übertragen wird. Diese Entwicklung beginnt bei der bereits erwähnten Verwendung smarter Technologie, die im Extremfall folgendermaßen aussieht: Ob man gut geschlafen hat, findet man mit Blick auf eine Schlaf-App heraus, statt einfach festzustellen, wie man sich fühlt; was die eigene Leistungsgrenze beim Sport ist, erschließt sich mit Hilfe eines Fitness-Armbands, das Körperfunktionen punktuell misst, statt auch hier quasi zu lernen, auf den Körper zu hören; wie viel Flüssigkeit man zu sich nehmen muss, sagt einem die Trink-App statt das eigene Durstempfinden.

Natürlich stellen diese smarten Geräte für sich genommen noch kein künstliches, intelligentes System dar. Doch die Grenzen sind hier fließend, sobald smarte Geräte miteinander verbunden und über eine übergeordnete KI gesteuert werden. In einem zugegebenermaßen überspitzten, dystopischen Zukunftsszenario entscheidet dann vielleicht die KI des eigenen Smart-Homes darüber, wann es aufgrund des gemessenen Erschöpfungsgrades des Nutzers und dessen über die letzten Wochen und Monate ausgewerteten Vitaldaten Zeit für ihn ist, ins Bett zu gehen. Dann wird automatisch der Fernseher  ausgeschaltet, das W-LAN-Passwort geändert und das Licht gelöscht. Alles zum Wohle des Nutzers, denn die KI weiß es besser. In diesem Extrem hat man dann tatsächlich die Deutungshoheit über seine eigenen Gemütszustände verloren. An dieser Stelle lohnt sich eine Reflexion über die Frage, inwiefern eine künstliche Intelligenz tatsächlich etwas Substantielles über den eigenen Zustand aussagen kann. Autonome Systeme, denen das nicht gelingt oder die lediglich Daten liefern, die keiner sinnvollen Verwendung dienen, erzeugen dann nämlich das Gegenteil von dem, wofür sie eigentlich gedacht sind.  Statt die Einschätzung über den einen Zustand zu schärfen, wird diese Fähigkeit durch die Darstellung von Daten ersetzt und der Mensch damit in gewisser Hinsicht von der KI bevormundet. Im Extremfall kann damit der epistemische Zugang zum eigenen Wohlbefinden verloren gehen. Natürlich ist das nicht notwendigerweise der Fall, gerade mit Blick auf heutige smarte Technologie, solange sie als eine tatsächliche Ergänzung des Wissens um eigene Wahrnehmungen genutzt wird. Allerdings bedarf es dazu einer gewissen individuellen Kompetenz, die das konkrete Anwendungsfeld sowie das eigene Verhalten zum Output in ihren gegenseitigen Abhängigkeitsverhältnissen umfassen kann. Bei der Beurteilung von internen Zuständen kann es insofern sinnvoll sein, die Deutungshoheit beim Menschen zu belassen.

Noch aber befinden wir uns am unteren Ende dieses Spektrums, denn bestimmte Funktionen von z.B. Smartphones kann man getrost ignorieren, abschalten oder sinnvoll in den Alltag integrieren. Doch es zeigt sich, dass es sich jetzt schon lohnt, vielleicht nicht nur auf einer individuellen, sondern auch auf einer gesellschaftlichen Ebene genau zu überlegen, welche Analysen bzw. Bewertungen man gerechtfertigterweise auf autonome Systeme auslagern möchte und wann man sich lieber davon distanziert. Im Idealfall wird damit das Auslagern von komplexen Sachverhalten (wie die autonome Steuerung von Fahrzeugen im Fern- und Nahverkehr) auf künstliche Systeme übertragen, die letztendlich zu einer tatsächlichen Form der Erleichterung für das Individuum führen können. Die Deutungshoheit wird dann gerechtfertigerweise auf die KI übertragen. Im schlechten Fall wird der Nutzer von Entscheidungsprozessen enthoben (wie bei dem dystopischen Smart-Home, das anhand der gemessenen Vitaldaten autonom Entscheidungen für ihn trifft), die er selbst aber genauso gut oder besser hätte treffen können. In diesem Fall sollte die Deutungshoheit vielleicht beim Menschen belassen werden.

Zusammenfassend lässt sich feststellen, dass abseits künftiger Szenarien der Umgang mit künstlichen Systemen stets als Reflexion über ihre jeweils antizipierten Aufgabengebiete stattfinden muss: Was kann eine KI besser (oder schlechter) als der Mensch? An welchen Stellen können (und wollen) wir sie in unseren Alltag integrieren? Wo soll der künstlichen und wo der menschlichen Autonomie der Vorzug gegeben werden? Mit der Bearbeitung dieser (und vieler weiterer, hier nicht aufgeführter) Fragen lässt sich sicherstellen, dass autonome Systeme zukünftig auf eine Art und Weise in den menschlichen Alltag integriert werden, die sicherstellt, dass die Analyse bestimmter  Sachverhalte sinnvoll an autonome Systeme abgegeben wird, während gleichzeitig keine artifizielle Bevormundung der menschlichen Fähigkeiten stattfindet. Vielleicht gelingt es ja dem im Aufbau befindlichen KI-Observatorium in Deutschland [3], an dieser Stelle die richtigen Fragen zu stellen und sie angemessen in ihre Reflexion über die Einsatzfelder künstlicher Intelligenz einfließen zu lassen.

Dr. Andreas Schönau ist Neuroethiker am Department of Philosophy und Center for Neurotechnology an der University of Washington in Seattle/USA.