Was zählt? Wer entscheidet?

Zur informatisierten Herrschaft von Bewegungsdaten und Kontaktprotokollen

In den vergangenen Jahren hat eine datengetriebene Automatisierung als besondere Form der digitalen Steuerung von Auswahl-, Analyse- und Verteilungsprozessen viele Bereiche der Gesellschaft durchdrungen: Global beruhen beispielsweise Finanzdienstleistungen,[1] Personalrekrutierung,[2] medizinische (Selbst-)Diagnosen[3] oder personalisierte Medienangebote[4] privatwirtschaftlicher und auch staatlicher Akteure immer stärker auf Verfahren der algorithmischen Datenverarbeitung und Mustererkennung. Die automatisierte Reorganisation ganzer Infrastruktursysteme (smart grid, smart mobility, smart cities) beflügelt die Rede von der „digitalen Transformation“.[5] Auch im Risikomanagement der Coronakrise spielt die Möglichkeit automatisierter Kontaktprotokolle für die Regulierung des Infektionsgeschehens etwa durch Contact-Tracing-Apps auf Mobiltelefonen eine zentrale Rolle für die versprochene „Rückkehr zur Normalität“. In all diesen Fällen automatisierter Steuerung fließen digitale Entwicklungen, ökonomische Modelle, kulturelle Narrative, Hoffnungen und Ängste, Altbekanntes und Disruptives untrennbar ineinander. Die beachtliche Leistungssteigerung der zugrunde liegenden Technologien lässt sich einerseits auf das immense Wachstum von Rechnerkapazitäten und Datenströmen zurückführen. Nicht weniger bedeutsam ist andererseits die große Bereitschaft auf gesellschaftlicher Seite, die digitalen Möglichkeiten trotz einiger Bedenken in voller Breite zu nutzen und mit Daten zu füttern.

Vor diesem Hintergrund interessiere ich mich für die Rolle und Bedeutung automatisierter Steuerungsleistungen in einer Gesellschaft, die Ulrich Beck seit 1986 als reflexive Moderne beschrieben hat. Diese Moderne zeichnet sich durch eine teils reflexartige, teils bewusste „Selbstkonfrontation“ mit den nicht-intendierten Neben- und Folgewirkungen industrieller Modernisierung aus, durch die der Modernisierungsprozess „sich selbst zum Thema und Problem“ wird, sodass seine Grundprämissen repolitisiert und spielregelverändernd transformiert werden.[6] Beck wies in diesem Sinne auf verschiedene Delegitimations- und Transformationsprozesse moderner Prinzipien durch ihre eigenen Erfolge hin, etwa in Bezug auf die Fortschritts- und Wachstumsorientierung, Differenzierung, Nationenbildung, Individualisierung, Naturaneignung, Folgenexternalisierung und Verwissenschaftlichung. Kann es sein, dass die Errungenschaften moderner Planung und Steuerung eine ähnlich reflexive Selbsterneuerung erfahren? Entsteht gar, so meine These, eine „Informatisierung von Herrschaft“ in Reaktion auf Repräsentationsprobleme in Gesellschaften, die sowohl durch politische Reaktionen auf Mitsprache- und Inklusionsansprüche[7] herausgefordert werden als auch durch technische Optionen einer immer vollständigeren Informatisierung von Kontroll- und Steuerungsperspektiven?[8] Mit dieser Frage rücke ich im Folgenden die sozio-digitalen Konstellationen in den Blick, in denen Entscheidungsgrundlagen und Rechtfertigungsordnungen so umorganisiert werden, dass neuartige, informatisierte Steuerungs- und Kontrollhorizonte erkennbar werden.

In vielen Handlungsfeldern bewirken digitale, genauer algorithmen-basierte Systeme als meist unsichtbare, jedoch allgegenwärtige Infrastrukturen mit weitreichenden Steuerungs- und Kontrollfunktionen eine Umkodierung, Verschiebung und neuartige Produktion dessen, „was zählt“.[9] Wenn beispielsweise sensorbasierte GPS-Daten von Transportmitteln (PKWs, E-Scooter etc.) für die Infrastrukturentwicklung herangezogen werden, repräsentieren die produzierten Befunde nicht die Vielfalt von Infrastrukturnutzer*innen als soziale Gruppen, sondern konstruieren eine neuartige Öffentlichkeit als durch Cyborgs bevölkert, die sich maschinengestützt und digital erfassbar durch den Raum bewegen.

 

Abb. 1: Heatmap, erstellt mit Bike Citizens APP [29.6.2020]

 

In diesem Bild (Abb. 1) haben Sensoren mittels GPS die Bewegung von Radfahrer*innen erfasst. Im Vergleich zu den üblichen „Straßenkarten“ wird so ein signifikant anderes Infrastrukturbild erzeugt, das vielgenutzte Radwege anstelle der ringförmigen Stadtautobahnen in den Vordergrund rückt. Es ist nicht zufällig entstanden, bildet nicht die evidentesten Muster ab, stellt auch nicht die digitale Spur einer sozialen Praxis geschweige denn ihr Abbild als digitalisierte Information dar. Vielmehr visualisiert diese heatmap eine politische Praxis unter Bedingungen der digitalen Gesellschaftstransformation, die Kollaboration mit digitalen Machtinstrumenten erzwingt. Insofern lässt sich das erfasste Bewegungsmuster eine*r Münchner Bike-Citizen als sozio-technische Einmischung in digitale Repräsentationspraktiken deuten, das heißt als einen Versuch, die eigene Wirklichkeit im algorithmischen Kampf um Benennungsmacht zur Geltung zu bringen.[10]

In Reaktion auf die gewachsene Bedeutung der Auswertung von Nutzerdaten in der Verkehrsplanung, die – wie selbstverständlich – privilegiert, was digital am leichtesten zählbar ist, den motorisierten Individualverkehr nämlich, greifen in München, Berlin, Wien und anderswo Radfahrer*innen bewusst Apps wie „Bike Citizens“ auf, um ihre Wege zu tracken. Sie nehmen für die Erzeugung solcher Heatmaps auch Extra-Wege und zusätzliche Ladevorgänge ihrer Smartphones in Kauf, um in der Verkehrsplanung eine angemessene Berücksichtigung zu finden:[11] Es geht ihnen darum „zu zählen“, wenn Bewegungsmuster sensor-basiert beobachtet und in einer Situation zum Ausgangspunkt für die weitere Verkehrsplanung genommen werden, in der die Gefahr besteht, dass die Belange der Fahrradfahrer*innen unter den Tisch fallen.

Während die Bike Citizens mit ihren heatmaps gezielt in die soziodigitalen Repräsentationsregime intervenieren, um sie umzukodieren, entstehen andernorts weitere datenbasierte Anwendungen, die ebenfalls eine Datafizierung sozialer Ordnung mit teils gewünschten, teils nicht gewünschten Implikationen bewirken. Sie mobilisieren allerdings nicht in jedem Fall entsprechende „Korrekturansprüche“. In der Regel konvergieren ihre Wirkungen mit unhinterfragten gesellschaftlichen Entwicklungstrends, die sie aufgreifen, unterstützen und verstärken. Ein passendes Beispiel liefert die wachsende Popularität digitaler Selbstvermessungstechnologien in Fitness-Apps. Dabei handelt es sich nach mittlerweile geläufiger Interpretation um instrumentelle Formen der Selbstsorge in hochkompetitiven Gesellschaften, in denen Leib wie Lebensführung einer gezielten Optimierung der Leistungsfähigkeit unterworfen werden. Damit finden sich „die kybernetischen Prinzipien der Selbstregulierung und Rückkoppelung“, die konstitutiv für den neoliberalen Kapitalismus sind, gewissermaßen auf individueller Ebene in Kraft gesetzt und wiederholt.[12]

Die dieser Tage diskutierte Corona-App prämiert mit social distancing hingegen ein eher industriegesellschaftliches Privileg der sozialen Distanznahme von Eliten. Mit ihr sollen im Zuge eines weitreichenden staatlichen Risikomanagements automatisch erstellte Kontaktprotokolle auf Mobiltelefonen genutzt werden, um im Fall eines nachträglich ausgemachten Kontakts mit Infizierten schneller Quarantäne anordnen und Infektionswege identifizieren zu können. Wer weiter am gesellschaftlichen Leben teilnehmen möchte, ist in der Konsequenz gut beraten, schon präventiv potenzielle Krankheitsherde zu meiden. Genau diese Möglichkeit ist allerdings berufsspezifisch und sozial ungleich verteilt. Während die Gesellschaft noch über angemessene Formen von Datenschutz und Datenspeicherung debattiert, wird zu den fraglosen Implikationen dieser Anwendung gehören, dass sie soziale Enge und entsprechende Vulnerabilitäten mit der Macht gesundheitspolitischer Imperative in soziale Benachteiligung übersetzen kann. Das digitale Gesundheitsmanagement lässt zweifelsohne unterschiedliche Gestaltungen zu, die im Vergleich mehr oder weniger freiheitlich, demokratisch und solidarisch ausfallen können und unterschiedliche Verhaltenssteuerungen anregen. Doch wird es in jedem Fall die Logik quantifizierender Kontrolle und datenbasierter Unterscheidung weiter unterfüttern und bekräftigen.

Für diese generelle Bedeutungsverschiebung hin zur Metrik, die Steffen Mau bereits 2017 in seinem Buch über die Quantifizierung des Sozialen beschrieben und analysiert hat, wird zur Rechtfertigung gewöhnlich ein spezifisches Versprechen mobilisiert. Es zielt auf eine datenbasierte, technische Objektivität, die menschengemachten Beurteilungen und Ordnungen überlegen sei, weil nicht nur irrtumsanfällige Subjektivität ausscheide, sondern Struktur in überkomplexe Zusammenhänge gebracht werde, die für zuverlässige Orientierung sorge. Im Mittelpunkt steht das Versprechen einer besseren Repräsentation komplexer Fakten, die wertneutral in „technische“ Entscheidungen übersetzt werden. Selbst wenn dagegen die Verzerrungen, Selektivitäten und Risiken automatisierter Erkennungs- und Entscheidungssysteme ins Feld geführt werden,[13] mögen solche Einwände zwar gewisse Einzelanwendungen in Frage stellen, das zugrunde liegende Lösungsmuster erfreut sich jedoch weiterhin breiter Akzeptanz. Eine korrigierende Relativierung und Einordnung des Objektivitätsversprechens scheitert demgegenüber zum einen an der spezifischen Intransparenz algorithmischer Operationen,[14] zum anderen an einer fehlenden Institution, die etwa die Offenlegung der programmierten Entscheidungsregeln erzwingen könnte.[15]

Schon lange war die Verkehrspolitik geradezu fixiert auf den Autoverkehr, ohne den nicht-motorisierten Verkehrsteilnehmer*innen die ihnen gebührende Aufmerksamkeit zu schenken. Diese fragwürdige Gewichtung wird sich durch die heatmaps der Biker kaum ändern. Was sich geändert hat, ist, dass an die Stelle der Beschwörung individueller Freiheiten und übergeordneter Planungsexpertise sensorbasierte Daten und ihre anonymisierte Verarbeitung getreten sind. Ähnlich galt die Übertragung von Influenza bislang als Schicksal, könnte aber in Zukunft einer unzureichenden Kontaktverfolgung angelastet werden.

Die Beispiele illustrieren eine sozio-technische Verschiebung von Rechtfertigungsordnungen, die ich in den Mittelpunkt meiner Betrachtungen rücken möchte. Dabei gehe ich von bestehenden Widersprüchen und Paradoxien aus, um besser zu verstehen, worin das Digitalisierungs- und Automatisierungsversprechen tatsächlich besteht und warum es trotz seiner offensichtlichen Grenzen und brüchiger Argumentationen das Verständnis von Legitimität, Repräsentation und Herrschaft in der Gesellschaft verändert. Im nächsten Abschnitt charakterisiere ich dazu automatisierte Entscheidungssysteme, ihre zentralen Merkmale und die mit ihnen verbundenen Versprechungen.

  Automatisierte Entscheidungssysteme und ihre Ansprüche

Computer übernehmen immer mehr Entscheidungen. Beobachten lässt sich eine digitale Transformation, in deren Zuge sich die Automatisierung von einem Prozess, der Dinge produziert, zu einem Prozess verschiebt, der wichtige Entscheidungen über die Produktion, aber auch über die soziale Ordnung und die Möglichkeiten der Individuen auf der Grundlage algorithmischer Datenverarbeitung trifft. Zugrunde liegen Systeme der automatisierten Entscheidungsfindung (automated decision-making, ADM), also digitale Entscheidungs- und Steuerungssysteme, die gleichermaßen Internet-Recherchen und Empfehlungssysteme, Auswahlprozesse in der Personalrekrutierung und Kreditvergabe, intelligente Stromnetze (smart grids) oder Mensch-Roboter-Interaktionen ermöglichen. Sie erzeugen aus massenhaften, auch unklassifizierten Input-Daten (big data) dank einer stochastisch optimierten, elektronischen Datenverarbeitung einen Output, also beispielsweise eine Informationsselektion oder -zuordnung, eine Bild- oder Mustererkennung oder eine Art Antrieb (Aktorik), der etwa ein selbstfahrendes Auto oder einen Assistenzroboter in Bewegung setzt. Algorithmisch, also algorithmen-basiert meint, dass eine eindeutig formulierte „Verfahrensregel“ zur Lösung eines Problems zugrunde liegt, die aus einer Vielzahl von in formalisierter Computersprache programmierten Einzelschritten besteht, die iterativ und rasend schnell abgearbeitet werden, um die unterschiedlichsten Eingaben in eine Ausgabe zu überführen. Als algorithmische Entscheidungsfindung wird der gesamte Prozess der Datenerfassung, -analyse, -deutung und -interpretation bis hin zur Ableitung von Entscheidungen oder Empfehlungen bezeichnet.[16] Diese Prozesse sind gerade nicht sinnhaft an Deutungs- und Handlungskontexten oder überhaupt an menschlichen Subjekten orientiert, sondern verarbeiten digitale Zeichen, die sie in interne Verweisungssysteme aus verschiedenen Schichten einbetten.[17] In einigen Fällen optimieren sich die Algorithmen maschinell, sodass von Machine Learning oder unüberwachtem Deep Learning gesprochen wird, weil diese Optimierungsprozesse zwar von Softwareentwickler*innen mühsam und energieintensiv[18] aufgesetzt, jedoch nicht vollständig determiniert werden.

Im Ergebnis werden Operationen, Entscheidungen und Wahlmöglichkeiten, die früher einzelnen Menschen oder Organisationen zugerechnet wurden, an Algorithmen delegiert. Sie treffen Entscheidungen darüber, wie Daten zu interpretieren sind und welche Maßnahmen als Folge ihrer Operationen ergriffen werden sollten. Bis hinein in den individuellen Alltag und die Persönlichkeitsentwicklung interagieren Menschen mit automatisierten Entscheidungssystemen, die mitbestimmen, wie sie leben, essen, kommunizieren, politisch handeln und ihre Freizeit gestalten.[19] Trotz ihrer weitreichenden, nicht demokratisch legitimierten Steuerungs- und Kontrollwirkung[20] finden die weit verbreiteten algorithmischen Systeme wenig Beachtung, aber flächendeckende Akzeptanz.[21]

Wenn es darum geht, diese Entwicklung in Bezug auf die damit verbundenen Steuerungs- und Herrschaftssysteme (algorithmic authority, algorithmic governance) zu beurteilen und gesellschaftliche Gestaltungs- wie Regulierungsformate zu entwickeln, wäre der technikdeterministische Reflex – „die Computer beherrschen uns“ – allerdings ein schlechter Ratgeber. Denn Technik ist, wie der Technikhistoriker Melvin Kranzberg unermüdlich wiederholt hat, „weder gut noch böse – und auch nicht neutral“,[22] sondern Teil des soziotechnischen Wandels, mithin stets ein Ergebnis menschlichen Handelns. Die technologische Entwicklung hängt von sozialen Voraussetzungen und Vorannahmen ab, auf die sie ihrerseits direkt und indirekt rückwirkt („Technikfolgen“). Diese Rückwirkungen sind ihrerseits nicht absolut, sondern hängen (relational) von den politischen und ökonomischen Umständen sowie von der organisatorischen Einbettung der Anwendungen ab. Mit anderen Worten: Die automatisierten Systeme und ihre Implikationen sind sowohl menschengemacht als auch gesellschaftsgestaltend. In ihnen spielen nicht nur Daten und Algorithmen eine entscheidende Rolle, sondern auch zugrundeliegende Modelle der Entscheidungsfindung, organisierte und oftmals neu austarierte politische wie ökonomische Interessen[23] und ko-evoluierende Formen von Nutzung.[24] Was also beispielsweise in einem Verkehrssystem oder dem Krisenmanagement in der Pandemie als „intelligent“ gilt, hängt von der zugrunde gelegten Zielsetzung und ihrer Übersetzung in Entscheidungsregeln ab. Es ist eine techniksoziologische Binsenweisheit, dass dabei neben Daten und Algorithmen die Berücksichtigung starker Interessen und gewünschter Nutzungsformen eine zentrale Rolle spielen.[25]

Dabei trifft auf automatisierte Entscheidungssysteme zu, was Geoffrey Bowker und Susan Leigh Star in ihrer Untersuchung digitaler Systeme für Infrastrukturen generell festgestellt haben, dass nämlich gut funktionierende Systeme naturgemäß unsichtbar werden: „The easier they are to use, the harder they are to see. As well, most of the time, the bigger they are, the harder they are to see.“[26] Das Wirken digitaler Infrastruktursysteme wird also umso weniger problematisiert, je geräuschloser es im Hintergrund konkreter Anwendungen abläuft und die damit verbundenen Selektivitäten den unmittelbaren Handlungsverlauf nicht unterbrechen. Grundsätzlich bedeutet „Technik, technisch, Technisierung“, so Niklas Luhmann, dass „der Vollzug ohne allzu viel Reflexion, vor allem aber ohne Rückfrage beim Subjekt oder beim Beobachter möglich ist“.[27]

Aus der Perspektive der Akteur-Netzwerktheorie ist es dieses Black-boxing, das Techniken – technische Mittel – als soziale Anweisungs- und Herrschaftssysteme stabilisiert und gegen etwaige Kritik imprägniert.[28] Zwar transformieren Technologien (als „Aktanten“) ursprüngliche Ziele in neuartige, die sich aus dem sich sukzessive stabilisierenden soziotechnischen Netzwerk ergeben,[29] doch lassen sich die „ursprünglichen“ Absichten und die mit ihnen verbundenen Identitäten und Positionen historisch nachverfolgen oder analytisch rekonstruieren. Für solche Rekonstruktionen ist ein Fokus auf Widersprüche und Paradoxien sachdienlich, da diese wie brüchige Nahtstellen und Schlitze im Amalgam neuer soziotechnischer Arrangements auf die noch nicht vollständig verschmolzenen Ansprüche unterschiedlicher Provenienz verweisen. Derartige Spuren werden nicht zuletzt auch dadurch erkennbar, dass Systeme wie die automatisierte Entscheidungsfindung nur bestimmte Praktiken (der Routenwahl, Kreditvergabe, Diagnosestellung etc.) wahrscheinlich machen, andere hingegen erschweren und dementsprechend in soziotechnische Beziehungsmuster und -verhältnisse intervenieren. Sie sind prinzipiell variabel und verändern sich gemeinsam mit ihren Anwendungskonstellationen. So setzen sich eine Kutsche, ein herkömmliches Personenkraftfahrzeug und ein automatisiertes Fahrzeug im Prinzip stets aus einem Verkehrsmittel und einem Fahrzeugführer zusammen, allerdings tatsächlich nur im Prinzip, denn in jedem dieser soziotechnischen Systeme kommt den einzelnen Komponenten eine unterschiedliche Handlungsfähigkeit zu, werden vorhandene Standpunkte anders relationiert, andere Infrastrukturen und Regelungen notwendig, entstehen spezifische kulturelle Pfade und Selbstverständlichkeiten. Im Fall der Automatisierung sind diese Komponenten und die resultierende Handlungsfähigkeit, die operierenden Modelle, übergreifenden Infrastrukturen und die kulturelle Einbettung besonders inter- und transaktiv, sodass sich nur noch schwer unterscheiden lässt, wer oder was eigentlich fährt und wer oder was funktioniert.[30]

Damit ist nicht gesagt, Steuerung durch automatisierte Systeme sei besonders beliebig, sondern ganz im Gegenteil, dass mit ihnen neuartige, eben „automatisierte“ Kontrollverläufe entstehen, in denen die Steuerungsleistung bisheriger Infrastruktursysteme transaktiver gekoppelt und potenziert wird: Wenn Funktionen in einem Verkehrsmittel von automatisierten Assistenzsystemen übernommen werden, verändert sich der Handlungsspielraum der Fahrzeugführer*in sowohl in Bezug auf Fahrstil oder Fahrwege als auch in Bezug auf andere Beschäftigungen: Sie wird teil-entlastet und zugleich teil-automatisiert. Algorithmen verhärten die an sie delegierte Steuerung und Kontrolle besonders, weil durch sie vergangenes und zukünftiges Verhalten eng verknüpft wird. Paul Edwards diskutiert die digitalen Steuerungsleistungen in modernen Systemen als eine Antwort auf die Systemkrisen des postindustriellen Kapitalismus im Umgang mit überkomplexen, aber folgenreichen Verkettungen.[31] Automatisierte Systeme begreift er als Versuch, auf komplexe Vorgaben und deren Interferenzen so zu reagieren, dass nicht-intendierte Nebenfolgen vorhergehender Entscheidungen geräuschlos abgefangen werden können. Gerade in dieser Hinsicht wird erkennbar, dass Technologien des Contact-Tracing ohne Frage ein Korrelat von Globalisierungsprozessen darstellen.

Im öffentlichen Diskurs werden algorithmische Entscheidungssysteme aber nicht mit dem Versprechen einer komplexen und weniger wahrnehmbaren Steuerung beworben, sondern eher ist im Gegenteil von neuen Möglichkeiten, von Transparenz, Gerechtigkeit und Entlastung die Rede. Die Corona-App soll den Gesellschaftsmitgliedern ihre Freiheit wiedergeben, in dem sie für jede und jeden Kontaktprotokolle und Wahrscheinlichkeiten der Infizierung erstellt und daraus Freiheitsgrade des Zusammenlebens ableitet. Dieser Widerspruch ist fundamental und soll im Folgenden noch genauer betrachtet werden.

Unstrittig dürfte zunächst sein, dass die Durchsetzung automatisierter Entscheidungssysteme und ihre omnipräsente Nutzung in ganz unterschiedlichen Anwendungsbereichen auf einer doppelten Basis erfolgt. Sie vertraut dem Entwicklerversprechen digital optimierter Rationalität und operiert mit der Nutzererwartung von Verarbeitungskapazitäten, die menschliche Leistungsvermögen eklatant überbieten. So kann die automatisierte Entscheidungsfindung reklamieren, mit den Mitteln numerischer Neutralität überaus komplexe und undurchsichtige Zusammenhänge objektiv zu erfassen und zu verarbeiten. Selbst wenn wenig Klarheit über die Qualität der herangezogenen Daten, ihre Validität in Bezug auf die Repräsentation der fraglichen Zusammenhänge und ihre Eignung für die Entscheidungsfindung besteht, scheinen die Ergebnisse für sich selbst zu sprechen: Von der Routen- und Personalauswahl bis in personalisierte Therapievorschläge und den Betrieb von Energienetzen geht man überraschend fraglos davon aus, dass die digitale Entscheidungsfindung korrekt „ermittelt“, welche Informationen die relevanten sind, welche Präferenzen bestehen, welche Verteilungsmöglichkeiten optimal sind, kurz, welche Datenfakten wie zu erfassen und entscheidungsbezogen zu verarbeiten sind. Im Widerspruch zu diesem suggestiven Objektivitätsversprechen haben kritische Softwarestudien und Hackerpraktiken des Reverse Engineering jedoch die Selektivität, Voreingenommenheit, den Bias und die ko-konstitutiven Optimierungsprozesse für viele der genutzten „intelligenten Systeme“ aufgedeckt. Aus diesem Grund ist inzwischen von einer algorithmischen Ko-Produktion von Wirklichkeit die Rede.[32]

Wie für die meisten Technologien wird auch im Fall der automatisierten Entscheidungssysteme der Anspruch verbesserter Effizienz geltend gemacht. Der Einsatz dieser Systeme, so wird in Aussicht gestellt, vereinfache Prozesse, spare Geld und Zeit. Ausgeblendet bleiben sowohl der immense Programmieraufwand und der Energie- und Ressourcenbedarf auf Entwicklerseite. Abgeschattet werden auch die aufwendige Integration und Implementation der Systeme in bestehende Abläufe (samt deren Anpassung) und die auf Nutzerseite generierten Zeit-, Ressourcen- und Energiebedarfe. Im Grunde erweisen sich automatisierte Entscheidungssysteme nicht anders als andere technische Mittel als ein Umweg im Handlungsvollzug, mit dem zwar homogenere Resultate erzeugt werden, jedoch auch erhebliche Kosten und Materialaufwände einhergehen – um von ihrer Nachhaltigkeit gar nicht erst zu sprechen.[33]

Ein weiterer Anspruch automatisierter Entscheidungsfindung besteht in der Reklamation von Transparenz und Nachvollziehbarkeit: Die digitale Verarbeitung von Datenfakten, so der Anspruch, sei nicht nur transparenter, sondern auch fairer als die willkürlichen und subjektiven Alternativen einer analogen Entscheidung, die Individuen und Organisationen zuzurechnen ist. Denn, so der kollektive Glaube, den algorithmischen Prozessen liegen Daten zugrunde, nicht Meinungen, und programmierte Arbeitsschritte, nicht intransparente Prozesse der Meinungsbildung und Entscheidungsfindung. Demgegenüber haben technikethische, -philosophische und -soziologische Untersuchungen die Intransparenz (opacity) und Nicht-Erklärbarkeit der Systeme herausgestellt. Derartige Undurchsichtigkeiten werden teils durch das notwendige, aber meist fehlende Informatikwissen, teils durch den Schutz von Geschäftsgeheimnissen und die Proprietät der Algorithmen erklärt, aber auch durch die schiere Größe der viele Tausend Zeilen Code umfassenden Algorithmen, die zusammenkopiert werden und durch viele Hände gehen.[34]

Ein weiteres großes Versprechen kündigt die Entlastung der Nutzer*innen durch automatisierte Systeme an, ihnen würde mühsame und eintönige Arbeit abgenommen, außerdem könnten sie sich Risiken ersparen, die mit dieser Art von Arbeit vormals verbunden waren. Auch diese Ankündigung ist alles andere als neu, war natürlich immer schon attraktiv und verführerisch, ohne in allen Fällen eingelöst werden zu können.[35] Algorithmische Systeme vereinfachen und beschleunigen Handlungs- und Arbeitsprozesse nämlich nur so lange, wie keine Probleme auftreten. Erweisen sich die automatisierten Systeme jedoch als fehleranfällig oder für bestimmte Aufgaben ungeeignet, schlägt die Entlastung in Belastung um: Für die Fehlerbehebung fehlen den Nutzer*innen gewöhnlich nicht nur die notwendigen Kenntnisse, sondern auch die Erfahrungen für eine ersatzweise analoge Problemlösung. Gerade die Kontrolle von als „intelligent“ und „autonom“ eingeführten Systemen geht mit psychischen und organisatorischen Belastungen einher, weil sie neue Abhängigkeiten und Handlungszwänge auf höherem Niveau entstehen lässt.[36]

Da als nächstes die Paradoxien der Automatisierung in Bezug auf zugrunde liegende Steuerungsfiktionen und Widersprüche diskutiert werden, möchte ich es bei diesen Beispielen belassen und auf die Versprechungen der Standardisierung, Optimierung, Qualitäts- und Informationsverbesserung sowie der holistischen Betrachtung nicht gesondert eingehen. Angesichts der Widersprüchlichkeiten und einer dennoch sorglosen Einführung digitaler Steuerungssysteme, zu der zunächst niemand verpflichtet und die auch nicht zweckrational begründet war, lässt sich im Sinne von Max Weber eine Art „amorphe Einverständnisvergemeinschaftung“ konstatieren.[37] Sie verdankt sich einem kollektiven Glauben an die beanspruchte Rationalität dieser Systeme, ohne diesen durch die Einsicht in ihre Funktionsweise absichern zu können. Woher dieser Glaube kommt, lässt sich besser verstehen, wenn die Paradoxien der automatisierten Entscheidungsfindung in Bezug zu dem gesetzt werden, was sie für die schwieriger gewordene gesellschaftliche Legitimation der jeweiligen Entscheidung „leisten“.

  Paradoxien der automatisierten Entscheidungsfindung

Dass automatisierte Systeme eine Form von Herrschaft und Steuerung in Gesellschaften ermöglichen, die Scott Lash als „post-hegemonial“ beschreibt,[38] ist die These, die ich belegen möchte. Unter den früheren, industriellen Bedingungen hegemonialer Klassen, Diskurse und Wirtschaftsformen legitimierten sich Kontrolle und Steuerung durch ihre prädeterminierte Orientierung an oben und unten, innen und außen, traditionaler Vergangenheit und fortschrittlicher Zukunft. Demgegenüber schiebt in der reflexiven Moderne die kontinuierliche Erweiterung dessen, was es zu berücksichtigen gilt, also die Ausweitung des Inklusions- und Repräsentationsanspruchs auf alle gesellschaftlichen Lebensformen, (politisierbaren) Nebenfolgen und Rechtfertigungsordnungen, jeden Steuerungsanspruch potenziell in den Bereich des Nichtlegitimierten. Im Zuge weitergehender Modernisierung mit den bekannten sozialen, räumlichen und ökologischen Nebenfolgen implodieren die nicht mehr hegemonialen Institutionen der Entscheidung und Rechtfertigung. Sie lassen ein institutionelles Vakuum entstehen, das nach neuen Kategorien für die Sphäre des Politischen verlangt, nach etwas, das als „Weltinnenpolitik“ gefasst wurde.[39] In die damit nur grob angedeuteten, weitgehend unbestimmten Räume greifen nun sozusagen „außer-parlamentarische“ Algorithmen ein, indem sie „Faktizitäten“ generieren, die (vermeintlich) nicht verteidigt, begründet oder gerechtfertigt werden müssen: „Sie verarbeiten“, so schreibt Scott Lash, „das eher amorphe Zeug da draußen, das bereits etwas gemusterte Rauschen da draußen, zu Informationen“.[40] Und solche Informationen dienen als Ausgangs- und Endpunkte von Berechnungen, die ihrerseits Entscheidungen zugleich herbeiführen und legitimieren. Damit kommt es zu Steuerungsansätzen, die als polymorphe „Informatisierung von Herrschaft“ im Sinne von Donna Haraway zu verstehen sind.[41]

Unter dieser Optik wird ein erstes Paradox greifbar: Gemeint ist das Objektivitätsparadox, das dadurch zustande kommt, dass eine rein informationsbasierte Neutralität der Datenverarbeitung reklamiert wird, die bei genauer Betrachtung allerdings keineswegs aufrechterhalten werden kann. Was in Aussicht gestellt wird, ist die Verarbeitung von hoher Komplexität durch algorithmische Systeme auf der sichtbaren Vorderbühne. Aus zählbaren Evidenzen (Verkehrsmittelwahl, Lebenslauf, Kontoführung oder Kontaktprotokollen) sollen anhand mathematischer Berechnungen objektiv gültige Entscheidungen abgeleitet werden. Anders als individuelle Beurteilungen soll dieses Entscheidungsverfahren den Vorzug besitzen, weder durch Subjektivität eingefärbt zu sein noch durch Interessen, die stets zur Geltung kommen, wenn Entscheidungen innerhalb von Organisationen gefällt werden. In der via Digitalisierung verwirklichten „Kultur der Evidenz“[42] sorgen vielmehr automatisierte Entscheidungsverfahren mit ihrem Nimbus mathematischer Wahrheit für Legitimation: Mit ihnen können Entscheidungen etwa in der Verkehrsplanung, bei der Vergabe von Krediten oder Studienplätzen als unabhängig und „neutral“ präsentiert werden, obgleich auf der Hinterbühne komplizierte und fortlaufende Verhandlungen zwischen verschiedenen Beteiligten darüber stattfinden, was wie zu erfassen, zu kategorisieren, zu gewichten und weiter zu prozessieren ist.[43] Dabei dürfte klar sein, dass auch und gerade noch unklassifizierte Daten für ihre weitere Verarbeitung und etwaige Einspeisung in Entscheidungsprozeduren definiert, geordnet und gewichtet werden müssen: Was macht und welche Bedingungen müssen dafür gegeben sein, eine beliebige Begegnung zu einem potenziell infektiösen Kontakt? Diese proto-politischen Entscheidungen darüber, was wie zählt und repräsentiert werden soll, sind auf der Ausgabeseite gewöhnlich nicht sichtbar. Zu ihrer Invisibilisierung tragen die Dekontextualisierung der Prozesse in den Computern, ihre Reformulierung als algorithmische Rechenschritte und die bereits besprochene Nicht-Nachvollziehbarkeit der entstandenen Algorithmen bei,[44] allesamt gewichtige Facetten einer Informatisierung von Herrschaft.

Obwohl das Objektivitätsversprechen durch den Nachweis daten-basierter Diskriminierungen und einseitiger Wahrnehmungsweisen generell kritisiert wurde,[45] ist das Vertrauen in die reklamierte Objektivität weitgehend ungebrochen. Also besteht das Paradoxon, wie bereits angedeutet, darin, dass automatisierte Entscheidungssysteme trotz der Nachweise von Bias, Diskriminierung, Selektivität und technischer Normativität allenthalben als objektiver, unparteilicher, neutraler betrachtet, beworben und genutzt werden als nicht technifizierte Entscheidungsfindungen. Als ein vermeintlich rein mathematisch zustande gekommenes Ergebnis wird akzeptiert, was als Produkt eines Organisationskontexts oder menschlicher Entscheidung nicht akzeptabel wäre.

Ähnlich verhält es sich mit dem Entlastungsparadox, das zuerst Lisanne Bainbridge 1983 als „Ironie der Automatisierung“ in Frage stellte: Das Ziel der Automatisierung, den menschlichen Anteil an der Bewältigung von Kontroll-, Planungs- und Produktionsaufgaben durch den Einsatz von Maschinen zu reduzieren, werde durch den verursachten Bedarf an mehr und höher qualifizierter menschlicher Arbeit für die Überwachung, Pflege und Anpassung der automatisierten Systeme konterkariert. Auch aktuell zeigt die Forschung, dass die Automatisierung bestimmte Aufgaben oftmals nicht umfasst, zum Beispiel die Fehlerbehebung oder Spezialanfertigung, deren Erfüllung nach der Automatisierung umso anspruchsvoller wird, weil dann Routine und Erfahrung fehlen, sodass Stress und Arbeitsbelastung wachsen.[46] Paradoxerweise können also intern Belastung und Unsicherheit im beruflichen Umgang mit automatisierten Systemen wachsen und mehr Kompetenzen für die individuelle Kontroll- und Problemlösungsfähigkeit erfordern,[47] während extern von Entlastung durch intelligente Maschinen die Rede ist. Die Notwendigkeit der permanenten Überwachung und Anpassung der komplexen Systeme wird in diesen Fällen an die individuelle Steuerung auf der Hinterbühne verschoben und zugleich abgewertet, indem die Systeme, aber nicht die Maschinen- und Anlagenführer*innen als intelligent bezeichnet werden.

Ein drittes Paradox stellt das Informationsparadox dar. Es ergibt sich aus der Ankündigung, automatisierte Entscheidungssysteme ließen sich dazu nutzen, notwendige Informationen über komplizierte Zusammenhänge bereitzustellen, um derartige Interdependenzen besser zu verstehen – ein Versprechen, das insbesondere mit Blick auf die Leistungen einer intelligenten Verkehrs- und Gesundheitssteuerung ins Feld geführt wird. Faktisch besteht das Informationsparadox darin, dass die algorithmische Informationsverarbeitung weder Informationen als solche verarbeitet noch „Über-Sicht“ verschafft, die tatsächlich komplexe Kausalitäten und deren unterschiedliche Dimensionen durchleuchten würde. Vielmehr werden Daten in der eigensinnigen Logik elektronischer Datenverarbeitung als Spuren übergreifender Zusammenhänge erfasst, prozessiert und verknüpft, doch muss deren Interpretation stets außerhalb der Systeme vorgenommen werden.[48] Die automatisierte Entscheidungsfindung ist ja nicht rational und effektiv, weil sie Informationen „intelligent“ oder „sinnvoll“ verarbeitet, sondern weil sie Informationen anhand von Mustern prozessiert, ohne diese Muster überhaupt als bedeutungstragende Information identifizieren zu können.[49] Zwar ist es maschinellem Lernen möglich, Muster zu erfassen und als Information weiter zu verarbeiten, doch kann weder die Bedeutung eines solchen Musters erkannt, noch eine korrespondierende Ontologie ermittelt werden. Selbstverständlich lassen sich Datensätze nach unterschiedlichen und vorgegeben Hinsichten in Beziehung zueinander setzen und miteinander vergleichen, doch bleiben sie ohne entsprechende Modelle nur bedeutungs- und belanglose Aggregationen von Daten.

Geht es um das Erkennen und Steuern übergeordneter, mehrdimensionaler Zusammenhänge (wie etwa in den Themenfeldern Mobilität und Katastrophenprävention), liegt die für automatisierte Entscheidungsprozesse relevante, nicht-technische Entscheidung in der Bestimmung derjenigen Daten, die zueinander in Bezug gesetzt werden sollen. In den Worten von Donna Haraway: „Der entscheidende Schachzug besteht in der Bestimmung der Raten, Richtungen und Wahrscheinlichkeiten des Flusses einer Größe, die als Information bezeichnet wird. […] Information ist genau dasjenige quantifizierbare Element […], auf dessen Basis universelle Übersetzung und damit unbehinderte, instrumentelle Macht […] möglich wird“.[50] Diese Schachzüge liegen nach wie vor in der Hand menschlicher Entscheider*innen und Programmierer*innen, die den Bereich relevanter Beobachtungsfelder nach ihren Perspektiven oder denen ihrer Auftraggeber*innen definieren. Algorithmen oder KI alleine leisten das nicht, schon gar nicht, wenn sie Elemente eines stark fragmentierten Organisationskontextes sind, der mehr als einer Logik folgt. Genau besehen liegt das Paradox also darin, dass eine intelligente „Informationsverarbeitung“ reklamiert wird, die jedoch prinzipiell unmöglich ist; denn das eigentliche Leistungsvermögen elektronischer Datenverarbeitung besteht darin, wie auch Armin Nassehi betont,[51] Inkompatibles miteinander verrechnen zu können, ohne dass semantischen Horizonte berücksichtigt werden müssen. Sobald das Unberücksichtigte jedoch relevant wird, kommen die vermeintlich überwundenen subjektiv-individuellen oder organisatorischen Perspektiven und Interessen wieder zum Zug. Attraktiv ist eine automatisierte Informationsverarbeitung folglich nicht zuletzt deshalb, weil sie die eigentlichen Entscheidungssysteme verdeckt, also eine Zurechnung von Dezisionen auf partikulare Interessen oder Akteure hinter der mathematisch-maschinellen Selektion erschwert. Insofern lösen derartige Automationen das Grundproblem der reflexiven Moderne, dass zeitlich, räumlich und sozial entgrenzte Bezugspunkte häufigere und komplizierte Entscheidungen erzwingen, ohne dass eine reflexive Rück-Einbettung von Entscheidungsverfahren in Aussicht gestellt würde,[52] indem die Fiktion einer allwissenden Informationsverarbeitung aufkommt, die im Grunde und in Wahrheit aber gar nichts weiß.

Bezeichnenderweise reagieren die Entwickler*innen und Anwält*innen der Einführung automatisierter Systeme der Entscheidungsfindung auf die skizzierten Paradoxien mit einem weiteren, nämlich dem Paradox der Anthropomorphisierung. Obwohl es im Kern darum geht, das Menschlich-Subjektive, Individuelle und Kontextgebundene von Entscheidungsfindung auszuschalten beziehungsweise zu informatisieren, werden die Systeme auf menschliche Namen getauft, als „intelligent“ gepriesen und in ihren Funktionen beschrieben als handle es sich um menschliches Handeln („jetzt hat er entschieden, dass …“). Auch wenn sich die algorithmische Produktion von Objektivität durch die Behauptung legitimiert, menschliche Willkür erfolgreich durch mathematische Kalküle zu ersetzen, werden die Leistungen in einer Weise etikettiert, die menschliche Kognition unterstellt. So entsteht eine bemerkenswerte Strategie im Umgang mit „accountability“, also der Frage, wie Leistungen zugerechnet und Verantwortlichkeiten adressiert werden können. Die algorithmischen Fähigkeiten erscheinen attraktiv, weil sie gestatten, gut modernistisch zwischen Mensch und Maschine zu trennen, mithin die tatsächliche Vermischung menschlicher und maschineller Zurechnungen auszublenden.[53] Um Vertrauen für sie und ihren errechneten Output zu gewinnen, werden sie semantisch vermenschlicht.

  Automatisierung als Ausweg aus Repräsentations- und Legitimationskrisen

Öffentlich wird die Durchdringung aller Lebens- und Arbeitsbereiche durch digitale Technologien als ein Prozess wahrgenommen, der die Gesellschaft der Bundesrepublik mit der Naturgewalt eines Tsunami überkommt.[54] Allerdings belehrt ein Vergleich mit anderen Nationen darüber, dass nur wenn die Gestaltbarkeit und bewusste politische Steuerung der Systeme zur Kenntnis genommen wird, positive Digitalisierungsfolgen erwartet werden. Im Übrigen werden unter solchen Voraussetzungen auch die eigenen Kompetenzen im Umgang mit digitalen Technologien als größer bewertet.[55] Interessant ist zudem, dass einer repräsentativen Umfrage des Digitalverbandes „bitkom“ zufolge sechs von zehn Bundesbürger*innen „in bestimmten Situationen eher die Entscheidung einer KI akzeptieren als die eines Menschen“,[56] wobei Situationen gemeint waren wie die Vergabe eines beantragten Kredits oder die richterliche Urteilsfindung nach einem Verkehrsunfall. Ich deute diese Umfrageergebnisse so, dass das Vertrauen in die Unparteilichkeit der Entscheidungsinstanzen gering ist, während man automatisierten Entscheidungsverfahren mit der Erwartung eines „neutralen“ Entscheidungsergebnis begegnet. Nun ließe sich zweifelsohne trefflich spekulieren, was derartige Umfrageergebnisse über die Sicht der Befragten auf algorithmische Entscheidungsverfahren verraten. Doch dürften sie allemal einen weiteren Beleg dafür liefern, dass Ergebnisse, die mathematisch zustande kommen, einen höheren Grad an Legitimität genießen.

Die gesellschaftlichen Organisationen im Hintergrund optimieren die digitalen Prozesse permanent und passen sie den stets veränderlichen Ausgangsbedingungen und Anforderungen an. Damit reagieren sie auf die Reflexivität post-hegemonialer Gesellschaften: So müssen etwa Verkehrsträger und Krankheitsvektoren immer wieder neu bewertet, Anschlüsse an die lokale Managementstrategie hergestellt, der Horizont neu zu berücksichtigender Daten mal eingeengt und mal erweitert werden. Zudem sind die konkreten Vorschriften der Verarbeitung und Gewichtung der herangezogenen Daten im Abgleich mit verschiedenen Benchmarks und Zielgrößen ständig zu adjustieren, ohne dafür erst Parlamente zu befragen. De facto wächst folglich die Entscheidungsmacht der Coder und ihrer Auftraggeber*innen. Ein wesentliches Ziel ihrer Optimierung und Strukturierung ist dabei die Herstellung von Konnektivität und die Kontrolle des Inputs sowie des gewünschten Outputs: Sie erstellen Kontrollarchitekturen, die nicht ohne Einfluss auf die in den erfassten Systemen handelnden Subjekte und Akteursgruppen bleiben, ohne sich eigens vor irgendwelchen Foren eingehender legitimieren zu müssen. Dadurch bleibt die Organisation der automatisierten Entscheidungsverfahren weithin anonym, unerreichbar, agiert quasi ex machina im Sinne des techniksoziologisch bekannten politics by other means. In gleichem Sinne schreibt Steffen Mau: „Interessant ist nun, dass Algorithmen fast keinen Rechtfertigungsanforderungen unterliegen. Der technische Charakter der Prozeduren vermag zu verschleiern, auf welche Weise bestimmte Vorannahmen in die Programmierung einfließen, welche Selektionen vorgenommen werden und welche denkbaren Alternativen ausgeschlossen werden“.[57]

Die Anonymisierung gelingt, so mein Argument, selbst in hochrelevanten Infrastrukturbereichen deshalb so erfolgreich und widerspruchslos, weil die bisherigen Mechanismen und Institutionen der Repräsentation diskreditiert sind. Allerdings handelt es sich nicht um eine epistemologische Repräsentationskrise, sondern tatsächlich um eine ontologische.[58] Bestimmte Wirklichkeiten kommen offenbar nicht mehr zu einer öffentlichen Darstellung und Wahrnehmung. Der reflexiven Moderne kommen die Kategorien und Kriterien abhanden, die in Geltung stehen müssten, um legitime Entscheidungen vor dem Horizont einer uneingrenzbaren Vervielfältigung von Belangen und Nebenfolgen zu fällen. Im Anthropozän der globalen Erwärmung, in postmigrantischen Gesellschaften, im Rahmen von Pandemien und auf globalen Märkten ist Herrschaft, Steuerung und Kontrolle zu einer fluiden Angelegenheit geworden, die sich nicht im Rückgriff auf stabile Koordinatensysteme legitimieren lässt, sondern permanent in neue Rückkopplungssysteme gegossen wird. In ihnen erscheint die automatisierte Selektion und Klassifikation, die aus dem zwanglosen Zwang verknüpfter Daten abgeleitete Entscheidung, die Informatisierung von Herrschaft unanfechtbar. Ihre Leistung besteht darin, die bis dato hierarchische, nationale, qua Mandat oder Expertise legitimierte Benennungsmacht, deren Glaubwürdigkeit immer von bestimmten Kontexten und Relevanzen abhängt, als mathematisch-universale zu transzendieren. Ihr ist das Lob der übermenschlichen, abstrahierenden Operation gewidmet: Digitalisierung statt Konflikt!

Fußnoten

[1] Vgl. Ann-Christina Lange / Marc Lenglet / Robert Seyfert, „On Studying Algorithms Ethnographically. Making Sense of Objects of Ignorance“, in: Organization 26 (2018), 4, S. 598–617.

[2] Vgl. María del Carmen Fernández Martínez / Alberto Fernández, „AI in Recruiting. Multi-agent Systems Architecture for Ethical and Legal Auditing”, in: Sarit Kraus (Hg.), Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI-19) [29.6.2020], Macau 2019, S. 6428–6429.

[3] Vgl. Deborah Lupton (Hg.), Digitised Health, Medicine and Risk, New York 2017.

[4] Vgl. Josef Wehner / Jan-Hendrik Passoth / Tilmann Sutter, „Medien, Musik und Algorithmen. Zur Publikumsvermessung im Internet“, in: Friedrich Krotz / Cathrin Despotović / Merle Marie Kruse (Hg.), Mediatisierung als Metaprozess. Transformationen, Formen der Entwicklung und die Generierung von Neuem, Wiesbaden 2017, S. 233–256.

[5] Cordula Kropp, „Intelligente Städte. Rationalität, Einfluss und Legitimation von Algorithmen“, in: Sybille Bauriedl / Anke Strüver (Hg.), Smart City. Kritische Perspektiven auf die Digitalisierung der Städte, Bielefeld 2018, S. 33–42.

[6] Ulrich Beck, Die Erfindung des Politischen. Zu einer Theorie reflexiver Modernisierung, Frankfurt am Main 1993, S. 36, 206; ders., Risikogesellschaft. Auf dem Weg in eine andere Moderne, Frankfurt am Main 1986, S. 26.

[7] Scott Lash, „Power after Hegemony. Cultural Studies in Mutation?”, in: Theory, Culture & Society 24 (2007), 3, S. 55–78.

[8] Vgl. Donna Haraway, Ein Manifest für Cyborgs. Feminismus im Streit mit den Technowissenschaften [1985], in: dies., Die Neuerfindung der Natur. Primaten, Cyborgs und Frauen, hrsg. von Carmen Hammer / Immanuel Stieß, Frankfurt am Main 1995, S. 33–72. Haraway spricht bereits 1985 in ihrem Manifesto for Cyborgs von einem „Übergang von einer organischen Industriegesellschaft in ein polymorphes Informationssystem“, mit dem eine netzwerkartige „Informatik der Herrschaft“ entstehe. Ebd. S. 48.

[9] Vgl. Steffen Mau, Das metrische Wir. Über die Quantifizierung des Sozialen, Berlin 2017; Lash, „Power after Hegemony“.

[10] Vgl. Mau, Das metrische Wir, S. 188.

[11] Alexander Schrage, Radfahren auf smart(phon)e Art. Der Einfluss von Apps auf das Mobilitätsverhalten ihrer Nutzer, unveröff. Masterarbeit, Stuttgart 2017.

[12] Simon Schaupp, Digitale Selbstüberwachung. Self-Tracking im kybernetischen Kapitalismus, Münster 2016, S. 89.

[13] Vgl. Cathy O’Neil, Angriff der Algorithmen. Wie sie Wahlen manipulieren, Berufschancen zerstören und unsere Gesundheit gefährden, München 2017; Kirsten Martin, „Ethical Implications and Accountability of Algorithms“, in: Journal of Business Ethics 160 (2019), 4, S. 835–850; Andreas Rauber / Roberto Trasarti / Fosca Giannotti, „Transparency in Algorithmic Decision Making“, in: ERCIM News 116 (2019), S. 10–11.

[14] Vgl. Jenna Burrell, „How the Machine ›Thinks‹. Understanding Opacity in Machine Learning Algorithms“, in: Big Data & Society 3 (2016), 1, S. 1–12; Brent Daniel Mittelstadt et al., „The Ethics of Algorithms. Mapping the Debate“, in: Big Data & Society 3 (2016), 2, S. 1–21.

[15] Wolfgang Hoffmann-Riem, „Verhaltenssteuerung durch Algorithmen. Eine Herausforderung für das Recht“, in: Archiv des öffentlichen Rechts 142 (2017), 1, S. 1–42.

[16] Kilian Vieth / Ben Wagner, Teilhabe, ausgerechnet. Wie algorithmische Prozesse Teilhabechancen beeinflussen können [29.6.2020], Gütersloh 2017, S. 10.

[17] Armin Nassehi, Muster. Theorie der digitalen Gesellschaft, München 2019, S. 58, 105 f.

[18] Im MIT Technology Review stellte Hao im Juni 2019 den enormen Fußabdruck maschinellen Lernens dar: So emittiert das Training eines einzigen AI-Modells genauso viele Kohlendioxidäquivalente wie fünf Autos durch Produktion, Betrieb und Kraftstoffverbrauch. Vgl. Karen Hao, „Training a single AI model can emit as much carbon as five cars in their lifetimes. Deep learning has a terrible carbon footprint“ [29.6.2020], in: MIT Technology Review, 6.7.2019.

[19] Luciano Floridi, Die 4. Revolution. Wie die Infosphäre unser Leben verändert, Berlin 2015.

[20] Vgl. Rob Kitchin, „The Real-time City? Big Data and Smart Urbanism“, in: Geojournal 79 (2014), S. 1–14; Tarleton Gillespie, „The Relevance of Algorithms”, in: ders. / Pablo Boczkowski / Kirsten Foot (Hg.), Media Technologies. Essays on Communication, Materiality, and Society, Cambridge, MA 2014, S. 167–193; Frank Pasquale, The Automated Public Sphere, New York 2019; Shoshane Zuboff, Das Zeitalter des Überwachungskapitalismus, Frankfurt am Main 2019.

[21] Selbst die von der Europäischen Allgemeinen Datenschutzverordnung (GDPR) verlangte Einwilligung in die weitere Nutzung und Verarbeitung persönlicher Daten sensibilisiert zwar für möglicherweise nicht-gewünschte Nebenfolgen, wird aber in aller Regel „automatisch“ vorgenommen.

[22] Melvin Kranzberg, „Technology and History. ‚Kranzberg’s Laws’“, in: Technology & Culture 27 (1986), 3, S. 544–560, hier S. 545.

[23] AlgorithmWatch, Automating Society. Taking Stock of Automated Decision-Making in the EU [29.6.2020], hrsg. von Matthias Spielkamp, Berlin 2019. 

[24] Wehner/Passoth/Sutter, „Medien, Musik und Algorithmen“; Andreas Reckwitz, „Digitalisierung als Singularisierung. Der Aufstieg der Kulturmaschine“, in: ders., Die Gesellschaft der Singularitäten, Berlin 2017, S. 225–247; Jeanette Hofmann, „Mediatisierte Demokratie in Zeiten der Digitalisierung – Eine Forschungsperspektive“, in: dies. et al. (Hg.), Politik in der digitalen Gesellschaft. Zentrale Problemfelder und Forschungsperspektiven, Bielefeld 2019, S. 27–45.

[25] Wiebe Bijker / Thomas Parke Hughes / Trevor Pinch (Hg.), The Social Construction of Technological Systems. New Directions in the Sociology and History of Technology, Cambridge, MA 1986.

[26] Geoffrey Bowker / Susan Leigh Star, Sorting Things out. Classification and its Consequences, Cambridge, MA 2000, S. 33. 

[27] Niklas Luhmann, Die Wissenschaft der Gesellschaft, Frankfurt am Main 1990, S. 197.

[28] Bruno Latour, Eine neue Soziologie für eine neue Gesellschaft, Frankfurt am Main 2005.

[29] Ders., „Ein Kollektiv von Menschen und nichtmenschlichen Wesen. Auf dem Weg durch Dädalus‘ Labyrinth“, in: ders., Die Hoffnung der Pandora, Frankfurt am Main 2002, S. 211–264.

[30] Werner Rammert, „Verteilte Intelligenz im Verkehrssystem. Interaktivitäten zwischen Fahrer, Fahrzeug und Umwelt“, in: ders., Technik – Handeln – Wissen. Zu einer pragmatistischen Technik- und Sozialtheorie, Wiesbaden 2016, S. 169–178, hier S. 175.

[31] Paul Edwards, „Infrastructure and Modernity. Force, Time and Social Organization in the History of Sociotechnical Systems“, in: Thomas Misa / Philip Brey / Andrew Feenberg (Hg.), Modernity and Technology, Cambridge, MA 2003, S. 185–226, hier S. 209.

[32] Natascha Just / Michael Latzer, „Governance by Algorithms. Reality Construction by Algorithmic Selection on the Internet“, in: Media, Culture & Society 39 (2017), 2, S. 238–258; O’Neil, Angriff der Algorithmen; Wehner/Passoth/Sutter, „Medien, Musik und Algorithmen”.

[33] Vgl. Wissenschaftlicher Beirat der Bundesregierung für globale Umweltveränderungen (WBGU), Unsere gemeinsame digitale Zukunft, Berlin 2019.

[34] Burrell, „How the Machine ›Thinks‹“; Mittelstadt et al., „The Ethics of Algorithms“; Robert Seyfert / Jonathan Roberge, „Was sind Algorithmuskulturen?“, in: dies. (Hg.), Algorithmuskulturen. Über die rechnerische Konstruktion der Wirklichkeit, Bielefeld 2017, S. 7–40.

[35] Martina Heßler, „Die Persistenz der Argumente im Automatisierungsdiskurs“, in: Aus Politik und Zeitgeschichte 66 (2016), 18–19, S. 17–24.

[36] Lisanne Bainbridge, „Ironies of Automation“, in: Automatica 19 (1983), 6, S. 775–779; Hartmut Hirsch-Kreinsen / Anemari Karacic (Hg.), Autonome Systeme und Arbeit. Perspektiven, Herausforderungen und Grenzen der Künstlichen Intelligenz in der Arbeitswelt, Bielefeld 2019.

[37] Max Weber, „Über einige Kategorien der verstehenden Soziologie“, in: ders., Gesammelte Aufsätze zur Wissenschaftslehre, hrsg. von Johannes Winckelmann, Tübingen 1985, S. 426–477, hier S. 465.

[38] Lash, „Power after Hegemony“.

[39] Ulrich Beck, Nachrichten aus der Weltinnenpolitik, Berlin 2010.

[40] Lash, „Power after Hegemony“, S. 67, eigene Übersetzung.

[41] Vgl. Haraway, Ein Manifest für Cyborgs, S. 48; vgl. Anm. 8.

[42] Mau, Das metrische Wir, S. 200.

[43] Vgl. Deborah Lupton, „Health Promotion in the Digital Era. A Critical Commentary“, in: Health Promotion International 30 (2015), 1, S. 174–183; Wehner/Passoth/Sutter, „Medien, Musik und Algorithmen“; Pasquale, The Automated Public Sphere.

[44] Burrell, „How the Machine ›Thinks‹“.

[45] Problematisch ist auch, dass viele Systeme algorithmischer Meinungsbildung und Entscheidungsfindung soziale Ungleichheit reproduzieren, und zwar weil diese schon in den Daten steckt oder in den „klassifikatorischen Dispositiven“ ihrer Verarbeitung. Vgl. Martin, „Ethical Implications and Accountability of Algorithms“; Anja Bechmann / Geoffrey C. Bowker, „Unsupervised by Any Other Name. Hidden Layers of Knowledge Production in Artificial Intelligence on Social Media“, in: Big Data & Society 6 (2019), 1, S. 1–11.

[46] Hirsch-Kreinsen / Karacic (Hg.), Autonome Systeme und Arbeit.

[47] Gudela Grote, „Gestaltungsansätze für das komplementäre Zusammenwirken von Mensch und Technik in Industrie 4.0“, in: Hartmut Hirsch-Kreinsen / Peter Ittermann / Jonathan Niehaus (Hg.), Digitalisierung industrieller Arbeit. Die Vision Industrie 4.0 und ihre sozialen Herausforderungen, Baden-Baden 2018, S. 215–232.

[48] Nassehi, Muster, Kap. 2 und 3.

[49] Elena Esposito, „Artificial Communication. The Production of Contingency by Algorithms“, in: Zeitschrift für Soziologie 46 (2017), 4, S. 249–265.

[50] Haraway, Ein Manifest für Cyborgs, S. 52.

[51] Nassehi, Muster.

[52] Ulrich Beck / Christoph Lau (Hg.), Entgrenzung und Entscheidung, Frankfurt am Main 2004.

[53] Lucy Suchman, „Human/Machine Reconsidered“, in: Cognitive Studies 5 (1998), 1, S. 5–13.

[54] Acatech / Körber-Stiftung (Hg.), TechnikRadar 2018. Was die Deutschen über Technik denken [29.6.2020], München/Hamburg 2018, S. 16.

[55] Constanze Störk-Biber et al., „Wahrnehmung von Technik und Digitalisierung in Deutschland und Europa. Befunde aus dem TechnikRadar“, in: HMD. Praxis der Wirtschaftsinformatik 57 (2020), 1, S. 21–32, hier S. 26 f.

[56] Lukas Klingholz / Andreas Streim, Lieber Künstliche Intelligenz als menschliche Dummheit? [29.06.2020], Bitkom Presseinformation 2018.

[57] Mau, Das metrische Wir, S. 206.

[58] Lash, „Power after Hegemony“; Ulrich Beck, Die Metamorphose der Welt, Berlin 2016.

Dieser Beitrag wurde redaktionell betreut von Martin Bauer.