Deutsch English
  • Deutsch English
  • Tech of Tomorrow
  • Morals & Machines
  • Burn to Learn
  • Think Tanks
  • Über uns
  • 11.06.2021
  • Anna Gauto

„Vielen Unternehmen fehlt Sensibilität“

Carla Hustedt erforscht die gesellschaftlichen Auswirkungen der Digitalisierung. Im Interview erklärt sie, wie die Polizei mit Algorithmen Verbrechen vorbeugen will – und was das bringt.

Dass der Einsatz künstlicher Intelligenz zu Diskriminierung führen kann, ist mittlerweile bekannt. Doch was tun Unternehmen dagegen? Nicht genug, wenn es nach Carla Hustedt geht. Sie leitet den Bereich „Digitalisierte Gesellschaft" bei der Stiftung Mercator und fordert strengere Regeln für algorithmische Entscheidungssysteme in sensiblen Bereichen.  

Frau Hustedt, wie gut sind Firmen inzwischen davor gefeit, dass ihre Algorithmen diskriminieren?

Das hängt stark vom konkreten Anwendungsfall ab. Grundsätzlich ist die Aufmerksamkeit für das Problem gestiegen. Doch Gesichtserkennungsoftware krankt weiter daran, dass nicht genug repräsentative Daten verwendet werden. Wird ein KI-System nur mit Bildern weißer Männer trainiert, erkennt es eben Frauen oder Personen mit dunklerer Hautfarbe schlechter oder gar nicht.

Dieses Problem ist seit über 20 Jahren bekannt. Weshalb werden Datensätze nicht erweitert?

Vielen Unternehmen fehlt definitiv die Sensibilität für Diversität. Auf Geschlechtergerechtigkeit wird inzwischen stärker geachtet. Aber intersektionale Ansätze fehlen meist – schwarze Frauen, Menschen mit Behinderung fallen dann beispielsweise komplett durchs Raster. Dazu mangelt es oft an Kompetenz, die Qualität der Trainingsdaten zu verbessern und KI-Systeme nicht nur auf Genauigkeit, sondern auch ganzheitlich auf Vorbehalte zu testen. Auch ein technisch einwandfrei funktionierendes System kann zu Diskriminierung führen, wenn es mit problematischen Zielen eingesetzt wird. Es bräuchte daher mehr Personen, die sowohl ein breites Verständnis von der Technologie haben, als auch vom sozialen Kontext, in dem sie wirkt. Aktuell fallen Fehler oft erst auf, wenn sie bereits passiert sind.

Wären Firmen besser beraten, zuerst ihre analogen Prozesse auf Fairness und Inklusion zu durchleuchten, ehe sie Entscheidungen automatisieren?

Absolut. Gerade beim Recruiting trifft das zu. Wenn algorithmische Systeme anhand von Daten über die Belegschaft trainiert werden, können sie Diskriminierung aus analogen Prozessen reproduzieren. Vor einer Automatisierung muss man sich mit dem Problem, welches gelöst werden soll, nochmal neu auseinandersetzen. Etwa genau definieren, was eine:n gute:n Mitarbeiter:in ausmacht, welche Eigenschaften es braucht und wie man diese bemisst. Das bietet auch die Chance, Prozesse zu reformieren und künftig verstärkt nach Kompetenz, statt unterbewusst nach Geschlecht oder Herkunft einzustellen.

Noch ist in Deutschland gesellschaftlich sensible KI anders als in den USA oder China selten im Einsatz. Wo werden Algorithmen hierzulande künftig über Menschen entscheiden?

Das algorithmische System, mit dem fast alle Deutschen schon in Kontakt gekommen sind, berechnet unsere Schufa-Werte. Viele sind sich nicht bewusst, dass eine Software am Werk ist und es ist nicht öffentlich, wie sie genau funktioniert. Auch das Personal-Recruiting ist ein riesiger Markt, hier sind verstärkt automatisierte Prozesse zu erwarten. Zum Glück setzt die Datenschutz-Grundverordnung (DSGVO) Grenzen für die Nutzung personalisierter Daten, etwa was den Einsatz von Algorithmen in der Justiz betrifft. Mehrere Sicherheitsbehörden nutzen aber bereits Künstliche Intelligenz (KI) beim „Predictive Policing". Das ist erlaubt, da sie lediglich Daten über Orte erfassen, um Einbrüche vorherzusagen.

Sie haben trotzdem Vorbehalte?

Man sollte zumindest im Blick behalten, dass auch solche Systeme Auswirkungen auf gesellschaftliche Gruppen haben können. Wenn Streifen dann häufiger durch bestimmte Viertel fahren – wo etwa viele Menschen mit Migrationshintergrund leben. Eine erhöhte Polizeipräsenz kann dazu führen, dass bestimmte Personengruppen besonders in den Blick der Beamt:innen geraten, was sich zudem auch negativ auf die Atmosphäre im Viertel auswirken kann. Solche Effekte sind bislang kaum untersucht, zugleich ist unklar, wie erfolgreich KI-Systeme Kriminalität überhaupt antizipieren.

Das Landeskriminalamt NRW hat sich beim Einsatz von Predictive Policing wegen solcher Unwägbarkeiten für ein einfacheres KI-System anstelle eines komplexen neuronalen Netzes entschieden. Entscheidungen sollen so besser nachvollziehbar sein.

Das halte ich bei gesellschaftlich relevanten Entscheidungssystemen für sehr sinnvoll. Ich bin sogar dafür, dass Behörden oder Unternehmen dazu verpflichtet werden, vorher zu testen, ob nicht ein einfacheres algorithmisches System für ihre Zwecke genauso gut geeignet wäre, wie ein neuronales Netz. Das dient der Transparenz, da man bei letzterem einfach nicht wissen kann, was ein Algorithmus gelernt hat und weshalb er wie entscheidet.

Sollte man neuronale Netze generell aus bestimmten Bereichen verbannen? IBM hat sich nach Protesten gegen die polizeiliche Nutzung von Gesichtserkennung in den USA komplett von der Technologie verabschiedet.

Das hängt davon ab, wie stark die Grundrechte und unsere Demokratie dadurch bedroht wären und ob man sich einem System als Individuum entziehen kann. Eine Fitness-App mag zwar sensible Informationen absaugen, aber ich muss sie nicht herunterladen. Bei staatlichen Anwendungsbereichen ist das anders, wie bei der Polizei oder wie in Frankreich, wo ein Algorithmus Studierende bestimmten Universitäten zuteilt.

Gibt es Anwendungen in Deutschland, die ihnen Bauchschmerzen bereiten?

Durchaus. Am Bahnhof Südkreuz in Berlin wurde die automatisierte Gesichtserkennung ja bereits getestet. Dabei können wir gar nicht abschätzen, wie unterschiedliche Überwachungssysteme, die im Einzelnen überprüft sein mögen, zusammenwirken und wie sie unsere Freiheitsrechte einschränken werden. Dann gibt es in NRW ein KI-System, das die Suizidrate unter Gefangenen senken soll. Eine Kombination aus KI und Kamerasystem überwacht Gefängnisinsassen also rund um die Uhr und schlägt bei verdächtigen Bewegungen Alarm. Dieser Fall erfordert eine starke Werteabwägung zwischen der körperlichen Versehrtheit und der Freiheit, die bei Insassen ohnehin schon maximal eingeschränkt ist. Solche Werteabwägungen müssen offengelegt und in demokratischen Prozessen diskutiert werden.

Foto: Marzena Skubatz

Carla Hustedt

Carla Hustedt leitet den Bereich „Digitalisierte Gesellschaft“ bei der Stiftung Mercator. Seit mehreren Jahren forscht sie zu den gesellschaftlichen Auswirkungen der Digitalisierung, bis April 2021 als Leitung des Projekts „Ethik der Algorithmen“ der Bertelsmann Stiftung. 2019 beriet sie die KI-Enquete Kommission des deutschen Bundestages zur Transparenz von algorithmischen Systemen. 

Das könnte dir auch gefallen

  • Kreative Zerstörung
  • 01.09.2022

Digitale Überwachung im Job – Arbeitgeber ersetzen Vertrauen durch Kontrolle

Amerikanische Unternehmen überwachen mithilfe von Software Mitarbeiter. Diese Systeme sind aber nicht nur fehleranfällig, sondern auch kontraproduktiv.

  • Biotech
  • 21.05.2021

Hightech-Salat aus der Diskettenfabrik

Um Gemüse zu ernten, braucht man mittlerweile kein passendes Wetter mehr. Die richtigen Laborbedingungen genügen. Vorreiter beim Hightech-Gemüse sind Unternehmen aus Japan.

  • Big Tech
  • 04.10.2021

Eine Schlangengrube namens Internet

Youtube verstärkt den Kampf gegen impfbezogene Fehlinformationen. Das ist aller Ehren wert, kommt aber sehr spät – und offenbart falsche Beweggründe.

© 2022 ada
Impressum
Datenschutz