„Vielen Unternehmen fehlt Sensibilität“

Dass der Einsatz künstlicher Intelligenz zu Diskriminierung führen kann, ist mittlerweile bekannt. Doch was tun Unternehmen dagegen? Nicht genug, wenn es nach Carla Hustedt geht. Sie leitet den Bereich „Digitalisierte Gesellschaft" bei der Stiftung Mercator und fordert strengere Regeln für algorithmische Entscheidungssysteme in sensiblen Bereichen.  

Frau Hustedt, wie gut sind Firmen inzwischen davor gefeit, dass ihre Algorithmen diskriminieren?

Das hängt stark vom konkreten Anwendungsfall ab. Grundsätzlich ist die Aufmerksamkeit für das Problem gestiegen. Doch Gesichtserkennungsoftware krankt weiter daran, dass nicht genug repräsentative Daten verwendet werden. Wird ein KI-System nur mit Bildern weißer Männer trainiert, erkennt es eben Frauen oder Personen mit dunklerer Hautfarbe schlechter oder gar nicht.

Dieses Problem ist seit über 20 Jahren bekannt. Weshalb werden Datensätze nicht erweitert?

Vielen Unternehmen fehlt definitiv die Sensibilität für Diversität. Auf Geschlechtergerechtigkeit wird inzwischen stärker geachtet. Aber intersektionale Ansätze fehlen meist – schwarze Frauen, Menschen mit Behinderung fallen dann beispielsweise komplett durchs Raster. Dazu mangelt es oft an Kompetenz, die Qualität der Trainingsdaten zu verbessern und KI-Systeme nicht nur auf Genauigkeit, sondern auch ganzheitlich auf Vorbehalte zu testen. Auch ein technisch einwandfrei funktionierendes System kann zu Diskriminierung führen, wenn es mit problematischen Zielen eingesetzt wird. Es bräuchte daher mehr Personen, die sowohl ein breites Verständnis von der Technologie haben, als auch vom sozialen Kontext, in dem sie wirkt. Aktuell fallen Fehler oft erst auf, wenn sie bereits passiert sind.

Wären Firmen besser beraten, zuerst ihre analogen Prozesse auf Fairness und Inklusion zu durchleuchten, ehe sie Entscheidungen automatisieren?

Absolut. Gerade beim Recruiting trifft das zu. Wenn algorithmische Systeme anhand von Daten über die Belegschaft trainiert werden, können sie Diskriminierung aus analogen Prozessen reproduzieren. Vor einer Automatisierung muss man sich mit dem Problem, welches gelöst werden soll, nochmal neu auseinandersetzen. Etwa genau definieren, was eine:n gute:n Mitarbeiter:in ausmacht, welche Eigenschaften es braucht und wie man diese bemisst. Das bietet auch die Chance, Prozesse zu reformieren und künftig verstärkt nach Kompetenz, statt unterbewusst nach Geschlecht oder Herkunft einzustellen.

Noch ist in Deutschland gesellschaftlich sensible KI anders als in den USA oder China selten im Einsatz. Wo werden Algorithmen hierzulande künftig über Menschen entscheiden?

Das algorithmische System, mit dem fast alle Deutschen schon in Kontakt gekommen sind, berechnet unsere Schufa-Werte. Viele sind sich nicht bewusst, dass eine Software am Werk ist und es ist nicht öffentlich, wie sie genau funktioniert. Auch das Personal-Recruiting ist ein riesiger Markt, hier sind verstärkt automatisierte Prozesse zu erwarten. Zum Glück setzt die Datenschutz-Grundverordnung (DSGVO) Grenzen für die Nutzung personalisierter Daten, etwa was den Einsatz von Algorithmen in der Justiz betrifft. Mehrere Sicherheitsbehörden nutzen aber bereits Künstliche Intelligenz (KI) beim „Predictive Policing". Das ist erlaubt, da sie lediglich Daten über Orte erfassen, um Einbrüche vorherzusagen.

Sie haben trotzdem Vorbehalte?

Man sollte zumindest im Blick behalten, dass auch solche Systeme Auswirkungen auf gesellschaftliche Gruppen haben können. Wenn Streifen dann häufiger durch bestimmte Viertel fahren – wo etwa viele Menschen mit Migrationshintergrund leben. Eine erhöhte Polizeipräsenz kann dazu führen, dass bestimmte Personengruppen besonders in den Blick der Beamt:innen geraten, was sich zudem auch negativ auf die Atmosphäre im Viertel auswirken kann. Solche Effekte sind bislang kaum untersucht, zugleich ist unklar, wie erfolgreich KI-Systeme Kriminalität überhaupt antizipieren.

Das Landeskriminalamt NRW hat sich beim Einsatz von Predictive Policing wegen solcher Unwägbarkeiten für ein einfacheres KI-System anstelle eines komplexen neuronalen Netzes entschieden. Entscheidungen sollen so besser nachvollziehbar sein.

Das halte ich bei gesellschaftlich relevanten Entscheidungssystemen für sehr sinnvoll. Ich bin sogar dafür, dass Behörden oder Unternehmen dazu verpflichtet werden, vorher zu testen, ob nicht ein einfacheres algorithmisches System für ihre Zwecke genauso gut geeignet wäre, wie ein neuronales Netz. Das dient der Transparenz, da man bei letzterem einfach nicht wissen kann, was ein Algorithmus gelernt hat und weshalb er wie entscheidet.

Sollte man neuronale Netze generell aus bestimmten Bereichen verbannen? IBM hat sich nach Protesten gegen die polizeiliche Nutzung von Gesichtserkennung in den USA komplett von der Technologie verabschiedet.

Das hängt davon ab, wie stark die Grundrechte und unsere Demokratie dadurch bedroht wären und ob man sich einem System als Individuum entziehen kann. Eine Fitness-App mag zwar sensible Informationen absaugen, aber ich muss sie nicht herunterladen. Bei staatlichen Anwendungsbereichen ist das anders, wie bei der Polizei oder wie in Frankreich, wo ein Algorithmus Studierende bestimmten Universitäten zuteilt.

Gibt es Anwendungen in Deutschland, die ihnen Bauchschmerzen bereiten?

Durchaus. Am Bahnhof Südkreuz in Berlin wurde die automatisierte Gesichtserkennung ja bereits getestet. Dabei können wir gar nicht abschätzen, wie unterschiedliche Überwachungssysteme, die im Einzelnen überprüft sein mögen, zusammenwirken und wie sie unsere Freiheitsrechte einschränken werden. Dann gibt es in NRW ein KI-System, das die Suizidrate unter Gefangenen senken soll. Eine Kombination aus KI und Kamerasystem überwacht Gefängnisinsassen also rund um die Uhr und schlägt bei verdächtigen Bewegungen Alarm. Dieser Fall erfordert eine starke Werteabwägung zwischen der körperlichen Versehrtheit und der Freiheit, die bei Insassen ohnehin schon maximal eingeschränkt ist. Solche Werteabwägungen müssen offengelegt und in demokratischen Prozessen diskutiert werden.

Foto: Marzena Skubatz