Wie sich KI von Vorurteilen befreien lässt

Dass Algorithmen diskriminieren können, ist in den vergangenen Jahren immer stärker ins Bewusstsein gerückt. Trotzdem tun sich Entwickler:innen immer noch schwer mit einer Lösung des Problems – das hat aber nicht nur technische, sondern auch gesellschaftliche Gründe.

Kenza Ait Si Abbou ist eine der profiliertesten KI-Expert:innen in Deutschland. Sie ist Managerin für Künstliche Intelligenz und Robotik, wurde mehrfach ausgezeichnet und setzt sich als Autorin und Speakerin für mehr Vielfalt in der Tech-Branche ein. Doch als sie sich 2008 um einen Job in Deutschland bewarb, sortierte ein Recruiting-Programm ihre Bewerbung direkt aus.

Weil Ait Si Abbou damals kein Praktikum in ihrem Lebenslauf aufwies, bewertete ein Computersystem ihre Bewerbung als nicht qualifiziert genug. Obwohl sie schon mehrere Jahre Berufserfahrung mitbrachte. Hätte ein Mensch die Vorauswahl getroffen, hätte er über das fehlende Praktikum womöglich hinweggesehen und die anderen herausragenden Qualifikationen berücksichtigt. Stattdessen filterte das Programm starr nach dem Kriterium „Praktikum”.

Dieser Fall ist nur ein Beispiel dafür, welche Probleme computergestützte Entscheidungen mit sich bringen können. Und macht deutlich, warum Unternehmen die Frage nach ethisch gerechter KI in Zukunft intensiver beschäftigen wird.

In der Branche ist der Bedarf an Orientierung jedenfalls enorm. Denn laut einer Studie des britischen Think Tanks Dotveryone haben 59 Prozent der Entwickler:innen Zweifel über gesellschaftliche Folgen ihrer KI-Anwendungen. Die Befragten befürchten mögliche negative soziale Auswirkungen aufgrund von Anwendungen, die nicht ausreichend getestet wurden oder potenzielle Sicherheitslücken aufweisen. 78 Prozent der Befragten gaben an, sie wünschten sich mehr Zeit, über die Auswirkungen der Technologien nachzudenken. 

Das Wissen um sogenannte „De-Biasing“-Technologien wird aus diesem Grund immer bedeutender. Das Wort „De-Biasing“ selbst ist dabei mehrdeutig: So steht „Bias“ im umgangssprachlichen Gebrauch für „Vorurteil“ oder „Voreingenommenheit“ und bezieht sich auf gesellschaftliche Verhältnisse. Andererseits gibt es den algorithmischen Bias – eine Verzerrung, die durch das technische Design eines KI-Systems entstehen kann. Expert:innen sind sich einig, dass De-Biasing sowohl auf technischer als auch auf gesellschaftlicher Ebene stattfinden muss. 

Es braucht diskriminierungsfreie Daten

Für De-Biasing aus technischer Perspektive ist es Kenza Ait Si Abbou zufolge bedeutend, auf drei Ebenen anzusetzen: Welche Daten bilden die Grundlage? Nach welcher Logik ist das KI-Modell gebaut? Und wie sind die Entwickler:innen-Teams zusammengesetzt? Ein KI-System sei ein Modell, das auf Mathematik und Statistik basiere, sagt Ait Si Abbou. „Es lernt jedoch aus Daten, die wir ihm antrainieren. Das heißt, Diskriminierungen, die daraus entstehen, stammen vom Menschen. Die Daten sind ein Abbild der Gesellschaft. “ 

Daher müssten Menschen dafür sorgen, dass Daten diskriminierungsfrei sind. In der Regel seien zwar Datenwissenschaftler:innen dafür verantwortlich, Daten sorgfältig auszuwählen und eine mögliche Verzerrung zu vermeiden. Potenzielle Diskriminierung innerhalb von Datensätzen zu erkennen, sei jedoch eine neue Fähigkeit, die sie zusätzlich lernen müssten, betont Ait Si Abbou. „Bevor wir ein KI-Modell trainieren, müssen wir für einen ausreichenden und repräsentativen Datensatz sorgen. Denn je diverser der Datensatz, desto besser die Ergebnisse.“

Die Auswahl der Daten auf mögliche Diskriminierung zu filtern, kann jedoch auch Komplikationen mit sich bringen.  Der Sozioinformatiker Tobias Krafft begegnet dem De-Biasing von Datensätzen daher mit Vorsicht. Besonders dann, wenn die KI-Anwendung bereits läuft und die Daten nachträglich geändert werden. Nehme man etwa das Kriterium Geschlecht heraus, schließe das Proxyvariablen, die eng mit dem Geschlecht zusammenhängen, nicht aus. Das kann etwa die Schuhgröße sein oder eine Mitgliedschaft im Fußball-Club, die meist männlich assoziiert sind. „Der neue Datensatz ist immer noch repräsentativ für bisherige Entscheidungen“, betont Krafft, der am Algorithmic Accountability Lab an der TU Kaiserslautern am Lehrstuhl von Katharina Zweig an De-Biasing Technologien forscht. Aufgrund dieser Komplexität wertet Krafft den Ansatz, Datensätze zu de-biasen nur als eine begrenzt erfolgversprechende Methode. 

KI-Expert:innen widmen sich stattdessen verstärkt dem Ansatz, besser nachzuvollziehen, wie KI-Systeme funktionieren— und damit ihre Logik zu de-biasen. Denn welche Mechanismen innerhalb des Entscheidungsprozesses einer KI ablaufen, gilt als Black Box. Um dieses Problem zu lösen, hat sich der Forschungsbereich rund um „explainable AI“ bzw. „interpretable machine learning“ in den vergangenen Jahren herausgebildet. „Es ist wichtig zu verstehen, wie die neuronalen Netze ihre Entscheidungen treffen“, sagt Ait Si Abbou. 

„Neuronale Netze werden mit Daten gefüttert und gewinnen Muster bzw. Erkenntnisse aus den Daten. Sie sind dadurch in der Lage, Feinheiten zu sehen, die wir Menschen nicht sehen“, sagt die Ingenieurin. „Manchmal finden sie aber Korrelationen heraus, die keine Kausalität ergeben.“ Das Ergebnis steht dann nicht im direkten Zusammenhang mit der Ursache. Deutlich wurde dies bei einer KI-Anwendung, die Bilder von Pferden erkennen sollte. Die Performance der Anwendung galt als ausgezeichnet. Doch Wissenschaftler:innen untersuchten die KI im Nachhinein und stellten fest: Alle Bilder mit Pferd stammten von einem einzigen Fotografen und dieser hatte darauf sein Copyright-Zeichen abgebildet. Die KI löste die Aufgabe nicht anhand der gezeigten Tiere, sondern anhand der Korrelation „Copyright-Zeichen“.

Algorithmische Entscheidungen nachvollziehen

Zu dieser Erkenntnis kam eine Studie von Dr. Wojciech Samek, Leiter der Abteilung „Künstliche Intelligenz“ am Fraunhofer Heinrich-Hertz-Institut (HHI), und Klaus-Robert Müller, Professor für Machine Learning an der TU Berlin. Sie entwickelten eine Analysemethode, mit der sie untersuchen konnten, welche Pixel innerhalb eines Bildes für die Entscheidung der KI ausschlaggebend waren — die sogenannte Layer-wise Relevance Propagation (LRP). 

Mit der LRP lässt sich der „Denkprozess“ eines neuronalen Netzes nachverfolgen. Eine Heatmap markiert dabei die Teile des Bildes, auf dessen Grundlage die KI ihre Entscheidung trifft, in dunkler Farbe. Die Wissenschaftler stellten fest, dass stets der Bereich des Copyright-Zeichens markiert war und nicht die abgebildeten Pferde. Die Methode stammt von Saliency Maps, einem Verfahren des computerbasierten Sehens, auch Computer Vision genannt. Die Anwendung von Saliency Maps für Deep Learning-Prozesse ist nur ein Ansatz von vielen, um KI-Systeme erklärbar zu machen.

Andere De-Biasing Methoden kommen aus der Software-Entwicklung. Der Sozioinformatiker Tobias Krafft etwa widmet sich dem Software-Testing von KI-Modellen — eine Methode, mit der die Funktionalität eines Modells überprüft wird. Mit Software-Testverfahren können Informatiker:innen Systemergebnisse miteinander vergleichen und optimieren. Die Idee dahinter: Grundsätzlich kann eine KI immer wieder neu dazu lernen und Fehler verbessern. Mögliche Diskriminierungen können auf diese Weise entdeckt und das Modell angepasst werden. Im Idealfall laufen diese Verfahren noch während der Testphase, also vor dem Einsatz des KI Modells ab. „So kommt die Anwendung mit möglichst wenig Fehlern in der Gesellschaft an“, so Krafft.

Mit der Forschung rund um die Nachvollziehbarkeit von KI wachsen somit die technologischen Möglichkeiten, sie zu de-biasen. Doch für ein erfolgreiches De-Biasing spielt zuletzt auch die Zusammensetzung der Teams im Entwicklungsprozess eine wichtige Rolle. Die Vielfalt der Teams könne ein Kriterium sein, um mehr potenzielle Diskriminierungen zu erkennen, betont Ait Si Abbou. Vielfalt ist jedoch nicht alleine ausschlaggebend. Zentraler ist die Frage, wie sensibilisiert die Teams für Diskriminierung sind: „Menschen, die eine KI entwickeln, müssen trainiert werden und mehr über unconscious bias – unbewusste Vorurteile – lernen“, sagt Ait Si Abbou. Eine Möglichkeit könne es sein, externe Expert:innen mit an Bord zu holen, wie etwa Soziolog:innen.

Die Illusion einer ganz und gar gerechten KI

Weil die Gestaltung einer ethisch gerechten KI so komplex ist, hat die Bertelsmann Stiftung mit dem Projekt Algo.Rules einen Praxisleitfaden entwickelt. Der Leitfaden wurde mit mehr als 400 Expert:innen auf dem Fachgebiet entwickelt. Er richtet sich an Führungskräfte, Datensammler:innen, Programmier:innen oder Software-Designer:innen und soll an verschiedenen Stufen der Entwicklung Hilfestellung bieten. „Mit dem Hype sind viele KI-Anwendungen entwickelt worden, ohne dass die im Prozess Beteiligten die notwendigen Kompetenzen mitgebracht haben“, sagt Lajla Fetic, Co-Autorin der Algo.Rules. 

Die Grundidee der Algo.Rules sei es, „ethics by design“ einzubauen. Das bedeutet: Möglichkeiten zur Reflexion müssen von Anfang an in den Entwicklungsprozess eingebaut werden. „Zum einen müssen Unternehmen, die KI-Anwendungen entwickeln wollen, sich bereits im Vorfeld fragen: Welches Problem soll die KI lösen? Und welche Kompetenzen braucht es?“, sagt Fetic, die von der Non-Profit-Organisation Social Good Fund als eine von 100 Brilliant Women in AI Ethics ausgezeichnet wurde. 

Zum anderen müsse der Prozess selbst transparent gestaltet werden. Dazu gehört es, Verantwortlichkeiten zu definieren, Ziele für den Einsatz der KI festzulegen oder Auswirkungen auf Betroffene zu berücksichtigen. Schließlich sollte auch über die Entwicklung hinaus gedacht werden: Während der Anwendung braucht es etwa Beschwerdestellen für Nutzer:innen oder fortlaufende Optimierung der KI. All diese Prinzipien richten sich vor allen Dingen an KI-Technologien, die sich auf Menschen auswirken.

Trotz aller Maßnahmen und Technologien warnt Fetic jedoch vor der Vorstellung, KI könne ganz diskriminierungsfrei sein. „Die algorithmischen Systeme spiegeln gesellschaftliche Verzerrungen wider, weshalb sie erst dann wirklich diskriminierungsfrei sein können, wenn die Gesellschaft diesen Zustand erreichen würde – ein illusorisches Ziel“, sagt die Sozialwissenschaftlerin. Das Ziel sei daher nicht, KI komplett diskriminierungsfrei zu machen, sondern ethische Reflektionsräume während des Entwicklungsprozesses zu schaffen.

Bilder: Jr Kopa/Unsplash