Datenversteher gesucht

Das Jobangebot war fast zu gut, um es auszuschlagen. Für Amazon sollte die Neurowissenschaftlerin Vivienne Ming, eine der weltweit profiliertesten Expertinnen zu künstlicher Intelligenz (KI), einen Algorithmus entwickeln, der die Personalauswahl für Softwareentwickler:innen diverser und damit besser machen würde.

Doch Ming lehnte die Stelle als Chefwissenschaftlerin bei Amazon ab, als ihr klar wurde, woraus die Trainingsdaten für das KI-System bestehen würden: den historischen Einstellungspraktiken bei Amazon. Ming hatte bereits für eine Firma Personal-KI entwickelt und wusste, dass die Daten Verzerrungen produzieren würden. „Doch bei Amazon wollte man nicht auf mich hören“, so Ming.

Gefüttert mit den Informationen, wer in seinen ersten Jahren beim Online-Händler eine Beförderung bekommen hatte, sollte der Algorithmus Talente auswählen. Doch 2018 wurde bekannt, dass der Algorithmus weibliche Bewerber verschmähte – und zwar obwohl Programmierer:innen das Geschlecht zwischenzeitlich aus den Bewerbungen getilgt hatten.

Für Ming war das nicht überraschend. „Der Algorithmus hatte bereits gelernt, wen der Konzern überwiegend einstellte und förderte: Männer“. Das System habe dann einen Weg gefunden, auch ohne offensichtliche Geschlechtsmarker Bewerbungen von Frauen zu erkennen und sie auszusortieren. „Dasselbe hätte auch in anderen Techkonzernen passieren können“, so Ming. Denn selbst die teuersten Programmierer:innen von Elite-Unis verhinderten Fehlschlüsse nicht, wenn ihnen das Bewusstsein für „Bias“, für mögliche Vorurteile in Daten fehle.

Expert:innen sind rar

Wenn einem großen Tech-Konzern wie Amazon oder Google so ein Fauxpas unterläuft, wie sieht das erst bei Firmen aus, die nicht annähernd das Know-How für künstlich intelligente Entscheidungssysteme haben? Denen Fachkräfte fehlen, die in der Lage wären, die Qualität von Eingangsdaten einzuschätzen oder sie so zu modellieren, dass keine bösen Überraschungen drohen? Denen überhaupt auffallen würde, wenn ein Algorithmus „gesellschaftlich geschriebene Ungleichheiten reproduziert oder sogar verstärkt“, wie Martina Mara konstatiert, Professorin für Roboterpsychologie am Linz Institute for Technology (LIT).

Zwar wird in Deutschland ethisch bedeutsame KI, also solche mit Schadenspotenzial für einzelne oder die Gesellschaft, in viel geringerem Umfang als in den USA oder China eingesetzt. Im April hat die EU-Kommission verkündet, dass sie KI zur Massenüberwachung und Verhaltenssteuerung mit einigen Ausnahmen untersagen will. Doch auch in Deutschland nutzen Behörden Predictive Policing, um die Wahrscheinlichkeit von Wohnungseinbrüchen vorherzusagen. Überwachen wie bei einem Pilotprojekt in Nordrhein-Westfalen Algorithmen Gefängnisinsassen rund um die Uhr, um Suizide zu verhindern. Bewerten Banken die Bonität von Kund:innen, schätzen Personalabteilungen die Fertigkeiten von Bewerber:innen mit Hilfe von KI ein.

Laut einer Studie der Unternehmensberatung accenture glaubten 2019 91 Prozent der Topmanager:innen in Deutschland, ihre Wachstumsziele nur mit der Nutzung von KI erreichen zu können. Inzwischen interessieren sich auch deutsche Mittelständler verstärkt für die Technologie. Zu den größten Schwierigkeiten für deren Einsatz zählt laut Expert:innen allerdings der Mangel an Fachkräften sowie die Fähigkeit, große Datenmengen zu speichern, zu sammeln, zu bereinigen und zu analysieren. Gerade deutsche Unternehmen kaufen laut Deloitte daher gern KI-Expertise und Anwendungen von extern ein.

Doch wer versteht wirklich, was man sich da ins Haus geholt hat? Auf welche Daten ein Algorithmus zugreift und auf Basis welcher Prämissen er entscheidet? „Bevor wir weiter über Super-KI sprechen, bräuchten wir dringend so etwas wie Datenkurator:innen“, sagt Martina Mara, die aktuell die Wirkung männlicher und weiblicher Stimmen in KI-Assistenzsystemen erforscht. „Das wären Personen, die sich so gut mit Daten und ihrem sozialen Kontext auskennen, dass dunkelhäutige, weibliche oder ältere Menschen nicht mehr von Algorithmen benachteiligt werden.“

KI hat ein Transparenzproblem

Wie es aber um die Datenkompetenz im Arbeitsalltag bestellt ist, erlebt Aljoscha Burchardt, Senior Researcher am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), wenn er KI-Projekte in Organisationen und bei Forschungsprojekten begleitet. Bei Filterkaffee und Konferenzkeksen blickt er in die erwartungsvollen Gesichter von Verantwortlichen, die glaubten, „KI würde alle Probleme auf Knopfdruck lösen“.

Wenn er frage, was die eingesetzte KI genau und auf welche Weise bewältigen solle, welche Daten zur Verfügung stünden, welche Schnittstellen existierten, werde aus Begeisterung schnell Ernüchterung. Weitere Treffen führten dann „durchs Tal der Tränen“, da der gewissenhafte Einsatz von KI viel schwerer sei als angenommen. „Am Ende wird oft klar, dass die aktuell gehypten neuronalen Netze gar nicht benötigt werden, da ohnehin ausreichend brauchbare Daten fehlen.“ Auf Basis gewaltiger Datenmengen und Deep Learning entsperren neuronale Netze etwa Smartphones per Gesichtserkennung oder sichten Tumore in medizinischen Aufnahmen.

Bei aller Leistungsfähigkeit hat dieses KI-Verfahren aber ein Transparenzproblem. Das betont auch Tobias Krafft, Geschäftsführer von „Trusted AI“, einem Unternehmen, das Firmen zum Einsatz und Risikopotenzial von KI berät. „Selbst wenn der Code offen wäre, kann kein Informatiker der Welt aktuell erklären, was in einem neuronalen Netz wirklich vorgeht“. Und es folglich auch kaum reparieren, wenn es mit verzerrten Daten trainiert wurde, so Krafft. Auch den Amazon-Programmierer:innen blieb nichts übrig, als ihren frauenfeindlichen Algorithmus einzumotten.

Um folgenreiche Fehlentscheidungen zu verhindern, empfiehlt Krafft genau wie Burchardt, wann immer möglich „einfachere und im Problemfall nachvollziehbarere digitale Prozesse“ einzusetzen. Schon allein, weil oft das Personal für eine fachkundige Risikoeinschätzung fehle. Manchmal reiche auch eine Datenbank oder „simplere aber sehr gute Wenn-Dann-Systeme“, so Burchardt.

Viele Unternehmen versprechen bessere Entscheidungen und fairere Auswahlprozesse dank künstlicher Intelligenz. Im ada-Podcast diskutieren Miriam Meckel und Milena Merten, ob das Potenzial von KI überschätzt wird.

Unternehmen müssen aus Fehlern der Vergangenheit lernen

Wer ein KI-System selbst entwickeln möchte, so Burchardt, sollte sich zuerst kritisch mit seinen Beweggründen auseinandersetzen. „Ein schlechter analoger Prozess wird durch Automatisierung nicht besser“, so Burchardt. „Und dann heißt es testen, testen, testen“.

Doch genau das ist leichter gesagt als getan – und sicher nicht im Sprint zu haben. Denn dafür braucht es die Beteiligung der Führungskräfte und eine Selbstreflexion, die die DNA einer Firma berührt.

Ethische Probleme will kein Vorstand, aber trotzdem gern schnell Lösungen. Wer es sich leisten kann, und hier geht es meist um Dax-Konzerne und große öffentliche Auftraggeber, sitzt dann Matthias Bracht gegenüber, Senior Managing Consultant bei IBM. Er kennt sich nicht nur mit Korrelationen und Kausalitäten aus, er muss die Firmen auch an ihre Schmerzpunkte heranführen. „Was wir mit Verantwortlichen diskutieren, reicht weit in die Unternehmenskultur“, so der studierte Informatiker. Es könne schon mal „eine unangenehme Phase geben, wenn man analysiert, was in der Vergangenheit womöglich nicht so fair gelaufen ist“. Die Fragen und ethischen Grundprinzipien, an denen er sich orientiert, hat das KI-Ethikboard von IBM für Bracht und seine Kolleg:innen vorgegeben.

Bracht berät Firmen aber nicht nur zu künftigen KI-Lösungen. Er hilft ihnen auch zu verstehen, was eine KI bislang eigentlich gelernt hat. Wie sie funktioniert und wo Gefahren lauern. Auch laut Bracht sind Erfahrungen mit Verfahren Künstlicher Intelligenz nur „unterschiedlich weit verbreitet“.

IBM hat aus der Sorge, was die Büchse der Pandora hervorbringen könnte, sogar ein Geschäftsmodell gemacht. „Watson OpenScale“ ist ein KI-System, das andere KI-Systeme „monitoren und „de-biasen“ soll. Es macht sichtbar, welche Eingabeindikatoren Entscheidungen wie stark beeinflussen. Bracht unterstützt seinen Kund:innen dann, Entscheidungen oder zugehörige KI-Verfahren und deren Datengrundlage „wo nötig zu optimieren“. Oder er bietet ihnen eine passende Lösung von IBM an.

Bracht empfiehlt Unternehmen, sich „möglichst früh“ mit Fairnessfragen und Transparenz zu befassen. Das biete durchaus Chancen: „Wer KI will, muss Entscheidungen nachvollziehbar machen. Das zwingt uns, auch unangenehme Historien zu sehen und aus Fehlern der Vergangenheit zu lernen“, so Bracht.

Und was ist von De-biasing-Technologien zu halten?

Für Krafft von Trusted AI sind sie durchaus „hilfreiche Werkzeuge“. Solange sie nicht dazu verführten, die Verantwortung an die nächste Maschine abzugeben, die man nicht richtig verstehe. Noch fehlt ein staatlicher Ordnungsrahmen oder ausreichend Kontrollbehörden, die das gesellschaftliche Schadenspotenzial von Algorithmen überprüfen könnten.

Berufsbild: Datenkurator

Um die Qualität und die negativen Effekte eines KI-Systems abzuschätzen, brauche es neben Statistik-Kenntnissen daher Sensibilität für Diskriminierungseffekte, so Krafft. Das Wissen, dass Verzerrungen schon durch fehlende Repräsentation entstehen können. Eine Software ohne entsprechende Trainingsdaten wird dann die Gesichter von Asiat:innen nicht erkennen. Genau so wenig wie ein Sprachsystem Dialekte oder Stotter:innen.

Wer sich nicht an eine externe Firma binden und darauf vertrauen will, dass ihre Berater:innen und Algorithmen schon das Richtige tun werden, für den plant Trusted AI eine Weiterbildung zum „KI-Botschafter“. Sie soll Mitarbeiter:innen hausintern ermächtigen, Daten besser zu interpretieren und mögliche Verzerrungen darin zu finden.

Ähnlich wie in dem von Trusted-AI-Mitgründerin Katharina Zweig gestalteten Studiengang Sozioinformatik an der TU Kaiserslautern sollen Kursteilnehmer:innen auch hier die ethischen und sozialen Zusammenhänge kennenlernen, in denen Algorithmen wirken. Gibt es dafür nicht schon Datenwissenschaftler:innen? Das sei nur bedingt der Fall, glaubt Krafft. Curricula seien unterschiedlich lang und gut, somit auch wenig vergleichbar. Außerdem fehle ihnen oft das systemische Wissen, der Blick für das große Ganze. Ob Datenkurator oder KI-Botschafter: „Noch gibt es kein Berufsbild für diesen anspruchsvollen Job. Dabei ist der Bedarf gewaltig.“