Auch Algorithmen können diskriminieren

Es wirkt so, als wollte uns jeder nur zu gerne das nervtötende Personalmanagement abnehmen: „No more people problems“, so wirbt Cream HR in Großbritannien mit seinem Outsourcing-Service. Und ein junges Startup begeisterte in der Fernsehsendung „Die Höhle der Löwen“ die Investoren mit dem Versprechen: „Nur noch halb so viele Bewerbungsgespräche führen!“ Die Gründer hatten eine App entwickelt, die sich dank eines spontan geführten Webvideointerviews sofort einen persönlichen Eindruck von den Kandidaten verschafft; wenn das nicht passt, muss man die Person gar nicht erst einladen. Es scheint, als würde jede Form von Leistungsbewertung – sei es bei Bewerbungen, vor Mitarbeitergesprächen oder bei Beförderungen – Firmen vor Probleme stellen. Eine solche Bewertung darf natürlich nicht diskriminierend sein und sollte gleichzeitig weder zu selektiv noch zu undifferenziert vorgenommen werden. Sind die Experten aus unseren Personalabteilungen und die direkten Vorgesetzten dafür wirklich am besten geeignet?

Wenn man sich die Bestseller der vergangenen Jahre von Dan Ariely  bis Daniel Kahnemann  einmal näher ansieht, dann ist wohl klar, dass Menschen vor allen Dingen eins sind: irrationale Wesen mit mangelnder Entscheidungskraft. Könnten es da nicht Computer besser machen? Was hat es auf sich mit diesen Algorithmen, die versprechen, aus großen Datenmengen diejenigen Regeln zu lernen, anhand derer man die erfolgreiche Kandidatin vom Loser trennt oder den aufstrebenden Jungmanager aus einer Reihe von jungen Talenten siebt? Die Algorithmen der künstlichen Intelligenz imitieren das Lernen von Kleinkindern, die versuchen, die Regeln unserer Sprache zu entdecken: Unsere Kinder hören zu, extrahieren daraus Muster, machen Versuche, selbst zu sprechen, und binden das Feedback ihrer Umgebung in ein Update ihrer Regeln ein. Welchen Algorithmus sie dafür verwenden, wissen wir momentan nicht genau. In jedem Fall benötigen sie jede Menge „Datenpunkte“: geduldige Eltern und Großeltern, die mit ihnen in einfachen Sätzen sprechen – dies zeigt ihnen, welche Sätze richtig sind. Spätere Korrekturen der eigenen Sprachversuche verdeutlichen ihnen, welche Sätze noch nicht richtig sind: Sie bekommen ein Feedback zu dem bisher Gelernten. Sie benötigen auch eine Struktur, in der das Gelernte abgespeichert werden kann – das ist ihr Gehirn mit den sich vernetzenden Gehirnzellen.

Die moderne Informatik hat zahlreiche Verfahren entwickelt, die auf diesen vier Aspekten beruhen:

• einer großen Menge an Datenpunkten, zum Beispiel von Bewerbern der vergangenen zehn Jahre,
• einer Information darüber, wer von diesen Personen erfolgreich eingestellt werden konnte  (Die große Datenmenge wird also in zwei Gruppen eingeteilt, in „erfolgreiche Bewerber“ und „nicht erfolgreiche Bewerber“. Diese Information stellt das Feedback dar, das dem System sagt, was falsch und was richtig ist.); 
• auf der darauf aufbauenden Suche des Algorithmus nach Regeln, welche die erfolgreichen von den nicht erfolgreichen Bewerbern trennen helfen (Meistens beruhen diese Regeln auf reinen Korrelationen, wie etwa: „Unter den in der Vergangenheit erfolgreichen Bewerbern waren überdurchschnittlich viele mit einem BWL-Abschluss, die mindestens vier Monate im Ausland waren.“ Solche Regeln besagen natürlich nicht, dass dies notwendige Bedingungen sind, aber dass eben solche Personen später übermäßig häufig erfolgreich eingestellt werden konnten.);
• der Speicherung der Regeln in unterschiedlicher Form: als mathematische Formel, als Entscheidungsbaum oder in den viel diskutierten „neuronalen Netzen“.

Die Chancen künstlicher Intelligenz sind ohne Frage vielfältig. Die vergangenen Jahre haben gezeigt, dass Computer damit drastisch besser wurden in der Übersetzung von einer Sprache in die andere, sie besiegten uns erst im Schach und dann im japanischen Brettspiel Go und werden uns bald das chauffeurlose Fahren in autonom gesteuerten Fahrzeugen erlauben. Sie sind – ganz im Gegensatz zu menschlichen Richtern¹ – nicht von der Tagesform abhängig und verrechnen sich so gut wie nie. Ist das ausreichend, um aus ihnen objektive Robo-Richter zu machen, deren Entscheidungen fehlerfrei sind?

Natürlich nicht. Meine Forschungen an sogenannten Rückfälligkeitsvorhersagealgorithmen aus den USA zeigen, dass es eine ganze Reihe von Dingen zu bedenken gibt. Diese Algorithmen wurden entwickelt, um Menschen aus einer Untersuchungshaft zu entlassen, die kaum ein Risiko zeigen, rückfällig zu werden, oder um knappe Ressourcen nach einer Haftentlassung an diejenigen zu verteilen, die am stärksten rückfallgefährdet sind. Die Algorithmen arbeiten genauso wie die oben erwähnten zur Erkennung von erfolgreichen Bewerbern: Sie nehmen Daten aus den letzten Jahren, die Personen beispielsweise anhand eines umfangreichen Fragebogens charakterisieren und zudem die Information enthalten, ob diese innerhalb der zwei Jahre nach Verurteilung wieder rückfällig geworden sind oder nicht. Die Algorithmen extrahieren daraus Regeln, welche die schon bekannten Kriminellen in eine von zehn Kategorien einteilen, wobei die unteren Kategorien – als Gruppe gesehen – für diejenigen stehen, die selten rückfällig wurden, die mittleren Kategorien für Kriminelle, die ungefähr zur Hälfte wieder kriminell wurden, und die obersten Kategorien für all jene, die eine Rückfallquote bis zu 80 Prozent aufwiesen. Verschiedene NGOs haben sich dafür eingesetzt, dass solche algorithmischen Entscheidungssysteme entwickelt wurden, um eine objektive Behandlung aller Kriminellen nach denselben Maßstäben zu gewährleisten. 

Aber der Stand der Dinge ist, dass sie trotz ihrer vermeintlichen Objektivität auch diskriminierend sein können, wie der gemeinnützige journalistische Thinktank ProPublica zeigte: Die Computer schätzen afroamerikanische Kriminelle nachweislich viel zu oft als „hoch rückfallgefährdet“ ein und weiße Kriminelle viel zu selten. Damit wird die Last der „falschen Verurteilung“ ungleichmäßig auf die verschiedenen Volksgruppen verschoben. Auch wenn die Frage nach der Fairness hoch kompliziert und spannend ist, zeigt sie doch nur eine Facette der Risiken von algorithmischen Entscheidungssystemen: Im Verlauf ihrer Entwicklung muss eine Vielzahl von kritischen Entscheidungen von einer großen Menge unterschiedlicher Entscheider getroffen werden. Diese Verteilung auf viele Schultern in einem noch nicht hinreichend qualitätsgesicherten Prozess kann leicht dazu führen, dass die vom „objektiven“ System getroffenen Entscheidungen suboptimal sind: Aus alten Daten können Diskriminierungen mitgelernt werden, fehlerhafte Daten können zu fehlerhaften Entscheidungsregeln führen, der gewählte Algorithmus und die Art, in der er die Regeln extrahiert, können aus mathematischen Gründen unpassend sein – und nicht zuletzt kann die Verwendung des Algorithmus im betrieblichen Alltag zu ungewollten Nebeneffekten führen. Wer traut sich schon, bei anderslautendem Computerbefehl seiner Intuition zu folgen und eventuelle Fehlentscheidungen zu verantworten, wenn man sich stattdessen bequem hinter Kollege Chip verstecken kann? Es zeigt sich also schnell, dass wir Computer mindestens so sorgfältig ausbilden müssen wie menschliche Entscheider; sie sind keine magischen Wunderwaffen, die eine komplexe Situation in einer einzigen Zahl abbilden können.