4 Wege, wie KI zu Voreingenommenheit am Arbeitsplatz beiträgt
Forscher haben herausgefunden, dass generative KI-Tools systemische rassistische Vorurteile enthalten, die sich auf Berufstätige auswirken.
Es steht außer Frage, dass künstliche Intelligenz (KI) beliebter denn je ist, was zum Teil auf die jüngsten Fortschritte und die Zugänglichkeit generativer KI-Tools zurückzuführen ist.
Es wird Ihnen schwer fallen, in den USA jemanden zu finden, der nicht zumindest von ChatGPT gehört hat, geschweige denn den Dienst seit seiner Einführung im November 2022 in irgendeiner Form genutzt hat. Diese Systeme sind jedoch nur so intelligent wie die von Menschen erstellten Daten, auf denen sie trainiert werden. Das bedeutet, dass diese KI-Tools wie Menschen anfällig für Voreingenommenheit sein können.
Bloomberg hat kürzlich eine Studie über die rassistischen Vorurteile in GPT-3.5 und GPT-4 veröffentlicht. Forscher verwendeten GPT-3.5, um 1.000 Lebensläufe gleich qualifizierter Kandidaten mit unterschiedlichen Namen zu bewerten. Sie fanden heraus, dass GPT-3.5 Personen mit Namen, die traditionell von bestimmten Bevölkerungsgruppen, wie etwa schwarzen Amerikanern, verwendet werden, am Ende der Liste einordnete und dass GPT-4, das OpenAI als weniger voreingenommen beworben hat, ebenfalls klare Präferenzen hatte.
Das British Journal of Radiology veröffentlichte eine separate Studie, aus der hervorgeht, dass KI-Modelle aufgrund historischer Ungleichheiten und Ungleichheiten bei Zugang und Qualität auch von bereits bestehenden Vorurteilen bei Anwendungen im Gesundheitswesen betroffen sind. Diese Faktoren werden verstärkt, wenn KI-Systeme auf Daten trainiert werden, die Ungleichheiten widerspiegeln.
Hier sind vier Möglichkeiten, wie KI zu Voreingenommenheit am Arbeitsplatz beiträgt.
1. Diskriminierung aufgrund des Namens
Der Aufstieg der generativen KI hat sich auf automatisierte Einstellungssysteme ausgewirkt, insbesondere da sich viele Unternehmen dafür begeistern, KI-Tools bei der Personalbeschaffung einzusetzen, um Kosten zu sparen und die Effizienz zu steigern. Es wurde jedoch festgestellt, dass KI-Tools wie ChatGPT offensichtliche Vorurteile auf der Grundlage der Namen von Personen aufweisen.
Die von den Forschern Leon Yin, Davey Alba und Leonardo Nicoletti durchgeführte Bloomberg-Studie ergab acht verschiedene Lebensläufe mit Namen, die eindeutig mit bestimmten Rassen und ethnischen Gruppen in Verbindung gebracht werden. Anschließend verwendeten sie GPT-3.5 - das Large Language Model (LLM), das die kostenlose Stufe von ChatGPT unterstützt -, um diese Lebensläufe nach der Eignung der Kandidaten zu ordnen. GPT-3.5 verstärkte die in der soziologischen Forschung seit langem untersuchte Rassenvoreingenommenheit und begünstigte einige Bevölkerungsgruppen gegenüber anderen „in einem Ausmaß, das die Benchmarks zur Beurteilung der Diskriminierung geschützter Gruppen am Arbeitsplatz nicht erfüllen würde“, heißt es in der Studie.
Die Bloomberg-Forscher führten das Experiment 1.000 Mal mit unterschiedlichen Namen und Kombinationen, aber mit den gleichen Qualifikationen durch. GPT-3.5 bewertete am häufigsten Namen, die sich von asiatischen Amerikanern unterscheiden (32 %), als Top-Kandidaten für eine Position als Finanzanalyst, während schwarze Amerikaner am häufigsten ganz unten rangierten. Kandidaten mit weißen oder hispanisch klingenden Namen wurden am ehesten gleichbehandelt.
2. Inkonsistente Standards bei verschiedenen Jobtypen
Auch wenn alle Lebensläufe die gleichen Qualifikationen für die Stelle als Finanzanalyst enthielten, zeigten die Ergebnisse dennoch die rassistische Voreingenommenheit des LLM. Als das Experiment für drei weitere Stellenausschreibungen wiederholt wurde, nämlich HR Business Partner, Senior Software Engineer und Retail Manager, stellte Bloomberg außerdem fest, dass Geschlecht und Rassenpräferenzen je nach Job unterschiedlich waren.
„GPT stufte Namen, die mit Männern in Verbindung stehen, selten als Top-Kandidaten für HR- und Einzelhandelspositionen ein, zwei Berufe, die historisch gesehen von Frauen dominiert wurden. Im Vergleich zu allen anderen Kategorien war die Wahrscheinlichkeit, dass Namen, die eindeutig hispanische Frauen betreffen, bei GPT als Top-Kandidaten für eine HR-Position fast doppelt so hoch von Lebensläufen mit Namen, die eindeutig auf Männer zugeschnitten sind“, ergab die Studie.
Hier ist ein weiteres Beispiel für KI-Tools, die ab Juli 2023 inkonsistente Standards aufweisen. Rona Wang, eine asiatisch-amerikanische Studentin am MIT, hat ein Selfie auf den Bildgenerator Playground AI hochgeladen und nach „einem professionellen LinkedIn-Profilfoto“ gefragt. Das KI-Tool verwandelte Wangs Foto in ein Bild einer kaukasischen Frau in Wangs MIT-Sweatshirt.
3. Verstärkung historischer gesellschaftlicher Vorurteile
Generative KI-Tools werden häufig verwendet, um Kandidaten zu prüfen und einzustufen, Lebensläufe und Anschreiben zu erstellen und mehrere Dateien gleichzeitig zusammenzufassen. Aber KI-Modelle sind nur so gut wie die Daten, auf denen sie trainiert werden.
GPT-3.5 wurde anhand riesiger Mengen allgemein verfügbarer Online-Informationen geschult, darunter Bücher, Artikel und soziale Medien. Der Zugriff auf diese Online-Daten wird unweigerlich gesellschaftliche Ungleichheiten und historische Vorurteile widerspiegeln, wie die Trainingsdaten zeigen, die das KI-Modell bis zu einem gewissen Grad übernimmt und repliziert.
Niemand, der KI verwendet, sollte davon ausgehen, dass diese Tools von Natur aus objektiv sind, da sie auf großen Datenmengen aus verschiedenen Quellen basieren. Während generative KI-Modelle nützlich sein können, sollten wir das Risiko von Verzerrungen in einem automatisierten Einstellungsprozess nicht unterschätzen - und dass die Realität für Personalvermittler, Personalfachleute und Manager von entscheidender Bedeutung ist.
Im Jahr 2019 stellte eine Studie der Clarkson University fest, dass in Gesichtserkennungstechnologien rassistische Vorurteile vorhanden sind, was zu geringeren Genauigkeitsraten bei dunkelhäutigen Personen führte. Etwas so Einfaches wie die Verwendung von Daten zur demografischen Verteilung in Postleitzahlen, die zum Trainieren von KI-Modellen verwendet werden, kann beispielsweise zu Entscheidungen führen, die Menschen mit einem bestimmten Rassenhintergrund unverhältnismäßig stark betreffen.
4. Mangelnde Transparenz und Rechenschaftspflicht
Auch wenn der Einsatz generativer KI zur Automatisierung von HR-Prozessen durchaus optimistisch ist, bieten diese KI-Tools oft keine Transparenz bei ihren Entscheidungen.
Während einige KI-Unternehmen Haftungsausschlüsse anbieten, die besagen, dass die Ergebnisse ihrer KI-Modelle möglicherweise ungenau sind, nutzen viele Unternehmen diese dennoch, um ihre eigenen Anwendungen zu erstellen. Es ist nicht immer klar, welches Unternehmen für einen Fehler verantwortlich ist.
Als Bloomberg OpenAI mit den Ergebnissen der Studie konfrontierte, sagte das Unternehmen hinter ChatGPT, dass die Ergebnisse der Standardmodelle möglicherweise nicht widerspiegeln, wie Benutzer seine KI-Modelle einsetzen. Laut OpenAI könnten Unternehmen die Namen aus Lebensläufen entfernen, bevor sie sie einem GPT-Modell übergeben.