Vermeidung sozialer Diskriminierung beim Modellbau

Ich habe Fragen, die vom jüngsten Rekrutierungsskandal bei Amazon inspiriert wurden, bei dem ihnen die Diskriminierung von Frauen in ihrem Rekrutierungsprozess vorgeworfen wurde. Mehr Infos hier :

Die Spezialisten für maschinelles Lernen von Amazon.com Inc haben ein großes Problem aufgedeckt: Ihre neue Rekrutierungs-Engine mochte keine Frauen.
Das Team hatte seit 2014 Computerprogramme baut auf Überprüfung Bewerber fortgesetzt mit dem Ziel , für Top - Talente die Suche nach Mechanisierung ...
... Die experimentellen Unternehmen Einstellung Werkzeug verwendete künstliche Intelligenz Job Kandidaten Noten von eins bis fünf Sterne bis hin zu geben , ...
... Bis 2015 stellte das Unternehmen jedoch fest, dass sein neues System keine Kandidaten für Softwareentwicklerjobs und andere technische Stellen geschlechtsneutral bewertet.
Dies liegt daran, dass die Computermodelle von Amazon darauf trainiert wurden, Bewerber zu überprüfen, indem Muster in Lebensläufen beobachtet wurden, die dem Unternehmen über einen Zeitraum von 10 Jahren vorgelegt wurden. Die meisten kamen von Männern, ein Spiegelbild der männlichen Dominanz in der Technologiebranche. (Eine Grafik zu geschlechtsspezifischen Aufschlüsselungen in der Technik finden Sie hier :) Tatsächlich hat sich das Amazon-System selbst beigebracht, dass männliche Kandidaten vorzuziehen sind. Es bestrafte Lebensläufe, die das Wort "Frauen" enthielten, wie im "Kapitän des Frauenschachclubs". Und es stufte Absolventen von zwei Frauenhochschulen herab, so die mit der Angelegenheit vertrauten Personen. Sie gaben nicht die Namen der Schulen an.
Amazon hat die Programme so bearbeitet, dass sie für diese speziellen Begriffe neutral sind. Dies sei jedoch keine Garantie dafür, dass die Maschinen keine anderen Methoden zur Sortierung von Kandidaten entwickeln würden, die sich als diskriminierend erweisen könnten.
Das Unternehmen in Seattle löste das Team schließlich Anfang letzten Jahres auf, weil Führungskräfte die Hoffnung auf das Projekt verloren hatten.
Das Experiment des Unternehmens bietet eine Fallstudie zu den Grenzen des maschinellen Lernens.
... Informatiker wie Nihar Shah, der an der Carnegie Mellon University maschinelles Lernen unterrichtet, sagen, dass noch viel zu tun ist.
"Wie man sicherstellt, dass der Algorithmus fair ist, wie man sicherstellt, dass der Algorithmus wirklich interpretierbar und erklärbar ist - das ist noch ziemlich weit weg", sagte er.

MASCULINE LANGUAGE
[Amazon] hat ein Team im Engineering-Hub von Amazon in Edinburgh gegründet, das auf rund ein Dutzend Mitarbeiter angewachsen ist. Ihr Ziel war es, eine KI zu entwickeln, die das Web schnell durchsuchen und Kandidaten finden kann, die es wert sind, rekrutiert zu werden, sagten die mit der Angelegenheit vertrauten Personen.
Die Gruppe erstellte 500 Computermodelle, die sich auf bestimmte Aufgaben und Standorte konzentrierten. Sie lehrten jeweils, etwa 50.000 Begriffe zu erkennen, die in den Lebensläufen früherer Kandidaten auftauchten. Die Algorithmen lernten, Fähigkeiten, die bei IT-Bewerbern üblich waren, wenig Bedeutung zuzuweisen, wie z. B. die Fähigkeit, verschiedene Computercodes zu schreiben.
Stattdessen bevorzugte die Technologie Kandidaten, die sich selbst mit Verben beschrieben, die häufiger in Lebensläufen männlicher Ingenieure zu finden sind, wie z "hingerichtet" und "gefangen genommen", sagte eine Person.

Angenommen, ich möchte ein statistisches Modell erstellen, um einige Ergebnisse aus persönlichen Daten vorherzusagen, z. B. ein Fünf-Sterne-Ranking, um die Rekrutierung neuer Mitarbeiter zu unterstützen. Angenommen, ich möchte auch Diskriminierung aufgrund des Geschlechts als ethische Einschränkung vermeiden. Bei zwei streng gleichen Profilen, abgesehen vom Geschlecht, sollte die Ausgabe des Modells gleich sein.

1. Sollte ich das Geschlecht (oder damit korrelierte Daten) als Eingabe verwenden und versuchen, deren Auswirkungen zu korrigieren, oder diese Daten nicht verwenden?

2. Wie überprüfe ich das Fehlen einer Diskriminierung des Geschlechts?

3. Wie korrigiere ich mein Modell für Daten, die statistisch diskriminierend sind, aber aus ethischen Gründen nicht sein sollen?

Dieses Papier bietet einen hervorragenden Überblick über die Navigation zwischen den Geschlechtern, insbesondere in sprachbasierten Modellen: Mann ist für Computerprogrammierer wie Frau für Hausfrau? Debiasing Word Embeddings - Bolukbasi et. al. . Eine schöne Blog-Zusammenfassung finden Sie hier:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Ein größeres Kompendium an Ressourcen finden Sie hier:

https://developers.google.com/machine-learning/fairness-overview/

In den obigen Links finden Sie eine Reihe von Techniken, um die Vorurteile der Geschlechter zu verringern. Im Allgemeinen fallen sie in drei Klassen:

1) Unter- / Überabtastung Ihrer Daten. Dies ist dazu gedacht, hochwertige weibliche Lebensläufe zu über- und unter männliche Lebensläufe zu überproben.

2) Subtrahieren des "Gender-Unterraums". Wenn Ihr Modell geschlechtsspezifisch ist, können Sie dies anhand Ihrer Lebenslauf-Einbettungen demonstrieren, um das Geschlecht direkt vorherzusagen. Nachdem Sie ein solches Hilfsmodell erstellt haben (selbst wenn Sie nur allgemeine Begriffe eines Geschlechts ausgewählt und dann PCA angewendet haben), können Sie diese Dimension tatsächlich vom Modell abziehen und den Lebenslauf so normalisieren, dass er geschlechtsneutral ist. Dies ist die Haupttechnik, die in Bolukbasis Artikel verwendet wird.

3) Widersprüchliches Lernen. In diesem Fall versuchen Sie, zusätzliche Daten zu generieren, indem Sie versuchen, mehr Versionen hochwertiger weiblicher Lebensläufe zu generieren, die ansonsten nicht von echten Lebensläufen zu unterscheiden sind.

Dies ist keine Antwort auf Ihre Frage, sondern nur ein paar Gedanken, die zu lang sind, um in einen Kommentar zu passen.

Ich denke, ein Problem, das wir berücksichtigen müssen, wenn wir über diese Probleme nachdenken, ist, dass jedes Modell diskriminiert und dies auf der Grundlage einer in den Daten vorhandenen Assoziation geschieht . Das ist wohl der ganze Zweck eines Vorhersagemodells. Zum Beispiel begehen Männer mit größerer Wahrscheinlichkeit Straftaten als Frauen, sodass fast jedes Modell, das Zugang zu diesen Informationen hat, einen solchen Schluss ziehen kann.

Das bedeutet aber nicht, dass wir jemanden teilweise aufgrund des Geschlechts verurteilen sollten, auch wenn ein Mann im Allgemeinen eher ein Verbrechen begangen hat (andere Dinge sind gleich). Vielmehr sollten wir bei solchen Entscheidungen direkte Beweise für ein Verbrechen verlangen und keine Informationen über bloße Assoziationen. Als weiteres Beispiel: Haben Menschen, die häufiger krank werden, es wirklich verdient , höhere Versicherungsprämien zu zahlen?

Wenn es um Diskriminierung geht, würde ich argumentieren, dass sich das Thema mehr mit ethischer Anwendung befasst , als dass Modelle selbst unfair sind. Wenn wir uns Sorgen machen, Diskriminierung oder andere unfaire Ergebnisse bei der Verwendung eines Modells in einer bestimmten Situation aufrechtzuerhalten, sollten wir möglicherweise kein Modell verwenden.

Ich habe an einem Projekt gearbeitet, um Best Practices für das Software-Management zu entwickeln. Ich habe ungefähr fünfzig Software-Teams vor Ort beobachtet. Unsere Stichprobe war ungefähr 77, aber am Ende sahen wir ungefähr hundert Teams. Wir haben nicht nur Daten zu Zertifizierungen, Abschlüssen usw. gesammelt, sondern auch verschiedene psychologische und demografische Daten.

Softwareentwicklungsteams haben einige sehr signifikante Selbstauswahleffekte, die zwar nichts mit dem Geschlecht zu tun haben, aber stark mit dem Geschlecht korrelieren. Manager neigen auch dazu, sich selbst zu replizieren. Die Leute stellen Leute ein, mit denen sie sich wohl fühlen, und sie fühlen sich am wohlsten mit sich selbst. Es gibt auch Hinweise darauf, dass Menschen kognitiv voreingenommen bewertet werden. Stellen Sie sich vor, dass ich als Manager die schnelle Ankunft zu Beginn der Arbeit sehr schätze. Ich werde das dann bewerten. Ein anderer Manager, der sich nur darum kümmert, dass die Arbeit erledigt wird, bewertet möglicherweise etwas ganz anderes als wichtig.

Sie haben festgestellt, dass Männer die Sprache unterschiedlich verwenden, aber es stimmt auch, dass Menschen mit unterschiedlichen Persönlichkeiten die Sprache auf unterschiedliche Weise verwenden. Es kann auch Unterschiede im ethnischen Sprachgebrauch geben, siehe zum Beispiel die aktuelle Kontroverse bei Harvard und asiatischen Zulassungen.

Nun gehen Sie davon aus, dass die Softwarefirmen Frauen diskriminieren, aber es gibt eine andere Form der Diskriminierung aufgrund des Geschlechts in der Softwareentwicklungsbranche, die Sie nicht berücksichtigt haben. Wenn Sie objektive Dinge wie Zertifizierungen, Abschlüsse, Amtszeiten usw. kontrollieren, verdient die durchschnittliche Frau 40% mehr als der durchschnittliche Mann. Es gibt weltweit drei Ursachen für Diskriminierung am Arbeitsplatz.

Das erste ist, dass Manager oder Eigentümer aufgrund einer bestimmten Funktion niemanden einstellen möchten. Das zweite ist, dass Mitarbeiter nicht mit den Personen mit dieser Funktion arbeiten möchten. Das dritte ist, dass Kunden keine Personen mit einer Funktion wünschen. Es scheint, dass die Lohndiskriminierung von Kunden ausgelöst wird, weil das Arbeitsprodukt anders und aus Sicht der Kunden auch besser ist. Das gleiche Merkmal führt dazu, dass männliche Zahnarzthelfer weniger verdienen als Frauen. Es zeigt sich auch in einer Tendenz, bei den Weltfußballlöhnen „hier geboren“ zu sein.

Die beste Kontrolle hierfür besteht darin, Ihre Daten und die beteiligten sozialen Kräfte zu verstehen. Jedes Unternehmen, das seine eigenen Daten verwendet, neigt dazu, sich selbst zu replizieren. Das mag eine sehr gute Sache sein, aber es könnte sie auch blind machen für Kräfte bei der Arbeit. Die zweite Kontrolle besteht darin, Ihre Zielfunktion zu verstehen. Gewinne können eine gute Funktion sein, aber es kann eine schlechte Funktion sein. Bei der Auswahl einer objektiven Verlustfunktion spielen Werte eine Rolle. Schließlich geht es darum, die Daten anhand der demografischen Daten zu testen, um festzustellen, ob eine unglückliche Diskriminierung vorliegt.

Schließlich, und dies ist ein größeres Problem in Dingen wie KI, in denen Sie keine guten interpretativen Statistiken erhalten können, möchten Sie das Paradoxon von Yule kontrollieren. Das klassische historische Beispiel ist die Entdeckung, dass 44% der Männer an der UC Berkley aufgenommen wurden, während 1973 nur 35% der Frauen aufgenommen wurden. Dies war ein großer Unterschied und statistisch signifikant. Es war auch irreführend.

Dies war offensichtlich skandalös, und so beschloss die Universität, sich die beleidigenden Majors anzusehen. Nun, es stellte sich heraus, dass bei der Kontrolle des Hauptfachs eine statistisch signifikante Tendenz zugunsten der Aufnahme von Frauen bestand. Von den fünfundachtzig Majors waren sechs auf Frauen und vier auf Männer ausgerichtet, der Rest war nicht signifikant. Der Unterschied bestand darin, dass Frauen sich überproportional für die wettbewerbsfähigsten Majors bewarben und so wenige von beiden Geschlechtern eintraten. Männer bewarben sich eher für weniger wettbewerbsfähige Majors.

Das Hinzufügen von Yules Paradoxon schafft eine noch tiefere Ebene für Diskriminierung. Stellen Sie sich vor, anstelle eines Gender-Tests gab es einen Gender-Test nach Art des Jobs. Sie könnten möglicherweise einen unternehmensweiten geschlechtsneutralen Test bestehen, aber auf Aufgabenebene scheitern. Stellen Sie sich vor, nur Frauen wurden für V & V und nur Männer für die Systemadministration rekrutiert. Sie würden geschlechtsneutral aussehen und Sie würden es nicht sein.

Eine mögliche Lösung hierfür besteht darin, wettbewerbsfähige AIs zu betreiben, die unterschiedliche objektive Kriterien für „Güte“ verwenden. Ziel ist es, das Netz zu verbreitern, nicht zu verengen. Dies kann auch dazu beitragen, ein weiteres Problem in der Managementliteratur zu vermeiden. Während 3% der Männer Soziopathen sind, steigt diese Zahl erheblich, wenn Sie die Karriereleiter immer weiter nach oben gehen. Sie möchten nicht nach Soziopathen filtern.

Schließlich möchten Sie möglicherweise nicht in Betracht ziehen, AI für bestimmte Arten von Positionen zu verwenden. Ich bin gerade auf Jobsuche. Ich bin mir auch sicher, dass ich herausgefiltert werde, und ich habe nicht herausgefunden, wie ich es umgehen soll. Ich sitze auf einer sehr störenden neuen Technologie. Das Problem ist, dass meine Arbeit nicht mit den Zauberwörtern übereinstimmt. Stattdessen habe ich die nächsten magischen Wörter. Im Moment bin ich ein Vermögen für die richtige Firma wert, aber in einem Fall, in dem ich mich beworben habe, habe ich in weniger als einer Minute einen automatisierten Rückgang erhalten. Ich habe einen Freund, der als CIO von Bundesbehörden gedient hat. Er bewarb sich um eine Stelle, bei der der Personalchef darauf wartete, dass seine Bewerbung einging, damit ihm die Stelle so gut wie angeboten werden konnte. Es kam nie durch, weil die Filter es blockierten.

Dies schafft das zweite Problem der KI. Wenn ich anhand von Online-Lebensläufen herausfinden kann, wen Amazon anstellt, kann ich meinen Lebenslauf mit einem Zauberwort versehen. In der Tat arbeite ich gerade an meinem Lebenslauf, damit er für nicht-menschliche Filter geeignet ist. Ich kann auch anhand der E-Mails von Personalvermittlern erkennen, dass einige Teile meines Lebenslaufs vergrößert und andere Teile ignoriert werden. Es ist, als ob der Rekrutierungs- und Einstellungsprozess von Software wie Prolog übernommen wurde. Logische Einschränkungen erfüllt? Ja! Dies ist der optimale Kandidat oder eine optimale Gruppe von Kandidaten. Sind sie optimal?

Es gibt keine vorgefertigte Antwort auf Ihre Frage, sondern nur Probleme, die Sie lösen müssen.

Um ein solches Modell zu erstellen, ist es wichtig, zunächst einige grundlegende statistische Aspekte der Diskriminierung und der Prozessergebnisse zu verstehen. Dies erfordert das Verständnis statistischer Prozesse, die Objekte anhand von Merkmalen bewerten. Insbesondere muss die Beziehung zwischen der Verwendung eines Merkmals für Entscheidungszwecke (dh Diskriminierung) und der Bewertung der Prozessergebnisse in Bezug auf dieses Merkmal verstanden werden. Wir beginnen mit der Feststellung von Folgendem:

• Diskriminierung (im eigentlichen Sinne) tritt auf, wenn eine Variable im Entscheidungsprozess verwendet wird, nicht nur, wenn das Ergebnis mit dieser Variablen korreliert. Formal unterscheiden wir in Bezug auf eine Variable, ob die Entscheidungsfunktion im Prozess (dh die Bewertung in diesem Fall) eine Funktion dieser Variablen ist.

• Ergebnisunterschiede in Bezug auf eine bestimmte Variable treten häufig auf, selbst wenn diese Variable nicht diskriminiert wird . Dies tritt auf, wenn andere Merkmale in der Entscheidungsfunktion mit der ausgeschlossenen Variablen korreliert sind. In Fällen, in denen die ausgeschlossene Variable eine demografische Variable ist (z. B. Geschlecht, Rasse, Alter usw.), ist die Korrelation mit anderen Merkmalen allgegenwärtig, sodass Unterschiede im Ergebnis zwischen den demografischen Gruppen zu erwarten sind.

• Es ist möglich zu versuchen, die Unterschiede in den Ergebnissen zwischen den Bevölkerungsgruppen durch positive Maßnahmen zu verringern, was eine Form der Diskriminierung darstellt. Wenn es Unterschiede in den Prozessergebnissen in Bezug auf eine Variable gibt, ist es möglich, diese Unterschiede zu verringern, indem die Variable als Entscheidungsvariable verwendet wird (dh indem diese Variable diskriminiert wird), so dass Gruppen bevorzugt werden, die "unterrepräsentiert" sind. (dh Gruppen mit einem geringeren Anteil positiver Ergebnisse im Entscheidungsprozess).

• Sie können es nicht in beide Richtungen haben - entweder möchten Sie eine Diskriminierung in Bezug auf ein bestimmtes Merkmal vermeiden oder Sie möchten die Prozessergebnisse in Bezug auf dieses Merkmal ausgleichen. Wenn Ihr Ziel darin besteht, Unterschiede in den Ergebnissen in Bezug auf ein bestimmtes Merkmal zu "korrigieren", machen Sie sich keine Gedanken darüber, was Sie tun - Sie üben Diskriminierung aus, um positive Maßnahmen zu ergreifen .

Sobald Sie diese grundlegenden Aspekte statistischer Entscheidungsprozesse verstanden haben, können Sie formulieren, was Ihr eigentliches Ziel in diesem Fall ist. Insbesondere müssen Sie entscheiden, ob Sie einen nichtdiskriminierenden Prozess wünschen, der wahrscheinlich zu unterschiedlichen Ergebnissen zwischen den Gruppen führt, oder ob Sie einen diskriminierenden Prozess wünschen, der gleiche Prozessergebnisse liefert (oder etwas in der Nähe davon). Ethisch gesehen ahmt dieses Thema die Debatte über Nichtdiskriminierung und positive Maßnahmen nach.

Angenommen, ich möchte ein statistisches Modell erstellen, um einige Ergebnisse aus persönlichen Daten vorherzusagen, z. B. ein Fünf-Sterne-Ranking, um die Rekrutierung neuer Mitarbeiter zu unterstützen. Angenommen, ich möchte auch Diskriminierung aufgrund des Geschlechts als ethische Einschränkung vermeiden. Bei zwei streng gleichen Profilen, abgesehen vom Geschlecht, sollte die Ausgabe des Modells gleich sein.

Es ist einfach sicherzustellen, dass die vom Modell angegebenen Bewertungen nicht von einer Variablen beeinflusst werden, die Sie ausschließen möchten (z. B. Geschlecht). Dazu müssen Sie lediglich diese Variable als Prädiktor im Modell entfernen, damit sie nicht in der Ratingentscheidung verwendet wird. Dadurch wird sichergestellt, dass zwei Profile, die abgesehen von dieser Variablen streng gleich sind, gleich behandelt werden. Es wird jedoch nicht unbedingt sichergestellt, dass das Modell nicht aufgrund einer anderen Variablen diskriminiert, die mit der ausgeschlossenen Variablen korreliert, und es wird im Allgemeinen nicht zu Ergebnissen führen, die zwischen den Geschlechtern gleich sind. Dies liegt daran, dass das Geschlecht mit vielen anderen Merkmalen korreliert, die als prädiktive Variablen in Ihrem Modell verwendet werden können. Daher würden wir im Allgemeinen erwarten, dass die Ergebnisse auch ohne Diskriminierung ungleich sind.

In Bezug auf dieses Problem ist es nützlich, zwischen Merkmalen, die inhärente Geschlechtsmerkmale sind (z. B. Pissen im Stehen), und Merkmalen, die lediglich mit dem Geschlecht korrelieren (z. B. einen Ingenieurabschluss haben) , abzugrenzen . Wenn Sie Diskriminierung aufgrund des Geschlechts vermeiden möchten, müssen Sie in der Regel das Geschlecht als Prädiktor entfernen und alle anderen Merkmale entfernen, die Sie als inhärentes Geschlechtsmerkmal betrachten. Wenn zum Beispiel Bewerber angeben, ob sie im Stehen oder im Sitzen pinkeln, ist dies ein Merkmal, das nicht unbedingt dem Geschlecht entspricht, aber eine Option bestimmt effektiv das Geschlecht, sodass Sie dieses Merkmal wahrscheinlich entfernen würden als Prädiktor im Modell.

1. Sollte ich das Geschlecht (oder damit korrelierte Daten) als Eingabe verwenden und versuchen, deren Auswirkungen zu korrigieren, oder diese Daten nicht verwenden?

Was genau korrigieren? Wenn Sie "ihre Wirkung korrigieren" sagen, gehe ich davon aus, dass Sie damit meinen, Unterschiede in den Ergebnissen zu "korrigieren", die durch geschlechtsspezifische Prädiktoren verursacht werden. Wenn dies der Fall ist und Sie das Geschlecht verwenden, um zu versuchen, eine Ergebnisungleichheit zu korrigieren, dann ergreifen Sie effektiv positive Maßnahmen - dh Sie programmieren Ihr Modell so, dass eine positive Diskriminierung des Geschlechts erfolgt, um die Ergebnisse näher zusammenzubringen . Ob Sie dies tun möchten, hängt von Ihrem ethischen Ziel im Modell ab (Vermeidung von Diskriminierung oder Erzielung gleicher Ergebnisse).

2. Wie überprüfe ich das Fehlen einer Diskriminierung des Geschlechts?

Wenn Sie von tatsächlicher Diskriminierung sprechen, im Gegensatz zu bloßen Ergebnisunterschieden, ist dies leicht einzuschränken und zu überprüfen. Alles, was Sie tun müssen, ist, Ihr Modell so zu formulieren, dass es das Geschlecht (und die inhärenten Geschlechtsmerkmale) nicht als Prädiktoren verwendet. Computer können keine Entscheidungen auf der Grundlage von Merkmalen treffen, die Sie nicht in ihr Modell eingeben. Wenn Sie also die Kontrolle darüber haben, sollte es recht einfach sein, das Fehlen von Diskriminierung zu überprüfen.

Etwas schwieriger wird es, wenn Sie Modelle für maschinelles Lernen verwenden, die versuchen, die relevanten Merkmale selbst ohne Ihre Eingabe herauszufinden. Selbst in diesem Fall sollte es Ihnen möglich sein, Ihr Modell so zu programmieren, dass Prädiktoren, die Sie entfernen möchten (z. B. Geschlecht), ausgeschlossen werden.

3. Wie korrigiere ich mein Modell für Daten, die statistisch diskriminierend sind, aber aus ethischen Gründen nicht sein sollen?

Wenn Sie sich auf "statistisch diskriminante" Daten beziehen, gehe ich davon aus, dass Sie nur Merkmale meinen, die mit dem Geschlecht korrelieren. Wenn Sie diese anderen Merkmale dort nicht möchten, sollten Sie sie einfach als Prädiktoren im Modell entfernen. Sie sollten jedoch berücksichtigen, dass es wahrscheinlich ist, dass viele wichtige Merkmale mit dem Geschlecht korrelieren. Jedes binäre Merkmal wird in jedem Fall mit dem Geschlecht korreliert, wenn sich der Anteil der Männer mit diesem Merkmal vom Anteil der Frauen mit diesem Merkmal unterscheidet. (Wenn diese Anteile nahe beieinander liegen, stellen Sie möglicherweise fest, dass der Unterschied nicht "statistisch signifikant" ist.) Für allgemeinere Variablen ist die Bedingung für eine Korrelation ungleich Null ebenfalls sehr schwach. Somit,

Dies ist höchstens eine Teilantwort (oder überhaupt keine Antwort).

Als erstes ist zu beachten, dass ich @dsaxton vollkommen zustimme: Alle Modelle "diskriminieren" (zumindest in einigen Definitionen von Diskriminierung), da dies ihre Funktion ist. Das Problem ist, dass Modelle mit Zusammenfassungen und Durchschnittswerten arbeiten und Dinge basierend auf Durchschnittswerten zuweisen. Einzelne Personen sind einzigartig und können völlig von der Vorhersage abweichen.

Beispiel: Betrachten Sie ein einfaches Modell, das das erwähnte Fünf-Sterne-Ranking basierend auf einer Variablen vorhersagt - dem Alter . Für alle Menschen mit dem gleichen Alter (sagen wir 30) wird der gleiche Output erzeugt. Dies ist jedoch eine Verallgemeinerung. Nicht jede Person im Alter von 30 Jahren wird gleich sein. Und wenn das Modell unterschiedliche Ränge für unterschiedliche Altersgruppen hervorbringt, diskriminiert es bereits Menschen für ihr Alter. Angenommen, es gibt einen Rang von 3 für 50-Jährige und einen Rang von 4 für 40-Jährige. In Wirklichkeit wird es viele 50-jährige Menschen geben, die besser in dem sind, was sie tun als 40-jährige. Und sie werden diskriminiert.

1. Sollte ich das Geschlecht (oder damit korrelierte Daten) als Eingabe verwenden und versuchen, deren Auswirkungen zu korrigieren, oder diese Daten nicht verwenden?

Wenn Sie möchten, dass das Modell für ansonsten gleiche Männer und Frauen das gleiche Ergebnis liefert, sollten Sie das Geschlecht nicht in das Modell einbeziehen. Alle geschlechtsspezifischen Daten sollten wahrscheinlich einbezogen werden. Wenn Sie solche Kovariaten ausschließen, können Sie mindestens zwei Arten von Fehlern machen: 1) Angenommen, alle Männer und Frauen sind gleichmäßig über alle Kovariaten verteilt. 2) Wenn einige dieser geschlechtskorrelierten Kovariaten sowohl für die Bewertung relevant als auch gleichzeitig mit dem Geschlecht korreliert sind, können Sie die Leistung Ihres Modells erheblich reduzieren, indem Sie sie ausschließen.

2. Wie überprüfe ich das Fehlen einer Diskriminierung des Geschlechts?

Führen Sie das Modell zweimal mit genau denselben Daten aus - einmal mit "männlich" und ein anderes Mal mit "weiblich". Wenn dies aus einem Textdokument stammt, könnten möglicherweise einige Wörter ersetzt werden.

3. Wie korrigiere ich mein Modell für Daten, die statistisch diskriminierend sind, aber aus ethischen Gründen nicht sein sollen?

Kommt darauf an, was du machen willst. Ein brutaler Weg, um die Gleichstellung der Geschlechter zu erzwingen, besteht darin, das Modell für männliche und weibliche Bewerber getrennt anzuwenden. Und dann wählen Sie 50% aus einer Gruppe und 50% aus einer anderen Gruppe.

Ihre Vorhersage wird höchstwahrscheinlich darunter leiden - da es unwahrscheinlich ist, dass die beste Gruppe von Bewerbern genau die Hälfte der Männer und die Hälfte der Frauen umfasst. Aber Sie wären wahrscheinlich ethisch in Ordnung? - Auch dies hängt von der Ethik ab. Ich konnte eine ethische Erklärung sehen, in der diese Art von Praxis illegal wäre, da sie auch aufgrund des Geschlechts diskriminieren würde, aber auf andere Weise.

Was die Amazon-Geschichte zeigt, ist, dass es sehr schwer ist, die Voreingenommenheit zu vermeiden. Ich bezweifle, dass Amazon dumme Leute für dieses Problem eingestellt hat oder dass ihnen Fähigkeiten fehlten oder dass sie nicht genug Daten hatten oder dass sie nicht genug AWS-Credits hatten, um ein besseres Modell zu trainieren. Das Problem war, dass die komplizierten Algorithmen für maschinelles Lernen sehr gut darin sind, Muster in den Daten zu lernen. Gender Bias ist genau diese Art von Muster. Die Daten waren voreingenommen, da die Personalvermittler (bewusst oder nicht) männliche Kandidaten bevorzugten. Ich sage hier nicht, dass Amazon ein Unternehmen ist, das Bewerber diskriminiert. Ich bin sicher, dass sie Tausende von Antidiskriminierungsrichtlinien haben und auch ziemlich gute Personalvermittler einstellen. Das Problem mit dieser Art von Voreingenommenheit und Vorurteilen ist, dass es sie gibt, egal wie sehr Sie versuchen, sie zu bekämpfen. Es gibt Unmengen von psychologischen Experimenten, die zeigen, dass Menschen erklären können, nicht voreingenommen zu sein (z. B. rassistisch). aber immer noch voreingenommene Handlungen machen, ohne es zu merken. Wenn Sie jedoch Ihre Frage beantworten, um einen Algorithmus zu erhalten, der nicht voreingenommen ist, müssen Sie mit Daten beginnen, die frei von dieser Art von Voreingenommenheit sind. Algorithmen für maschinelles Lernen lernen, die in den Daten angezeigten Muster zu erkennen und zu wiederholen. Wenn Ihre Daten also voreingenommene Entscheidungen aufzeichnen, wird der Algorithmus diese Verzerrungen wahrscheinlich lernen und verstärken.

Zweitens werden die Daten verwaltet. Wenn Sie verhindern möchten, dass Ihr Algorithmus lernt, voreingenommene Entscheidungen zu treffen, sollten Sie alle Informationen entfernen, die bei der Unterscheidung zwischen Interessengruppen (Geschlecht hier) hilfreich sind. Dies bedeutet nicht, nur die Informationen über das Geschlecht zu entfernen, sondern auch alle Informationen, die zur Identifizierung des Geschlechts führen könnten, und dies können viele Dinge sein. Es gibt offensichtliche wie Name und Foto, aber auch indirekte, z. B. Mutterschaftsurlaub im Lebenslauf, aber auch Bildung (was ist, wenn jemand nur Mädchen besucht?) Oder sogar Berufsgeschichte (sagen wir, dass Personalvermittler in Ihrem Unternehmen nicht voreingenommen sind , aber was ist, wenn jeder andere Personalvermittler zuvor voreingenommen war, sodass die Arbeitshistorie all diese voreingenommenen Entscheidungen widerspiegelt?) usw. Wie Sie sehen können,

Zu den Fragen 2. und 3. gibt es keine einfachen Antworten, und ich fühle mich nicht kompetent genug, um zu versuchen, sie im Detail zu beantworten. Es gibt Unmengen von Literatur zu Vorurteilen und Vorurteilen in der Gesellschaft sowie zu algorithmischen Vorurteilen. Das ist immer kompliziert und es gibt leider keine einfachen Rezepte dafür. Unternehmen wie Google stellen Experten ein, deren Aufgabe es ist, diese Art von Verzerrung in Algorithmen zu identifizieren und zu verhindern.

1. Sollte ich das Geschlecht (oder damit korrelierte Daten) als Eingabe verwenden und versuchen, deren Auswirkungen zu korrigieren, oder diese Daten nicht verwenden?

Es gibt mehrere Implikationen dieser Frage, die sich auf Folgendes beschränken: Möchte ich ein Sozialingenieur sein? ein Aktivist, dessen Aufgabe es ist, den Status Quo zu ändern, weil ich entschieden habe, dass die Gesellschaft krank ist und eine Therapie benötigt?Die offensichtliche Antwort darauf hängt davon ab, ob eine solche Änderung vorteilhaft oder schädlich ist oder nicht. Zum Beispiel die Antwort auf "Was würden wir aus der Gleichstellung der Geschlechter für das Pflegepersonal gewinnen?" Möglicherweise muss nicht mindestens 50% der Krankenschwestern männlich sein, wenn mindestens ein Krankenpfleger zum Einführen von Harnkathetern bei Männern zur Verfügung steht. Der Social-Engineering-Ansatz untersucht also verschiedene Kulturen, Kontexte und Probleme mit bekannter geschlechtsspezifischer Verzerrung und setzt funktionale Vorteile voraus, die sich aus Änderungen der Grundursache (n) dieser Verzerrung ergeben. Dies ist ein wesentlicher Schritt im Entscheidungsprozess. Nun ist die Antwort auf Frage 1 ein klares Nein, das heißt, wenn man einmal entschieden hat, dass die Gesellschaft repariert werden muss, fügt man weiblichen Bewerbern nur einen Stern oder einen Bruchteil davon (siehe unten) hinzu. Aber seien Sie sehr vorsichtig mit dem, was Sie sich wünschen, denn dies ist eine positive Handlung, die selbst von Natur aus diskriminierend ist. Alle KI-Ergebnisse werden sich ändern, um die neuen Einstellungsnormen widerzuspiegeln, sobald diese als neue funktionale Norm etabliert sind.

2. Wie überprüfe ich das Fehlen einer Diskriminierung des Geschlechts?

Einfach genug, nachdem die Bewertungen vergeben wurden, führt man eine Post-hoc- Analyse durch, um die Verteilung der Bewertungen für Männer und Frauen zu ermitteln und zu vergleichen.

3. Wie korrigiere ich mein Modell für Daten, die statistisch diskriminierend sind, aber aus ethischen Gründen nicht sein sollen?

Dies geschieht unvermeidlich nachträglich , dh post hoc . Voraussicht ist ebenfalls notwendig, aber die Art der Voraussicht, die am dringendsten benötigt wird, ist ein konzertierter Versuch, die Annahmen des Sozialingenieurs kritisch zu untersuchen. Das heißt, wenn man annimmt (aus Gründen der Argumentation siehe unten), dass es soziologisch vertretbar ist, alle geschlechtsspezifischen Vorurteile zu beseitigen, passt man lediglich die weiblichen Bewertungen an, um der gleichen empirischen Verteilung wie die männlichen zu folgen. Im Lehrgeschäft würde man dies als Benotung auf einer Kurve bezeichnen. Nehmen wir weiter an, dass es möglicherweise nicht wünschenswert ist, eine vollständige Beseitigung der geschlechtsspezifischen Verzerrung vorzunehmen (dies kann zu störend sein), dann kann eine teilweise Beseitigung der Verzerrung durchgeführt werden, z. B. ein paarweise gewichteter Durchschnitt jeder einheimischen Frau Bewertung und ihre vollständig korrigierte Bewertung, mit welchen Gewichten man sie auch zuweisen möchte, die als am wenigsten schädlich und / oder am vorteilhaftesten angesehen (oder getestet) werden.

Die geschlechtsspezifische Ungleichheit kann nicht allein durch Einstellungspolitik richtig verändert werden, da in einigen Bereichen eine relative Knappheit an Kandidatinnen besteht. In Polen beispielsweise waren 2018 14,3% der IT-Studenten weiblich und in Australien 17% . Nach der Einstellung war die Bindung von Frauen in technologieintensiven Branchen problematisch (Frauen in Geschäftsrollen in technologieintensiven Branchen wechseln mit hohen Raten in andere Branchen - 53% der Frauen im Vergleich zu 31% der Männer) wichtiger sein als nur die Einstellungspolitik. Zunächst muss ein konkreter Nutzen für einen bestimmten Prozentsatz von Frauen am Arbeitsplatz ermittelt werden, und es gibt einige Hinweise dazu, beispielsweise im Jahr 2016Frauen in Unternehmensvorständen (16%) hatten fast doppelt so häufig wie ihre männlichen Kollegen (9%) professionelle Technologieerfahrung unter 518 Forbes Global 2000-Unternehmen. Daher scheint die technische Kompetenz mehr zum weiblichen als zum männlichen Vermögen beizutragen. Aus dieser Diskussion sollte ersichtlich sein, dass vor dem Treffen geschlechtsspezifischer Annahmen erhebliche Anstrengungen unternommen werden sollten, um globalere konkrete Vorteile spezifischer Politiken zu ermitteln, bei denen die Einstellungspolitik nur ein kleiner, wenn auch wichtiger Teil und wahrscheinlich nicht der wichtigste ist Startpunkt. Letzteres ist plausibel die Beibehaltung von Einstellungen, da der Umsatz moralisch schlecht ist und die Hauptursache für geschlechtsspezifische Vorurteile bei Einstellungen sein kann.

Meine Managementerfahrung hat mich gelehrt, dass selbst kleine Änderungen der Arbeitsleistung (z. B. 10 bis 20%) sehr effektiv dazu beitragen, Wartelisten zu eliminieren, dh es besteht keine Notwendigkeit, die Leistung sofort um 100% zu steigern, indem die Anzahl der Mitarbeiter verdoppelt wird Dies verkürzt die Warteliste nur geringfügig schneller als eine kleinere Änderung, ist jedoch störend, da die Mitarbeiter anschließend herumstehen und hoffen, dass die Arbeit in die Tür kommt. Das heißt, wenn man sich für Social Engineering entscheidet, kann es schädlich sein, eine vollständige Korrektur zu versuchen. es funktioniert nicht so. Versuchen Sie dies mit einer abrupten Kurskorrektur in einem Segelboot, und es kann sein, dass Sie Ihren Schwimmunterricht ausüben. Das Äquivalent für die Behandlung von geschlechtsspezifischen Vorurteilen (wenn das Rezept passt) wäre, nur Frauen einzustellen. Das würde das Problem lösen (und andere schaffen). Damit,

Zusammenfassend lässt sich sagen, dass effektives Social Engineering einen ganzheitlichen Ansatz für komplizierte Situationen erfordert. Die bloße Identifizierung eines Problems sagt uns nicht, dass es eines gibt, sagt uns nicht, was es verursacht, sagt uns nicht, wie wir es korrigieren sollen, und tatsächlich Alles, was es uns sagt, ist, dass wir unsere Denkmützen aufsetzen müssen.