Waarom AI niet neutraal is: bias #1

Hoe kan een doelvariabele leiden tot discriminatie?

Oktober 2018 kwam in het nieuws dat het personeelsselectie-algoritme van Amazon bleek te discrimineren. Op dat moment groot nieuws, het is echter de vraag of een dergelijke fout echt uit de lucht kwam vallen. Onderzoekers Barocas en Selbst (2011) hadden namelijk in hun artikel ‘Big data’s disparate impact’ al uitgelicht dat het gebruik van data mining en algoritmes in werving- en selectieprocessen op meerdere vlakken een risico vormt voor discriminatie. Zij kwamen daarbij tot de belangrijke constatering dat algoritmes niet alleen verkeerd afgesteld kunnen zijn, maar dat vooral de data die als input voor algoritmes gebruikt worden een probleem kunnen vormen.

Waar veel organisaties al grote hoeveelheden informatie verzamelen, wordt het steeds belangrijker daar ook relevante informatie uit te filteren; dit wordt data mining genoemd. Het is een essentieel onderdeel in het ‘knowledge discovery’ proces, waarbij intelligente methodes worden gebruikt om bepaalde patronen en regelmatigheden uit data af te leiden. Hieronder vallen algoritmes en Artificial Intelligence (AI) methodes zoals ‘machine learning’: het proces waarbij computers zichzelf handelingen en keuzes aanleren naar aanleiding van de aangeleverde data. Het eindresultaat, bestaande uit patronen en regelmatigheden, vormt voor organisaties bruikbare kennis.

Vijf bronnen van biases

In de werving en selectie van personeel levert de combinatie van algoritmes en data mining volgens Barocas en Selbst vijf mechanismen op die disproportioneel nadelige gevolgen voor bepaalde groepen in de samenleving kunnen opleveren. Je kunt concluderen dat het gebruik van data mining en algoritmes (onbedoeld) kan leiden tot discriminatie bij de selectie van personeel. Vandaar dat het goed is om bewustzijn te creëren omtrent deze processen. Daarom publiceren we de komende periode meerdere artikelen die stap voor stap deze vijf mechanismen behandelen, geïllustreerd met voorbeelden uit de praktijk. De volgende mechanismen zullen behandeld worden:

Definieer de ‘target variable’ en ‘class labels’
Trainingsdata
Feature selection,
Proxies,
Masking

In dit artikel de eerste in de rij: defining the ‘target variable’ and ‘class labels’.

Bias #1: Waarom kan een doelvariabele leiden tot discriminatie?

Organisaties gebruiken data als input voor algoritmes, die hen vervolgens kunnen ondersteunen in het maken van keuzes. Stel, een organisatie wil bepalen wie uit een grote groep potentiële medewerkers geselecteerd moet worden. In zo’n geval kan een werkgever in een grote dataset aangeven wie in de afgelopen maanden/jaren beviel als een ‘goede werknemer’, om vervolgens het algoritme op zoek te laten gaan naar een nieuw succesverhaal.

De data geeft over een bepaald onderwerp een grote hoeveelheid voorbeelden van relevante keuzes uit de voorgaande maanden/jaren. Door de machine learning algoritmen te voeden met deze voorbeelden leert het algoritme zichzelf welke gegevens in de data wel of niet dienen als voorspellers voor bepaalde kwaliteiten. Denk bijvoorbeeld aan voorspellers van hoge productiviteit van werknemers.

Twee begrippen zijn hierbij belangrijk: ‘target variables’ en ‘class labels’ - ook wel ‘doelvariabelen’ en ‘klassen labels’. De gewenste uitkomst, waar men naar op zoek is, wordt de doelvariabele genoemd; in dit voorbeeld een ‘goede’ werknemer. De klassen labels verdelen alle mogelijke eigenschappen van de doelvariabele in categorieën. De juiste specificatie van de doelvariabele is vaak niet voor de hand liggend (wat is de definitie van een goede werknemer?), dus het gewenste resultaat moet worden gedefinieerd en omgezet naar een programmeerbare probleemstelling. Dit vertaalproces is een noodzakelijke, maar subjectieve stap.

Wie is een ‘goede’ werknemer?

De definitie van een goede werknemer is geen gegeven, hoe definieer je ‘goed’? Met andere woorden: wat zouden de klassen labels moeten zijn? Is een goede werknemer iemand die de meeste producten verkoopt? Of iemand die nooit te laat komt? ‘Goed’ moet worden gedefinieerd op een manier die overeenkomt met meetbare eigenschappen, denk aan: relatief hogere omzet, kortere productietijd, langere arbeidsduur. In eerste instantie lijken dit redelijke overwegingen in het voorspellen van ‘goede’ werknemers, maar deze eigenschappen zijn slechts een klein onderdeel van een hele reeks aan eigenschappen in de mogelijke definities van ‘goed’.

Discriminatie

De definitie van de doelvariabele en de bijbehorende klassen labels bepalen dus wat er binnen de data mining gebeurt. Zij bepalen waarnaar gezocht wordt in de gegevens van sollicitanten. Hoewel verschillende keuzes voor de doelvariabele en klassen labels in principe rechtvaardig lijken, zijn er oprechte zorgen over dit proces wat betreft (onbedoelde) discriminatie omdat de verschillende keuzes in meer of mindere mate systematisch een negatief effect kunnen hebben op bepaalde groepen.

Enkele praktijkvoorbeelden

Hoe ziet dit er dan allemaal uit in de praktijk? Twee voorbeelden:

Voorbeeld 1: Voorspelde arbeidsduur

Selectie-beslissingen gemaakt op basis van de voorspelde arbeidsduur hebben meer kans een negatief effect te hebben op bepaalde groepen dan selectie-beslissingen gebaseerd op een voorspelling van productiviteit. Dit werkt als volgt. Wanneer het verloop onder medewerkers in het verleden systematisch hoger was binnen een bepaalde groep, zullen selectie-beslissingen gebaseerd op ‘voorspelde arbeidsduur’ resulteren in minder baankansen voor leden die in deze groep vallen; ook al zouden zij als individu net zo goed, of misschien zelfs beter, gepresteerd hebben dan andere sollicitanten die niet binnen die groep vallen en door het bedrijf uiteindelijk zijn aangenomen.

Denk bijvoorbeeld aan het volgende: vrouwen nemen vaker ontslag om een aantal jaren voor de kinderen te zorgen, terwijl mannen door blijven werken. Het verloop van vrouwen ligt dan ook hoger. Hierdoor kunnen vrouwen systematisch benadeeld worden in selectie-beslissingen terwijl zij net zo goed, of zelfs beter, zouden hebben gepresteerd als mannen. Bovendien is er een grote groep vrouwen die wél blijft doorwerken.

Hoe definieer je een 'goede' werknemer? Het omzetten van doelvariabele ('goede' werknemer) naar een programmeerbare probleemstelling is een noodzakelijke, maar subjectieve stap.

Voorbeeld 2: locatie en te laat komen

Stel dat armere mensen zelden in het centrum van een stad wonen en daardoor vaak verder naar hun werk moeten reizen dan werknemers met meer financiële armslag. Als gevolg van files en problemen met het openbaar vervoer komen armere mensen vaker laat op werk. Een bedrijf dat personeel zoekt en als klassen label kiest voor ‘zelden te laat komen’ – een op het eerste gezicht niet onredelijke variabele – sluit hierdoor onbedoeld groepen mensen uit. Want wanneer immigranten, die over het algemeen armer zijn, verder weg wonen van werk, betekent de keuze voor dit klassen label dat álle mensen met een migratieachtergrond nadelig worden behandeld. Ook migranten die wél in het centrum wonen.

Kortom: hoe een organisatie zijn doelvariabele en klassen labels definieert heeft grote invloed op hoe discriminatie in een AI systeem kan sluipen. Hierbij is bewust gekozen voor het woord ‘insluipen’, aangezien discriminatie vaak vooral een onbedoeld gevolg is en er geen sprake is van opzet. Bewustzijn en oplettendheid zijn dan ook van belang.