Waarom AI niet neutraal is: bias #1 doelvariabele

Hoe kan een doelvariabele leiden tot discriminatie?

Organisaties gebruiken data als input voor algoritmes, die hen vervolgens kunnen ondersteunen in het maken van keuzes. Stel, een organisatie wil bepalen wie uit een grote groep potentiële medewerkers geselecteerd moet worden. In zo’n geval kan een werkgever in een grote dataset aangeven wie in de afgelopen maanden/jaren beviel als een ‘goede werknemer’, om vervolgens het algoritme op zoek te laten gaan naar een nieuw succesverhaal.

De data geeft over een bepaald onderwerp een grote hoeveelheid voorbeelden van relevante keuzes uit de voorgaande maanden/jaren. Door de machine learning algoritmen te voeden met deze voorbeelden leert het algoritme zichzelf welke gegevens in de data wel of niet dienen als voorspellers voor bepaalde kwaliteiten. Denk bijvoorbeeld aan voorspellers van hoge productiviteit van werknemers.

Twee begrippen zijn hierbij belangrijk: ‘target variables’ en ‘class labels’ – ook wel ‘doelvariabelen’ en ‘klassen labels’. De gewenste uitkomst, waar men naar op zoek is, wordt de doelvariabele genoemd; in dit voorbeeld een ‘goede’ werknemer. De klassen labels verdelen alle mogelijke eigenschappen van de doelvariabele in categorieën. De juiste specificatie van de doelvariabele is vaak niet voor de hand liggend (wat is de definitie van een goede werknemer?), dus het gewenste resultaat moet worden gedefinieerd en omgezet naar een programmeerbare probleemstelling. Dit vertaalproces is een noodzakelijke, maar subjectieve stap.

Wie is een ‘goede’ werknemer?

De definitie van een goede werknemer is geen gegeven, hoe definieer je ‘goed’? Met andere woorden: wat zouden de klassen labels moeten zijn? Is een goede werknemer iemand die de meeste producten verkoopt? Of iemand die nooit te laat komt? ‘Goed’ moet worden gedefinieerd op een manier die overeenkomt met meetbare eigenschappen, denk aan: relatief hogere omzet, kortere productietijd, langere arbeidsduur. In eerste instantie lijken dit redelijke overwegingen in het voorspellen van ‘goede’ werknemers, maar deze eigenschappen zijn slechts een klein onderdeel van een hele reeks aan eigenschappen in de mogelijke definities van ‘goed’.

Discriminatie

De definitie van de doelvariabele en de bijbehorende klassen labels bepalen dus wat er binnen de data mining gebeurt. Zij bepalen waarnaar gezocht wordt in de gegevens van sollicitanten. Hoewel verschillende keuzes voor de doelvariabele en klassen labels in principe rechtvaardig lijken, zijn er oprechte zorgen over dit proces wat betreft (onbedoelde) discriminatie omdat de verschillende keuzes in meer of mindere mate systematisch een negatief effect kunnen hebben op bepaalde groepen.

Enkele praktijkvoorbeelden

Hoe ziet dit er dan allemaal uit in de praktijk? Twee voorbeelden:

Voorbeeld 1: Voorspelde arbeidsduur
Selectie-beslissingen gemaakt op basis van de voorspelde arbeidsduur hebben meer kans een negatief effect te hebben op bepaalde groepen dan selectie-beslissingen gebaseerd op een voorspelling van productiviteit. Dit werkt als volgt. Wanneer het verloop onder medewerkers in het verleden systematisch hoger was binnen een bepaalde groep, zullen selectie-beslissingen gebaseerd op ‘voorspelde arbeidsduur’ resulteren in minder baankansen voor leden die in deze groep vallen; ook al zouden zij als individu net zo goed, of misschien zelfs beter, gepresteerd hebben dan andere sollicitanten die niet binnen die groep vallen en door het bedrijf uiteindelijk zijn aangenomen.
Denk bijvoorbeeld aan het volgende: vrouwen nemen vaker ontslag om een aantal jaren voor de kinderen te zorgen, terwijl mannen door blijven werken. Het verloop van vrouwen ligt dan ook hoger. Hierdoor kunnen vrouwen systematisch benadeeld worden in selectie-beslissingen terwijl zij net zo goed, of zelfs beter, zouden hebben gepresteerd als mannen. Bovendien is er een grote groep vrouwen die wél blijft doorwerken.

Voorbeeld 2: locatie en te laat komen
Stel dat armere mensen zelden in het centrum van een stad wonen en daardoor vaak verder naar hun werk moeten reizen dan werknemers met meer financiële armslag. Als gevolg van files en problemen met het openbaar vervoer komen armere mensen vaker laat op werk. Een bedrijf dat personeel zoekt en als klassen label kiest voor ‘zelden te laat komen’ – een op het eerste gezicht niet onredelijke variabele – sluit hierdoor onbedoeld groepen mensen uit. Want wanneer immigranten, die over het algemeen armer zijn, verder weg wonen van werk, betekent de keuze voor dit klassen label dat álle mensen met een migratieachtergrond nadelig worden behandeld. Ook migranten die wél in het centrum wonen.

Kortom: hoe een organisatie zijn doelvariabele en klassen labels definieert heeft grote invloed op hoe discriminatie in een AI systeem kan sluipen. Hierbij is bewust gekozen voor het woord ‘insluipen’, aangezien discriminatie vaak vooral een onbedoeld gevolg is en er geen sprake is van opzet. Bewustzijn en oplettendheid zijn dan ook van belang.