Waarom AI niet neutraal is: bias #4 proxies

werving selectie algoritme bias proxy

Hoe proxies kunnen resulteren in discriminatie

In de werving en selectie van personeel levert de combinatie van algoritmes en data mining, vijf mechanismen1 op die disproportioneel bepaalde groepen in de samenleving kunnen benadelen. Het gebruik van data mining en algoritmes kan (onbedoeld) leiden tot discriminatie bij de werving en selectie van personeel. Waar we het vorige week hebben gehad over ‘feature selection’ gaan we dit keer aan de slag met het mechanisme dat het meest te maken heeft met de zelfstandige beslissingsprocessen van algoritmes. Bij voorgaande mechanismen hadden we het vaak nog over menselijk toedoen, hier is dat veel minder het geval. We gaan het hebben over het vierde mechanisme: ‘proxies’. 

 

Wat zijn proxies? Proxies zijn cijfers die correlaties aanduiden tussen bepaalde concepten, waardoor ze dienen als een soort voorspellers. Blond haar dient bijvoorbeeld als een proxy voor een blank huidtype. Aan de hand van zulke correlaties worden mensen door algoritmes ingedeeld in groepen. Criteria die mensen sorteren op baangeschiktheid, kunnen diezelfde mensen sorteren op bijvoorbeeld groepslidmaatschap. Dit heeft alles te maken met de intelligentie van AI. Doel van het gebruik van algoritmes is om patronen te herkennen. Algoritmes pogen dan ook tot het leggen van zo veel mogelijk links tussen verschillende concepten. Dit blijkt echter soms te leiden tot biases in het keuzeproces, die zelfs van discriminerend karakter kunnen zijn. 

Patronen en conclusies 

Het probleem komt voort uit wat onderzoekers ‘redundant encodings’ (overtollige coderingen) noemen. Er is sprake van redundant encodings wanneer relevante informatie voor een bepaalde keuze onverwacht zo gecodeerd is dat deze ook lidmaatschap van bepaalde groepen kan aanduiden. Dit komt voor wanneer een bepaald kenmerk, of bepaalde waarden voor dat kenmerk, in een dataset sterk gecorreleerd zijn met het lidmaatschap van een bepaalde groep. Ter illustratie: een dataset die geen expliciete gegevens over seksuele geaardheid van mensen bevat, kan nog steeds informatie geven over de seksuele geaardheid van die mensen, onthulde een onderzoek.2  Bij analyse van vriendschappen op Facebook bleken die vriendschappen te verklappen wie homoseksueel was en wie niet, zonder dat de onderzochte personen informatie hadden ingevuld over hun geaardheid. Algoritmes blijken dus in staat om patronen te herkennen, en conclusies te trekken, zonder dat de dataset daar expliciete informatie over hoeft te bevatten. Dat het algoritme zulke patronen ontdekt, kan er vervolgens in resulteren dat het algoritme - geheel onbedoeld - de nieuw verzamelde informatie meeneemt in het keuzeproces. 

Discriminatie zonder vooroordelen

Het proxy-probleem zorgt ervoor dat data-mining in staat is om patronen te onthullen waaruit blijkt dat bepaalde groepen gemiddeld slechtere prestaties, vaardigheden of capaciteiten vertonen. Wanneer zulke prestaties/vaardigheden/capaciteiten relevant zijn voor de te maken keuze, zullen dergelijke keuzes noodzakelijkerwijs leiden tot systematisch minder gunstige beslissingen voor leden van die groepen. Het heeft hier weinig te maken met vooroordelen. Beslissers hebben niet de intentie mensen ongelijk te behandelen. Zij baseren hun keuzes op basis van één enkele prioriteit: winst maken. Om zulke redenen kun je een bedrijf niet scheef aankijken; zonder winst geen goed-lopend bedrijf. Toch kan die reden wel de oorzaak zijn van het creëren van ongelijkheid, of het reproduceren van ongelijkheid zoals we die al kennen in onze samenleving; denk aan verschillen tussen leeftijden, etniciteit en geslacht. 

Een voorbeeld uit de praktijk

Een goed voorbeeld werd aangehaald door Kathy O’Neil in haar boek ‘Weapons of Math Destruction’: een algoritme dat door een Engels bedrijf in het recruitment proces werd gebruikt, was geprogrammeerd om gebruik te maken van de criteria die het bedrijf in het verleden ook had gebruikt om personeel aan te nemen. De toepassing van deze criteria had in het verleden geresulteerd in de afwijzing van kandidaten wier bekwaamheid in het Engels slecht was; vaak mensen met een buitenlandse achtergrond. Dit resulteerde erin dat het algoritme ‘leerde’ dat ‘Engelse’ namen over het algemeen geassocieerd werden met goede kwalificaties, terwijl ‘buitenlandse’ namen dat niet werden. ‘Buitenlandse’ namen dienden hiermee als proxy voor slechte bekwaamheid in de Engelse taal. Het algoritme wees zulke namen daarom af. Discriminatie op basis van naam komt vaker in het nieuws, en blijkt dus niet te voorkomen door het gebruik van, op voorhand neutrale, algoritmes. 

‘The black box’ als grootste zorg

Wat kunnen we eraan doen? Het proxy-probleem blijkt er een die moeilijk is op te lossen. Barocase en Selbst gaven aan dat computerwetenschappers niet weten hoe om te gaan met de ‘redundant encodings’ in datasets. Want door eenvoudigweg deze variabelen uit de datamining-oefening te verwijderen, worden ook vaak de criteria verwijderd die aantoonbare en gerechtvaardigde relevantie hebben. 
Maar verwijder je ze niet? Dan zullen de algoritmes blijven doordenken en keer op keer nieuwe patronen blijven ontdekken. Op die manier zullen telkens meer verbanden worden gelegd tussen eigenschappen en lidmaatschap van bepaalde groepen. Hoe de algoritmes zulke links leggen is voor het menselijk oog vaak nog moeilijk te volgen. Daarbij wordt dan ook regelmatig gesproken van ‘the black box’. Deze ‘black box’ lijkt momenteel de grootste zorg omtrent de algoritmisering van de samenleving. Op het evenement ‘Nederland Digitaal’ van 21 maart jongstleden, sprak men over de grote afhankelijkheid van algoritmische systemen, veroorzaakt door deze ‘black box’. Organisaties graven naar zo veel mogelijk kennis om hun bedrijven zo winstgevend mogelijk te maken. Tegelijkertijd weten werkgevers in veel gevallen niet meer hoe zo’n algoritme aan zijn kennis komt (en: data is niet hetzelfde als kennis!). Des te meer we dus willen weten, des te minder we nog kunnen volgen hoe kennis tot stand komt. We worden daarmee steeds afhankelijker van het systeem. Dat maakt het des te lastiger biases te voorkomen. 


Lees ook in deze serie:

Waarom AI niet neutraal is:

Of:

Wat als AI de recruitmentrollen omdraait? (Luc Dorenbosch)

Wat vinden sollicitanten van recruitment op basis van AI? (Homeyra Abrishamkar)

Algoritmes leiden niet automatisch tot eerlijke selectie (Annemarie Hiemstra, Isabelle Nevels)

Kunnen AI en personeelspsychologie van elkaar leren? Psychotechniek revisited (Sonia Sjollema) 

Algoritmisering en de black box - noodzaak en keerzijde van explainable AI (Homeyra Abrishamkar)


 

1 Barocas en Selbst (2011) - Big data’s disparate impact

2 Jernigan, C., & Mistree, B. F. (2009). Gaydar: Facebook friendships expose sexual orientation. First Monday, 14(10).

Thema's

Onderwerpen

Sprekers en experts

Laura Lamers

Inclusief Platformwerk: drie initiatieven, een veelvoud aan inzichten

Hoe maken we beter gebruik van de potentiële meerwaarde van online arbeidsplatforms voor een meer inclusieve arbeidsmarkt? Die vraag stond centraal in de ‘challenge Inclusief Platformwerk’ van NSvP en SBCM, van waaruit drie initiatieven (KlusCV, CurrentWerkt! en LaNSCO United) kansen en obstakels hebben verkend. 
De presentatie van Laura biedt een kijkje in de lessen die zijn opgedaan in het monitoren van de drie challenge initiatieven. Specifiek wordt ingegaan op de kansen van platformwerk voor mensen met een kwetsbare positie op de arbeidsmarkt, en de rol die platformtechnologie kan spelen om kansen voor inclusie te vergroten. Hiermee biedt de presentatie een eerste indruk van de inzichten die worden gedeeld in het boek ‘Inclusief Platformwerk’. 

Laura Lamers is PhD onderzoeker aan de Universiteit Twente, faculteit Faculteit Behavioural, Management and Social Sciences. Haar focus ligt op het snijvlak van technologie en samenleving, meer specifiek menselijke waardigheid. 

Niels Arntz

In een vraaggesprek met Luc Dorenbosch (NSvP) zet Niels uiteen hoe hij als platformondernemer in Nederland aankijkt tegen de ontwikkelingen binnen platformwerk. Hoe luister je als platform naar de mensen die via je platform werken? Wat kunnen samenwerkingen tussen platforms en overheid opleveren? Wat denkt Niels over de kans van slagen van platformwerk, ook als mensen niet geheel zelfstandig kunnen werken? Kan het breder of anders dan nu het geval is? Hoe hij zou willen dat het debat over platformwerk gevoerd zou worden voor meer innovatie op de arbeidsmarkt? 

Niels Arntz is medeoprichter van horecaplatform Temper.

Muriel Serrurier Schepper

Ontdek de kracht van data labeling: kansen voor een diverse en inclusieve arbeidsmarkt

(duopresentatie met Marjolein Grootjen)

In deze sessie ontdekken we hoe mensen met een afstand tot de arbeidsmarkt de kans krijgen om zichzelf opnieuw te positioneren op de arbeidsmarkt door middel van data labeling in een kantooromgeving. Onder de begeleiding van een deskundige jobcoach werken ze in het AI Annotatie Lab aan hun vaardigheden en persoonlijke ontwikkeling om zo de weg naar de arbeidsmarkt te vinden. Tijdens de sessie wordt uitgelegd hoe dit project tot stand is gekomen en wat de werkzaamheden precies inhouden. 
Deze sessie biedt een inspirerend verhaal over hoe een nieuw soort werk kan bijdragen aan een inclusieve en rechtvaardige samenleving. Kom langs en laat je inspireren!

Muriël Serrurier Schepper is zelfstandig ondernemer, expert in data en artificial intelligence met een achtergrond in arbeids- en organisatiepsychologie. Zij is auteur van het boek Artificial Intelligence In Actie en leidt het AI Annotatie Lab.  

Marjolein Grootjen

Ontdek de kracht van data labeling: kansen voor een diverse en inclusieve arbeidsmarkt

(duopresentatie met Muriel Serrurier Schepper)

Als jobcoach bij het AI Annotatie Lab vanuit Regio Gooi en Vechtstreek begeleidt Marjolein de kandidaten die zichzelf hebben aangemeld of aangemeld zijn vanuit de verschillende gemeenten. In een traject van 6 maanden vanuit een veilige werkomgeving gaat zij samen met de kandidaat de werknemers- en sociale vaardigheden trainen. Zo komt de kandidaat erachter wat zijn intrinsieke motivatie is om te gaan werken. Tijdens deze sessie deelt ze haar persoonlijke ervaringen en laat ze zien hoe ze deelnemers stap voor stap helpt om verder te komen. Ook wordt besproken waarom dit werk bij uitstek geschikt is voor bepaalde doelgroepen.

Marjolein Grootjen is jobcoach bij WerkgeversServicepunt Regio Gooi en Vechtstreek.

Muriel en Marjolein doen samen 1 sessie

Jessica de Ruijter - Lansco

Platformwerk opzetten vanuit de coöperatieve gedachte

(duopresentatie met Leo Beekmans)

Hoe kan werken vinden via een platform nieuwe kansen bieden voor participatie en inclusie? 
In deze inspiratiesessie komen twee voorbeelden voorbij hoe de platformtechnologie vanuit de coöperatieve gedachte wordt ingezet om mensen met een uitkering te helpen met het verkrijgen van nieuwe opdrachten en werkzaamheden. Leo Beekmans van BridgeWorks en Jessica de Ruijter van LaNSCO United vertellen waarom zij deze platformen hebben opgezet, wie zij daarmee bereiken en welke nieuwe kansen deze platformen bieden voor een inclusieve arbeidsmarkt. Ook gaan ze in op hoe zo’n platform werkt in samenwerking met een sociale coöperatie, en wat hun ervaringen en geleerde lessen zijn.

Jessica de Ruijter is directeur van LaNSCO en medeoprichter van sociale coöperatie de Blauwe Paraplu.

Leo Beekmans

(duopresentatie met Jessica de Ruijter)

Leo Beekmans is arbeidsdeskundige, re-integratieconsulent, coach bij WerkmansMobiliteit en bij BridgeWorks

Robbert Boonk

Het beste wat je iemand kunt geven is een kans!

(duopresentatie met Laurens Waling)

Een matching platform voor mensen met een afstand tot de arbeidsmarkt - zonder de oneerlijke concurrentie van mensen zonder beperking. Een matching platform waar werkgevers hun vacature en hun organisatie moeten toetsen op beperkende factoren. Alleen zo ontstaan er matches zonder beperkingen. Robbert Boonk ontwikkelde dit initiatief samen met vijf internationale partners, en inmiddels is het systeem bijna operationeel. In hun zoektocht kwamen ze het hightech platform van 8Vance tegen, waar matches worden gemaakt met behulp van Artificial Intelligence (AI). Kandidaten maken een zogenaamd ‘Ability Profile’ aan en dat doet de werkgever ook voor zijn vacature. 

Het systeem Work 4 Everyone is bijna klaar. In deze sessie laat Robbert Boonk aan de hand van de proefversie alvast zien hoe het werkt. Robbert en Laurens vertellen wat het is, hoe het werkt en wat de impact hiervan kan zijn. 

Robbert Boonk is directeur van de PHH Academie (opleider van gecertificeerde jobcoaches) en mede-initiator van matching platform Work 4 Everyone.

Laurens Waling

(duopresentatie met Robbert Boonk)

Laurens Waling is organisatievernieuwer en Chief Evangelist bij 8vance Matching Technologies.

Over NSvP

De NSvP maakt zich hard voor een menswaardige toekomst van werk. We stellen de vraag hoe de arbeidsmarkt van morgen eruit ziet en onderzoeken hoe werk zodanig kan worden ingericht dat het bijdraagt aan de menselijke waarden en behoeften. We zijn een onafhankelijke stichting. We financieren als vermogensfonds innovatieve projecten op het snijvlak van mens, werk en organisatie.

Rijnkade 88
6811 HD Arnhem
info@nsvp.nl
026 - 44 57 800

 

Vind ons op Facebook
Volg ons