De valkuil van vooroordelen in AI

Het gebrek aan diversiteit in de wereld van technologie is alarmerend en leidt tot allerlei ongewenste gevolgen. Zeker nu kunstmatige intelligentie (AI) zo veelvuldig wordt toegepast, ligt de valkuil van vooroordelen op de loer.

Data en technologie zijn door mensen gemaakte producten en zouden een afspiegeling en zelfs een voorbeeld van onze waarden moeten zijn. Maar steeds vaker blijkt het tegendeel, met het AI recruitment-debacle bij Amazon als meest recente voorbeeld.

Wat er mis ging bij Amazon

Amazon zette AI in om de enorme stroom aan sollicitaties te selecteren op mogelijk geschikte kandidaten. Maar dat bleek niet zo heel goed werken omdat er voornamelijk mannen werden geselecteerd. Elke sollicitatie met het woord “women’s” of andere indicatoren die als ‘vrouwelijk’ werden geïnterpreteerd kreeg een signicant lagere score.

Dit was nooit doelbewust door de programmeurs in het algorithme gezet. De oorzaak lag in een bekende AI-valkuil: AI baseert zich op enorme hoeveelheden data. En in die data zit vaak het vooroordeel verweven. In technologie werken namelijk voornamelijk mannen. Dus het AI-programma leerde van die 10 jaar aan data dat mannen geschikte kandidaten zijn. En daar ging het mee aan de slag.

Ook toen dit ‘bias’-probleem eenmaal werd ontdekt, bleek het probleel niet te repareren. Dat is namelijk een andere probleem met AI: uit de algorithmes is vaak niet meer de ‘rationale’ te achterhalen die leidde tot de acties of resultaten. Amazon gebruikt inmiddels een versimpelde versie van het programma om sollicitaties te screenen. Het bedrijf kondigt ook aan dat het een nieuwe poging wil doen met een AI die zich ditmaal extra richt op diversiteit.

Het ging al eerder fout bij Amazon

Amazon maakte vergelijkbare fouten met een AI-programma voor gezichtsherkenning. Dit programma, onder de naam Rekognition, werd aan de Amerikaanse politie verkocht als dé ultieme tool voor het opsporen van criminelen. Ondanks alle kritiek van burgerrechtenbewegingen en privacy-juristen werd de tool veelvuldig gebruikt. Voor USD 6,- per maand was de business case namelijk snel rond voor de politie. Met alle kwalijke gevolgen van dien.

Enkele maanden na de introductie van Rekognition, publiceerde de ACLU een onderzoek dat aantoonde hoe slecht het AI-programma in de praktijk werkte. Zij lieten Rekognition los op de foto’s van de 435 leden van het Amerikaanse Congres. Het AI-programma identificeerde 28 congresleden als geregistreerde criminelen. Dat is op zichzelf al kwalijk, maar als je kijkt naar de groep van ‘criminelen’ zie je dat Rekognition voornamelijk congresleden met een donkerder huidskleur als crimineel markeerde.

false_matches

De poging van LinkedIn om diversiteit te stimuleren

Volgens het Global Recruiting Trends 2018 report heeft het werken aan diverse en inclusieve organisaties de hoogste prioriteit bij HR-afdelingen en recruiters. Daarom introduceerde LinkedIn enkele AI-toepassingen om bij te dragen aan de diversiteit. Met onder andere:

  • Gender tab voor Talent Insights: A private tab within the new Talent Insights tool shows gender representation of a company’s overall workforce and within various job functions. Users can compare their company’s gender stats against industry averages.
  • Identifying diverse workforces through Talent Pool: The Talent Pool feature within Talent Insights allows users to look at pockets of talent based on location and skillsets, among other things. LinkedIn has added real-time gender representation information for different areas across the U.S. to help recruiters figure out the best places to recruit diverse candidates for a variety of job functions.
  • Diverse representation in LinkedIn Recruiter: When doing a search for talent through LinkedIn Recruiter, each page will return results consistent with the gender make up of the available talent pool.
  • LinkedIn Learning courses on diversity: a trio of classes focused on Confronting Bias, Managing Diversity, and Inclusive Leadership.
  • Creating more inclusive messages: insights into how job postings and messages perform across genders, which can help recruiters build more inclusive outreach.

Zie ook het bericht van Linkedin over deze Diversity Insights.

Waar ligt de grens?

Volgens LinkedIn stopt het niet bij diversiteit: “Diversity, of course, means far more than gender equality (though that would be a pretty awesome start). Our long-term vision at LinkedIn is to power clear and actionable diversity insights across many other demographics — veteran status, race, ethnicity, disability status — as well as diversity of skills, experience, and backgrounds.”

Maar is dat echt wenselijk? Want waar haalt de AI al die informatie vandaan? Moeten wij onze privacygevoelige informatie over onder andere onze afkomst, sexuele voorkeur, medische status echt afstaan aan bedrijven als LinkedIn of potentiële werkgevers? Dat lijkt me niet de bedoeling. We weten uit verleden hoe levensgevaarlijk het is om dit soort gegevens centraal te registreren.

Wellicht vinden we een oplossing in het decentraal en zelfs individueel registeren en delen van dit soort privacygevoelige informatie. Hoe dan ook, hier ligt nog een echte uitdaging voor AI. Een uitdaging die we niet kunnen overlaten aan alleen (mannelijke) techneuten.