Algoritmes: kunstmatige intelligentie of geautomatiseerde stupiditeit?

Het wordt gekker en gekker met de AI-hype. IT-leveranciers en zelfbenoemde experts lijken zich alleen nog van anderen te kunnen onderscheiden met steeds vreemdere claims. Gelukkig zijn er voldoende genuanceerde verhalen te vinden.

Zo schreef Bahar Gholipour een interessant artikel over het probleem van ‘technology bias’, waarin geautomatiseerde algoritmes verkeerde aannames doen en zo dubieuze beslissingen nemen. Hij begint met een voorbeeld van een ziekenhuis waar hij werkte.

Computer says No!

In de jaren ’80 gebruikte de St George’s Hospital Medical School in London een IT-systeem om sollicitanten te beoordelen. Twee artsen ontdekten dat het systeem  vrouwen en mensen met een niet-Europees klinkende naam eerder als ongeschikt beoordeelde. ‘Technology bias’ is dus geen nieuw fenomeen.

computer says no

Dit verhaal doet overigens sterk denken aan de hilarische – maar pijnlijk realistische – ‘Computer Says No’ sketches van Little Britain.

Algoritmes onder de AI-moterkap

Dertig jaar later en middenin de AI-hype zijn het nog steeds algoritmes die een geautomatiseerde uitkomst bepalen. Het verschil is dat veel van die algoritmes niet meer door mensen worden gecodeerd, maar dat het systeem zelf ‘leert’ op basis van extreem veel data. Dit noemen we ‘machine learning’. En met de doorbraak van ‘deep learning’ heeft het zelflerend algoritmes maken een enorme vlucht genomen.

Die techniek wordt al heel handig ingezet voor zelfrijdende auto’s, robots, Amazon Echo en chatbots. Maar het is geen AI in de zin van een zelfstandig werkend computersysteem dat observeert en leert en op basis daarvan beslist welke acties het onderneemt, zonder de tussenkomst van een mens. Zover zijn wij nog lang niet en daar zijn de échte AI-experts het wel over eens.

Geautomatiseerde stupiditeit?

Het probleem met door het systeem zelf gecreëerde algoritmes is dat ‘wij’ geen idee hebben waar de uitkomsten op zijn gebaseerd. Dat is geen sinecure, want systemen zijn niet onfeilbaar. De data waar de zelflerende algoritmes zich op baseren, kunnen namelijk allerlei vooroordelen bevatten. En het ‘slimme systeem’ neemt die vooroordelen doodleuk over. Het gaat hier niet om een spelletje Go maar om bedrijfskritieke systemen en beslissingen die diep ingrijpen in iemands persoonlijke leven.

Wat nog bijdraagt aan dit probleem is dat ook leveranciers van slimme systemen vaak geen idee hebben hoe het algoritme in elkaar zit en in veel gevallen ook helemaal geen inzage willen geven in het algoritme achter het ‘slimme systeem’. Dit ontneemt overheden en autoriteiten de kans om met wet- en regelgeving de algoritmes aan banden te leggen of te controleren.

Technology bias

Liever hip en lui dan écht slim

Het weghalen van vooroordelen in de algoritmes is niet altijd een onmogelijke zaak. Maar leveranciers steken daar liever geen energie in en verschuilen zich achter ‘proprietary’ en ‘non-disclosure’ claims. Want stel je voor dat klanten, de media of overheden erachter komen hoe slecht die ‘AI first’ systemen in elkaar zitten.

Het wachten is op de eerste ernstige gevolgen van de AI-hype en de anti-reactie die alle waardevolle aspecten van ‘AI’ met het badwater weggooit. AI is dan weer een taboewoord en we stappen met z’n allen op de volgende hype-trein.

Het kan ook anders: Black Box Forensics

Maar er is hoop. Er zijn al organisaties die plechtig beloven om hun algoritmes transparant te maken. Er komen ook steeds meer methodieken en studies beschikbaar die het mogelijk maken om zelflerende algoritmes te creëren die én accuraat én transparant zijn. Zodat we niet alleen kunnen zien waar de vooroordelen zitten maar ook de middelen hebben om die vooroordelen weg te nemen.

Er zijn zelfs al initiatieven om ‘black box’ algoritmes met computerkracht te beoordelen op hun accuratesse en onbevooroordeeldheid. Dit soort ‘Black box forensics’ kan een enorme impact hebben op onze samenleving. Rich Caruana, een van de onderzoekers achter ‘black box hacking’ heeft daar wel een idee over. “If we do work on this and manage to reduce the bias, we can have a virtuous feedback loop, where in fact algorithms slowly help us become less biased as a society.”

Lees het Futurism-artikel We Need to Open the AI Black Box Before It’s Too Late van Bahar Gholipour.