Dit artikel is gepubliceerd in New Scientist NL van november 2013
Terwijl het toestel van Turkish Airlines vlucht 1951 op zeshonderd meter hoogte richting Schiphol vloog, gaf de hoogtemeter minus twee meter aan. Op basis hiervan dacht de automatische piloot dat het vliegtuig al in de laatste fase van de landing zat en verminderde het motorvermogen. De menselijke piloten begrepen deze fout te laat, en zo crashte het toestel vlakbij Schiphol op 25 februari 2009. Er vielen 9 doden en 120 gewonden.
In januari 2013 hing de Russische asielzoeker Aleksandr Dolmatov zich op in een Nederlandse cel voor vreemdelingenbewaring. Het computersysteem van de Immigratie en Naturalisatie Dienst (IND) had de status van Dolmatov abusievelijk veranderd in ‘verwijderbaar’, waardoor Dolmatov mocht worden opgesloten. De computer maakte een fout, en Dolmatov hing zich op.
Dit zijn slechts twee voorbeelden van de Paradox van de Automatisering. De Paradox van de Automatisering houdt in dat hoe meer automatisering, hoe crucialer ingrijpen door de mens wanneer de denkende machine toch de fout in gaat. En die kans is er altijd, vooral bij onverwachte omstandigheden in open systemen. Hoe dichter de betrouwbaarheid van een systeem de honderd procent nadert, hoe moeilijker het voor mensen is om de fout die toch optreedt te detecteren, te begrijpen en er adequaat op te reageren. Al in 1983 identificeerde psychologe Lisanne Bainbridge deze paradox. Met de toenemende automatisering van beslissingen die voorheen alleen door mensen werden genomen, zullen we steeds vaker tegen deze paradox aanlopen.
Laat één ding duidelijk zijn: hoe meer automatisering, hoe veiliger auto’s, vliegtuigen, treinen en schepen zijn geworden. Dat is een groot goed. En ook: hoe efficiënter veel beslissingen kunnen worden genomen, in ieder geval in theorie. Maar we vergeten dat automatisering ook het punt verschuift waarop fouten worden gemaakt, bijvoorbeeld naar de programmeurs die de software schrijven en naar de interactie tussen mens en machine. De crash van Turkish Airlines vlucht 1951 is slechts een van de talloze voorbeelden van ongelukken in de luchtvaart die precies te wijten zijn aan de Paradox van de Automatisering: het automatische systeem maakt een fout, de menselijke piloot moet ingrijpen, maar begrijpt het systeem onvoldoende, met een ongeluk tot gevolg.
Deze praktijk van alledag staat in schril contrast met de sciencefiction-achtige ideeën van futuristen zoals de Amerikaan Ray Kurzweil. Kurzweil beweert dat het moment waarom machines intelligenter worden dan mensen − de Singulariteit − nabij is. Rond 2045 zou de mens compleet door de machine worden overvleugeld. In tegenstelling tot de beeldvorming in de massamedia, worden Kurzweil en zijn Hollywood-gegoochel met de Singulariteit onder het gros van de wetenschappers in de kunstmatige intelligentie totaal niet serieus genomen. Zoals roboticus Nicolas Roy van het Massachusetts Institute of Technology (MIT) in een interview met ondergetekende over Kurzweil zei: “Niemand heeft ooit iets zinvols over de toekomst gezegd, behalve dan om de verkoop van een boek omhoog te stuwen.” Kurzweils profetie over machines die mensen overvleugelen leidt de aandacht af van de praktijk van vandaag en morgen: een samenwerking tussen menselijke en machine-intelligentie. Hoe combineren we het beste van beide typen intelligentie? Dat is de echt belangrijke vraag.
Al te vaak vergeten we dat elk kunstmatig intelligent systeem (Google Search, Google Translate, automatische piloten, automatische beeldherkenning, om maar een paar veel gebruikte systemen te noemen) nog steeds is bedacht en geprogrammeerd door mensen. De mens houdt de supervisie, doet de aanpassingen en ontwerpt het interface tussen mens en machine. Daarmee is elk kunstmatig intelligent systeem nog steeds een mens-machine-systeem.
Software is mensenwerk. Software heeft ook een ideologie, kijk maar naar Facebook of Twitter. En de intelligentie van de zelfrijdende auto zit toch vooral in de ontwerpers en de programmeurs, en maar zeer beperkt in de auto, omdat het lerende vermogen van de zelfrijdende auto zo beperkt is. Terwijl in de luchtvaart piloten op en top professional zijn, is de gemiddelde autobestuurder een amateur. Dat wordt nog leuk met die zelfrijdende auto op de weg, terwijl Tante Truus zit te smullen van de Privé en de automatische piloot ineens een levensbedreigende fout maakt. Zal Tante Truus op tijd ingrijpen?
De toenemende automatisering van menselijke beslissingen heeft twee belangrijke psychologische gevolgen. Ten eerste blijkt dat mensen de neiging hebben om machines eerder te vertrouwen dan hun eigen gezonde verstand. Dat kan leiden tot een te groot vertrouwen in automatisering (automation-bias). Ten tweede kan meer automatisering ertoe leiden dat menselijke operators minder vaardig worden wanneer ze onverhoopt toch moeten ingrijpen (deskilling). Studies laten bijvoorbeeld zien dat wanneer een systeem negentig procent betrouwbaar is, systeemoperators beter in staat zijn de overige tien procent aan fouten te detecteren, dan ze in staat zijn de één procent van de fouten te detecteren bij een systeem met 99 procent betrouwbaarheid.
Kortom: wanneer we het automatische systeem steeds betrouwbaarder maken, kan het in de praktijk − dat wil zeggen: in interactie met de mens − wel eens slechter presteren dan een op papier iets minder betrouwbaar systeem. We moeten de mens dus als een integraal onderdeel van een kunstmatige intelligent systeem beschouwen en operators anders en beter trainen. Dat kan bijvoorbeeld door automatische systemen af en toe uit te schakelen, zodat operators hun menselijke vaardigheden voldoende blijven trainen.
Ik geloof wel degelijk dat de komende decennia een gouden tijd worden voor allerlei nieuwe soorten intelligente machines. Die machines maken de mens echter niet volledig overbodig, maar gaan in symbiose met mensen samenwerken. Nu al kan ik, dankzij Google Translate, bijna in real-time met mijn Poolse vrienden schrijven. Ik combineer mijn veel grotere kennis van de wereld en mijn beperkte kennis van het Pools, met het veel betere talige geheugen en de veel snellere rekenkracht van de vertaalmachine. Zo verbaas ik mijn Poolse vrienden keer op keer. De vertaling van Google Translate en mij samen is veel beter dan die van ieder van ons afzonderlijk.
In de gouden tijd voor intelligente machines die aanbreekt, blijft de mens echter de spil van de samenwerking: door zijn begrip van de fysieke wereld en van emoties, door zijn creativiteit en zingeving. Eén ding zullen computers en robots nooit kunnen, en dat is van de apen afstammen.
In januari 2013 hing de Russische asielzoeker Aleksandr Dolmatov zich op in een Nederlandse cel voor vreemdelingenbewaring. Het computersysteem van de Immigratie en Naturalisatie Dienst (IND) had de status van Dolmatov abusievelijk veranderd in ‘verwijderbaar’, waardoor Dolmatov mocht worden opgesloten. De computer maakte een fout, en Dolmatov hing zich op.
Dit zijn slechts twee voorbeelden van de Paradox van de Automatisering. De Paradox van de Automatisering houdt in dat hoe meer automatisering, hoe crucialer ingrijpen door de mens wanneer de denkende machine toch de fout in gaat. En die kans is er altijd, vooral bij onverwachte omstandigheden in open systemen. Hoe dichter de betrouwbaarheid van een systeem de honderd procent nadert, hoe moeilijker het voor mensen is om de fout die toch optreedt te detecteren, te begrijpen en er adequaat op te reageren. Al in 1983 identificeerde psychologe Lisanne Bainbridge deze paradox. Met de toenemende automatisering van beslissingen die voorheen alleen door mensen werden genomen, zullen we steeds vaker tegen deze paradox aanlopen.
Laat één ding duidelijk zijn: hoe meer automatisering, hoe veiliger auto’s, vliegtuigen, treinen en schepen zijn geworden. Dat is een groot goed. En ook: hoe efficiënter veel beslissingen kunnen worden genomen, in ieder geval in theorie. Maar we vergeten dat automatisering ook het punt verschuift waarop fouten worden gemaakt, bijvoorbeeld naar de programmeurs die de software schrijven en naar de interactie tussen mens en machine. De crash van Turkish Airlines vlucht 1951 is slechts een van de talloze voorbeelden van ongelukken in de luchtvaart die precies te wijten zijn aan de Paradox van de Automatisering: het automatische systeem maakt een fout, de menselijke piloot moet ingrijpen, maar begrijpt het systeem onvoldoende, met een ongeluk tot gevolg.
Deze praktijk van alledag staat in schril contrast met de sciencefiction-achtige ideeën van futuristen zoals de Amerikaan Ray Kurzweil. Kurzweil beweert dat het moment waarom machines intelligenter worden dan mensen − de Singulariteit − nabij is. Rond 2045 zou de mens compleet door de machine worden overvleugeld. In tegenstelling tot de beeldvorming in de massamedia, worden Kurzweil en zijn Hollywood-gegoochel met de Singulariteit onder het gros van de wetenschappers in de kunstmatige intelligentie totaal niet serieus genomen. Zoals roboticus Nicolas Roy van het Massachusetts Institute of Technology (MIT) in een interview met ondergetekende over Kurzweil zei: “Niemand heeft ooit iets zinvols over de toekomst gezegd, behalve dan om de verkoop van een boek omhoog te stuwen.” Kurzweils profetie over machines die mensen overvleugelen leidt de aandacht af van de praktijk van vandaag en morgen: een samenwerking tussen menselijke en machine-intelligentie. Hoe combineren we het beste van beide typen intelligentie? Dat is de echt belangrijke vraag.
Al te vaak vergeten we dat elk kunstmatig intelligent systeem (Google Search, Google Translate, automatische piloten, automatische beeldherkenning, om maar een paar veel gebruikte systemen te noemen) nog steeds is bedacht en geprogrammeerd door mensen. De mens houdt de supervisie, doet de aanpassingen en ontwerpt het interface tussen mens en machine. Daarmee is elk kunstmatig intelligent systeem nog steeds een mens-machine-systeem.
Software is mensenwerk. Software heeft ook een ideologie, kijk maar naar Facebook of Twitter. En de intelligentie van de zelfrijdende auto zit toch vooral in de ontwerpers en de programmeurs, en maar zeer beperkt in de auto, omdat het lerende vermogen van de zelfrijdende auto zo beperkt is. Terwijl in de luchtvaart piloten op en top professional zijn, is de gemiddelde autobestuurder een amateur. Dat wordt nog leuk met die zelfrijdende auto op de weg, terwijl Tante Truus zit te smullen van de Privé en de automatische piloot ineens een levensbedreigende fout maakt. Zal Tante Truus op tijd ingrijpen?
De toenemende automatisering van menselijke beslissingen heeft twee belangrijke psychologische gevolgen. Ten eerste blijkt dat mensen de neiging hebben om machines eerder te vertrouwen dan hun eigen gezonde verstand. Dat kan leiden tot een te groot vertrouwen in automatisering (automation-bias). Ten tweede kan meer automatisering ertoe leiden dat menselijke operators minder vaardig worden wanneer ze onverhoopt toch moeten ingrijpen (deskilling). Studies laten bijvoorbeeld zien dat wanneer een systeem negentig procent betrouwbaar is, systeemoperators beter in staat zijn de overige tien procent aan fouten te detecteren, dan ze in staat zijn de één procent van de fouten te detecteren bij een systeem met 99 procent betrouwbaarheid.
Kortom: wanneer we het automatische systeem steeds betrouwbaarder maken, kan het in de praktijk − dat wil zeggen: in interactie met de mens − wel eens slechter presteren dan een op papier iets minder betrouwbaar systeem. We moeten de mens dus als een integraal onderdeel van een kunstmatige intelligent systeem beschouwen en operators anders en beter trainen. Dat kan bijvoorbeeld door automatische systemen af en toe uit te schakelen, zodat operators hun menselijke vaardigheden voldoende blijven trainen.
Ik geloof wel degelijk dat de komende decennia een gouden tijd worden voor allerlei nieuwe soorten intelligente machines. Die machines maken de mens echter niet volledig overbodig, maar gaan in symbiose met mensen samenwerken. Nu al kan ik, dankzij Google Translate, bijna in real-time met mijn Poolse vrienden schrijven. Ik combineer mijn veel grotere kennis van de wereld en mijn beperkte kennis van het Pools, met het veel betere talige geheugen en de veel snellere rekenkracht van de vertaalmachine. Zo verbaas ik mijn Poolse vrienden keer op keer. De vertaling van Google Translate en mij samen is veel beter dan die van ieder van ons afzonderlijk.
In de gouden tijd voor intelligente machines die aanbreekt, blijft de mens echter de spil van de samenwerking: door zijn begrip van de fysieke wereld en van emoties, door zijn creativiteit en zingeving. Eén ding zullen computers en robots nooit kunnen, en dat is van de apen afstammen.
