Building a human-AI dream team

Creating a good artificial intelligence (AI) user experience is not easy. Everyone who uses autocorrect while writing knows that while the system usually does a pretty good job of acthing and correcting errors, it sometimes makes bizarre mistakes. The same is true for the autopilot in a Tesla, but unfortunately the stakes are much higher on the road than when sitting behind a computer.

Daniel S. Weld of the University of Washington in Seattle has done a lot of research on human-AI teams. Last year, he and a group of colleagues from Microsoft proposed 18 generally applicable design guidelines for human-AI interaction, which were validated through multiple rounds of evaluation.

I interviewed Weld about the challenges of building a human-AI dream team.

Read the full article on the website of the ACM.

Gezond verstand - De donkere materie van de kunstmatige intelligentie

Het Allen Institute for Artificial Intelligence in Seattle doet een grootschalige poging om kunstmatig intelligente machines eindelijk het gezonde verstand te geven dat elk tienjarig kind al heeft. 

Ik sprak met dr. Yejin Choi, die een groot onderzoeksproject naar gezond verstand in slimme machines leidt.

Op een dikke tak van een boom zit een mensachtige robot. Met zijn ene hand houdt hij de tak vast, met zijn andere hand zaagt hij dezelfde tak door. Alleen doet hij dat precies aan de verkeerde kant: hij zaagt tussen de stam en hemzelf en heeft niet door dat hij weldra naar beneden kukelt. Het is een plaatje dat informatici vaak gebruiken om het gebrek aan gezond verstand van onze huidige slimme machines te illustreren.

Dat gebrek leidt ook in het echt tot missers, soms knullig, soms dodelijk. Plak een paar stickers op een stop-bord en de computer denkt dat het bord een snelheidslimiet aangeeft. Een schoolbus die door een ongeluk dwars op de weg is beland, wordt door de computer voor een sneeuwruimer aangezien. In 2018 verongelukte de eigenaar van een Tesla-auto die op de autopilot reed omdat de auto een tijdelijke betonnen afscheiding tussen twee weghelften niet herkende.

Ook met het automatisch begrijpen van teksten gaat veel mis. Neem deze zin: ‘Nikola Tesla verhuisde in 1880 naar Praag.’ Een slim vraag-antwoordsysteem kan de vraag: ‘Waarheen verhuisde Tesla in 1880?’ correct beantwoorden met ‘Praag’. Fijn. Maar voeg aan de eerste zin de nieuwe zin ‘Thompson verhuisde in 1881 naar Chicago’ toe en de computer antwoordt op de vraag ‘Waarheen verhuisde Tesla in 1880?’ plotseling ‘Chicago’. Computers zijn razend goed in het herkennen van statistische patronen in taal — de reden waarom automatisch vertalen redelijk goed werkt — maar ze begrijpen taal in de verste verte niet zoals mensen dat doen.

In al deze voorbeelden is het verschil tussen mens en machine iets wat gezond verstand heet. Gezond verstand gaat over een basisniveau van praktische kennis en praktisch redeneren dat mensen in alledaagse situaties gebruiken. Het is alledaagse kennis die wordt gedeeld door de meeste mensen: water is nat; als je de deur van je koelkast open laat, bederft het voedsel; wie lacht, is waarschijnlijk blij — dat soort zaken. Tien jaar oude kinderen bezitten het volop, maar bij machines ontbreekt dit soort kennis grotendeels.

Lees de rest van het verhaal in de papieren editie van het meinummer van technologietijdschrift De Ingenieur.

Hier zijn een aantal interessante hyperlinks:

Onderzoek naar computers met gezond verstand bij het Allen Institute for AI (AI2): https://mosaic.allenai.org and https://www.paulallen.com/tech-innovations/ai-common-sense-project-alexandria (Project Alexandria is inmiddels omgedoopt tot Mosaic)

Yejin Choi: https://homes.cs.washington.edu/~yejin/

Doe-het-zelf-demo’s: https://mosaickg.apps.allenai.org

ATOMIC — An Atlas of Machine Common sense for If-Then Reasoning: https://homes.cs.washington.edu/~msap/atomic/

Common Sense knowledge graphs: https://mosaic.allenai.org/projects/commonsense-knowledge-graphs

Mosaic common sense benchmarks: https://mosaic.allenai.org/projects/mosaic-commonsense-benchmarks

Visual common sense reasoning: https://visualcommonsense.com

Project Aristo probeert een computer te laten slagen voor een middelbare school-examen biologie: https://allenai.org/aristo

Project CYC: https://www.cyc.com en https://en.wikipedia.org/wiki/Cyc

NELL (Never-Ending Language Learner): http://rtw.ml.cmu.edu/rtw/