Wednesday, February 23, 2011

'Robots worden niet slimmer dan mensen'

Zelfs succesvolle robots zoals het Marswagentje of de Roomba-stofzuigerrobot zijn alleen maar instrumenten van de mens. Ze kunnen niet omgaan met mensen. Robots die dat wel kunnen, zijn volgens robotonderzoeker Nicholas Roy het volgende grote doel.


Dit artikel is verschenen in De Ingenieur, 28 januari 2011


                       Nicholas Roy (left) with robotic wheelchair

Naam: Nicholas Roy
Nationaliteit: Canadese
Leeftijd: 37
Titel: Dr.
Opleidingen: PhD Robotica (Carnegie Mellon University, Pittsburgh, 2003), M.Sc. Informatica (McGill University, Montreal, 1997), B.Sc. Natuurkunde (McGill University, Montreal, 1995)
Functie: associate professor lucht- en ruimtevaartkunde aan het Massachusetts Institute of Technology (MIT)

Dinsdagmiddag landt hij op Schiphol, vanuit het Amerikaanse Boston. Woensdag is hij de hoofdspreker op het symposium Intelligent Machines in Nijmegen. En donderdag net na het middaguur vliegt hij weer terug naar de andere kant van de oceaan. Nee, hij heeft zelfs geen tijd om ook maar iets van Amsterdam te zien, laat staan van de rest van Nederland, terwijl dit bezoek toch zijn eerste keer in de Lage Landen is.

De in Vancouver geboren Nicholas Roy lijkt tijdens het interview geen last te hebben van een jetlag. Handige eigenschap voor iemand voor wie vliegtuigen de grootste passie uit zijn kindertijd waren. Stapels boeken over vliegtuigen had hij als kind verzameld. Toch valt het feit dat hij nu associate professor lucht- en ruimtevaartkunde is niet terug te voeren op die kinderpassie. Roy: “Mijn vrouw wees me op die boeken. Ik was ze zelf al helemaal vergeten.”

Via de natuurkunde en de kunstmatige intelligentie kwam hij terecht bij de robotica van luchtvaartuigen en andere machines. “Ik was niet goed genoeg in natuurkunde”, zegt Roy. “Met computers was ik veel beter. Ik hou vooral van de combinatie van hard- en software. Aan de ene kant slimme algoritmen bedenken die de kunstmatige intelligentie vooruit helpen. En aan de andere kant ook echt iets bouwen dat rond rijdt of vliegt in de fysieke wereld.”

Hij werkt bij een van de top-roboticalabs in de wereld: het beroemde Computer Science and Artificial Intelligence Laboratory (CSAIL) van het Massachusetts Institute of Technology aan de oostkust van de VS, net buiten Boston. Hier geeft hij leiding aan een groep van drie postdoc-onderzoekers, acht promovendi en een zestal studenten. “Ik zeg altijd tegen mijn studenten: ga kijken wat de robot niet kan, en waarvan je wilt dat hij het wel kan. Kom dan terug en vertel me wat je in grote lijnen wilt doen, maar waarvan je niet weet hoe je het in detail moet aanpakken. Dan gaan we dat proberen op te lossen.”

Robot-evolutie
Voor buitenstaanders is het niet zo gemakkelijk om de prestaties van de robotica op waarde te schatten. Waar blijven immers al die robots die ons decennia geleden werden voorspeld? De verwachtingen waren eind jaren vijftig zo groot dat ze in de praktijk alleen maar konden tegenvallen. En dat is gebeurd. Anno 2010 is de succesvolste commerciële robot ter wereld de Roomba-robotstofzuiger, toch een apparaat met beperkte mogelijkheden. We hebben nog steeds geen robot waarmee we gezellig aan de bar kunnen hangen of eentje die onze huishoudelijke klusjes uit handen neemt.

Veel van de vooruitgang in de robotica heeft de commerciële toepassingen nog niet gehaald en valt vooral te bewonderen in de beste labs, zoals dat van Roy. Wat zijn volgens de Canadees de belangrijkste doorbraken van de afgelopen vijftien jaar?

Hij schetst die vooruitgang aan de hand van vier robots waaraan hij sinds eind jaren negentig heeft bijgedragen. “In 1998 reed in het Smithsonian Museum in Washington DC de robotmuseumgids Minerva rond. Hij kon bezoekers helpen bij een rondje door het museum. Maar Minerva moest op zijn tenen lopen voor een beetje acceptabele ruimtelijke oriëntatie. En ook de interactie met de bezoekers was nog behelpen. Het werk aan Minerva leidde in 2003 tot de zorgrobot Pearl, die ouderen helpt om langer zelfstandig te blijven wonen. Hij knapt allerhande klusjes voor ze op. De zorgrobot was al beter in de ruimtelijke oriëntatie, maar moest vooral verbeterd worden in de omgang met mensen, bijvoorbeeld via een veel beter spraakinterface.”

Aan beide robots werkt Roy inmiddels niet weer, maar de kennis en ervaring die hij ermee heeft opgedaan, heeft hij gebruikt voor een van zijn huidige paradepaardjes: een met spraak bestuurbare intelligente robotrolstoel: “Patiënten met een ernstige spierziekte kunnen de rolstoel bijvoorbeeld vragen om hen naar de lift of de fysiotherapeut te brengen. Ook kunnen ze via een Skypeverbinding een pizza te bestellen. De rolstoel leert van de wensen en behoeften van de gebruiker, bijvoorbeeld dat hij vaak de ene lift neemt en niet de andere. Wij werken intensief samen met patiënten en verzorgers van het zorgcentrum Boston Home. Het is heel bevredigend om te zien hoe dit werk de levenskwaliteit van patiënten verbetert doordat ze zelfstandiger kunnen functioneren.”

Roy schetst de technologische en wetenschappelijke vooruitgang die ten grondslag lagen aan de evolutie van Minerva via Pearl naar de met spraak bestuurbare robotrolstoel. “De eerste belangrijke doorbraak ligt op het terrein van het in kaart brengen van de ruimtelijke omgeving. In 1995 was dat een hels karwei. Ik wil niet zeggen dat dat probleem anno 2010 helemaal is opgelost, maar de resultaten zijn met sprongen verbeterd. Als je robot goede sensoren heeft, kun je inmiddels standaard software van het web downloaden waarmee de robot een betrouwbare kaart van de omgeving kan maken.”

Dat doet een robot trouwens heel anders dan mensen. “Robots zien de wereld geometrisch: in termen van afstanden, ruimten, puntenwolken en voorwerpen. Mensen zien ruimtes op een functionele manier: hier is een werkkamer, daar een vergaderkamer, daar de wc, daar de lift. Afstanden kunnen we veel slechter schatten dan robots.”

Ook stellen we andere eisen aan robots dan aan mensen, zegt Roy. Mensen mogen best kleine, lokale fouten maken. In de haast stoot je bijvoorbeeld even een deur aan. Kan gebeuren. Maar je wilt absoluut niet dat een robot dezelfde fout maakt. Dat zou de robot of de deur ernstig kunnen beschadigen. Misschien dat dat in de toekomst met flexibelere en zachtere robots nog gaat veranderen, maar nu nog programmeren we onze robots zo dat ze absoluut niet zomaar ergens tegenaan mogen botsen.

Een tweede sprong voorwaarts is volgens Roy de sterk verbeterde controle over het fysiek van de robot. “Een robot loopt veel beter dan vijftien jaar geleden. Onbemande vliegtuigen en helikopters vliegen veel langer dan destijds. En zowel grond- als luchtrobots kunnen in veel complexere omgevingen hun weg vinden.”

Stille revolutie
Maar de belangrijkste doorbraak in de robotica en de kunstmatige intelligentie ligt op fundamenteel wetenschappelijk niveau, en kan als een paradigmaverschuiving worden omschreven. Decennialang hebben informatici geprobeerd om computers en robots intelligent te maken door ze vol te stoppen met voorgeprogrammeerde regels. Als ware het leven een schaakwedstrijd. Dat leidde tot veel minder successen dan gedroomd.

De basis van de stille revolutie die de laatste jaren heeft plaatsgevonden ligt volgens Roy “bij slimme statistische technieken die razendsnel betekenis destilleren uit een grote berg aan voorbeelden of andere data.” Zo zijn dankzij het wereldwijde web nu voor het eerst in de geschiedenis enorme hoeveelheden data vrij beschikbaar voor deze statistische technieken: teksten, beelden en geluidsopnames. Deze stille revolutie heeft successen opgeleverd bij onder andere automatische vertaling, automatische spraakherkenning, automatische beeldherkenning en het in kaart brengen van een ruimtelijke omgeving. De resultaten liggen nog niet op menselijk niveau, maar zijn wel veel beter dan een jaar of tien geleden.

Naast het onderzoek aan de autonome robotrolstoel, heeft Roy nog twee belangrijke onderzoekspijlen op zijn boog: autonome mini-UAV’s (unmanned aerial vehicles) en het nieuwe robotplatform PR2. “Het doel met onze mini-UAV’s is om ze zo klein te maken dat ze tijdens een of andere reddingsactie door een willekeurig gebouw kunnen vliegen en geen GPS nodig hebben, zoals de grote UAV’s van bijvoorbeeld het Amerikaanse leger dat wel nodig hebben.”

Afgelopen zomer deed zijn groep mee aan een speciale wedstrijd. Mini-UAV’s moesten een gebouw binnenvliegen dat model stond voor de Three Mile Island-kerncentrale waar in 1979 een ernstig kernongeluk plaatsvond. De mini-UAV’s moesten foto’s maken van de controlepanelen in het zenuwcentrum van de centrale om te bepalen of het wel of niet veilig was voor mensen om naar binnen te gaan.

“Onze mini-UAV had van tevoren geen idee van hoe het gebouw eruit zag. Toch was hij in 4,5 minuut in staat om het gebouw door te vliegen, de controlekamer te vinden, foto’s te maken van het controlepaneel en die naar ons toe te sturen. Ons beste toestel is nu 75 centimeter lang en eigenlijk is dat voor de praktijk nog te groot. We willen er eentje maken die kleiner is dan 40 centimeter.”

Open-sourcerobot 
Ten slotte werkt Roy aan een vierde robot, de Personal Robot 2, kortweg PR2 (uitgesproken als pier-toe). De anderhalve meter hoge PR2 is een product van het Californische bedrijf Willow Garage, dat commerciële servicerobots ontwikkelt. Het bedrijf denkt dat robotonderzoekers veel te lang steeds opnieuw het wiel probeerden uit te vinden. Te weinig kennis werd gedeeld. De filosofie van Willow Garage is om elf van hun PR2-robots gratis aan toplaboratoria ter beschikking te stellen om nieuwe software voor de robot te ontwikkelen. In ruil voor de gratis robot moeten de onderzoekers dan wel de nieuw ontwikkelde software gratis voor de andere onderzoeksgroepen beschikbaar maken. Een open-sourcerobotproject dus. “PR2 kan de vaatwasser leegruimen, allerhande voorwerpen oppakken en manipuleren en zelfs de was opvouwen. Wij zijn hem aan het uitbreiden met betere mens-machineinteractie, zoals we dat bij de robotrolstoel ook al hebben gedaan.”

Hoe ziet Roy de toekomst van de robotica? Ja, hij kent de vragen van de journalisten en de science-fictionachtige vergezichten die het publiek moeten verleiden. “Ik zie robots niet slimmer worden dan mensen,” zegt hij. “Dat moeten we ons ook helemaal niet als doel stellen. Ik ben een ingenieur. Ik leer mijn studenten altijd om niet te speculeren. Ik ben geïnteresseerd om modellen en machines te bouwen op basis van wat we nú weten.”

Toch komt er ook volgens Roy ongetwijfeld steeds meer kunstmatige intelligentie in ons alledaagse leven: in de gezondheidszorg, de dienstverlening, in verkeer en vervoer en in talloze toepassingen die we nu nog niet kunnen bedenken. Maar met een steek naar Ray Kurzweils voorspelling dat machines binnen twee decennia slimmer worden dan mensen (uit zijn bestseller The singularity is Near), besluit hij: “Niemand heeft ooit iets zinvols over de toekomst gezegd, behalve dan om de verkoop van een boek omhoog te stuwen.”

Internet
http://web.mit.edu/aeroastro/people/roy.html Homepage van Nicholas Roy
www.csail.mit.edu/ MIT’s beroemde AI-lab CSAIL
http://groups.csail.mit.edu/rrg/ Roy’s Robust Robotics Group bij CSAIL
www.youtube.com/watch?v=f7oD3W1kpSI Intelligente, met spraak bestuurbare robotrolstoel ontwikkeld door de Roy’s MIT-roboticagroep
http://groups.csail.mit.edu/rrg/index.php?n=Main.Videos Filmpjes van mini-UAV’s ontwikkeld bij Roy’s lab
www.youtube.com/watch?v=mfO31-QNJ5c Minerva Tour Guide Robot (1998)
www.youtube.com/watch?v=6T8yhouP0l0 Pearl, een zorgrobot voor ouderen (2003)
www.snn.ru.nl/symposium-2010/ Het Intelligent Machines Symposium, gehouden op 17 november 2010 in Nijmegen. Nicholas Roy was er de hoofdspreker. 
www.willowgarage.com/pages/pr2/overview Over de PR2-servicerobot

















Thursday, February 17, 2011

Supercomputer Watson crowned king in Jeopardy - The IBM Challenge



Lees mijn uitgebreide artikel over Watson & Jeopardy uit NRC Handelsblad: http://benniemols.blogspot.com/2011/01/wie-is-de-beste-quizspeler-computer-of.html

In a three day match, IBM's supercomputer Watson has beaten the two best human players in the history of America's most popular tv-quiz Jeopardy.

Watch here part 1 of the third and final match:
http://www.youtube.com/watch?v=l2_fM6e9AiA&feature=youtube_gdata_player

Watch here part 2 of the third and final match:
http://www.youtube.com/watch?v=DHGu0-p-3QQ&feature=youtube_gdata_player

The end result:

IBM's Watson: 77.147 dollar
Ken Jennings: 24.000 dollar
Brad Rutter: 21.600 dollar


On top of this, Watson won 1 million dollar (donated by IBM to the charities World Visionair and worldCommunityGrid.org), Ken Jennings earned an extra 300.000 dollar (half of which donated to a charity) and Brad Rutter an extra 200.000 dollar (half of which donated to a charity).

Watson answered very fast, gave a lot of correct answers and some occasional wrong answers. In one case it made a definitely non-human mistake: Brad Rutter first gave a wrong answer. Next, Watson repeated the same wrong answer. No human player would ever have done that. But this is because Watson does not hear what the other players say.

All in all, Watson outperformed the best human players. Watson's electronic brain solves Jeopardy questions very differently from humans, but who cares. Watson used brute force, humans rely on their superior pattern recognition and highly developed linguistic abilities.

For a computer to win in Jeopardy, is much more difficult than to win in chess, as IBM's supercomputer Deep Blue did in 1997 against world champion Gary Kasparov. Natural language is highly ambiguous, which makes interpretation for a computer difficult. But now IBM has shown that computers are able to do just that.

The scientific research that has led to Watson is much more useful for the world than the research that has led in the 80's and 90's to better than human chess computer. Watson's victory shows that computers are ready to answer questions asked in complicated and often ambiguous natural language.


In the coming years this will lead to new applications of Question-Answering-software for businesses, health organisations, governmental organisations, non-governmental organisations and general consumers.

Wednesday, February 16, 2011

Supercomputer Watson superieur in tweede ronde Jeopardy

Tijdens de tweede van drie matchdagen in de Amerikaanse kennisquiz Jeopardy! demarreerde supercomputer Watson ver weg van zijn twee menselijke tegenstrevers. Watson antwoordde razendsnel en had de meeste van zijn antwoorden goed.

Bekijk hier deel 1 van dag 2: http://www.youtube.com/watch?v=PHhDLUVAtqU&feature=youtube_gdata_player

Bekijk hier deel 2 van dag 2: http://www.youtube.com/watch?v=HR2_M8kL_3o&feature=youtube_gdata_player

Lees mijn uitgebreide artikel over Watson & Jeopardy uit NRC Handelsblad: http://benniemols.blogspot.com/2011/01/wie-is-de-beste-quizspeler-computer-of.html

Stand na de tweede dag in Jeopardy!:

1. Watson: 35.734 dollar
2. Brad Rutter: 10.400 dollar
3. Ken Jennings: 4.800 dollar

Morgen is de derde en laatse matchdag. De winnaar ontvangt een miljoen dollar. Mocht Watson winnen, dan doneert IBM het prijzengeld geheel aan een goed doel.

Monday, January 31, 2011

Wie is de beste quizspeler: computer of mens?

De computer schaakt al beter dan de mens. Nu is zelfs ’s werelds moeilijkste kennisquiz Jeopardy! niet meer veilig voor de brute kracht van de denkende machine. 

Dit artikel is gepubliceerd in NRC Handelsblad van 29 januari 2011 (onder de titel 'Watson - de quizzende computer')

                                           IBM Watson Supercomputer. Credit: IBM

In 1997 versloeg IBM’s supercomputer Deep Blue wereldkampioen schaken Garry Kasparov in een match over zes partijen met 3½ - 2½. Een mijlpaal in de intellectuele strijd tussen computer en mens. “Ik heb op mijn emoties verloren van een niet-emotionele tegenstander”, zou Kasparov zes jaar later zeggen in de documentaire Game Over. Hij kon de nederlaag maar moeilijk verkroppen.

IBM heeft zich inmiddels een nieuw doel gesteld, dat veel moeilijker is en veel meer praktische toepassingen belooft. Van 14 tot en met 16 februari 2011 strijdt de nieuwe IBM-supercomputer Watson tegen de twee beste menselijke spelers uit de historie van Amerika’s succesvolste tv-kennisquiz Jeopardy! Nederland kende deze quiz in de jaren negentig onder de naam Waagstuk! destijds uitgezonden door SBS6 en gepresenteerd door Albert Verlinde.

Jeopardy! is niet zomaar een kennisquiz met vragen van het type ‘Wat is de langste rivier?’ Jeopardy-vragen zijn vaak cryptisch geformuleerd. De quizpresentator zegt bijvoorbeeld ‘Neem in Polen een kalafior als je houdt van deze broccolivariant’ of: ‘Nadat Duitsland Nederland binnenviel, vluchtte deze koningin, haar familie en haar regering naar Londen.’ De vragen kunnen metaforen, ironie, raadsels of dubbelzinnigheden bevatten. Om zich te onderscheiden van andere kennisquizzen moeten de Jeopardy!-kandidaten hun antwoorden juist als een vraag formuleren. ‘Wat is bloemkool?’ is dan het antwoord op de eerste vraag (het Poolse woord ‘kalafior’ betekent bloemkool) en ‘Wie is Wilhelmina?’ op de tweede.

Elke vraag staat voor een bepaald geldbedrag; sommige vragen leveren de kandidaat meer op dan andere. De kandidaten moeten zo snel mogelijk op een knop drukken. Bij een goed antwoord verdient de kandidaat het geldbedrag. Bij een verkeerd antwoord gaat hetzelfde bedrag van zijn totale verdiensten af. De Amerikaanse topspeler Ken Jennings won in het seizoen 2004-2005 74 maal achter elkaar − een record − en verdiende daarmee 2,52 miljoen dollar. De best verdienende speler is Brad Rutter met een prijzenbedrag van ruim 3,2 miljoen dollar. Het is precies tegen deze twee Kasparovs van Jeopardy! dat IBM-supercomputer Watson in februari gaat spelen. 

                         Het decor van de Jeopardy-quiz

Oneindig aantal vragen 
Tot enkele jaren geleden leek het voor een computer onmogelijk om de beste menselijke Jeopardy-spelers serieus partij te bieden. De computer staat namelijk voor vier levensgrote uitdagingen. Allereerst is Jeopardy! een quiz met een open domein. De kennisvragen kunnen overal over gaan − van geschiedenis tot popmuziek, van wetenschap tot sport − en het aantal mogelijke vragen is eindeloos. De beste menselijke spelers drukken bij ongeveer de helft van de vragen op de knop, en van hun antwoorden is zo’n 85% correct. Dat moet de computer zien te evenaren.

Dit open-domeinkarakter is het grote verschil met bordspelen als dammen of schaken. Bij deze bordspelen liggen de regels precies vast en is het aantal mogelijke stellingen weliswaar akelig groot, maar toch eindig. Dan kan een computer ideaal gebruik maken van zijn rekensnelheid, precisie en onvermoeibaarheid.

De tweede grote uitdaging voor Watson ligt in het begrijpen van de vraag in gecompliceerde, natuurlijke taal. Een computer is goed in het volgen van exacte regels. Maar bij taal liggen de regels niet precies vast, hebben woorden vaak meerdere betekenissen, hangt de betekenis van de context af en is een zin vaak onnauwkeurig geformuleerd. Zo kan de zin ‘Ik heb nooit gezegd dat zij mijn geld heeft gestolen’ zeven verschillende betekenissen hebben, afhankelijk van op welk woord de nadruk ligt. En in de zin ‘Hoe lang is de Rijn?’ gaat ‘lang’ over een lengte, maar in de zin ‘Hoe lang duurt het concert van Madonna?’ slaat ‘lang’ op een tijdsduur.

De rijkdom van natuurlijke taal maakt het voor een computer veel moeilijker om Ken Jennings te verslaan met Jeopardy! dan Garry Kasparov met schaken. Specialisten zeggen unaniem dat het begrijpen van de bedoeling achter de vraag het grootste struikelblok voor Watson gaat vormen. “Hoe ambiguer de Jeopardy-vraag, hoe meer kans de mens heeft en hoe eenduidiger de vraag, hoe beter de computer het zal doen”, verwacht de Canadese informaticus Jonathan Schaeffer. Schaeffer ontwikkelde als eerste een computerprogramma dat een wereldkampioen versloeg in een serieus bordspel: checkers − een variant van dammen op een 8-bij-8-bord in plaats van een 10-bij-10.

De derde grote uitdaging voor de computer is dat hij moet inschatten hoe betrouwbaar een antwoord is. Een fout antwoord kost immers geld. Om te kunnen concurreren met Jennings en Rutter moet ten minstens 85 procent van Watsons antwoorden correct zijn. Als vierde en laatste grote uitdaging moet Watson het antwoord ook nog binnen een handvol seconden geven.

Nieuw ijkpunt 
In 2007 besloot computergigant IBM al deze uitdagingen aan te gaan en Jeopardy! als nieuw ijkpunt te nemen voor de kunstmatige intelligentie, zoals schaken dat decennialang is geweest. “Een briljante zet”, vindt Schaeffer, “want wie maalt er, behalve schaakliefhebbers, om een superieure schaakcomputer? Maar iedereen kan het praktische belang inzien van een computer die vragen kan beantwoorden.”

IBM begon met een team van een man of vijftien, onder leiding van dr. David Ferrucci, een specialist in kunstmatige intelligentie. De eerste Jeopardy!-resultaten van de supercomputer stelden teleur. Begin 2007 gaf de computer zo’n 15 procent correcte antwoorden, veel minder dan de 85 procent van de beste menselijke spelers. Werk aan de winkel dus.

Ferrucci breidde het aantal medewerkers geleidelijk uit tot meer dan vijftig in 2009. Bovendien ging het bedrijf samenwerken met wetenschappers van Carnegie Mellon University en University of Massachusetts Amherst. Aparte teams specialiseerden zich in het ontrafelen van de betekenis van de vraag, het zoeken naar het antwoord, het optimaliseren van de computerhardware en zelfs op de spraaksoftware die Watson gebruikt om het antwoord correct uit te spreken.

In april 2010 speelde Watson voor het eerst goed genoeg om te concurreren met Jeopardy-winnaars. Wel bleef hij nog steeds achter bij topspeler Ken Jennings. In het laatste kwartaal van 2010 kwalificeerde Watson zich officieel voor Jeopardy! en speelde hij vijftig testwedstrijden tegen de betere menselijke spelers. Afgelopen december achtte IBM Watson in staat om ook de twee beste menselijke spelers serieus partij te bieden. Samen met de Jeopardy!-organisatoren kondigden ze een nieuwe grensverleggende match tussen mens en computer aan.

Het geheim van Watson 
Supercomputer Watson meet ongeveer acht koelkasten van het Amerikaanse king-size-formaat en is vernoemd naar IBM’s oprichter Thomas J. Watson. Hij is niet verbonden met het internet. Alle kennis die hij nodig heeft om de quizvragen te beantwoorden, moet uit zijn eigen geheugen komen. Sinds 2007 is Watson daarom gevoed met tientallen miljoenen documenten, variërend van encyclopedieën, woordenboeken en thesauri tot romans, toneelstukken en websites. Toch ligt het geheim van Watson niet in deze enorme hoeveelheid gegevens. Het geheim ligt in de manier waarop hij in dat geheugen naar antwoorden zoekt.

Laten we als voorbeeld de volgende Jeopardy-vraag nemen: ‘In mei 1898 vierde Portugal de vierhonderdste verjaardag van de aankomst van deze ontdekkingsreiziger in India.’ Als goede antwoord zou de computer ‘Wie is Vasco da Gama?’ moeten geven. Maar hoe vindt hij het antwoord in al die tientallen miljoenen documenten die hij in zijn geheugen heeft?
Grofweg kunnen we drie stappen onderscheiden, volgens Johan Bos, hoogleraar computationale semantiek bij de afdeling informatiekunde aan de Rijksuniversiteit Groningen. “De eerste stap is een diepe taalkundige analyse van de vraag. De tweede stap is het zoeken naar een antwoord op elke mogelijke interpretatie van de vraag. De derde en laatste stap is de controlestap.” Stel dat Watson het antwoord ‘Vasco da Gama’ heeft gevonden. Hij weet ook dat het om een persoon gaat. Dan formuleert hij het antwoord ten slotte eenvoudig als een vraag die voldoet aan de Jeopardy-eisen: “Wie is Vasco da Gama?” In deze vraag zit impliciet het antwoord.

In de eerste stap op weg naar het antwoord wordt de vraag eerst grammaticaal ontleed in zelfstandige naamwoorden, werkwoorden, bezittelijk voornaamwoorden, plaatsnamen, tijdsaanduidingen enzovoort. Daarna wordt gekeken hoe deze bij elkaar horen. In de voorbeeldzin is ‘Portugal’ het onderwerp van ‘vierde’ en hoort ‘aankomst’ bij ‘deze ontdekkingsreiziger’. Een goede grammaticale analyse is essentieel, omdat de grammaticale zin waarin het antwoord verstopt kan zitten er anders kan uitzien. Zo kan bijvoorbeeld de zin ‘Op 27 mei 1498 landde Vasco da Gama op Kappad Beach’ ergens in de miljoenen opgeslagen teksten staan. Wanneer de computer uit de voorbeeldvraag niet zou halen dat ‘ontdekkingsreiziger’ bij ‘aankomst’ hoort, dan zal hij ook niet kunnen achterhalen ‘landde Vasco da Gama’ op dezelfde gebeurtenis slaat.

Na de grammaticale analyse volgt de betekenisanalyse. Elke mogelijke interpretatie van de vraag wordt in een logische formule uitgedrukt die op een abstracte manier de betekenisrol van een woord in de zin uitdrukt. Zo is in het voorbeeld ‘Portugal’ het onderwerp van ‘vierde’. Elke tekst in Watsons geheugen is in hetzelfde logische taaltje vertaald. Als ergens in een tekst staat “...werd door Portugal gevierd...” dan is de logische vertaling daarvan gelijk aan die van ‘Portugal vierde’, omdat ‘Portugal’ het onderwerp is van het predicaat ‘vieren’.

In de tweede stap gaat de computer voor elke interpretatie van de Jeopardy-aanwijzing op zoek naar mogelijke antwoorden. Dat doet hij door te zoeken naar teksten waarin dezelfde logische formule te vinden is als die van de aanwijzing. In deze tweede stap gebruikt Watson op statistiek gebaseerde zoekmachines à la Google, die niks van betekenis begrijpen maar wel razendsnel zoeken op identieke tekens. Bos: “Je hoopt dat het antwoord in de enorme hoeveelheid documenten talloze malen voorkomt. Als het in de ene tekst niet lukt het antwoord te vinden, dan wellicht in het andere wel.”

Betrouwbaarheid 
Net zoals de vraag in een logische formule wordt voorgesteld, zo zijn alle teksten in het geheugen van Watson automatisch ook al op betekenis geanalyseerd en vertaald in logische formules. Zo kan Watson al weten dat Vasco da Gama een ontdekkingsreiziger is en dat Kappad Beach in India ligt. Bos: “Bij het zoeken naar een antwoord zoekt de computer naar een match tussen de logische representatie van de vraag en die van alle teksten.”

Volgens IBM-projectleider David Ferrucci vindt Watson gemiddeld honderden mogelijke antwoorden op één enkele interpretatie van een vraag. Alle antwoorden worden gerangschikt naar betrouwbaarheid, uitgedrukt als een getal tussen 0 en 100. Hoe vaker hetzelfde antwoord opduikt, hoe hoger de betrouwbaarheid van het antwoord. Ook de betrouwbaarheid van de bron weegt mee. De Encyclopedia Britannica geldt als betrouwbaarder dan een willekeurige webtekst. IBM kan aangeven welke betrouwbaarheid een antwoord minimaal moet hebben voordat Watson op de zoemer drukt, ten teken dat hij de Jeopardy!-vraag wil beantwoorden.

Tijdens de derde en laatste stap vult de computer mogelijke antwoorden in de vraag in en gaat dan opnieuw zoeken in zijn geheugen om de betrouwbaarheid van een antwoord te vergroten. In het voorbeeld zoekt de computer of de zin ‘In mei 1898 vierde Portugal de vierhonderdste verjaardag van de aankomst van Vasco da Gama in India’ inderdaad wel genoeg betrouwbare treffers oplevert.

Volgens projectleider David Ferrucci kost het beantwoorden van een enkele vraag op een standaard desktopcomputer met een processorsnelheid van 2,6 gigahertz twee uur rekenen. Door het zoekproces efficiënt te verdelen over drieduizend van zulke processoren, brengt de supercomputer de rekentijd terug tot tussen de twee en zes seconden.

Vraag het aan Watson 
De schaakmatch tussen Kasparov en Deep Blue leverde IBM weliswaar veel publiciteit op maar nauwelijks commerciële toepassingen. Dat moet anders met worden met het Watson-project. Het bedrijf denkt binnen een paar jaar een groot aantal commerciële vraag-antwoordsystemen te ontwikkelen voor overheden, bedrijven, gezondheidsinstellingen en helpdesks. “Voor IBM staat er veel op het spel”, zegt Johan Bos. “Ze hebben er al heel veel geld in gepompt. Het is hun kracht dat ze veel mankracht kunnen inzetten op alle onderdelen, ook op de hele saaie.”

Dezelfde vraag-antwoord-methode die Watson voor Jeopardy! gebruikt, kan bijvoorbeeld ook toegepast worden om een arts te helpen bij het stellen van een medische diagnose. Laat Watson zoeken door een lijst met symptomen van een patiënt, zijn persoonlijke en familiegeschiedenis, medische handboeken en wetenschappelijke artikelen, en hij kan mogelijke diagnoses naar betrouwbaarheid rangschikken, precies zoals hij antwoorden op Jeopardy!-vragen rangschikt.

Steeds meer informatie zal de komende decennia gedigitaliseerd worden. Daarmee groeit het belang om snel een antwoord te vinden op specifieke kennisvragen. Als Watson Jeopardy! weet te winnen, of ten minste goed partij weet te bieden, dan gaat Google er een grote concurrent bij krijgen. Eentje die antwoorden geeft in plaats van je op te schepen met een lange lijst van documenten waarin je het antwoord zelf moet zoeken.

[Kader 1:]
Wij doen het anders 

Wat is het verschil tussen de manier waarop supercomputer Watson een Jeopardy!-vraag oplost en de manier waarop de mens dat doet?

Hoogleraar theoretische neuropsychologie Jaap Murre van de Universiteit van Amsterdam heeft met een interdisciplinair team van psychologen, wiskundigen en taalkundigen onderzoek gedaan naar de manier waarop mensen kennisvragen beantwoorden. Murre: “Hersenscans hebben laten zien dat processen als het horen of lezen van de zin, het begrijpen van de zin, het zoeken naar het antwoord en het formuleren van het antwoord niet na elkaar plaatsvinden, zoals men vroeger dacht, maar tegelijkertijd. Bovendien wisselen deze processen voortdurend informatie uit. Uiteindelijk komt daar een samenhangend antwoord uit. Dat antwoord is gradueel: je hebt een gevoel over hoe betrouwbaar het is. Dit gevoel bepaalt op welk moment je begint met het uitspreken van je antwoord. Al deze processen gebeuren grotendeels onbewust via grote, associatieve netwerken van hersencellen die verspreid over het brein liggen. Alleen die aspecten die duidelijk uitgekristalliseerd zijn, bereiken het bewustzijn en stellen de mens in staat een antwoord te formuleren.”

Veel details over hoe mensen een antwoord vinden, zijn echter nog onbekend. Wel is duidelijk dat het essentiële verschil tussen de mens en de computer ligt in het unieke karakter van netwerken van hersencellen om patronen te herkennen, gecombineerd met het vermogen van die netwerken om tegelijkertijd actief te zijn. Deze capaciteiten geven het brein de multifunctionaliteit die ontbreekt bij Watson. Watson is geoptimaliseerd voor het spelen van Jeopardy! Hij kan niet schaken, geen gezichten herkennen, laat staan een alledaags gesprek voeren. De computer benut zijn eigen sterke punten: razendsnel rekenen, een enorm geheugen en nooit vermoeid raken. De mens doet waar hij goed in is: leren en patroonherkenning. Eigenlijk vullen het menselijk brein en de computer elkaar aan: waarin de een goed is, is de ander slecht en omgekeerd.

[kader 2:]
Computer tegen mens - Enkele historische hoogtepunten 

1948 Alan Turing schrijft het eerste computerschaakprogramma.

1952 Een van de eerste elektronische computers, de EDSAC, wordt geprogrammeerd om boter-kaas-en-eieren te spelen.

1959 Voor het eerst wint een checkers-computerprogramma, ontworpen bij IBM, van enkele goede menselijke spelers.

1962 Schaakprogramma van MIT-onderzoekers verslaat sommige amateurs.

1988 Schaakprogramma HiTech is het eerste dat op grootmeesterniveau schaakt. Vier-op-een-rij wordt volledig opgelost.

1994 Computerprogramma Chinook verslaat de wereldkampioen checkers, Marion Tinsley. Voor het eerst heeft een computer een wereldkampioen verslagen.

1996 Wereldkampioen schaken Garry Kasparov wint zijn eerste match over zes partijen tegen IBM-schaakcomputer Deep Blue met 4 - 2.

1997 Een verbeterde versie van Deep Blue (tweemaal zo snel en met betere algoritmen) verslaat Kasparov in een revanchematch met 3½ - 2½. Deep Blue rekent gemiddeld tweehonderd miljoen zetten per seconde door en kan veertien zetten vooruit denken.

2002 John Romein en Henri Bal van de VU Amsterdam hebben het Afrikaanse bordspel Awari opgelost (ongeveer 10^12 geldige stellingen: een 1 gevolgd door 12 nullen).

2007 Checkers wordt volledig opgelost door computerprogramma Chinook. Een computerbewijs laat zien dat Chinook nooit kan verliezen. Checkers heeft ongeveer 10^20 geldige stellingen.

2007 Quackle wint als eerste computerprogramma een scrabble-toernooi.

2008 Computerprogramma MoGo, deels in Nederland ontworpen en draaiend op de Nederlandse nationale IBM-supercomputer Huygens, verslaat een internationale topspeler bij het bordspel go. De topspeler begon wel met een handicap van negen stenen. Go heeft ongeveer 10^170 geldige stellingen, tegenover 10^47 bij schaken.

2011 IBM-supercomputer Watson neemt het op tegen de twee beste menselijke spelers in Amerika’s populairste kennisquiz Jeopardy!

Internet
www.ibmwatson.com Informatie over IBM’s supercomputer Watson
www.jeopardy.com/ Over de Jeopardy!-quiz
www.nytimes.com/interactive/2010/06/16/magazine/watson-trivia-game.html Speel hier een mini-Jeopardy!-variant.

Sunday, January 30, 2011

Laat dat robotkind maar schuiven







iCub is een robotkind van een jaar of drie. Net zoals een echt kind leert hij van zijn omgeving door te zien, te horen en te voelen. iCub moet ons de weg wijzen naar een beter begrip van het menselijk brein en naar betere robots. In december bracht ik een bezoek aan iCub in Barcelona, waar de Nederlandse psycholoog Paul Verschure de leiding heeft over het roboticalab.

Lees mijn artikel over iCub in KIJK 3-2011.

Hier alvast de intro van KIJK:

Inzicht in het menselijk brein krijg je door hersenscans te maken of proefpersonen te onderzoeken. Of: door een robot te bestuderen. Een kleuterrobot van een jaar of drie, om precies te zijn. KIJK-journalist Bennie Mols maakt in Spanje kennis met de iCub.

Vandaag heeft hij even vakantie. Bewegingloos staat hij in zijn metalen beugel. In Spanje is 6 december een vrije dag en de Spaanse onderzoekers die hem normaal zijn kunstjes laten vertonen, hebben allemaal vrij. Hij heet iCub en hij is een robot.

Hij is bewust gemodelleerd naar een kind dat tussen de drie en drieënhalf jaar oud is”, vertelt de Nederlander Paul Verschure die het roboticalab runt en mij zojuist aan de ‘kleuter’ heeft voorgesteld. Net zoals een echt kind leert de iCub van zijn omgeving door te zien, te horen en te voelen. Door een wit masker kijken zijn grote, zwarte robotpupillen me aan. Zijn metalen skelet zit vol elektronica en maakt van hem het meest geavanceerde robotkind ter wereld. Vooral zijn handen zien er zeer verfijnd uit. Perfecte grijphanden met vingerkootjes omhuld door een stevige plastic huid.

Verschure laat me een filmpje zien, waarin de iCub met zijn ogen een bewegend balletje volgt, er met één hand naartoe beweegt en het balletje vastgrijpt. “De makers van de iCub zijn gespecialiseerd in de coördinatie tussen ogen en handen”, legt hij uit. “En de rest van de robot is daar eigenlijk omheen gebouwd.”

Dit is een gedeelte van een artikel uit KIJK 3/2011, in de winkel van 11 februari tot en met 10 maart. 

Internet
www.robotcub.org/
www.icub.org/
www.youtube.com/watch?v=VKPkqneze6k Een filmpje van iCub in actie, met uitleg van Verschure
www.youtube.com/results?search_query=iCub&search_type=&aq=f Meer iCub-filmpjes op YouTube
http://specs.upf.edu/people/331 Meer informatie over het onderzoek van Paul Verschure

Monday, December 27, 2010

Farewell to the Turing Test - revisited


On September 25, I wrote an article in NRC Handelsblad, arguing that the Turing Test is outdated and that it's time to say farewell to the Turing Test as a way to decide whether or not machines can think.

[Use www.translate.google.com if you want to get an automatic translation of my NRC-article originally written in Dutch]

In the International Computer Games Association Journal, professor Jaap van den Herik, a specialist in artificial intelligence, refers to my article and seems to agree with me that it is time to say farewell to the Turing Test.

Here is the text of his contribution:

"FAREWELL TO THE TURING TEST? 

Sixty years after Alan Turing’s seminal article in which he introduced the Imitation Game, the discussion on the scientific value of the game is still lively and challenging. Nowadays the Imitation Game is called the Turing Test. A modern and more practical form of this test is the Loebner Prize contest, which will have had its 20th edition on October 23, 2010.

It is safe to say that “passing the Turing Test” has served for sixty years as a paradigm for researchers in Artificial Intelligence, Cognitive Science, Philosophy, and Natural Language Processing. It is attractive to compare the outcome of the “thinking” process of a machine to the result of the thinking process of a human being. In the beginning (1950) such a machine was a one-processor engine and the contest was challenging for engineers and scientists. Gradually, the power of the machine increased and its storage capacities grew beyond the limits that are imposed by nature on human beings. (Here I admit that, in the future, technology may help human brains to augment the memory capabilities, but I disregard this development for the moment.)

The question I would like to address here is the following: is the Turing Test still relevant to our researchers? We assume that some of our readers will answer this question by ‘yes’. In particular, the Editorial Board may be expected to give this answer since we publish in this issue a contribution by Maarten van Emden and André Vellino, titled From Chinese Room to Human Window. Humanising the title would lead to: “From Searle to Michie and back again, with Turing as interested spectator.”

A fair Turing Test would be a test between equally capable entities. From 1950 to 1990 a test between a computer and a human being on their thinking capabilities in one or another area (or even in all areas of thinking) could be considered as a rather fair contest. However, since 1990 the information technology world has experienced accelerating progress in areas such as supercomputers, the Internet, multi-processor systems, and distributed multi-agent systems. Can we consider the Internet or a multi-agent system as an entity? If the answer is affirmative, then the next question is: can we consider such an entity as a suitable opponent for a human being in a Turing Test?

Recently, the Dutch journalist Bennie Mols discussed this topic in the Dutch daily paper NRC Handelsblad. In the article, the philosopher Johan van Benthem criticised the Turing Test by remarking that a network of computers is not the same as “a machine”. His argument was as follows. For a machine, we have a model (i.e., the Turing machine); for networks with many computers involved we lack an acceptable theoretical model. His second criticism was directed at the dichotomy of the outcome: it is either passing the Turing Test or not passing the Turing Test. There is no measure on the outcome, e.g., the machine scored reasonably well, or it achieved 40 per cent.

From the perspective of Artificial Intelligence and Cognitive Science, there are many more criticisms on the value of the Turing Test with respect to the current status of the technology. We mention (1) reactions on environmental input and (2) non-verbal communication.

In the same article, the Dutch scientist Frank van Harmelen states: “On the one hand, I believe that the Turing Test currently is an obstacle for scientific research to understand the very nature of artificial intelligence (...). On the other hand, I still consider a computer that passes the Turing Test as a fulfilment of the extreme dream of our research community, comparable to the extreme dream in physics on a Theory of Everything. We should keep that dream, but not take it as a guideline for our research.”

In the world of chatter bots, conversational systems, robots, and androids, much discussion is devoted to the value of the Turing Test. In the 2006 conference celebrating 50 years of Artificial Intelligence, participants could fill in a questionnaire on the “passing of the Turing test” (i.e., computers are able to mimic human intelligence). Forty-one per cent of the respondents believed that passing the test never happen. Another forty- one per cent believed it to be possible (but that it would take over fifty years to happen). Apparently, Ray Kurzweil is an exception (cf. Mols, 2010).

In the previous issue we discussed the notion of a paradigm shift with respect to minimax and MCTS. Simultaneously we were facing the fact that the Drosophila Melanogaster had lost its paradigm function. Your Editor believes that we are now at the point of saying Farewell to the Turing Test."

Jaap van den Herik

Reference
Mols, B. (2010). De computer kletst maar wat. NRC Handelsblad, Science, September 25 & 26, pp. 8-9.