Monday, December 27, 2010

Farewell to the Turing Test - revisited

On September 25, I wrote an article in NRC Handelsblad, arguing that the Turing Test is outdated and that it's time to say farewell to the Turing Test as a way to decide whether or not machines can think.

[Use if you want to get an automatic translation of my NRC-article originally written in Dutch]

In the International Computer Games Association Journal, professor Jaap van den Herik, a specialist in artificial intelligence, refers to my article and seems to agree with me that it is time to say farewell to the Turing Test.

Here is the text of his contribution:


Sixty years after Alan Turing’s seminal article in which he introduced the Imitation Game, the discussion on the scientific value of the game is still lively and challenging. Nowadays the Imitation Game is called the Turing Test. A modern and more practical form of this test is the Loebner Prize contest, which will have had its 20th edition on October 23, 2010.

It is safe to say that “passing the Turing Test” has served for sixty years as a paradigm for researchers in Artificial Intelligence, Cognitive Science, Philosophy, and Natural Language Processing. It is attractive to compare the outcome of the “thinking” process of a machine to the result of the thinking process of a human being. In the beginning (1950) such a machine was a one-processor engine and the contest was challenging for engineers and scientists. Gradually, the power of the machine increased and its storage capacities grew beyond the limits that are imposed by nature on human beings. (Here I admit that, in the future, technology may help human brains to augment the memory capabilities, but I disregard this development for the moment.)

The question I would like to address here is the following: is the Turing Test still relevant to our researchers? We assume that some of our readers will answer this question by ‘yes’. In particular, the Editorial Board may be expected to give this answer since we publish in this issue a contribution by Maarten van Emden and André Vellino, titled From Chinese Room to Human Window. Humanising the title would lead to: “From Searle to Michie and back again, with Turing as interested spectator.”

A fair Turing Test would be a test between equally capable entities. From 1950 to 1990 a test between a computer and a human being on their thinking capabilities in one or another area (or even in all areas of thinking) could be considered as a rather fair contest. However, since 1990 the information technology world has experienced accelerating progress in areas such as supercomputers, the Internet, multi-processor systems, and distributed multi-agent systems. Can we consider the Internet or a multi-agent system as an entity? If the answer is affirmative, then the next question is: can we consider such an entity as a suitable opponent for a human being in a Turing Test?

Recently, the Dutch journalist Bennie Mols discussed this topic in the Dutch daily paper NRC Handelsblad. In the article, the philosopher Johan van Benthem criticised the Turing Test by remarking that a network of computers is not the same as “a machine”. His argument was as follows. For a machine, we have a model (i.e., the Turing machine); for networks with many computers involved we lack an acceptable theoretical model. His second criticism was directed at the dichotomy of the outcome: it is either passing the Turing Test or not passing the Turing Test. There is no measure on the outcome, e.g., the machine scored reasonably well, or it achieved 40 per cent.

From the perspective of Artificial Intelligence and Cognitive Science, there are many more criticisms on the value of the Turing Test with respect to the current status of the technology. We mention (1) reactions on environmental input and (2) non-verbal communication.

In the same article, the Dutch scientist Frank van Harmelen states: “On the one hand, I believe that the Turing Test currently is an obstacle for scientific research to understand the very nature of artificial intelligence (...). On the other hand, I still consider a computer that passes the Turing Test as a fulfilment of the extreme dream of our research community, comparable to the extreme dream in physics on a Theory of Everything. We should keep that dream, but not take it as a guideline for our research.”

In the world of chatter bots, conversational systems, robots, and androids, much discussion is devoted to the value of the Turing Test. In the 2006 conference celebrating 50 years of Artificial Intelligence, participants could fill in a questionnaire on the “passing of the Turing test” (i.e., computers are able to mimic human intelligence). Forty-one per cent of the respondents believed that passing the test never happen. Another forty- one per cent believed it to be possible (but that it would take over fifty years to happen). Apparently, Ray Kurzweil is an exception (cf. Mols, 2010).

In the previous issue we discussed the notion of a paradigm shift with respect to minimax and MCTS. Simultaneously we were facing the fact that the Drosophila Melanogaster had lost its paradigm function. Your Editor believes that we are now at the point of saying Farewell to the Turing Test."

Jaap van den Herik

Mols, B. (2010). De computer kletst maar wat. NRC Handelsblad, Science, September 25 & 26, pp. 8-9. 

Thursday, December 23, 2010

Xenonatomen maken met laserlicht een hologram van zichzelf

Dit artikel is gepubliceerd in NRC Handelsblad van zaterdag 18 december 2010

                              Hologram van een xenon-atoom, gemeten met de FELICE-laser 
                              van het FOM-instituut voor plasmafysica Rijnhuizen
                                                                      Credit: Stichting FOM

Op elk eurobankbiljet zit een zilverkleurig hologram. In het licht toont het een ruimtelijke afbeelding in regenboogkleuren, want licht maakt de kleurige informatie zichtbaar die in het hologram ligt opgeslagen. Natuurkundigen van de instituten AMOLF en Rijnhuizen (Stichting voor Fundamenteel Onderzoek der Materie) hebben nu voor het eerst atomen een hologram van zichzelf laten maken (Science, 16 december). 

Promovenda en eerste auteur Ymkje Huismans bescheen atomen van het edelgas xenon met infraroodlicht van de FELICE-laser in Rijnhuizen. Dat laserlicht trok het buitenste elektron weg uit zo’n atoom, zodat een ion (het atoom minus één elektron) achterbleef. Vervolgens stuurde de laser het elektron vanaf grote afstand weer terug in de richting van het achtergebleven ion.

Hierbij kon het elektron twee paden volgen: een wijde boog rond het ion, of terug ernaartoe, maar zonder dat het weer bij het ion ging horen – het reisde er als het ware doorheen. Omdat elektronen naast een deeltjeskarakter ook een golfkarakter hebben, hoort bij elk elektron een golffunctie. In die golffunctie slaan de elektronen informatie op over hun wisselwerking met het ion.

In het experiment gebeurde dit met veel xenonatomen. Er ontstonden twee elektronenbundels, die elk een ander pad hadden doorlopen. Huismans liet die op een detector vallen. Deze mat het interferentiepatroon van de twee elektronenbundels, ofwel de manier waarop het golfkarakter van deze bundels elkaar versterkten en uitdoofden. Het interferentiepatroon bleek precies een hologram: een driedimensionale afbeelding van een xenon-ion. De xenonatomen creëerden dus met hun eigen elektronen een hologram van zichzelf.

Onverwacht bleek dit hologram ook tijdsinformatie te bevatten over de stappen waarin het ionisatieproces verloopt. En dat is informatie op de ultrakorte tijdschaal van attoseconden (10^-18 seconde), precies de tijdschaal waarop elektronen tijdens chemische reacties bewegen.

Dat betekent dat de nieuwe holografische techniek een aanvulling kan vormen op bestaande technieken voor het bestuderen van chemische reacties. De techniek is bij uitstek geschikt voor onderzoek aan moleculen waarin de buitenste elektronen niet zo sterk gebonden zijn.

Tuesday, December 14, 2010

IBM-Supercomputer Watson going to challenge two best human players in Jeopardy!

Today, IBM has announced that supercomputer Watson is going to challenge the two best human players in history in America's most popular tv-quiz Jeopardy! The match will take place on three consecutive days: February 14, 15 and 16 in 2011.

In this month's Dutch popular science monthly NWT Magazine I have written an article about this next big intellectual challenge between man and computer.

In 1997 supercomputer Deep Blue beat chess world champion Gary Kasparov.

Will IBM's supercomputer Watson beat the two best human players in Jeopardy in 2011? And will we get finally good question-answer-machines thanks to it?

Internet IBM explains: ‘What is Watson?’ The Jeopardy-quiz IBM’s Watson on YouTube (1) IBM’s Watson on YouTube (2) About the IBM Blue Gene Supercomputers American company LCC (Language Computer Corporation) already sells question-answer-machines

Saturday, December 4, 2010

Machines - nu mét intelligentie

De afgelopen jaren hebben een stille revolutie laten zien in de kunstmatige intelligentie en robotica: toepassing van slimme statistische technieken op grote hoeveelheden data. Het Nijmeegse symposium Intelligent Machines gaf op 17 november enkele inspirerende voorbeelden. 

              MIT-robotica-onderzoeker Nicholas Roy (links) met de robotrolstoel

Dit artikel is geschreven voor de nieuwsbrief van het Donders Instituut

Meer dan tweehonderd mensen van universiteiten, bedrijven en overheid vullen de concertzaal van De Vereeniging in Nijmegen. Allemaal afgekomen op het symposium Intelligent Machines, georganiseerd door de Stichting Neurale Netwerken (SNN). Het symposium brengt de in Nederland werkende onderzoekers op het terrein van de kunstmatige intelligentie samen. “Het doel is om het vakgebied beter op de kaart van Nederland zetten”, zegt Bert Kappen, als hoogleraar neurale netwerken en machine-intelligentie verbonden aan het Donders Instituut. Kappen is de motor achter het symposium. “We willen laten zien hoe machinelerende technieken in de praktijk gebruikt worden.”

Vier internationale topwetenschappers geven acte de présence. We zien filmpjes van geheel autonoom rondvliegende minihelikopters die te hulp schieten bij reddingsacties. We zien intelligente, chauffeurloze auto’s die zelfs razendsnel uitwijken voor plots overstekende voetgangers. En we horen over automatische vertaalmachines die tegenwoordig al standaard worden aangeboden door de belangrijkste internetzoekmachines.

Eén rode draad loopt door het symposium. Een stille revolutie. Een paradigmaverschuiving in de kunstmatige intelligentie. Decennialang hebben informatici geprobeerd om computers en robots intelligent te maken door ze vol te stoppen met voorgeprogrammeerde regels. Als ware het leven een schaakwedstrijd. Dat leidde tot bescheiden successen, maar toch veel minder dan de grondleggers van de kunstmatige intelligentie eind jaren vijftig hadden gedroomd.

De basis van de stille revolutie die de laatste jaren heeft plaatsgevonden ligt bij een nieuwe aanpak: slimme statistische technieken die razendsnel betekenis destilleren uit een databerg. Dankzij het wereldwijde web zijn nu voor het eerst in de geschiedenis enorme hoeveelheden data vrij beschikbaar voor deze statistische technieken: teksten, beelden, geluidsopnames. De stille revolutie heeft successen opgeleverd bij onder andere automatische vertaling, automatische spraakherkenning, automatische beeldherkenning en het in kaart brengen van een ruimtelijke omgeving. De resultaten liggen nog niet op menselijk niveau, maar zijn wel veel beter dan een jaar of tien geleden.

Brug tussen mens en machine 
Eigenlijk staan robotontwerpers en ontwikkelaars van kunstmatige intelligentie voor dezelfde vragen als hersenwetenschappers die het menselijk brein bestuderen. Hoe lost een natuurlijk of kunstmatig brein problemen op die ontstaan in de interactie met de wereld om zich heen? Problemen van waarnemen, redeneren, handelen, taalverwerking, taalproductie.

Niet voor niets maakt Kappens eigen onderzoeksgroep deel uit van het Donders Instituut. Hij probeert om met zijn onderzoek naar kunstmatige intelligentie bij te dragen aan het begrijpen van hersenen, cognitie en gedrag. Kan dat dan? Jazeker. Kappen geeft drie voorbeelden uit zijn eigen onderzoeksgroep. Allereerst het modelleren van netwerken van neuronen. “We proberen te begrijpen wat de sterkteverandering van synapsen betekent voor het netwerkgedrag van de neuronen. Onze modellen beschrijven het gedrag van zo’n honderdduizend tot een miljoen neuronen.”

Kappen en zijn medewerkers gebruiken machinelerende technieken ook bij brein-computer-interfaces − een tweede voorbeeld. “Zo onderzoeken we hoe een proefpersoon via zijn gedachten een cursor op een beeldscherm kan aansturen. We registreren de gedachten via MEG- of EEG-signalen en we trainen een neuraal netwerk om patronen in die signalen te herkennen.”

Een derde voorbeeld ligt op het terrein van robotbewegingen. Hoe weet een robot hoe hij zijn armen moet bewegen? Een eenvoudige las- of spuitrobot in een voorspelbare fabrieksomgeving is precies geprogrammeerd om zijn arm op een bepaald moment van A naar B te bewegen. Maar de alledaagse werkelijkheid zit vol onvoorspelbaarheden. Hier komt een wagentje aan rijden. Daar duikt een mens op. Hoe lost een menselijk of een machinebrein dit op? is een belangrijke onderzoeksvraag.

Kappen: “Wij hebben een nieuwe controletheorie ontwikkeld die robots kan helpen om te leren in dergelijke onvoorspelbare situaties. De theorie voorspelt onder andere dat hoe meer ruis er in de omgeving is, hoe later het brein een beslissing neemt. Dat hebben we inmiddels ook bij echte proefpersonen in de hersenen gemeten en de theorie wordt momenteel met succes toegepast op echte robots.”

Intelligente rolstoel 
Aan het eind van het symposium leidt professor Jaap van den Herik van de Universiteit van Tilburg en de Universiteit Leiden de slotdiscussie. “Wanneer worden machines slimmer dan mensen?” probeert hij de vier symposiumsprekers uit te dagen.

Geen van hen ziet enige aanwijzing dat dit moment ook maar binnen enkele decennia gaat aanbreken. Robotonderzoeker Nicholas Roy van het Massachusetts Institute of Technology (MIT), een van de beste kunstmatige-intelligentielabs in de wereld, verwoordt het als volgt: “We hebben geen enkele experimentele gegevens die ons ook maar iets kunnen vertellen over het moment waarop robots slimmer dan mensen worden. Wij zijn ingenieurs. De toekomst voorspellen is niet wat wij doen. Wij zijn geïnteresseerd om modellen en machines te bouwen op basis van wat we nú weten.”

En, verwijzend naar Ray Kurzweils bestseller The singularity is Near (2005) over Kurzweils voorspelling dat machines slimmer worden dan mensen, zegt Roy: “Niemand heeft ooit iets zinvols over de toekomst gezegd, behalve dan om de verkoop van een boek omhoog te stuwen.”

Gelukkig hoeven machines ook helemaal niet slimmer te worden dan mensen om van groot praktisch nut te zijn. Roy toont een filmpje van een intelligente rolstoel, die met spraak bestuurbaar is. Patiënten met een ernstige spierziekte kunnen de rolstoel vragen om hen naar de lift te brengen of om een pizza te bestellen. De rolstoel leert van de wensen en behoeften van de gebruiker.

Roy: “Dit werk verbetert de levenskwaliteit van patiënten. Ze kunnen zelfstandiger functioneren. Nu nog is de meest succesvolle commerciële robot in de wereld de Roomba-robotstofzuiger. Dat gaat echt veranderen. Ik zie robots niet slimmer worden dan mensen, maar er komt wel steeds meer kunstmatige intelligentie die mensen gaat helpen: in de gezondheidszorg, in de dienstverlening, in verkeer en vervoer en ongetwijfeld in talloze toepassingen die we nu nog niet kunnen bedenken.”

Internet Bekijk alle lezingen van het symposium Hoe een robot in onvoorspelbare situaties kan leren van imitatie