Succes kent vele mislukkingen

"Ever tried, ever failed? No matter. Try again, fail again." - Samuel Beckett

Succesverhalen horen we te over. Verhalen van mislukkingen worden meestal weggestopt uit schaamte. Maar juist van die mislukkingen - op welk terrein dan ook - kunnen we vaak veel leren. Om uiteindelijk succes te hebben, zijn mislukkingen juist essentieel.

Reinhold Messner, een van de beste en meest succesvolle bergbeklimmers aller tijden (en de eerste die de Mount Everest solo en zonder extra zuurstof beklom), zegt dat hij al zijn successen nooit had kunnen behalen zonder eerst heel vaak te falen: 

"Failure itself is not important. It's what happens immediately after that counts - the inner feelings, the turmoil and self-doubt - and how you deal with it. It can mean a new start, an opportunity to experience your limitations and to grow as a result. My mind-set and my attitudes have changed over the years, and this is largely due to my frequent failures."

[Uit het boek Reinhold Messner - My Life at the Limit.]

Mislukkingen waarvan we veel kunnen leren staan centraal in het vandaag verschenen boek "Instituut voor briljante mislukkingen" van Paul Iske, hoogleraar Open Innovatie & Business Venturing aan de Universiteit Maastricht. 

                                                

Waarom is mislukken belangrijk? Hoe open staat de omgeving waarin we leven en werken voor mislukkingen? Wat kun je er van leren? Iske analyseert in het boek verschillende soorten van mislukkingen en laat experts aan het woord over mislukkingen op hun expertiseterrein. Zo komen onder andere aan het woord hoogleraar organisatiekunde Mathieu Weggeman, voetbaltrainer Foppe de Haan, futuroloog Wim de Ridder en de directeur van het CBS Tjark Tjin-a-Tsoi.

Op verzoek van Paul Iske heb ik zelf onderstaande bijdrage in het boek geschreven, een verhaal over een briljante mislukking in de wetenschap. Een verhaal ook over een wetenschapper die op goede gronden niet wenste mee te doen aan overdreven verwachtingen rondom kunstmatig intelligente computers, een thema dat vandaag de dag actueler is dan ooit tevoren.

-----------------------------------------------------------------------------------------------------------------

Meedoen met het wensdenken of verstoten worden

Joseph Weizenbaum was een dertienjarig Joods jongetje in Berlijn toen zijn ouders in 1936 besloten om voor de nazi’s te vluchten. Het gezin liet Duitsland achter zich, voer per boot naar New York en stapte daar op de trein naar Detroit. Na de oorlog studeerde Joseph Weizenbaum af in de wiskunde en kreeg hij al snel de drang om iets nuttigs voor de wereld te doen. ‘Dan moet je iets met computers gaan doen’, zei een collega begin jaren vijftig tegen hem − een tijd waarin het aantal computers in de wereld nog op de vingers van twee handen te tellen was.

Weizenbaum leerde de kracht maar ook de zwakte van de computer van binnenuit kennen door zelf te bouwen, zelf te programmeren en zelf te experimenteren. In 1963 werd hij hoogleraar informatica aan het Massachusetts Institute of Technology (MIT). Hij kreeg al snel een idee voor baanbrekend onderzoek. Tot dan toe schreven computerprogrammeurs hun programma eerst op papier, verwerkten het programma vervolgens in ponskaarten en schoven die in de computer. Die programma’s werden steeds langer en ingewikkelder. Wat nou, dacht Weizenbaum, als we een computer kunnen programmeren door er in natuurlijke taal mee te ‘praten’, alsof we een kind onderwijzen? Het programma zou dan stukje bij beetje slimmer kunnen worden.

Maar waarover zou je dan met een computer kunnen praten? Weizenbaum realiseerde zich dat een computer in beginsel niks weet over de wereld en hij verzon een eenvoudig script om die handicap te verbloemen: laat de computer de rol van een psychotherapeut spelen die de patiënt een spiegel voorhoudt door terug te kaatsen wat de patiënt vertelt. Hij bedacht een manier om Engelstalige zinnen te analyseren en een verzameling regels om de computer op basis van steekwoorden uit die zinnen te laten antwoorden. Hij noemde zijn programma ELIZA. De dialoog tussen de gebruiker en de computer verliep geheel in geschreven tekst, en zo werd ELIZA de eerste chatbot ter wereld.

Weizenbaums chatbot stond een aantal jaren lang open voor gesprekken met iedereen die het maar wilde aan de universiteit. Hier is een fragment van een chat tussen een tienermeisje en ELIZA:

Tiener: Men are all alike

ELIZA: In what way

Tiener: They’re always bugging us about something or other

ELIZA: Can you think of a specific example?

Tiener: Well, my boyfriend made me come here

ELIZA: Your boyfriend made you come here

Tiener: He says I’m depressed much of the time

ELIZA: I’m sorry to hear that you are depressed

Tiener: It’s true that I am unhappy

ELIZA: Do you think coming here will help you not to be unhappy?

In 1966 publiceerde Weizenbaum zijn wetenschappelijke artikel ELIZA − A computer program for the study of natural language communication between man and machine. Hij legde uit hoe het programma werkte en benadrukte dat “ELIZA laat zien hoe gemakkelijk het is om de illusie van begrip te wekken en in stand te houden”.

Het oorspronkelijke doel om een computer in een dialoogvorm te programmeren was mislukt. Eigenlijk leerde Weizenbaums experiment ons überhaupt weinig over computers, maar des te meer over mensen. Mensen vallen snel ten prooi aan het ELIZA-effect: het effect dat de computer de illusie creëert dat hij mensen begrijpt. In de kern ontstaat dit omdat het menselijk brein een sterke neiging tot antropomorfiseren heeft. We zien al snel een menselijk gezicht in een vreemd gevormde wolk, van een computer die hapert vinden we dat hij zijn dag niet heeft en we denken dat een robot die alleen maar voorgeprogrammeerde bewegingen uitvoert een eigen wil heeft.

Het briljante van het ELIZA-experiment zit in de radicale manier waarop het Weizenbaums kijk op de interactie tussen mens en computer veranderde. Weizenbaum was geschokt door de reacties op ELIZA. Allereerst geloofde een aantal serieuze psychiaters dat ELIZA de opmaat zou zijn naar volledig geautomatiseerde psychotherapie. Weizenbaum verafschuwde het idee dat psychotherapie mogelijk zou zijn zonder diep-menselijke, emotionele betrokkenheid en met alleen maar digitale informatieverwerking.

Ten tweede was hij geschokt over hoe makkelijk mensen hun intiemste zielenroerselen aan een computer toevertrouwden. Zelfs zijn eigen secretaresse, die als geen ander wist dat ELIZA gewoon een computerprogramma was, wilde graag met de chatbot praten en vroeg haar baas op een gegeven moment zelfs om de kamer te verlaten omdat ze in een persoonlijk gesprek met ELIZA was verwikkeld. Jaren later schreef Weizenbaum: “Ik had me niet gerealiseerd dat zelfs een extreem korte blootstelling aan een relatief simpel computerprogramma zulke krachtige wanen kon opwekken in normale mensen.”

Tenslotte was hij geschokt door de reacties van zijn vakbroeders op zijn werk. Waar hij zelf vond dat hij niets nieuws had ontdekt over computers, vonden de meeste van zijn collega’s dat ELIZA de weg opende naar computers die met mensen kunnen praten en die mensen begrijpen. Een van Weizenbaums MIT-collega’s zei in 1970 tegen het tijdschrift Life: “Binnen drie tot acht jaar hebben we een machine met de algemene intelligentie van een gemiddeld mens.”

Weizenbaum weigerde mee te gaan in dit soort voortdurend terugkerende wensdenken en ging zich richten op het bestuderen van de rol die de computer in onze maatschappij speelt. Meer en meer werd hij verstoten door zijn voormalige collega’s. Zo zei Marvin Minsky, decennialang de hogepriester in de wereld van de kunstmatige intelligentie: “Het zou fijn zijn wanneer Joe zou weten hoe een computer werkt.”

Het verhaal van Weizenbaum legt een dieper probleem in de wetenschap bloot. Om onderzoeksgeld binnen te slepen helpt het om grote beloften te doen, bijvoorbeeld dat kunstmatige intelligentie spoedig veel beter is dan menselijke intelligentie. Wie, zoals Weizenbaum, een serieus experiment doet en de eerlijke conclusie trekt dat die belofte veel te hoog gegrepen is (of dat een experiment is mislukt), maakt het niet alleen zichzelf maar ook zijn collega’s moeilijker om aan onderzoeksgeld te komen.

In de afgelopen decennia is de druk op wetenschappers om veel te beloven alleen maar groter geworden. Zo ontdekten Nederlandse onderzoekers dat tegenwoordig woorden als novel en outstanding in de samenvattingen van wetenschappelijke artikelen vier keer zo vaak voorkomen als in de jaren zeventig. Te veel beloven en vervolgens te weinig presteren zijn op de lange termijn een serieus gevaar voor de wetenschap omdat dit het publieke vertrouwen ondermijnt. Nobelprijswinnaar natuurkunde Richard Feynman heeft dit mechanisme perfect verwoord toen hij het onderzoeksrapport naar de ramp met de space shuttle Challenger in 1986 besloot met de woorden: “For a successful technology, reality must take precedence over public relations, for nature cannot be fooled.”

Meer informatie:

Over Joseph Weizenbaum is de interessante documentaire Rebel at Work gemaakt.

Wikipedia over Jospeh Weizenbaum

Het oorspronkelijke ELIZA-artikel

New York Times-artikel na het overlijden van Weizenbaum in 2008

Is de volgende Mozart nog een mens?

Is creativiteit iets uniek menselijks, of kunnen computers en robots het ook? En als ze creatief kunnen zijn, gaan ze ons dan naar de kroon steken?

Dit artikel is gepubliceerd in EOS van mei 2018. Om het hele artikel te lezen: koop het volledige nummer in de kiosk, of koop en lees alleen het artikel via Blendle.

Hier is alvast het begin van het artikel:

In de sciencefictionfilm I, robot (2004) ondervraagt politiedetective Del Spooner de humanoïde robot Sonny. “Mensen hebben dromen”, zegt Spooner tegen de robot. “Zelfs honden hebben dromen. Maar jij niet. Jij bent alleen maar een machine. Een nabootsing van het leven. Kan een robot een symfonie schrijven? Kan een robot een stuk canvas omtoveren tot een prachtig meesterwerk?” Daarop antwoordt robot Sonny: “Kun jij dat?”

We verwachten van robots vaak prestaties die we bij mensen alleen van genieën verwachten. Picasso en Einstein waren hyper-creatief, maar dat is niet ieder mens gegeven. Nu robots steeds slimmer en behendiger worden, nu computers wereldkampioenen van tafel vegen in bordspelen zoals schaken en go, is de vraag hoe creatief zulke machines kunnen zijn en hoe we ons als mensen moeten verhouden tot creatieve machines.

De mens wikt, het algoritme beschikt

Computeralgoritmen nemen steeds vaker belangrijke beslissingen over ons. Kunnen ze ons ook uitleggen hoe ze dat precies doen?

Dit artikel is gepubliceerd in de VPRO Gids van de week van 16 april.

Begin dit jaar ontstond in Nederland grote ophef over het bedrijf e-Court, een private, digitale ‘rechter’ die uitspraken doet over betalingsgeschillen tussen een zorgverzekeraar en een klant. Het bedrijf werd gebrek aan transparantie verweten over hoe de uitspraken van de robotrechter tot stand kwamen. De voorzitter van de Raad voor de Rechtspraak, Frits Bakker, zei dat hij vreest dat e-Court de juridische rechten van burgers aantast.

Steeds vaker nemen computeralgoritmen belangrijke beslissingen over burgers, consumenten en werknemers, in de vs nog vaker dan in Nederland: Wie krijgt er een lening? Wie wordt toegelaten tot een land? Wie komt op de no-fly-lijst van een vliegtuigmaatschappij? Hoe goed presteert een werknemer? Welke sollicitanten komen door de eerste selectie? Laat een medische scan wel of niet een tumor zien? De computer is snel, raakt niet vermoeid en heeft geen last van emoties. Handig, op het eerste gezicht.

Toch bleken zulke computerbeslissingen de afgelopen jaren lang niet altijd goed uit te pakken. Naar schatting worden meer dan duizend mensen per week door een algoritme op een luchthaven ten onrechte als terrorist aangemerkt. Een lerares uit Washington dc werd jarenlang door haar leerlingen als uitmuntend beoordeeld tot een algoritme haar opeens ongeschikt achtte. Software die in de Amerikaanse staat Florida wordt gebruikt om het recidiverisico van gevangenen in te schatten, bleek bevooroordeeld tegenover zwarte mensen. Dit laatste voorbeeld komt zondag uitgebreid aan bod in de VPRO Tegenlicht-aflevering over algoritmen.

Transparant
Tot enkele jaren geleden waren computerbeslissingen altijd transparant, omdat ze geprogrammeerd werden volgens duidelijke regels die iedereen kan natrekken: als [dit het geval is], doe dan [dat]. Maar de nieuwste computeralgoritmen werken heel anders. Ze bestaan uit tientallen lagen van kunstmatige neuronen en bootsen op een rudimentaire manier na hoe menselijke hersenen werken. Ze leren van grote hoeveelheden voorbeelden en herprogrammeren zichzelf.

Lerende computers hebben de afgelopen jaren spectaculaire resultaten opgeleverd. Neem de go-computer AlphaGoZero, die met alleen de spelregels, maar zonder enige andere menselijke kennis over hoe je goed go speelt, binnen een paar weken veel sterker werd dan de beste menselijke go-spelers. Het grote nadeel is echter dat zelfs de makers van lerende algoritmen niet meer precies weten waarom een algoritme doet wat het doet. Informatie ligt namelijk niet meer opgeborgen in overzichtelijke digitale vakjes, maar ligt op een onoverzichtelijke manier verspreid over een verzameling kunstmatige neuronen. Voor het eerst in de historie maken mensen iets wat ze zelf niet meer tot in detail begrijpen.

Bij het go-spel is dat niet zo erg, maar dat ligt anders bij computers die beslissingen nemen over mensen. Hoe groter de potentiële gevolgen van een computerbeslissing voor burgers, werknemers of consumenten, hoe meer zij mogen verwachten dat transparant gemaakt kan worden waarom een computer een bepaalde beslissing heeft genomen. De grote vraag is nu hoe we ervoor kunnen zorgen dat computerbeslissingen transparant zijn.

Hallucineren
Om dit probleem op te lossen worden momenteel drie paden bewandeld. Allereerst wordt gezocht naar technische oplossingen. Nadat MIT-hoogleraar informatica Regina Barzilay succesvol behandeld werd voor borstkanker, ging ze met enkele collega’s aan de slag om een computeralgoritme te ontwikkelen dat niet alleen vroege signalen van borstkanker in een mammogram herkent, maar er meteen ook bij vertelt waarom het die conclusie trekt. Het onderzoeksveld van algoritmen die hun eigen beslissingen toelichten staat echter nog in de kinderschoenen.

In 2015 vonden onderzoekers van Google een manier om een algoritme dat dierengezichten in foto’s herkent te laten illustreren hoe het een bepaald beeld ziet. Gegeven een bepaalde foto lieten ze de computer het beeld pixel voor pixel aanpassen zodanig dat de kunstmatige neuronen die getraind waren om dierengezichten te herkennen optimaal getriggerd werden. Opeens doken in een foto van een bloem allerlei ogen op, maar ook een hondenkop en een vissenkop. Het algoritme, Deep Dream gedoopt, was als het ware aan het hallucineren geslagen.

Hoe goed algoritmen ook zijn, en hoezeer hun makers ook hun best doen om ze te laten uitleggen wat ze doen, wanneer ze worden getraind met voorbeelden die allerlei menselijke tekortkomingen bevatten dan kopieert de computer zulke tekortkomingen. In 2017 liet Joanna Bryson van de Universiteit van Bath samen met enkele collega’s zien dat computers die taal leren uit alledaagse teksten op het internet dezelfde stereotypen over gender, ras, etniciteit en leeftijd ontwikkelen als mensen hebben. Bryson zei hierover tegen de auteur van dit artikel: “Sommige mensen zien kunstmatige intelligentie als zuiver rationeel of objectief, anderen zien het als bovenmenselijk of buitenaards. Maar wij laten zien dat kunstmatige intelligentie gewoon een verlengstuk is van onze eigen cultuur.”

Waakhond
Een tweede manier om voor meer transparantie te zorgen bij algoritmische beslissingen, vertrekt niet bij de techniek maar bij de wetgeving. Zo treedt op 25 mei 2018 binnen de EU een nieuwe wet in werking: de General Data Protection Regulation. Deze nieuwe wet vereist onder andere dat elke beslissing die door een computer wordt genomen uitlegbaar is. Die uitleg hoeft niet perse van het algoritme zelf te komen, maar mag ook komen van de leveraar of de maker van het algoritme.

Hier gaat echter de schoen wringen. Bedrijven die een algoritme ontwikkelen, willen geheim houden hoe het werkt. Google maakt de details van haar zoekalgoritme echt niet openbaar. De kunst is dan ook om een balans te zoeken tussen algoritmische transparantie aan de ene kant en het commerciële belang van geheimhouding aan de andere kant. Een onafhankelijke derde partij, een soort waakhond voor algoritmen, zou voor die balans kunnen zorgen. Wanneer burgers of consumenten willen weten waarom een algoritme een bepaalde beslissing heeft genomen, kan deze waakhond dat onderzoeken zonder dat het algoritme op straat komt te liggen. Dit is een derde pad dat bewandeld kan worden om algoritmische beslissingen transparanter te maken.

Meest waarschijnlijk is dat in de toekomst een combinatie van deze drie oplossingen de praktijk wordt: juridische en technische oplossingen gecombineerd met een onafhankelijke waakhond. Natuurlijk biedt dit geen garantie dat computerbeslissingen foutloos zijn, maar net als met dijken en bruggen, gaat het er om dat we de risico’s dat het mis gaat minimaliseren tot aanvaardbare proporties.

Foppen
Zoals we menselijk gedrag lang niet altijd tot in detail begrijpen, zo zullen we er volgens informaticus Jeff Clune van de Universiteit van Wyoming aan moeten wennen dat we ook computerbeslissingen niet tot in detail zullen begrijpen. Tegen MIT Technology Review zei hij vorig jaar: “Zelfs als iemand je een redelijk klinkende verklaring geeft van zijn of haar handelingen, dan nog is deze waarschijnlijk incompleet. Hetzelfde geldt waarschijnlijk ook voor kunstmatige intelligentie. Het zou wel eens een fundamentele eigenschap van intelligentie kunnen zijn dat slechts een deel ervan rationeel uitlegbaar is. Een ander deel is instinctief, onbewust of ondoorgrondelijk.”

Clune ontdekte in 2014 dat kunstmatige neurale netwerken die beelden herkennen vaak gemakkelijk te foppen zijn. Door bijvoorbeeld een sticker, die er voor mensen uitziet als een ongeordende combinatie van kleuren, naast een banaan te leggen ziet de computer de banaan ineens als een broodrooster, een fout die geen kind ooit zal maken. Dit voorbeeld laat zien dat kunstmatige neurale netwerken de wereld anders zien dan mensen en dat er nog veel werk aan de winkel is om lerende computers robuuster en intelligenter te maken.

Het voordeel van computers boven mensen is echter wel dat wanneer makers of gebruikers tekortkomingen in een algoritme of in de data ontdekken, deze tekortkomingen vaak te repareren zijn. Menselijke tekortkomingen zijn veel hardnekkiger. Mensen maken fouten door vermoeidheid, discrimineren bewust of onbewust, laten zich leiden door emoties, hebben een slechte dag of misbruiken hun macht, en meestal blijven deze tekortkomingen niet tot een keer beperkt. In 2011 lieten onderzoekers zien dat gevangenen een significant grotere kans hebben op vervroegde vrijlating wanneer ze ofwel vroeg in de ochtend ofwel net na de lunch moeten verschijnen voor de rechter. Zo objectief zijn menselijke rechters dus kennelijk ook niet. De lijst met denkfouten die psychologen in de loop der jaren hebben ontdekt en waaraan het menselijk brein geregeld ten prooi valt, bevat vele tientallen cognitieve eigenaardigheden.

Vertrouwen
De Amerikaanse filosoof Daniel Dennett, die al decennialang schrijft over menselijke en kunstmatige intelligentie, zei tegenover het tijdschrift MIT Technology Review: “We moeten zo goed mogelijk grip krijgen op hoe en waarom algoritmen de antwoorden geven die ze geven. Maar omdat het goed kan zijn dat er geen perfect antwoord is, moeten we net zo voorzichtig zijn met de uitleg van een algoritme als met de uitleg van andere mensen, hoe slim de machine ook lijkt. Als de machine niet beter dan wij kan uitleggen wat ze doet, vertrouw haar dan niet.”

Het grootste gevaar is niet dat kunstmatige intelligentie de wereld van de mens gaat overnemen, maar dat we te veel vertrouwen op kunstmatige intelligentie. Wanneer er niet veel op het spel staat, kunnen we degelijke geteste computeralgoritmen best op tegen houtje laten beslissen. Maar bij beslissingen waarbij wel veel op het spel staat, in de rechtbank, in de gezondheidszorg of in het onderwijs bijvoorbeeld, is het beter om mens en computer samen te laten oordelen. Bij een wetenschappelijke test uit 2016 van borstkankerdetectie in mammogrammen stelde het beste algoritme in 8% van de gevallen een foute diagnose, de beste arts in 3,4% van de gevallen, maar arts en computer samen maakten slechts in 0,5% van de gevallen een foute diagnose: veel beter dan zowel de beste arts als de beste computer.

Robots Augment Surgeons

For the ACM (Association for Computing Machinery) I wrote an article about the use of surgical robots not just to augment the human surgeon, but also as a tool to train surgeons in a better way. 

"Robots can learn from human surgeons, not to replace them, but to help make surgeons better at what they do."

"See one, do one, teach one." That is how the pioneering American surgeon William Halsted described the art of surgery back in 1889. Almost 130 years later, these six words still describe the essence of how surgeons develop their operating skills, says Gregory Hager, Mandell Bellmore Professor of Computer Science at Johns Hopkins University.

Hager, who specializes in computer vision and robotics, works with a team of researchers to develop technologies that can fundamentally change the way the surgeon of tomorrow can be trained: not solely in a qualitative way, but making use of quantitative performance measurements recorded by robots that, at the same time, can augment the capabilities of surgeons. Hager made time in his busy schedule to speak with writer Bennie Mols.

Read the rest of this article on the website of the ACM.

Boycot Zuid-Koreaanse universiteit om 'killer robot'

Ruim vijftig internationale wetenschappers uit de kunstmatige intelligentie en robotica pleiten voor een boycot van de Zuid-Koreaanse universiteit KAIST. De reden is dat KAIST een samenwerking is aangegaan met Hanwha Systems, een bedrijf dat wapens ontwikkelt. De wetenschappers zijn bang dat KAIST zo meehelpt aan het ontwikkelen van zogeheten 'killer robots', robots die op eigen houtje binnen een vooraf gekozen gebied zelf hun doel kunnen selecteren en uitschakelen.

In het Radio 2-programma WOUT2DAY gaf ik commentaar op deze boycot. Klik op onderstaande afbeelding om het fragment te beluisteren:

Lees hier meer over de boycot en de reactie van KAIST.

NASCHRIFT: Op 9 april 2018 werd bekend dat de boycot werd ingetrokken:

Boycott of Korea’s KAIST over ‘killer robots’ ends
A boycott by leading AI & robotics researchers of South Korea’s KAIST has been called off after the university’s president committed not to develop lethal autonomous weapons.

More than 50 of the world’s leading artificial intelligence (AI) and robotics researchers from 30 different countries have declared they would end a boycott of the Korea Advanced Institute of Science and Technology (KAIST), South Korea’s top university, over the opening of an AI weapons lab in collaboration with Hanwha Systems, a major arms company.

At the opening of the new laboratory, the Research Centre for the Convergence of National Defence and Artificial Intelligence, it was reported that KAIST was “joining the global competition to develop autonomous arms” by developing weapons “which would search for and eliminate targets without human control”. Further cause for concern was that KAIST’s industry partner, Hanwha Systems builds cluster munitions, despite an UN ban, as well as a fully autonomous weapon, the SGR-A1 Sentry Robot. In 2008, Norway excluded Hanwha from its $380 billion future fund on ethical grounds.

KAIST’s President, Professor Sung-Chul Shin, responded to the boycott by affirming in a statement that “KAIST does not have any intention to engage in development of lethal autonomous weapons systems and killer robots”. He went further by committing that “KAIST will not conduct any research activities counter to human dignity including autonomous weapons lacking meaningful human control.”

Given this swift and clear commitment to the responsible use of artificial intelligence in the development of weapons, the 56 AI and robotics researchers who were signatories to the boycott have rescinded the action. They will once again visit and host researchers from KAIST, and collaborate on scientific projects.

Toby Walsh, Scientia Professor of Artificial Intelligence at the University of New South Wales in Sydney, who initiated the action, praised KAIST for the rapid response. “I was very pleased that the president of KAIST has agreed not to develop lethal autonomous weapons, and to follow international norms by ensuring meaningful human control of any AI-based weapon that will be developed,” he said. “I applaud KAIST for doing the right thing, and I’ll be happy to work with KAIST in the future.

“It goes to show the power of the scientific community when we choose to speak out – our action was an overnight success,” he added. “We initially sought assurances in private from the university more than month ago about the goals of their new lab. But the day after we announced the boycott, KAIST gave assurances very publicly and very clearly.”

“There are plenty of good applications for AI, even in a military setting. No one, for instance, should risk a life or limb clearing a minefield – this is a perfect job for a robot. But we should not, however, hand over the decision of who lives or who dies to a machine – this crosses an ethical red-line and will result in new weapons of mass destruction.”

The boycott arose ahead of meetings this week in Geneva of the 123 member nations of the United Nations discussing the challenges posed by lethal autonomous weapons (often called ‘killer robots’), known as the Group of Governmental Experts to the Convention on Certain Conventional Weapons, it will consider military applications of AI, and options for addressing the humanitarian and international security challenges posed by lethal autonomous weapons systems. Already, 22 of nations taking part have called for an outright and pre-emptive ban on such weapons.

----------------------------------------------------------------------------------------------------------------------

In ons boek 'Hallo robot' schreven Nieske Vergunst en ikzelf uitgebreid over Killer-robots:

Ook binnen de militaire technologie rukt de robotica op. Toen de Sovjet-Unie in 1957 de Spoetnik-satelliet lanceerde, waren de Verenigde Staten totaal verrast. Dat nooit meer, dacht de toenmalige Amerikaanse president Dwight Eisenhower. Daarom richtte hij een jaar later het Advanced Research Projects Agency op, kortweg ARPA. In 1972 werd die naam veranderd in DARPA: Defense Advanced Research Projects Agency. Sindsdien is deze militaire onderzoeksorganisatie een belangrijke drijvende kracht in de ontwikkeling van nieuwe militaire technologie, waaronder militaire robots. Jaarlijks heeft darpa een budget van zo’n 2,8 miljard dollar. In de militaire robotica is de VS verreweg de grootste speler ter wereld.

In de eenentwintigste eeuw organiseerde darpa ook wedstrijden om zelfrijdende auto’s te ontwikkelen (de DARPA Grand Challenge) en om mensachtige robots te ontwikkelen die tijdens rampen ingezet kunnen worden (de DARPA Robotics Challenge). Uiteraard hoopt de VS deze civiele robottechnologie ook voor militaire toepassingen te gebruiken.

Enerzijds gaat het dan om onbewapende robots, zoals robots die bermbommen onschadelijk maken, maar anderzijds ook om bewapende robots. In de volksmond worden deze vaak killer robots genoemd. Militairen spreken echter over Lethal Autonomous Weapon Systems. Hoe ze ook worden genoemd, de inzet van bewapende robots roept talloze ethische vragen op. Hoeveel autonomie mogen militaire robots krijgen die mensen kunnen doden? Hoe passen ze in het humanitaire oorlogsrecht? Leiden ze tot een nieuwe wapenwedloop van steeds slimmere wapens?

Het Amerikaanse ministerie van Defensie ontwikkelde in 2005 een langetermijnvisie waarin het leger steeds meer gebruik gaat maken van steeds autonomere wapens. Nu zijn dat nog alleen op afstand bestuurde systemen zoals drones, maar geleidelijk aan zullen militaire systemen meer zelf kunnen beslissen. Het ministerie verwacht rond 2050 voor het eerst volledig autonoom opererende bewapende systemen te kunnen inzetten. Zulke systemen selecteren zelf hun doel in een vooraf gekozen gebied. Nadat de mens het systeem heeft geactiveerd, heeft hij er geen invloed meer op.

De ontwikkeling van robotische wapens gaat sneller dan rond het jaar 2000 nog werd verwacht. In 2002 voerden de Amerikanen voor het eerst een aanval met een drone uit in de strijd tegen de taliban in Afghanistan. Tot nu toe worden zulke drones bestuurd vanuit de VS, maar een vliegtuig dat zelf vijandelijke doelen opspoort en kan vernietigen is al volop in ontwikkeling: de Amerikaanse X-47B. Een prototype heeft al gevlogen en een nog geavanceerdere opvolger zou in 2020 reeds luchtwaardig kunnen zijn. Ook Rusland, Israël, China, India, Frankrijk en Groot-Brittannië ontwikkelen volledig autonome militaire robots.

Zuid-Korea heeft op de grens met Noord-Korea al een soort robotbewakers staan (de sgr-A1). Dit zijn in feite statische machinegeweren uitgerust met warmtesensoren en bewegingsdetectoren. Ze kunnen indringers binnen een straal van vijfhonderd meter signaleren en neerschieten. Nu staan ze nog onder controle van mensen, maar het is technisch gezien een fluitje van een cent om de mens geheel uit de beslissingslus te halen.

Het Israëlische leger beschikt over de robotische pantserwagen Guardium, die op de grens met de Gazastrook rondrijdt en zelfstandig kan schieten. Ook deze staat nu nog onder toezicht van mensen (trouwens onder druk van internationale kritiek), maar ook hier kan de mens in principe de beslissing om de trekker over te halen nu al overlaten aan de robot.

Voorstanders van autonome wapens voeren tal van argumenten aan. Zo zouden autonoom opererende wapens mensenlevens aan eigen zijde sparen omdat ze onbemand zijn. Ze zouden ook mensenlevens aan vijandelijke kant kunnen sparen omdat ze preciezere aanvallen kunnen uitvoeren. Het idee is dat robotwapens dankzij talrijke sensoren en door het verzamelen van veel verschillende soorten data rationelere en betere ethische beslissingen kunnen nemen omdat ze door de traditionele ‘oorlogsmist’ heen kunnen kijken.

Daarnaast zouden autonome wapens kosten besparen, sneller kunnen handelen, onvermoeibaar zijn, niet handelen uit wraak, paniek of woede, afschrikwekkend zijn tegenover staten die zulke wapens niet hebben, en te gebruiken zijn in voor mensen moeilijk toegankelijke gebieden.

Tegenstanders van autonome wapens voeren als moreel hoofdargument aan dat alleen mensen en niet robots mogen beslissen over leven en dood. Robots begrijpen de context van een conflict niet, hebben geen moreel besef van menselijke waarden en hebben geen begrip van de menselijke drijfveren achter daden. Een vraag is ook of robots bijvoorbeeld wel kunnen inschatten of een tegenstander zwaar gewond is of op het punt staat om zich over te geven. Volgens het oorlogsrecht mag je namelijk niet schieten op militairen die gewond zijn of zich willen overgeven.

Daarnaast vereist het oorlogsrecht dat het gebruikte geweld in verhouding moet staan tot het te verwachten voordeel. Het is zeer de vraag of deze afweging wel aan een robot kan worden overgelaten.

Autonoom opererende wapens zouden ook de drempel om geweld te gebruiken kunnen verlagen en het nemen van grotere risico’s kunnen bevorderen, zoals bijvoorbeeld lager vliegen dan menselijke piloten zouden doen. En omdat ze preciezer hun doelen kunnen treffen, zou ook het aantal getroffen doelen kunnen toenemen, wat weer tot meer onschuldige burgerslachtoffers zou kunnen leiden.

De vraag is ook hoe een lokale bevolking erop reageert. Wanneer onbemande robotwapens als laf worden gezien, kan de draagkracht afnemen om een conflict op te lossen, of zou het land dat autonome wapens inzet er terroristische aanslagen voor terug kunnen krijgen.

In de verre toekomst kan een autonoom opererend wapen wellicht ook zelflerend worden, en dan is de vraag wie verantwoordelijk is voor de beslissingen van het robotwapen nog moeilijker te beantwoorden.

De internationale organisatie Campaign to Stop Killer Robots ijvert sinds 2013 voor een verbod op het gebruik van autonome wapens, vergelijkbaar met bestaande verboden op het gebruik van biologische en chemische wapens en met verboden op specifieke technologieën zoals laserwapens om mensen mee te verblinden en landmijnen die zuiver zijn gericht tegen mensen en niet tegen materieel zoals tanks. Mede-initiatiefnemer en emeritus hoogleraar robotica Noel Sharkey zegt dat de lijst met mogelijke fouten bij het inzetten van autonome wapens veel te lang is om te negeren en dat er een grens is die de mens niet moet overschrijden: ‘Robots moeten niet het gezag krijgen om mensen te doden.’

Het Future of Life Institute startte in 2015 vanuit de wereld van het academische onderzoek naar kunstmatige intelligentie en robotica een petitie tegen het gebruik van autonome wapens. Deze petitie, ondertekend door een groot aantal topwetenschappers, besluit met de woorden: ‘Wij geloven dat kunstmatige intelligentie de mensheid op talloze manieren kan dienen en dat dit ook het doel van het vakgebied moet zijn. Het starten van een wapenwedloop die gedreven wordt door kunstmatige intelligentie is een slecht idee en moet voorkomen worden door een verbod op offensieve autonome wapens die buiten betekenisvolle menselijke controle staan.’