In het Radio 2-programma WOUT2DAY gaf ik commentaar op deze boycot. Klik op onderstaande afbeelding om het fragment te beluisteren:
Lees hier meer over de boycot en de reactie van KAIST.
NASCHRIFT: Op 9 april 2018 werd bekend dat de boycot werd ingetrokken:
Boycott of Korea’s KAIST over ‘killer robots’ ends
A boycott by leading AI & robotics researchers of South Korea’s KAIST has been called off after the university’s president committed not to develop lethal autonomous weapons.
More than 50 of the world’s leading artificial intelligence (AI) and robotics researchers from 30 different countries have declared they would end a boycott of the Korea Advanced Institute of Science and Technology (KAIST), South Korea’s top university, over the opening of an AI weapons lab in collaboration with Hanwha Systems, a major arms company.
At the opening of the new laboratory, the Research Centre for the Convergence of National Defence and Artificial Intelligence, it was reported that KAIST was “joining the global competition to develop autonomous arms” by developing weapons “which would search for and eliminate targets without human control”. Further cause for concern was that KAIST’s industry partner, Hanwha Systems builds cluster munitions, despite an UN ban, as well as a fully autonomous weapon, the SGR-A1 Sentry Robot. In 2008, Norway excluded Hanwha from its $380 billion future fund on ethical grounds.
KAIST’s President, Professor Sung-Chul Shin, responded to the boycott by affirming in a statement that “KAIST does not have any intention to engage in development of lethal autonomous weapons systems and killer robots”. He went further by committing that “KAIST will not conduct any research activities counter to human dignity including autonomous weapons lacking meaningful human control.”
Given this swift and clear commitment to the responsible use of artificial intelligence in the development of weapons, the 56 AI and robotics researchers who were signatories to the boycott have rescinded the action. They will once again visit and host researchers from KAIST, and collaborate on scientific projects.
Toby Walsh, Scientia Professor of Artificial Intelligence at the University of New South Wales in Sydney, who initiated the action, praised KAIST for the rapid response. “I was very pleased that the president of KAIST has agreed not to develop lethal autonomous weapons, and to follow international norms by ensuring meaningful human control of any AI-based weapon that will be developed,” he said. “I applaud KAIST for doing the right thing, and I’ll be happy to work with KAIST in the future.
“It goes to show the power of the scientific community when we choose to speak out – our action was an overnight success,” he added. “We initially sought assurances in private from the university more than month ago about the goals of their new lab. But the day after we announced the boycott, KAIST gave assurances very publicly and very clearly.”
“There are plenty of good applications for AI, even in a military setting. No one, for instance, should risk a life or limb clearing a minefield – this is a perfect job for a robot. But we should not, however, hand over the decision of who lives or who dies to a machine – this crosses an ethical red-line and will result in new weapons of mass destruction.”
The boycott arose ahead of meetings this week in Geneva of the 123 member nations of the United Nations discussing the challenges posed by lethal autonomous weapons (often called ‘killer robots’), known as the Group of Governmental Experts to the Convention on Certain Conventional Weapons, it will consider military applications of AI, and options for addressing the humanitarian and international security challenges posed by lethal autonomous weapons systems. Already, 22 of nations taking part have called for an outright and pre-emptive ban on such weapons.
----------------------------------------------------------------------------------------------------------------------
In ons boek 'Hallo robot' schreven Nieske Vergunst en ikzelf uitgebreid over Killer-robots:
Ook binnen de militaire technologie rukt de robotica op. Toen de Sovjet-Unie in 1957 de Spoetnik-satelliet lanceerde, waren de Verenigde Staten totaal verrast. Dat nooit meer, dacht de toenmalige Amerikaanse president Dwight Eisenhower. Daarom richtte hij een jaar later het Advanced Research Projects Agency op, kortweg ARPA. In 1972 werd die naam veranderd in DARPA: Defense Advanced Research Projects Agency. Sindsdien is deze militaire onderzoeksorganisatie een belangrijke drijvende kracht in de ontwikkeling van nieuwe militaire technologie, waaronder militaire robots. Jaarlijks heeft darpa een budget van zo’n 2,8 miljard dollar. In de militaire robotica is de VS verreweg de grootste speler ter wereld.
In de eenentwintigste eeuw organiseerde darpa ook wedstrijden om zelfrijdende auto’s te ontwikkelen (de DARPA Grand Challenge) en om mensachtige robots te ontwikkelen die tijdens rampen ingezet kunnen worden (de DARPA Robotics Challenge). Uiteraard hoopt de VS deze civiele robottechnologie ook voor militaire toepassingen te gebruiken.
Enerzijds gaat het dan om onbewapende robots, zoals robots die bermbommen onschadelijk maken, maar anderzijds ook om bewapende robots. In de volksmond worden deze vaak killer robots genoemd. Militairen spreken echter over Lethal Autonomous Weapon Systems. Hoe ze ook worden genoemd, de inzet van bewapende robots roept talloze ethische vragen op. Hoeveel autonomie mogen militaire robots krijgen die mensen kunnen doden? Hoe passen ze in het humanitaire oorlogsrecht? Leiden ze tot een nieuwe wapenwedloop van steeds slimmere wapens?
Het Amerikaanse ministerie van Defensie ontwikkelde in 2005 een langetermijnvisie waarin het leger steeds meer gebruik gaat maken van steeds autonomere wapens. Nu zijn dat nog alleen op afstand bestuurde systemen zoals drones, maar geleidelijk aan zullen militaire systemen meer zelf kunnen beslissen. Het ministerie verwacht rond 2050 voor het eerst volledig autonoom opererende bewapende systemen te kunnen inzetten. Zulke systemen selecteren zelf hun doel in een vooraf gekozen gebied. Nadat de mens het systeem heeft geactiveerd, heeft hij er geen invloed meer op.
De ontwikkeling van robotische wapens gaat sneller dan rond het jaar 2000 nog werd verwacht. In 2002 voerden de Amerikanen voor het eerst een aanval met een drone uit in de strijd tegen de taliban in Afghanistan. Tot nu toe worden zulke drones bestuurd vanuit de VS, maar een vliegtuig dat zelf vijandelijke doelen opspoort en kan vernietigen is al volop in ontwikkeling: de Amerikaanse X-47B. Een prototype heeft al gevlogen en een nog geavanceerdere opvolger zou in 2020 reeds luchtwaardig kunnen zijn. Ook Rusland, Israël, China, India, Frankrijk en Groot-Brittannië ontwikkelen volledig autonome militaire robots.
Zuid-Korea heeft op de grens met Noord-Korea al een soort robotbewakers staan (de sgr-A1). Dit zijn in feite statische machinegeweren uitgerust met warmtesensoren en bewegingsdetectoren. Ze kunnen indringers binnen een straal van vijfhonderd meter signaleren en neerschieten. Nu staan ze nog onder controle van mensen, maar het is technisch gezien een fluitje van een cent om de mens geheel uit de beslissingslus te halen.
Het Israëlische leger beschikt over de robotische pantserwagen Guardium, die op de grens met de Gazastrook rondrijdt en zelfstandig kan schieten. Ook deze staat nu nog onder toezicht van mensen (trouwens onder druk van internationale kritiek), maar ook hier kan de mens in principe de beslissing om de trekker over te halen nu al overlaten aan de robot.
Voorstanders van autonome wapens voeren tal van argumenten aan. Zo zouden autonoom opererende wapens mensenlevens aan eigen zijde sparen omdat ze onbemand zijn. Ze zouden ook mensenlevens aan vijandelijke kant kunnen sparen omdat ze preciezere aanvallen kunnen uitvoeren. Het idee is dat robotwapens dankzij talrijke sensoren en door het verzamelen van veel verschillende soorten data rationelere en betere ethische beslissingen kunnen nemen omdat ze door de traditionele ‘oorlogsmist’ heen kunnen kijken.
Daarnaast zouden autonome wapens kosten besparen, sneller kunnen handelen, onvermoeibaar zijn, niet handelen uit wraak, paniek of woede, afschrikwekkend zijn tegenover staten die zulke wapens niet hebben, en te gebruiken zijn in voor mensen moeilijk toegankelijke gebieden.
Tegenstanders van autonome wapens voeren als moreel hoofdargument aan dat alleen mensen en niet robots mogen beslissen over leven en dood. Robots begrijpen de context van een conflict niet, hebben geen moreel besef van menselijke waarden en hebben geen begrip van de menselijke drijfveren achter daden. Een vraag is ook of robots bijvoorbeeld wel kunnen inschatten of een tegenstander zwaar gewond is of op het punt staat om zich over te geven. Volgens het oorlogsrecht mag je namelijk niet schieten op militairen die gewond zijn of zich willen overgeven.
Daarnaast vereist het oorlogsrecht dat het gebruikte geweld in verhouding moet staan tot het te verwachten voordeel. Het is zeer de vraag of deze afweging wel aan een robot kan worden overgelaten.
Autonoom opererende wapens zouden ook de drempel om geweld te gebruiken kunnen verlagen en het nemen van grotere risico’s kunnen bevorderen, zoals bijvoorbeeld lager vliegen dan menselijke piloten zouden doen. En omdat ze preciezer hun doelen kunnen treffen, zou ook het aantal getroffen doelen kunnen toenemen, wat weer tot meer onschuldige burgerslachtoffers zou kunnen leiden.
De vraag is ook hoe een lokale bevolking erop reageert. Wanneer onbemande robotwapens als laf worden gezien, kan de draagkracht afnemen om een conflict op te lossen, of zou het land dat autonome wapens inzet er terroristische aanslagen voor terug kunnen krijgen.
In de verre toekomst kan een autonoom opererend wapen wellicht ook zelflerend worden, en dan is de vraag wie verantwoordelijk is voor de beslissingen van het robotwapen nog moeilijker te beantwoorden.
De internationale organisatie Campaign to Stop Killer Robots ijvert sinds 2013 voor een verbod op het gebruik van autonome wapens, vergelijkbaar met bestaande verboden op het gebruik van biologische en chemische wapens en met verboden op specifieke technologieën zoals laserwapens om mensen mee te verblinden en landmijnen die zuiver zijn gericht tegen mensen en niet tegen materieel zoals tanks. Mede-initiatiefnemer en emeritus hoogleraar robotica Noel Sharkey zegt dat de lijst met mogelijke fouten bij het inzetten van autonome wapens veel te lang is om te negeren en dat er een grens is die de mens niet moet overschrijden: ‘Robots moeten niet het gezag krijgen om mensen te doden.’
Het Future of Life Institute startte in 2015 vanuit de wereld van het academische onderzoek naar kunstmatige intelligentie en robotica een petitie tegen het gebruik van autonome wapens. Deze petitie, ondertekend door een groot aantal topwetenschappers, besluit met de woorden: ‘Wij geloven dat kunstmatige intelligentie de mensheid op talloze manieren kan dienen en dat dit ook het doel van het vakgebied moet zijn. Het starten van een wapenwedloop die gedreven wordt door kunstmatige intelligentie is een slecht idee en moet voorkomen worden door een verbod op offensieve autonome wapens die buiten betekenisvolle menselijke controle staan.’
In ons boek 'Hallo robot' schreven Nieske Vergunst en ikzelf uitgebreid over Killer-robots:
Ook binnen de militaire technologie rukt de robotica op. Toen de Sovjet-Unie in 1957 de Spoetnik-satelliet lanceerde, waren de Verenigde Staten totaal verrast. Dat nooit meer, dacht de toenmalige Amerikaanse president Dwight Eisenhower. Daarom richtte hij een jaar later het Advanced Research Projects Agency op, kortweg ARPA. In 1972 werd die naam veranderd in DARPA: Defense Advanced Research Projects Agency. Sindsdien is deze militaire onderzoeksorganisatie een belangrijke drijvende kracht in de ontwikkeling van nieuwe militaire technologie, waaronder militaire robots. Jaarlijks heeft darpa een budget van zo’n 2,8 miljard dollar. In de militaire robotica is de VS verreweg de grootste speler ter wereld.
In de eenentwintigste eeuw organiseerde darpa ook wedstrijden om zelfrijdende auto’s te ontwikkelen (de DARPA Grand Challenge) en om mensachtige robots te ontwikkelen die tijdens rampen ingezet kunnen worden (de DARPA Robotics Challenge). Uiteraard hoopt de VS deze civiele robottechnologie ook voor militaire toepassingen te gebruiken.
Enerzijds gaat het dan om onbewapende robots, zoals robots die bermbommen onschadelijk maken, maar anderzijds ook om bewapende robots. In de volksmond worden deze vaak killer robots genoemd. Militairen spreken echter over Lethal Autonomous Weapon Systems. Hoe ze ook worden genoemd, de inzet van bewapende robots roept talloze ethische vragen op. Hoeveel autonomie mogen militaire robots krijgen die mensen kunnen doden? Hoe passen ze in het humanitaire oorlogsrecht? Leiden ze tot een nieuwe wapenwedloop van steeds slimmere wapens?
Het Amerikaanse ministerie van Defensie ontwikkelde in 2005 een langetermijnvisie waarin het leger steeds meer gebruik gaat maken van steeds autonomere wapens. Nu zijn dat nog alleen op afstand bestuurde systemen zoals drones, maar geleidelijk aan zullen militaire systemen meer zelf kunnen beslissen. Het ministerie verwacht rond 2050 voor het eerst volledig autonoom opererende bewapende systemen te kunnen inzetten. Zulke systemen selecteren zelf hun doel in een vooraf gekozen gebied. Nadat de mens het systeem heeft geactiveerd, heeft hij er geen invloed meer op.
De ontwikkeling van robotische wapens gaat sneller dan rond het jaar 2000 nog werd verwacht. In 2002 voerden de Amerikanen voor het eerst een aanval met een drone uit in de strijd tegen de taliban in Afghanistan. Tot nu toe worden zulke drones bestuurd vanuit de VS, maar een vliegtuig dat zelf vijandelijke doelen opspoort en kan vernietigen is al volop in ontwikkeling: de Amerikaanse X-47B. Een prototype heeft al gevlogen en een nog geavanceerdere opvolger zou in 2020 reeds luchtwaardig kunnen zijn. Ook Rusland, Israël, China, India, Frankrijk en Groot-Brittannië ontwikkelen volledig autonome militaire robots.
Zuid-Korea heeft op de grens met Noord-Korea al een soort robotbewakers staan (de sgr-A1). Dit zijn in feite statische machinegeweren uitgerust met warmtesensoren en bewegingsdetectoren. Ze kunnen indringers binnen een straal van vijfhonderd meter signaleren en neerschieten. Nu staan ze nog onder controle van mensen, maar het is technisch gezien een fluitje van een cent om de mens geheel uit de beslissingslus te halen.
Het Israëlische leger beschikt over de robotische pantserwagen Guardium, die op de grens met de Gazastrook rondrijdt en zelfstandig kan schieten. Ook deze staat nu nog onder toezicht van mensen (trouwens onder druk van internationale kritiek), maar ook hier kan de mens in principe de beslissing om de trekker over te halen nu al overlaten aan de robot.
Voorstanders van autonome wapens voeren tal van argumenten aan. Zo zouden autonoom opererende wapens mensenlevens aan eigen zijde sparen omdat ze onbemand zijn. Ze zouden ook mensenlevens aan vijandelijke kant kunnen sparen omdat ze preciezere aanvallen kunnen uitvoeren. Het idee is dat robotwapens dankzij talrijke sensoren en door het verzamelen van veel verschillende soorten data rationelere en betere ethische beslissingen kunnen nemen omdat ze door de traditionele ‘oorlogsmist’ heen kunnen kijken.
Daarnaast zouden autonome wapens kosten besparen, sneller kunnen handelen, onvermoeibaar zijn, niet handelen uit wraak, paniek of woede, afschrikwekkend zijn tegenover staten die zulke wapens niet hebben, en te gebruiken zijn in voor mensen moeilijk toegankelijke gebieden.
Tegenstanders van autonome wapens voeren als moreel hoofdargument aan dat alleen mensen en niet robots mogen beslissen over leven en dood. Robots begrijpen de context van een conflict niet, hebben geen moreel besef van menselijke waarden en hebben geen begrip van de menselijke drijfveren achter daden. Een vraag is ook of robots bijvoorbeeld wel kunnen inschatten of een tegenstander zwaar gewond is of op het punt staat om zich over te geven. Volgens het oorlogsrecht mag je namelijk niet schieten op militairen die gewond zijn of zich willen overgeven.
Daarnaast vereist het oorlogsrecht dat het gebruikte geweld in verhouding moet staan tot het te verwachten voordeel. Het is zeer de vraag of deze afweging wel aan een robot kan worden overgelaten.
Autonoom opererende wapens zouden ook de drempel om geweld te gebruiken kunnen verlagen en het nemen van grotere risico’s kunnen bevorderen, zoals bijvoorbeeld lager vliegen dan menselijke piloten zouden doen. En omdat ze preciezer hun doelen kunnen treffen, zou ook het aantal getroffen doelen kunnen toenemen, wat weer tot meer onschuldige burgerslachtoffers zou kunnen leiden.
De vraag is ook hoe een lokale bevolking erop reageert. Wanneer onbemande robotwapens als laf worden gezien, kan de draagkracht afnemen om een conflict op te lossen, of zou het land dat autonome wapens inzet er terroristische aanslagen voor terug kunnen krijgen.
In de verre toekomst kan een autonoom opererend wapen wellicht ook zelflerend worden, en dan is de vraag wie verantwoordelijk is voor de beslissingen van het robotwapen nog moeilijker te beantwoorden.
De internationale organisatie Campaign to Stop Killer Robots ijvert sinds 2013 voor een verbod op het gebruik van autonome wapens, vergelijkbaar met bestaande verboden op het gebruik van biologische en chemische wapens en met verboden op specifieke technologieën zoals laserwapens om mensen mee te verblinden en landmijnen die zuiver zijn gericht tegen mensen en niet tegen materieel zoals tanks. Mede-initiatiefnemer en emeritus hoogleraar robotica Noel Sharkey zegt dat de lijst met mogelijke fouten bij het inzetten van autonome wapens veel te lang is om te negeren en dat er een grens is die de mens niet moet overschrijden: ‘Robots moeten niet het gezag krijgen om mensen te doden.’
Het Future of Life Institute startte in 2015 vanuit de wereld van het academische onderzoek naar kunstmatige intelligentie en robotica een petitie tegen het gebruik van autonome wapens. Deze petitie, ondertekend door een groot aantal topwetenschappers, besluit met de woorden: ‘Wij geloven dat kunstmatige intelligentie de mensheid op talloze manieren kan dienen en dat dit ook het doel van het vakgebied moet zijn. Het starten van een wapenwedloop die gedreven wordt door kunstmatige intelligentie is een slecht idee en moet voorkomen worden door een verbod op offensieve autonome wapens die buiten betekenisvolle menselijke controle staan.’
