How can AI deliver on its promises in healthcare?

In theory, AI has much to offer healthcare, but developing successful applications in recent years has proved more difficult than thought. Most AI solutions are still in an experimental pre-clinical stage. Three UvA researchers shine their light on how the gap between science and medical practice can be closed.

This article was published on the website of LAB42, an innovative hub based at the University of Amsterdam (UvA).

“It’s just completely obvious that in five years deep learning is going to do better than radiologists.”

So said AI pioneer Geoffrey Hinton in 2016. He even claimed that training radiologists would no longer be necessary. Anno 2024, we can conclude that the implementation of AI in medical imaging has proven much more difficult than Hinton thought. No radiologist has become obsolete; rather, there is a shortage of radiologists.

Hinton won the 2018 Turing Award (the highest scientific award in computer science), along with Yann LeCun and Yoshua Bengio, for developing deep learning (a method by which computers learn to recognize patterns in data thanks to artificial neural networks). Hinton may know all about deep learning, but he knows little about the medical field, and that lack of domain knowledge broke him down in his prediction.

Imperfect labels

“I think it was embarrassing for Hinton to make such a strong claim”, says associate professor Hoel Kervadec, a medical imaging researcher in the Quantitative Healthcare Analysis (qurAI) group at the UvA. “We are far from being there, and actually replacing radiologists is not the goal at all.”

The large gap between Hinton’s 2016 statement and the reality in 2024 illustrates a deeper underlying problem, Kervadec explains. “AI researchers often think of radiological images as a collection of perfect data, but there is much more variation and uncertainty in the data than they realize. The biggest problem is that the labels radiologists assign to a piece of an image are much more subjective than is often thought. What is tumor tissue and what is not? What type of tumor is involved? Radiologists can differ in their opinions on this.”

In addition, there is a large imbalance between the number of scans of healthy people and the number of scans of sick people, something standard AI methods struggle to deal with. Also, the fact that different types of scanners and different scanning protocols are used affects the conclusions an AI system draws, when it really shouldn’t matter.

Grand Challenges

Applying AI techniques reliably in the complex reality of the hospital requires a lot of work. One way to narrow the gap between AI in the lab and AI the hospital is to organize Grand Challenges, such as the Artificial Intelligence for RObust Glaucoma Screening challenge (AIROGS) organized by some UvA colleagues of Kervadec in 2022 (https://ivi.uva.nl/content/news/2023/06/when-will-robust-ai-supported-medical-imaging-finally-become-a-reality.html). The goal of AIROGS was to detect the eye disease glaucoma at an early stage. It turned out that the best teams participating in this Grand Challenge performed similarly to an expert team of ophthalmologists and optometrists.

“Looking at the impressive results of such challenges in recent years,” says Kervadec, “I expect AI to slowly creep into hospital practice.” Crucial to this is close collaboration between the developers of the AI systems and the radiologists who want to work with them. They have the necessary domain knowledge that the AI researchers themselves do not have. Kervadec: “We will have to learn what works well and what doesn’t.”

Kervadec himself specializes in developing new methods of medical imaging that deal more efficiently with big data. “I try to use knowledge that doctors already have beforehand to let AI perform a certain task faster and better. For example, think of a doctor using certain anatomical knowledge to draw the contour around a certain piece of tissue.”

Kervadec sees the introduction of AI in medical imaging not as a replacement for human radiologists, but as a more than welcome addition. “People now often have to wait a long time for a result. And in many Western countries the population is aging, increasing the demand for radiological screening. In other countries, there are not enough radiologists at all. So instead of thinking that AI replaces radiologists, you can also say that AI ensures that the same number of radiologists can review more scans and better meet the high demand.” This can be done, for example, by leaving the simple cases to AI.

Medical startup

To bridge the gap between scientific research and medical practice, Evangelos Kanoulas, UvA professor of Information Retrieval and Evaluation, founded a startup company five years ago: Ellogon.ai. This startup aims to help medical experts select the right patients for cancer immunotherapy. Of all cancer patients who receive immunotherapy, only thirty percent currently benefit from it. But the cost is extremely high: about 250,000 euros per patient.

“The goal of Ellogon.ai,” Kanoulas explains, “is to develop an AI tool that will allow doctors to better determine who does and does not benefit from immunotherapy.” In current practice, a histopathologist studies a piece of tumor tissue to determine whether or not a patient will receive immunotherapy. One important condition is that the area around the tumor must contain at least thirty percent immune cells. Another condition is that tumor cells must have less than a certain amount of blocking protein in their cell membrane, otherwise immune cells have no chance of eliminating the tumor cells.

“Quantifying these kinds of biomarkers is difficult even for well-trained histopathologists,” Kanoulas says. “It is actually a task for which the human eye is not suited. We see this in the fact that only three out of ten histopathologists agree with each other when looking at the same piece of tumor tissue. The AI software we develop to quantify biomarkers does not get tired, provides consistent quality and performs slightly better than the best human experts. And that’s certainly better than a random expert in a random hospital.”

But it’s not necessary that AI performs better. Even when AI does as well as human experts, it solves a problem. “After all, there is a shortage of histopathologists”, Kanoulas says. “So it would help tremendously when our AI software does the easy cases and the histopathologists focus on the difficult cases.”

Still, there are also unknown variables in tumor tissue that determine whether or not a patient will benefit from immunotherapy. Kanoulas hopes that Ellogon.ai’s software can put human experts on track to unravel those as well: “AI can see patterns that the human eye cannot see.” The software now has an official CE mark, but is not yet used in clinical practice. Kanoulas and his team are working closely with the Netherlands Cancer Institute (NKI) to investigate whether patients will also benefit from the developed AI support in practice.

The complexity of AI in the hospital

As someone who stands with one leg in science and the other in practical application, how does Kanoulas view narrowing the gap between AI in the lab and AI in the hospital? What obstacles are there?

“First of all, healthcare is a complex, interdisciplinary field,” he says. “In our field, AI experts and software engineers collaborate with histopathologists, oncologists and other medical professionals.”

In addition, health care involves people’s lives, so great care is required. New applications must therefore comply with laws and regulations. Kanoulas: “Within the EU, these include the Medical Device Regulation (MDR), the In Vitro Diagnostic Medical Devices Regulation (IVDR), and when it comes to privacy and the use of digital data, the General Data Protection Regulation (GDPR) applies.”

Third, healthcare has a long tradition that makes major changes difficult. Kanoulas: “AI needs digital data. That means hospitals have to have a digitization strategy. That costs money and that changes the workflow.”

And finally, of course, there are financial barriers. Kanoulas: “For the hospital now, by and large from a financial perspective, it doesn’t matter if a certain treatment that is in the health insurance package works or not. The health insurance company pays for it anyway. It takes a long time to get a new product reimbursed by health insurance. Many startup companies that have valuable products don’t make it for that reason.”

Another financial barrier is the money to invest in research and development at all as a startup. “In Europe, very few investors are willing to invest in healthcare, because they find it too slow to pay off”, says Kanoulas. “That leads to companies leaving for the U.S. at some point, and frankly, that’s something we are also thinking about with Ellogon.ai. Europe needs to do a better job of creating an attractive environment for healthcare startup companies. I see that as socioeconomic value creation. Surely it is more useful to improve healthcare with AI than to develop the next Angry Birds game.”

Equal access to healthcare

Somaya Ben Allouch, professor of Human-System Interaction for Health and Wellbeing at the UvA, is also working closely with the practical field to integrate AI applications into health care as well as possible. Ben Allouch does so primarily with the goal of understanding how to develop AI applications that fit within the workflow of clinicians and the care settings. Another important aim is reducing inequitable access to health care.

“It is known that some groups in society have worse access to healthcare than other groups”, Ben Allouch says. “This is related, for example, to ethnicity, low literacy or lower socioeconomic status. In some neighborhoods in big cities, people skip the general practitioner. If there is something wrong, they go straight to the hospital first-aid station. That may be because they work during the day, because a language barrier makes it inconvenient for them to have to talk to an assistant first, or because they just want to be helped faster.”

Ben Allouch is working with patient organizations, social assistance, GGD and the City of Amsterdam, among others, to explore how AI can help ensure, on the one hand, more equal access for all groups, and on the other hand, that if AI is used in health care, it is not accompanied by discrimination against certain groups. “We are at the very beginning of our research”, says Ben Allouch. “But the idea is that from day one, we are proactively talking to all these stakeholders about what is needed for more equal access: What data do we need? How do we clean that data? What biases are at play?”

Ben Allouch’s research will be embedded in the AI for Health Equity Lab, a partnership of Amsterdam University of Applied Sciences (HvA), University of Amsterdam (UvA), Vrije Universiteit (VU), and Amsterdam UMC. Earlier this year, this lab was awarded the ELSA (Ethical, Legal and Societal Aspects) label by the Dutch AI Coalition (NL AIC).

“Of course AI applications in diagnostics are important,” says Ben Allouch, “but let’s not be blinded by it. AI also lends itself well to improving steps much earlier in the care chain. Think of a chatbot that helps people with their healthcare questions without misunderstanding them all the time. Or think of AI that can help people with early stage dementia live independently longer by, for example, helping them remember when to eat or drink. That AI would then have to communicate in an empathetic way. These are some ideas we want to explore further in the coming years.”

Ben Allouch emphasizes that we should not have blind faith in healthcare technology, whether AI or other digital healthcare solutions. “I have done all kinds of technology projects to investigate how we can support the elderly. Then you see that the meaningful, human relationship between a person in need of care and a care professional, a child, a parent or a neighbor cannot just be replaced by a piece of technology. I am in favor of AI applications, but let’s critically examine and reflect upon what is and is not needed and what does or does not work in practice and its effect on humans.”

---------------------------------------------------------------------------------------------------------

What does AI have to offer health care?

Applying learning AI systems requires a lot of high-quality data. Within healthcare, then, medical imaging for diagnosis and prognosis of conditions is the most obvious application, because this is where a lot of data is produced: X-ray scans, MRI scans, CT scans, EEG recordings, echograms, and so on. In development are, for example, AI support for radiologists and AI as decision support to determine whether or not a patient should leave intensive care.

AI can also be used to improve treatment plans, such as determining more precisely which part of the body should or should not be irradiated against cancer. Prevention is another possible application of AI meaning health care. This involves using AI to analyze data collected by small electronic devices worn on the body, such as a smartwatch.

On average, doctors spend forty percent of their time on administrative matters. The hope is that AI-assisted language technology can reduce that burden. Think transcription of conversations, creating summaries, preparing referral letters and processing questionnaires.

Within medicine as a science, AI is also increasingly being used, for example, to speed the development of new drugs.

The Paradox of Artificial Intelligence – SMARTER than a Grandmaster but more IGNORANT than a Toddler

On Tuesday 24 September 2024, I moderated a panel discussion on learning in humans and machines at the 11th Heidelberg Laureate Forum. 

It was an interesting, informative and animated discussion that was highly appreciated by all the audience: over 200 young researchers (56 countries) from computer science and mathematics, and some 25 laureates of the most important scientific prizes in mathematics and computer science: the ACM Turing Award, the ACM Prize in Computing, the Abel Prize, the Fields Medal, and the Rolf Nevanlinna Prize.

Thanks a lot to the four great panelists: Celeste Kidd, Associate Professor of Psychology, University of California, Berkeley (USA); Po-Shen Loh, Professor of Mathematics, Carnegie Mellon University (USA); Brigitte Röder, Professor of Biological Psychology and Neuropsychology, University of Hamburg (Germany); and Eric Schulz, Director of the Institute of Human-Centered AI, Helmholtz Munich (Germany)

The entire panel discussion can now be viewed online:

Eerste hulp bij de duiding van AI-nieuws

Deze bijdrage heb ik geschreven voor de Vereniging voor Wetenschapsjournalistiek en -communicatie Nederland (VWN). Het artikel is ook te lezen op de website van de VWN.

Als wetenschapsjournalist doe ik sinds 2010 verslag van kunstmatige intelligentie (AI) en ik heb dit deelgebied van de informatica zich spectaculair zien ontwikkelen. In 2010 was AI voornamelijk fundamentele wetenschap, met maar weinig praktische toepassingen. Hoewel bijvoorbeeld Google Translate al bestond, was het krakkemikkig. Hetzelfde gold voor automatische beeld- en spraakherkenning.

De omwenteling kwam in 2012. Toen brak een techniek door die deep learning heet: leren met kunstmatige neurale netwerken die bestaan uit tientallen lagen van kunstmatige neuronen (in plaats van een handvol in de decennia daarvoor). Deep learning is ideaal voor het herkennen van patronen in grote hoeveelheden data die van goede kwaliteit zijn. Dankzij deep learning en de beschikbaarheid van grote hoeveelheden digitale data werd AI naast zuivere wetenschap ook een toegepaste wetenschap. In het afgelopen decennium kwam AI terecht in alledaagse technologie zoals automatisch vertalen, automatische beeld- en spraakherkenning, en nog recenter in AI-systemen zoals ChatGPT of Copilot, die nieuwe tekst, audio, video en zelfs computercode genereren.

De vooruitgang die AI in het afgelopen decennium heeft geboekt, is spectaculair. Tegelijkertijd zijn er ook een heleboel hypes geweest. Nadat de IBM supercomputer Watson in 2011 de twee beste menselijke spelers aller tijden verpletterde in de kennisquiz Jeopardy, dacht IBM dat Watson, met een beetje bijscholing, ook wel even een superieure digitale arts zou kunnen worden. Elon Musk voorspelde jaar na jaar dat de volledig zelfrijdende auto om de hoek lag. Een van de grondleggers van deep learning, Turingprijswinnaar Geoffrey Hinton, voorspelde dat menselijke radiologen overbodig zouden worden omdat AI radiologie volledig zou automatiseren. Allemaal voorbeelden van grootspraak, gebaseerd op het volkomen verkeerd inschatten van de complexiteit van de echte wereld buiten het AI-lab waarin data zelden zo schoon zijn als in het lab. En ook op het onderschatten van menselijke intelligentie: dingen die voor mensen gemakkelijk zijn, zijn voor AI vaak moeilijk, en andersom.

Als het duiden van AI-nieuws ergens behoefte aan heeft, is het aan realistische en hypevrije berichtgeving. Daarom heb ik vier lijstjes opgesteld die hierbij kunnen helpen:

1. Wat je op zijn minst moet weten over AI
2. Mythes over AI 
3. Denkgereedschap bij AI-duiding 
4. Sceptische vragen bij AI-nieuws 

1.    Wat je op zijn minst moet weten over AI

• AI is niet iets van de afgelopen paar jaar. In 1950, net nadat de eerste computers waren gebouwd, formuleerde de Britse wiskundige Alan Turing al een test die zou moeten bepalen wanneer een computer kan denken: de Turingtest (door Turing zelf “imitation game” genoemd). Turing dacht al na over kunstmatige intelligentie voordat het vakgebied bestond. 
• Als wetenschappelijk vakgebied, en onderdeel van de informatica, ontstond AI in 1956 tijdens een zomerworkshop in de VS. 
• Een jaar eerder formuleerden vier Amerikaanse wetenschappers in het voorstel voor de zomerworkshop voor het eerst het doel van AI: “Het onderzoek gaat uit van de veronderstelling dat elk aspect van leren of elk ander kenmerk van intelligentie in principe zo nauwkeurig beschreven kan worden dat een machine het kan nabootsen. Er zal worden geprobeerd uit te vinden hoe machines taal kunnen gebruiken, abstracties en concepten kunnen vormen, soorten problemen kunnen oplossen die nu aan mensen zijn voorbehouden en zichzelf kunnen verbeteren.” 
• De term artificial intelligence is bedacht door de Amerikaan John McCarthy, een van de vier initiatiefnemers van de workshop. Niemand was toen gelukkig met die term. Het doel was immers om ‘echte’ menselijke intelligentie in een machine te realiseren, niet om ‘kunstmatige’ intelligentie te bouwen. Maar, zoals McCarthy zei: “Ik moest het iets noemen”. 
• Enkele hoogtepunten uit de AI-geschiedenis: 
• Chatbot Eliza (1966) is de eerste chatbot. 
• Robot Shakey (1969) is de eerste mobiele robot die kan redeneren over zijn eigen acties. 
• Schaakcomputer DeepBlue (1997) verslaat wereldkampioen schaken Gary Kasparov. Een doorbraak in machinaal redeneren. 
• Robotauto Stanley (2005) legt tijdens een DARPA Grand Challenge zelfstandig een lastig parcours af in de Amerikaanse Mojave-woestijn. Een doorbraak in beeldherkenning, routeplanning en mobiele robotica. 
• Supercomputer Watson (2011) wint de Jeopardy-quiz. Een doorbraak in natuurlijke taalverwerking en het redeneren over kennis. 
• Go-computer AlphaGo (2016) verslaat de Zuid-Koreaanse wereldkampioen Lee Sedol. Een doorbraak in machinaal leren. 
• OpenAI lanceert ChatGPT (2022), waardoor AI ineens voor een breed publiek toegankelijk wordt. Een doorbraak in het genereren van natuurlijke taal. 
• Grofweg gezegd bestaat AI uit twee takken: machinaal redeneren en machinaal leren. 
• Machinaal redeneren kun je zien als het nabootsen van de menselijke geest. Het idee is dat elk intelligent systeem, of het nu een mens of machine is, opereert door bepaalde symbolen volgens logische regels te verwerken. 
• Machinaal redeneren is geschikt voor problemen die je goed kunt uitleggen in regels, zoals een logisch raadsel, het redeneren over kennis of het plannen van een route. 
• Machinaal leren kun je zien als het nabootsen van het menselijk brein, in de zin van de biologische hardware waaruit de menselijke geest voortkomt. Machinaal leren kan op talloze manieren worden geïmplementeerd op een computer. Neurale netwerken zijn tegenwoordig de bekendste en succesvolste. 
• Machinaal leren is geschikt voor problemen die je niet goed in regels kunt uitleggen en waarvan veel trainingsvoorbeelden beschikbaar zijn, zoals het herkennen van beeld en spraak. 
• Decennialang kon AI alleen maar hele gespecialiseerde taken aan (bijvoorbeeld handgeschreven cijfers herkennen). Dat werd narrow intelligence genoemd. Daartegenover stond general intelligence, waarmee menselijke intelligentie werd bedoeld. (Daarbij werd vergeten dat menselijke intelligentie ook maar een van de mogelijke vormen van intelligentie is, en zeker niet ‘algemeen’.) 
• Toen AI steeds meer taken aankon, begonnen sommigen te spreken over Artificial General Intelligence (AGI), kunstmatige intelligentie die de menselijke capaciteiten in een breed scala aan cognitieve taken evenaart of overtreft. Eigenlijk is AGI niets anders dan wat van begin af aan het doel is geweest van AI. Het is vooral de angst voor supermenselijke intelligentie die het begrip AGI op de radar heeft gezet. 
• Het doel van AI-technologie is niet om mensen te vervangen, maar om mensen aan te vullen, in hun kracht te zetten en menselijke prestaties te verbeteren. In de afgelopen jaren is de samenwerking tussen mens en AI een nieuw wetenschapsgebied geworden, soms onder de noemer van human-centered AI, soms onder de noemer van hybride intelligentie. 

2.    Mythes over AI

• De grootste misvatting is om tegen huidige AI aan te kijken alsof het menselijke intelligentie is. Mensen hebben een leven, AI niet. Kunstmatige intelligentie is anders dan menselijke intelligentie: soms beter, soms slechter, maar tot nu toe vooral anders. Pas dus op voor menselijke projectie op wat machines doen: soms is een machine die kwaakt en waggelt, gewoon een machine en geen eend. 
• “We zijn dicht bij AGI.” Onzin. De mens heeft talloze cognitieve capaciteiten waaraan AI nog lang niet kan tippen. Ontwikkelingspsycholoog Alison Gopnik zei het zo: “Zelfs de meest geavanceerde kunstmatige intelligentie is nog lang niet in staat tot het oplossen van problemen die vierjarige kinderen met gemak oplossen.” 
• “AI is een hype en waait wel over.” Dat is net zo goed onzin. AI is in het afgelopen decennium stukje bij beetje in al onze computers, smartphones en digitale diensten gaan zitten. Wetenschappers gebruiken AI steeds vaker als onderzoeksinstrument. 
• “AI is niet intelligent.” De vraag wat intelligentie is, is een filosofische vraag waarover veel te discussiëren valt. Het is echter onmiskenbaar dat AI taken verricht die intelligentie vereisen wanneer mensen ze zouden doen. In die zin bezit AI welk degelijk bepaalde vormen van intelligentie. Alleen, zoals AI-pionier John McCarthy ooit zei: “Zodra het werkt, noemt niemand het meer AI.” Net zoals we in de loop van de geschiedenis zijn gaan inzien dat ook dieren vormen van intelligentie hebben, zo zouden we ook moeten inzien dat computers intelligentie kunnen hebben. 
• “AI kan nu al {x}, dus overmorgen kan het {y} en {z}.” Decennialang AI-onderzoek heeft laten zien dat juiste de laatste vijf tot tien procent vaak het moeilijkst zijn. De zelfrijdende auto is daarvan een goed voorbeeld. We hebben slimme rijondersteuning, maar de volledig zelfrijdende auto is nog ver weg. 
• “AI discrimineert.” Dat kan zeker, maar het is geen natuurwet dat AI discrimineert. Mensen zijn verantwoordelijk voor AI-systemen en het is aan mensen om discriminatie er zoveel mogelijk uit te halen. Eén ding weten we zeker: de lijst van menselijke vooroordelen en systematische denkfouten is lang, en discriminatie is moeilijker uit mensen te halen dan uit machines. 

3. Denkgereedschap bij AI-duiding

• AI is mensenwerk. Elke AI-toepassing wordt nog steeds ontworpen, gebouwd, geprogrammeerd en onderhouden door mensen. Mensen verzamelen en selecteren de data, mensen helpen bij het trainen van lerende AI-systemen, en mensen voorzien AI-systemen van energie. Mensen moeten de computer laten weten welke normen en waarden zij belangrijk vinden. 
• AI-systemen helpen mensen bij het vinden van optimale oplossingen voor sommige problemen, maar het is aan mensen om te bepalen welke oplossingen ze willen optimaliseren met AI, en ook om te bepalen wat optimaal is. AI kan goed omgaan met dingen die telbaar zijn, maar lang niet alles wat je kunt tellen telt, en lang niet alles wat telt is telbaar. 
• Waarin AI-systemen beter zijn dan mensen: hun rekenkracht kan veel groter zijn, ze rekenen – mits goed geprogrammeerd – foutloos, ze raken niet vermoeid, ze kunnen van veel meer voorbeelden leren, ze hebben geen last van emoties, ze nemen consistente beslissingen, ze hebben een perfect en kopieerbaar geheugen en ze kunnen patronen ontdekken die te subtiel zijn voor het menselijk oog. Daarnaast neemt de rekenkracht al decennialang voortdurend toe en worden ook de AI-algoritmen (de rekenrecepten die een computer gebruikt) steeds krachtiger. 
• Waarin mensen nog steeds beter zijn dan AI-systemen: impliciete of alledaagse kennis, leren van weinig voorbeelden, redeneren over oorzaak en gevolg, abstraheren, generaliseren, energiezuinige informatieverwerking (een menselijk brein verbruikt slechts 20 watt; een supercomputer in de orde van een megawatt – energieverbruik is sowieso een heet hangijzer als het gaat om het trainen en gebruiken van grote AI-systemen zoals ChatGPT). 
• Zoals elke technologie, heeft AI talloze risico’s. Hier is een selectie: AI kan fouten maken, AI kan vooringenomen zijn, AI kan banen bedreigen en veranderen, AI-beslissingen kunnen onuitlegbaar zijn, AI kan gebruikt worden om desinformatie te creëren, mensen kunnen vaardigheden kwijtraken, mensen kunnen te veel op AI vertrouwen, de samenwerking tussen mens en AI kan verkeerd gaan, en AI kan voor machtsverschuivingen in de maatschappij zorgen. 
• De Europese AI Act heeft vastgelegd onder welke voorwaarden AI-systemen binnen de EU wel of niet mogen worden toegepast. 
• Prestatie is iets anders dan competentie. Een test die gemaakt is voor mensen is niet automatisch een goede test voor computers. Regelmatig verschijnen er grafieken in de media die laten zien dat AI op een bepaalde test (bijvoorbeeld begrijpend lezen) beter scoort dan ‘de gemiddelde mens’. Wanneer je de testvragen echter iets anders formuleert, blijken de AI-prestaties vaak sterk te dalen. Robotbedrijf Boston Dynamics haalt regelmatig het nieuws met gelikte filmpjes waarop mensachtige robots allerlei capriolen uithalen. Wat je dan niet ziet is, hoe vaak het in de praktijk misgaat. En wat het bedrijf al helemaal niet laat zien, is dat de robot faalt wanneer je de omgeving een beetje verandert (wat minder licht, hindernissen op een andere plek…). Robuustheid is in de praktijk vaak een probleem. 
• AI-ontwikkelingen worden vaak geframed als een strijd tussen mens en machine (schaken, go, poker…). In de echte wereld is de samenwerking tussen mens en machine vaak belangrijker (denk aan de samenwerking tussen menselijke en automatische piloot in een vliegtuig). Radioloog Curtis Langlotz van Stanford University formuleerde het zo: “AI vervangt geen radiologen, maar radiologen die AI gebruiken vervangen radiologen die dat niet doen.” 
• AI-experts zijn geen experts buiten hun vakgebied, maar doen daar vaak boude uitspraken over (Natuurkundige Stephen Hawking over AI als gevaar voor de mensheid; Geoffrey Hinton over AI die radiologen vervangt…) Wantrouw die uitspraken en check ze bij mensen die wel verstand hebben van dat andere domein. 
• Ook bij AI-nieuws geldt: ‘Follow the Money’. Achter AI-nieuws, zeker wanneer het van bedrijven komt, zitten vaak grote commerciële belangen. En ook wetenschappers zijn natuurlijk op zoek naar financiering voor hun onderzoek en overdrijven niet zelden het belang van hun resultaten. 
• Het al dan niet slagen van AI-technologie in de praktijk wordt niet alleen bepaald door technologische innovatie, maar net zozeer door sociale innovatie (bereidheid om te veranderen, aanpassen van de organisatie, andere samenwerking tussen mensen, betere samenwerking tussen mensen en AI…) 
• Zoals veel technologie wordt ook AI op korte termijn vaak overschat, maar op lange termijn onderschat. 

4.    Sceptische vragen bij AI-nieuws


Wantrouw grote AI-claims altijd. Van de fundamentele AI-uitdagingen die in 1955/1956 werden geformuleerd, is er geen enkele volledig opgelost. Bij sommige uitdagingen, zoals beeldherkenning of taalverwerking, is grote vooruitgang geboekt, maar bij andere, zoals causaal redeneren of denken in concepten, maar weinig.

Cognitiewetenschapper Gary Marcus, coauteur van het boek ‘Rebooting AI: Building Artificial Intelligence We Can Trust’, heeft een lijst met zes sceptische vragen opgesteld die journalisten zouden moeten stellen wanneer ze berichten over geclaimde AI-successen:

• Wat deed het AI-systeem hier in essentie? (Leest een ‘leessysteem’ echt, of markeert het alleen relevante stukjes tekst?) 
• Hoe algemeen is het resultaat? (Meet een zogenaamde leestaak bijvoorbeeld alle aspecten van lezen, of slechts een klein stukje ervan? Als het getraind is op fictie, kan het dan ook het nieuws lezen?) 
• Is er een demo waar ik mijn eigen voorbeelden kan uitproberen? (Als dat niet kan, moet je je zorgen maken over hoe robuust de resultaten zijn). 
• Als de onderzoekers (of hun persvoorlichters) beweren dat een AI-systeem beter is dan mensen, welke mensen dan, en hoeveel beter? (Was het een vergelijking met hoogleraren, die lezen voor de kost, of met verveelde Amazon Mechanical Turk-werknemers die een eurocent per zin betaald krijgen?) 
• Hoever brengt het slagen in de specifieke taak ons eigenlijk in de richting van het bouwen van echte AI? (Is het een academische oefening, of iets dat gebruikt kan worden in de echte wereld?) 
• Hoe robuust is het systeem? (Zou het net zo goed kunnen werken met andere datasets, zonder enorme hoeveelheden hertraining? Zou een systeem voor ‘zelfrijdende’ auto’s dat overdag is getraind bijvoorbeeld ook ’s nachts kunnen rijden, of in de sneeuw, of als er een verkeersaanwijzing opduikt die niet in de trainingsdata zit?) 

Voor een uitgebreidere duiding van wat AI wel en niet goed kan, en van de samenwerking tussen menselijke en kunstmatige intelligentie, verwijs ik naar mijn pocketboek ‘Slim, slimmer, slimst – Hoe kunstmatige intelligentie de mens een turboboost geeft’ (New Scientist Pocket Science, 2023).

Geïnteresseerd in een lezing over AI?

Al sinds 2012 (ver voor de huidige AI-hype) geef ik lezingen over AI. Dat begon met mijn boek 'Turings tango' dat in 2012 werd gepubliceerd. Sinds de publicatie in mei 2023 van mijn pocketboek over AI - 'Slim, slimmer, slimst - Hoe kunstmatige intelligentie de mens een turboboost geeft' - is het aantal verzoeken voor lezingen over AI toegenomen. En zeker na de doorbraak van ChatGPT eind 2022 merk ik dat veel burgers, bedrijven, organisaties, opleidingen en instituten graag willen weten wat AI voor ze kan betekenen.

Ik heb ook gemerkt dat er enerzijds vaak onrealistisch hoge verwachtingen zijn van AI, maar dat er anderzijds vaak onnodig veel angst is. Je hebt sprekers die alleen maar hosanna-verhalen houden over AI, en je hebt sprekers die vooral een waarschuwende vinger opsteken. Ik denk dat burgers, bedrijven en overheden het meest gebaat zijn bij een realistisch verhaal.

Daarom vertel ik in mijn lezingen op een realistische, hype-vrije, maar toch inspirerende manier wat AI is, wat het goed kan (en soms beter dan mensen), wat het niet goed kan en waarin mensen veel beter zijn, en hoe we als mensen AI op een effectieve, betrouwbare en verantwoorde manier kunnen inzetten. Het zoeken naar een goede samenwerking tussen mens en AI is altijd de kern van mijn verhaal.

Inmiddels heb ik lezingen gegeven voor zeer uiteenlopende doelgroepen: van IT-bedrijven tot Waterschappen, van bibliotheken tot hogescholen, en van studenten gezondheidswetenschappen tot docenten in Performing Arts.

Enkele recente opdrachtgevers: Studium Generale Maastricht, Valcon BV, iBestuur, Saxion Hogeschool, Post Academische Opleidingen (PAO) Leiden, TD SYNNEX, Viro Beheer, Bibliotheek Middelharnis, Bibliotheek Rivierlanden, OOMT Mobiliteitsbranche, Nationaal Automotive Congres, Waterschap Hollandse Delta, SeniorWeb, Lucia Marthas Institute for Performing Arts, Synechron.

Voor het aanvragen van lezingen kunt u contact opnemen met Speakers Academy®.

De kunst van de samenwerking tussen mens en AI

Voor het oktobernummer van iBestuur (onafhankelijk kwartaalmagazine van de overheid over digitale zaken) schreef ik een artikel over de kunst van de samenwerking tussen mens en AI

Mijn moeder is dementerende en om haar eraan te herinneren dat ze elke dag haar medicijnen tegen een te lage hartslag inneemt, bel ik haar iedere ochtend even op. Terwijl ze aan de telefoon is, neemt ze haar pilletje in, zodat ze het echt niet vergeet. Ik heb eraan gedacht of ik niet een pratend robotje zou aanschaffen dat mijn telefoontje overneemt. Elke dag op dezelfde tijd zou het robotje haar kunnen vertellen dat ze haar medicijnen moet innemen. Dit soort robotjes bestaat. Ik zou het robotje zelfs mijn stem kunnen geven. Ik vroeg mijn moeder wat ze van dit idee vond. Ze zei niets, maar wees met haar wijsvinger ferm naar mij.

Eerlijk gezegd heb ik zelf ook liever dat ik bel. Aan haar stem hoor ik namelijk meteen hoe het met haar gaat. We kunnen even een praatje maken. Mijn telefoontje is veel meer dan een instructie dat ze haar medicijnen moet nemen. Het is belangstelling voor haar, het is een betekenisvol contact tussen moeder en zoon, het is een manier om haar zich even minder alleen te laten voelen. Hoe slim geprogrammeerd ook, een robotje heeft geen enkele sociale, psychologische of biologische relatie met mijn moeder, en ook geen gedeelde ervaringen.

Mensen hebben een leven, kunstmatige intelligentie (AI) niet. Dat is een wezenlijk verschil. Dit leidt er ook toe dat AI tot nu toe niet erg geschikt is gebleken voor het oplossen van vraagstukken die een belangrijke morele, ethische of sociale component hebben. Wereldwijd zijn er talloze voorbeelden van algoritmen die mensen onterecht van fraude beschuldigden, die bij sollicitaties vrouwen achterstelden, of die in gezichtsherkenningssoftware de gezichten van zwarte mensen veel slechter herkenden. Gelukkig blijven er nog genoeg problemen over waar de samenwerking tussen mens en AI wel tot betere prestaties kan leiden. Ondanks dat er nog talloze aspecten van intelligentie zijn waarin de mens veel beter is dan AI, zoals alledaagse kennis, redeneren over oorzaak en gevolg, abstraheren en generaliseren, zijn AI systemen namelijk beter dan mensen als het gaat om het herkennen van subtiele patronen, het nemen van consistente beslissingen en het leren van enorme hoeveelheden invoerdata. Bovendien hebben ze geen last van vermoeidheid, emoties of typisch menselijke vooringenomenheden.

Het menselijk brein is razend efficiënt en kan snel beslissingen nemen, maar de prijs die het daarvoor betaalt is een lijst met meer dan honderd soorten cognitieve vooringenomenheid of bias. 95% van de auto-ongelukken in Europa ontstaat door menselijke fouten, zoals een gebrek aan concentratie, een gebrek aan slaap of overmatig alcoholgebruik. Mensen laten het negatieve vaak zwaarder wegen dan het positieve, wat bijvoorbeeld leidt tot veel meer negatief nieuws in de media dan positief nieuws. Een groot aantal mensen ervaart discriminatie bij sollicitaties, veroorzaakt door mensen, niet door algoritmen. Menselijke radiologen kunnen hoogstens honderd beelden per dag beoordelen en missen gemiddeld dertig procent van de diagnoses die op een afwijking duiden.

Om dit soort menselijke tekortkomingen te compenseren, kunnen AI-systemen nuttig zijn. Menselijke radiologen die samenwerken met AI-systemen maken aantoonbaar minder fouten. Met de toenemende vergrijzing en een toenemend tekort aan radiologen is AI als aanvulling op de menselijke radioloog een uitkomst. Denemarken heeft een van de twee menselijke radiologen die bij het bevolkingsonderzoek naar borstkanker mammogrammen beoordelen al vervangen door een AI-systeem.

Een recent experiment met taxichauffeurs in Tokyo die een AI-systeem konden gebruiken dat op elk moment voorspelt op welke locatie de vraag naar taxi’s het grootste is, liet zien dat de productiviteit van minder ervaren taxichauffeurs met veertien procent steeg, terwijl de productiviteit van zeer ervaren chauffeurs niet veranderde. Ook in andere beroepen is gebleken dat AI-systemen juist de prestaties van minder geschoolde of minder ervaren mensen kan verbeteren. Op deze manier kan AI ongelijkheid tussen mensen juist verminderen.

Een studie van het Stanford Immigration Policy Lab liet zien dat AI de kans dat een vluchteling werk kreeg in de VS met veertig procent vergrootte en in Zwitserland zelfs met zeventig procent. Het AI-systeem zocht hiervoor naar de beste match tussen de individuele capaciteiten van een vluchteling, zoals opleiding en talenkennis, en de behoeften die een bepaalde gemeente aan bepaalde arbeidskrachten heeft. Een mooi voorbeeld van hoe AI ook tot betere overheidsbeslissingen kan leiden.

De crux is om ons te realiseren dat huidige AI heel anders is dan menselijke intelligentie, dat AI geen magie is, maar door en door mensenwerk, en dat we heel goed moeten onderzoeken hoe we dat wat mensen beter kunnen dan AI moeten combineren met dat wat AI beter kan dan mensen. Dan is het niet genoeg dat een AI-systeem in een eenvoudige laboratoriumomgeving werkt, nee, eerst moet bewezen worden dat AI ook in een echte, complexe organisatie goed kan werken en ook nog kosteneffectief is. Vaak vraagt dat om aanpassingen van de mensen in de organisatie.

In de kunst van de samenwerking tussen mens en AI hoeven AI-systemen niet op mensen te lijken, ze hoeven geen bewustzijn te hebben en ze hoeven niet onze maatjes of collega’s te zijn. AI-systemen moeten gewoon slimme, nuttige assistenten zijn die bepaalde problemen beter en sneller oplossen dan mensen dat kunnen en zo de mens een turboboost geven.

Slim, slimmer, slimst - Hoe kunstmatige intelligentie de mens een turboboost geeft

'Slim, slimmer, slimst', mijn pocketboek over AI als turboboost voor de mens, is op 31 mei 2023 met succes gelanceerd. Het eerste exemplaar werd in ontvangst genomen door UvA-hoogleraar machine learning Max Welling. In 100 bladzijden vertel ik in 'Slim, slimmer, slimst' wat iedereen zou moeten weten over AI.

Kunstmatige intelligentie (AI) vertaalt razendsnel onze teksten, herkent onze gezichten, ondersteunt artsen bij het stellen van medische diagnoses en maakt auto’s deels zelfrijdend. Maar op sommige gebieden winnen zelfs peuters het nog van AI, zoals bij het begrijpen van wat een ander wil of voelt.

Hoe indrukwekkend de prestaties ook zijn, AI is op en top mensenwerk. Elk stuk AI-technologie wordt nog steeds ontworpen, gebouwd en onderhouden door mensen. Daarom gaat wetenschapsjournalist Bennie Mols in Slim, slimmer, slimst in op de relatie tussen menselijke en kunstmatige intelligentie.

Waarin is AI beter dan de mens? Waarin is de mens beter dan AI? Hoe kunnen mens en AI succesvol samenwerken? Hoe kan AI helpen om wetenschappelijke ontdekkingen te doen, muziek te maken, te schilderen of te schrijven? En moeten we bang zijn dat superintelligente AI de wereld overneemt?

Het boek is hier te bestellen.

Enkele foto's van de boekpresentatie op woensdag 31 mei:

Op zaterdag 10 juni vertelde ik in het NPO Radio 1-programma Nieuwsweekend over het boek. Het item is hier te bekijken/beluisteren.

In twee podcasts, AI Verkenners en AI Today, vertelde ik uitgebreid over mijn visie op de samenwerking tussen mens en AI. De podcast van AI Verkenners is hier te beluisteren.

En hier is de podcast van AI Today, verdeeld in twee delen, en te beluisteren via Spotify door op de afbeeldingen te klikken:

In Filosofie Magazine verscheen een interview met mij over 'Slim, slimmer, slimst': 

Boekrecensies

NRC Handelsblad (25 januari 2024)

de Volkskrant (8/9 juli 2023)

Kennislink (6 juni 2023)

"Het immens populaire ChatGPT zorgt voor veel schreeuwerige nieuwskoppen over de gevaren van kunstmatige intelligentie. Wetenschapsjournalist Bennie Mols weet die hijgerige doemverhalen mooi te debunken in zijn pocketboekje Slim, slimmer, slimst."

De Ingenieur (juni 2023)

"Ook zo overweldigd door een golf aan negatieve berichten over kunstmatige intelligentie? Lees dan 'Slim, slimmer, slimst', een relativerend en zeer informatief boekje over AI"

Tech-expert Jarno Duursma: 

Managementboek.nl :

Ondernemen in Limburg:

'Let a Thousand AIs Bloom'

The field of artificial intelligence (AI) has been dominated by the deep learning approach in recent years, and there is some concern that focus may be limiting progress in the field. David Danks, a professor of data science and philosophy at the University of California, San Diego, advocates for more diversity in AI research or, as he puts it, "let a thousand AIs bloom."

This article was written for ACM News and published on 4 May 2023.

What has led you to the conclusion there is too little diversity in the AI field?

We have seen enormous advances in the ability of AI, and in particular deep learning, to predict, classify, and generate what we might think of as the surface features of the world. These successes are marked by two fundamental features that don't always hold: having a measurement of what matters, and being able to define what counts as success. Deep learning can do amazing things, but what worries me is that it crowds everything else out.

Such as…

We have struggled to come up with AI systems that can discover the underlying structure of the world, things that show up in the data but are not defined by them. So one reason that we are struggling with developing more trustworthy and value-centered AI is because trust and values fundamentally are not things that we know how to give numerical expressions for.

Can you give an example?

It is difficult to figure out what counts as success for a self-driving car. Sure, we want to drive safely, but what counts as driving safely is very context-dependent. It depends on social norms, it depends on the weather, it depends on suddenly occurring situations on the road. As soon as there is an unusual context, self-driving cars can't reason their way out like a human driver can.

The complete article can be read here.