Software zet schetsjes om in prima foto’s

Als diep-neuraal-netwerksoftware hard studeert op foto's en schetsen, kan het ook zelf een schetsje omzetten in een foto.

Dit artikel is gepubliceerd in NRC Handelsblad van maandag 27 juni 2016.

Onderzoekers van het Donders Instituut voor Brein, Cognitie en Gedrag in Nijmegen hebben voor het eerst een computer geleerd om schetsen van gezichten om te toveren tot fotorealistische afbeeldingen. Dat kan tot interessante toepassingen leiden voor kunsthistorici en forensisch onderzoekers.

Ons beeld van Rembrandt en andere oude meesters is gebaseerd op hun zelfportretten. De fotografie werd immers pas in de 19e eeuw uitgevonden. In die zelfportretten gaat altijd informatie verloren: bijvoorbeeld details van huid, oren, mond en haar. Bij zwart-wit-schetsen valt ook nog eens de kleur weg. Ook de compositietekeningen die forensisch tekenaars van verdachten maken bevatten veel minder informatie dan de werkelijke gezichten. Wat zou het interessant zijn wanneer we een computer kunnen leren om uit zulke schetsen automatisch een realistische portretfoto te reconstrueren.

Neurowetenschapper Marcel van Gerven ging samen met promovendus Yaǧmur Güçlütürk en twee andere collega’s deze uitdaging aan. “We leren de computer om de wereld in te vullen, zoals het menselijk brein ook doet”, vertelt van Gerven. “Ons brein doet voortdurend voorspellingen over de buitenwereld. Hierbij vult het vaak visuele informatie in die het niet ziet. Wie bijvoorbeeld maar de helft van een gezicht ziet, gaat de andere helft aanvullen op basis van de vele gezichten die ons brein al heeft gezien.”

De laatste jaren zijn computers steeds beter geworden in het leren op basis van grote verzamelingen voorbeelden. Zo kunnen ze bijvoorbeeld leren om foto’s te omschrijven met steekwoorden. Dat leren doen computers analoog aan het menselijk brein. Een netwerk van kunstmatige neuronen (een Diep Neuraal Netwerk) wordt in lagen verdeeld. Elke laag neemt een deel van de patroonherkenning voor zijn rekening. De bovenste lagen herkennen bijvoorbeeld de lijnoriëntatie of de textuur, terwijl diepere lagen delen van voorwerpen herkennen. De diepste laag, ten slotte, herkent volledige voorwerpen.

Van Gerven en zijn collega’s trainden een Diep Neuraal Netwerk van zeventien lagen op een dataverzameling van meer dan tweehonderdduizend portretfoto’s en bijbehorende schetsen. De schetsen waren door een computer gemaakt, iets wat ze al goed kunnen, omdat ze alleen maar bestaande informatie hoeven weg te gooien. Van Gerven: “De schetsen variëren in stijl. Sommige zijn zwart-wit, andere in kleur. Sommige zijn ruw, andere gedetailleerd. Vervolgens maken we een nieuwe dataverzameling van portretfoto’s en bijbehorende schetsen, die de computer tijdens zijn training niet heeft gezien. Daarna laten we de computer portretfoto’s uit de schetsen reconstrueren. De vraag is dan of de computer de informatie die verloren is gegaan in de schetsen, realistisch weet aan te vullen.”

De afbeeldingen die de computer zo reconstrueert, vergeleken de onderzoekers met de echte portretfoto’s. De resultaten bleken indrukwekkend. Vaak kwam zelfs de haarkleur en de huidkleur overeen, ook wanneer de schets in zwart-wit was gemaakt. Ten slotte lieten de onderzoekers de computer fotorealistische afbeeldingen reconstrueren uit zwart-wit-zelfportretten van Rembrandt, Van Gogh en Escher. Ook deze kwamen kwalitatief gezien goed overeen met gekleurde zelfportretten van Rembrandt en Van Gogh, en in het geval van Escher met een zwart-wit-foto van de graficus.

De Nijmeegse wetenschappers publiceerden hun resultaten deze maand op arXiv.org, een online verzameling voorpublicaties van wetenschappelijke artikelen die nog niet door collega’s zijn gecontroleerd. Van Gerven heeft inmiddels het spin-off-bedrijf Neurant opgericht om commerciële toepassingen te ontwikkelen: van toepassingen in de schilderkunst en forensisch onderzoek tot het opschonen van beelden die vol ruis zitten.

Bruggenbouwer tussen filosofie en geschiedenis - Spinozapremie voor filosoof Lodi Nauta

Lodi Nauta, hoogleraar Geschiedenis van de filosofie aan de Rijksuniversiteit Groningen, verheldert onze kijk op de geschiedenis door een brug te slaan tussen Middeleeuwse, humanistische en moderne filosofie.

Dit artikel is gepubliceerd in NWO Hypothese van juni 2016

De Spinozapremie is vernoemd naar een filosoof. Toch bent u pas de eerste filosoof die de premie sinds de instelling in 1995 ontvangt. Wat vindt u daarvan?

Twee jaar geleden won grutto-onderzoeker Theunis Piersma de Spinozapremie. Ik ben zelf een enthousiast vogelaar en het was alsof mijn belangstelling voor zowel vogels als nadenken over de wereld in Theunis samenkwamen. Nu win ik zelf die prijs. Ongelofelijk, en heel eervol. Ik zie het vooral als een erkenning voor de filosofie. Fijn dat de commissie mijn vak ook belangrijk vindt, naast de bètawetenschappen en de medische wetenschappen, die vaak in de prijzen vallen.

Hoe omschrijft u uw onderzoek tegenover mensen die niet bekend zijn met de filosofie?

We hebben allemaal gedachten over het leven. Wat is goed en kwaad? Wat is een geldige redenering? Hoe zit de wereld in elkaar? De antwoorden op deze vragen veranderen in de loop van de geschiedenis. Tegenwoordig grijpen politici en commentatoren te pas en te onpas terug op het belang van de Verlichting. Hoe is die nadruk op de Verlichting ontstaan? Veel huidige debatten kun je niet begrijpen zonder de historische achtergrond. Ik ben gefascineerd door hoe mensen vroeger dachten over filosofische thema’s als kennis en moraal. Vaak zitten daar breukvlakken in en ik bestudeer graag de verandering van ideeën over mens en wereld op die breukvlakken.

U probeert filosofie en geschiedenis samen te brengen. Welke nieuwe inzichten heeft dat opgeleverd?

Bijvoorbeeld dat het moderne idee dat taal meer is dan een jas die je aan of uit trekt ouder is dan gedacht. Dat idee associëren veel mensen met het werk van een twintigste eeuwse filosoof als Ludwig Wittgenstein. Maar de humanisten realiseerden zich al dat taal geen neutraal medium is, maar ons denken en onze kijk op de wereld beïnvloedt. Ik heb het werk van de humanist Lorenzo Valla, een voorloper van Erasmus, bestudeerd. Valla schreef in de vijftiende eeuw al dat als je taal en argumentatie wilt bestuderen, je dat in de context van het gebruik van woorden moet doen. Hoewel er wel degelijk verschillen zijn tussen het denken van Valla en dat van Wittgenstein, vond ik ook deze opvallende overeenkomst, terwijl er vijf eeuwen tussen liggen.

Wat vindt u uw belangrijkste wetenschappelijke bijdragen?

Mijn belangrijkste bijdrage ligt op het terrein van het humanisme in de Renaissance. Ik probeer bruggen te slaan tussen deze en andere historische periodes. Een andere bijdrage is mijn studie van de twaalfde eeuw. Ik ben een van de wetenschappers die heeft laten zien dat het beeld van de Middeleeuwen als een donkere periode niet klopt. Juist in de twaalfde eeuw wordt de rede steeds belangrijker ten koste van God en de bijbel. De twaalfde eeuw was een soort Renaissance van de Middeleeuwen.

Bouwstenen voor toekomstige elektronica - Spinozapremie voor natuurkundige Bart van Wees

Onze moderne informatie- en communicatietechnologie zou niet bestaan zonder succesvolle toepassingen van kwantummechanica. Bart van Wees, hoogleraar Technische natuurkunde aan de Rijksuniversiteit Groningen, bouwt quantum devices voor een nieuwe generatie toepassingen.

Dit artikel is gepubliceerd in NWO Hypothese van juni 2016

Uw onderzoek strekt zich uit over exotisch klinkende terreinen als spintronica, spincaloritronica en gekwantiseerde geleiding, maar u werkt ook aan een wondermateriaal als grafeen. Wat ziet u als de rode draad in uw werk?

De rode draad is dat ik geïnteresseerd ben in quantum engineering. Hoe benut je het feit dat elektronen zich soms als deeltjes en soms als golven gedragen? Aan de ene kant wil ik uit pure nieuwsgierigheid nieuwe kwantummechanische fenomenen in materialen ontdekken. Aan de andere kant wil ik die effecten gebruiken om bouwstenen voor de micro-elektronica van de toekomst mee te maken. Die twee stimuleren elkaar trouwens. Fundamenteel onderzoek leidt tot nieuwe toepassingen en die nieuwe toepassingen inspireren ons weer tot nieuw fundamenteel onderzoek.

Tot welke toepassingen kan uw onderzoek leiden?

Soms noemen we ons onderzoek ‘Voorbij Moore’. Decennialang is de Wet van Moore de drijvende kracht geweest achter de ontwikkeling van computerchips. Elke twee jaar verdubbelde de rekenkracht van een computerchip. Aan de Wet van Moore komt een keer een einde. Onze bouwstenen zijn dan misschien een manier om de micro-elektronica van de toekomst op te baseren.

Grafeen-devices die gebruik maken van elektronenspins kunnen bijvoorbeeld zo’n bouwsteen worden. Dat is een toepassing van wat spintronica heet. We gebruiken dan niet de lading van een elektron, maar zijn spin, zeg maar het tollen om zijn as. Hierdoor gedragen elektronen zich als kleine magneetjes. Het mooie van grafeen is dat daarin de spins over lange afstand kunnen bewegen zonder hun magnetisatierichting te verliezen. We zijn op weg om ook hier elementaire elektronicabouwstenen mee te maken.

In het algemeen heeft al ons onderzoek wel een link heeft met de halfgeleiderindustrie, de industrie die onze computerchips maakt. Dat ons onderzoek tot toepassingen leidt is zeker, maar welke bouwstenen het wel of niet halen, valt niet te voorspellen.

Bent u wel eens verbaasd hoe veel vreemde kwantummechanische effecten de natuur in petto heeft om nieuwe materialen mee te maken?

Ik denk dat ik eerder verbaasd ben over het feit dat de natuur materialen kent die helemaal geen rare eigenschappen hebben en die zo universeel zijn als bijvoorbeeld silicium. Dat de natuur materialen kent die zo goed te hanteren zijn dat we er mooie technologie van kunnen maken, vind ik minstens zo bijzonder als exotische kwantumfenomenen.

Wat ziet u als uw volgende grote uitdaging?

Het combineren van elektronica met spintronica en fotonica. We zouden hiermee hele nieuwe devices kunnen maken die zowel kunnen rekenen, wat nu elektronisch gebeurt, maar ook data kunnen opslaan, wat nu magnetisch gebeurt, en ook nog snel kunnen communiceren, wat nu met licht gebeurt.

A Hologram for the King

De film A Hologram for the King, naar het boek van Dave Eggers, is een kritische beschouwing over de gevolgen van de digi­tale revolutie. 

Voor De Filmkrant schreef ik onderstaande recensie:

"Everybody wants to be somewhere else", zegt de Saoedische arts Zahra Hakem tegen de Amerikaanse zakenman Alan Clay (Tom Hanks). Samen staan ze voor een schilderij van een berglandschap in een buitenhuis aan zee. Wanneer ze langs de Edvard Munch-achtige penseelstreken naar buiten kijken, zien ze de brandende zon op de klotsende golven weerkaatsen. Achter hun ruggen ligt de woestijn.

Clay is in Saoedi-Arabië om een holografisch teleconferentiesysteem te presenteren aan de koning van het land. De technologie maakt het mogelijk om zakenpartners van waar ook ter wereld in drie dimensies virtueel tevoorschijn te toveren voor het oog van de koning, bewegend en al. Handig om te onderhandelen zonder daarvoor te hoeven reizen. Uiteindelijk koopt de Saoedische koning het systeem niet van Clay en zijn Amerikaanse IT-bedrijf, maar van de Chinezen. Die blijken hetzelfde product te hebben ontwikkeld, maar het goedkoper aan te bieden.

Tom Tykwers film A Hologram for the King, gebaseerd op het gelijknamige boek van de Amerikaanse schrijver Dave Eggers, is een portret van de existentiële crisis van een zakenman dat uitmondt in een klassiek liefdesverhaal, en tegelijkertijd een kritische beschouwing van de gevolgen van de globalisering en de digitale revolutie. Het hologram-voor-de-koning is de metafoor voor de spanning tussen de fysieke en de virtuele wereld, een bijwerking van de digitale revolutie.

Lees mijn hele recensie op de website van De Filmkrant.

De aanstekelijkheid van concentratie

Veel freelancers werken tegenwoordig in koffiebars en café’s. Nieuw psychologisch onderzoek laat zien waarom ze daar beter van gaan werken: de concentratie van andere freelancers werkt namelijk aanstekelijk. Dat concluderen Belgische psychologen in het tijdschrift Psychonomic Bulletin and Review.

Klik op onderstaande afbeelding om mijn radiobijdrage aan het radio 1-programma De Ochtend van woensdag 31 mei 2016 te bekijken of te beluisteren:

En lees hier mijn hele artikel over de aanstekelijkheid van concentratie.