Dit artikel is gepubliceerd in NRC Handelsblad van maandag 27 juni 2016.
Ons beeld van Rembrandt en andere oude meesters is gebaseerd op hun zelfportretten. De fotografie werd immers pas in de 19e eeuw uitgevonden. In die zelfportretten gaat altijd informatie verloren: bijvoorbeeld details van huid, oren, mond en haar. Bij zwart-wit-schetsen valt ook nog eens de kleur weg. Ook de compositietekeningen die forensisch tekenaars van verdachten maken bevatten veel minder informatie dan de werkelijke gezichten. Wat zou het interessant zijn wanneer we een computer kunnen leren om uit zulke schetsen automatisch een realistische portretfoto te reconstrueren.
Neurowetenschapper Marcel van Gerven ging samen met promovendus Yaǧmur Güçlütürk en twee andere collega’s deze uitdaging aan. “We leren de computer om de wereld in te vullen, zoals het menselijk brein ook doet”, vertelt van Gerven. “Ons brein doet voortdurend voorspellingen over de buitenwereld. Hierbij vult het vaak visuele informatie in die het niet ziet. Wie bijvoorbeeld maar de helft van een gezicht ziet, gaat de andere helft aanvullen op basis van de vele gezichten die ons brein al heeft gezien.”
De laatste jaren zijn computers steeds beter geworden in het leren op basis van grote verzamelingen voorbeelden. Zo kunnen ze bijvoorbeeld leren om foto’s te omschrijven met steekwoorden. Dat leren doen computers analoog aan het menselijk brein. Een netwerk van kunstmatige neuronen (een Diep Neuraal Netwerk) wordt in lagen verdeeld. Elke laag neemt een deel van de patroonherkenning voor zijn rekening. De bovenste lagen herkennen bijvoorbeeld de lijnoriëntatie of de textuur, terwijl diepere lagen delen van voorwerpen herkennen. De diepste laag, ten slotte, herkent volledige voorwerpen.
Van Gerven en zijn collega’s trainden een Diep Neuraal Netwerk van zeventien lagen op een dataverzameling van meer dan tweehonderdduizend portretfoto’s en bijbehorende schetsen. De schetsen waren door een computer gemaakt, iets wat ze al goed kunnen, omdat ze alleen maar bestaande informatie hoeven weg te gooien. Van Gerven: “De schetsen variëren in stijl. Sommige zijn zwart-wit, andere in kleur. Sommige zijn ruw, andere gedetailleerd. Vervolgens maken we een nieuwe dataverzameling van portretfoto’s en bijbehorende schetsen, die de computer tijdens zijn training niet heeft gezien. Daarna laten we de computer portretfoto’s uit de schetsen reconstrueren. De vraag is dan of de computer de informatie die verloren is gegaan in de schetsen, realistisch weet aan te vullen.”
De afbeeldingen die de computer zo reconstrueert, vergeleken de onderzoekers met de echte portretfoto’s. De resultaten bleken indrukwekkend. Vaak kwam zelfs de haarkleur en de huidkleur overeen, ook wanneer de schets in zwart-wit was gemaakt. Ten slotte lieten de onderzoekers de computer fotorealistische afbeeldingen reconstrueren uit zwart-wit-zelfportretten van Rembrandt, Van Gogh en Escher. Ook deze kwamen kwalitatief gezien goed overeen met gekleurde zelfportretten van Rembrandt en Van Gogh, en in het geval van Escher met een zwart-wit-foto van de graficus.
De Nijmeegse wetenschappers publiceerden hun resultaten deze maand op arXiv.org, een online verzameling voorpublicaties van wetenschappelijke artikelen die nog niet door collega’s zijn gecontroleerd. Van Gerven heeft inmiddels het spin-off-bedrijf Neurant opgericht om commerciële toepassingen te ontwikkelen: van toepassingen in de schilderkunst en forensisch onderzoek tot het opschonen van beelden die vol ruis zitten.
