Beeldwiskunde doorziet de mens

Voor een computer is het interpreteren van een beeld een van de moeilijkste opgaven. Vici-onderzoeker Luc Florack ontwikkelde een wiskundige beeldbeschrijving die automatische beeldinterpretatie flink vereenvoudigt.

[Dit artikel is gepubliceerd in IO Magazine Juni 2010 Het nummer is gratis te downloaden door op de link te klikken.]

Spiervezelrichting in de hartspier, bepaald met Diffusie MRI.

Het hart is hier transparant weergegeven, spiervezels zijn voor een bepaald

gebied ingetekend.

Credit: Onderzoeksgroep Biomedical Image Analysis, BMT, TU/e

Een modern ziekenhuis staat vol met hightechapparatuur voor het scannen van hersenen, hart, longen, darmen, prostaat, borsten en wat al niet meer van het menselijk lichaam. Ongeveer tachtig procent van alle medische diagnoses is gebaseerd op beeldvorming en maar liefst eenderde van het ziekenhuisbudget vloeit hier naar toe.

Door al dat scannen verzamelt een ziekenhuis jaarlijks een digitale databerg van al snel tientallen terabytes (een terabyte is 10^12 byte). Dat is een stapel van enkele duizenden volgeschreven dvd’s. Omdat de beeldstapel alleen maar zal groeien, neemt de noodzaak toe om in ieder geval een deel van de beeldinterpretatie te automatiseren.

Dat is gemakkelijker gezegd dan gedaan. Mensen zijn goed en snel in het interpreteren van beelden. Ons visuele systeem heeft daar wel miljoenen jaren van evolutie voor nodig gehad. Voor een computer is het interpreteren van een beeld razend moeilijk. In essentie komt dat doordat beeldinterpretatie zeer lastig in regels is te vangen. Enerzijds is nog veel onbekend over hoe ons brein beelden interpreteert en dus kunnen we de interpretatieregels van het brein ook niet zomaar op een computer programmeren. Anderzijds zijn medische beelden heel anders dan alledaagse beelden, waardoor interpretatie alleen mogelijk is door een goed getrainde specialist. En zelfs hij kan zijn beeldinterpretatie ook moeilijk in regels vangen.

Schaalproblemen

Luc Florack van de faculteit Wiskunde & Informatica van de TU Eindhoven (TU/e) ontving eind 2004 van NWO een Vici-beurs van 1,25 miljoen euro om de computer bij die beeldinterpretatie een handje te helpen. Van het geld kon hij behalve zichzelf, ook twee promovendi en drie postdocs betalen. Dit jaar loopt het Vici-onderzoek af. “Het doel was om te zoeken naar een zo algemeen mogelijke wiskundige beeldbeschrijving”, vertelt Florack. “Een beeldbeschrijving die zich niet van te voren vastlegt op een bepaalde schaal.”

Een beeld kent allerlei schalen. De kleinste schaal wordt bepaald door een enkel pixel; de grootste door het beeldkader, de randen van het beeld. Nu is de pixelgrootte een keuze, geen intrinsieke eigenschap van het origineel. En de pixelwaarde, het getal dat met het pixel correspondeert, verandert al naar gelang de pixelgrootte. Het is een gemiddelde van de beeldinformatie die toevallig binnen de gekozen pixelgrootte valt.

Daarnaast kent een beeld ook lengteschalen die te maken hebben met de voorwerpen in het beeld. Als we weten wat er op het beeld staat, hart of hersenen bijvoorbeeld, dan kunnen we ook typische lengteschalen van bijvoorbeeld de hartkamers of de hippocampus (een geheugenstructuur) onderscheiden. Wat we in een beeld zien, hangt af van hoe we er naar kijken en op welke schaal.

A priori bestaat er geen enkele voorkeur voor een bepaalde schaal. “Voor een computer zou het daarom handig zijn”, aldus Florack, “om een algemene methode te hebben waarbij de beeldinterpretatie zo min mogelijk afhangt van toevallige keuzes. Het zoeken was dus naar schaalonafhankelijke wiskundige manieren om een beeld te beschrijven, een manier die alle schalen als gelijk beschouwt. Daar was weinig onderzoek naar gedaan. Het meeste beeldvormingsonderzoek is sterk toepassingsgericht: top-down. Wij zijn ervan overtuigd dat fundamenteel gedreven, bottom-up-onderzoek ook noodzakelijk is. De wis- en natuurkunde hebben allerlei generieke methoden ontwikkeld die ook heel nuttig zijn in de beeldbewerking, maar die in toepassingsgericht onderzoek zelden worden gebruikt.”

Objectherkenning

Bestaande schaalonafhankelijke beeldbeschrijvingen waren vooral op specifieke toepassingen gericht en wiskundig niet waterdicht onderbouwd. Florack en zijn collega’s onderzochten een aantal van die beschrijvingen en legden er verbanden tussen. “Zo hebben we een overkoepelend, universeler model gebouwd”, legt de TU/e-onderzoeker uit, “waarvan de bestaande technieken speciale gevallen zijn.”

Het overkoepelende model heeft parameters die je al naar gelang de toepassing kunt variëren. Het model is onafhankelijk van pixelgrootte en ook onafhankelijk van translaties, rotaties en schaal van een voorwerp in het beeld. Aan elk punt in een beeld hebben de onderzoekers als het ware een dimensie toegevoegd. Dat is de schaalcoördinaat. Bij elke schaal hoort dan een eigen beeld. In zo’n uitgebreidere meerdimensionale ruimte wordt vervolgens gezocht naar bijzondere punten. Die vormen het wiskundige gereedschap om de structuur van een beeld schaalonafhankelijk te beschrijven.

Hoe goed werkt deze schaalonafhankelijke beschrijving? Daarvoor vertaalden de onderzoekers hun wiskundige model in een computeralgoritme en voerden ze een test uit. De software moest een complex object uit een database proberen te herkennen in een foto met tal van andere objecten. Als voorbeeld namen ze een bekend tijdschrift in een stapel tijdschriften die elkaar deels overlappen. Die herkenning wordt verder ook nog belemmerd door perspectivische vervorming, ruis, belichting, positie, schaal, oriëntatie en verstorende contextinformatie. De herkenning lukte, zelfs wanneer een tijdschrift voor meer dan tachtig procent verborgen lag onder andere tijdschriften. Florack: “We zijn hierbij voor het eerst op basis van wiskundig goed begrepen principes dicht in de buurt van state of the art-technieken van objectherkenning gekomen en in sommige gevallen hebben we deze zelfs overtroffen. Dit laat zien dat ons concept in principe werkt.”

Credit: Onderzoeksgroep Biomedical Image Analysis, BMT, TU/e

Het herkennen van een object uit een database in een andere context is maar een van de mogelijke toepassingen van schaalonafhankelijke beeldbeschrijving. Andere toepassingen zijn bijvoorbeeld een diagnosehulpmiddel waarbij de computer de medisch specialist ondersteunt of een visueel hulpstuk om een chirurg te helpen preciezer te kunnen zien hoe en waar hij opereert.

Een beeld is veel meer dan de som van zijn pixels. De beeldwiskunde van Florack en zijn collega’s zoekt daarom steeds naar het beeldverhaal dat de pixels niet vertellen. Hoewel het Vici-project dit jaar afloopt, zet Florack zijn onderzoekslijn voort in een nieuw multidisciplinair onderzoeksprogramma dat de TU/e dit jaar gaat opzetten (zie kader).

[Kader:]

TomTom voor hersenen en hart

Afgelopen februari maakte de TU/e bekend dat het voor de komende vier jaar een miljoen euro investeert in onderzoek naar medische beeldvorming van het hart en de hersenen. Imaging Science & Technology (IST/e) heet het project. Florack: “Dit project moet een sterke link krijgen met de fundamentele problemen bij beeldvorming en beeldverwerking. Tegelijkertijd laten we ons daarbij inspireren door biomedische toepassingen. Daarmee onderscheiden we ons van veel andere groepen in de wereld, die zich vooral richten op de technologie en de klinische toepassingen maar nauwelijks op de onderliggende fundamentele beeldbeschrijvingsproblemen.”

Het beeldvormingsonderzoek bestaat uit vier subthema’s: wiskundige beeldverwerking, biomedische beeldverwerking, visualisatie en beeldvorming. En allemaal gericht op hart en hersenen. Dat komt omdat de nieuwste ontwikkelingen in de beeldvorming van hart en hersenen precies het soort fundamentele problemen met zich meebrengt waarmee Florack en zijn Eindhovense collega’s veel ervaring hebben.

Bij de hersenen gaat het om beelden van de zenuwbanen (witte stof) die hersencellen (grijze stof) met elkaar verbinden. Traditionele beeldvormingstechnieken brengen die zenuwbanen niet in beeld; de relatief nieuwe techniek Diffusie MRI wel. Hersenonderzoekers willen die techniek inzetten bij onder andere de diagnose en behandeling van neurodegeneratieve aandoeningen zoals Parkinson en dementie. Bij het hart gaat het om het detecteren van bewegingsafwijkingen die een voorspeller kunnen zijn van een hartinfarct. Traditionele MRI is vooral gericht op een analyse van vorm en grootte van de hartkamers.

“Nieuwe beeldvormingstechnieken voor hart en hersenen leveren beelden met een hoogdimensionaal karakter waarvan je je geen visuele voorstelling meer kunt maken”, zegt Florack. “Pixels zijn dan geen getallen meer, maar wiskundige functies. Dan ben je gedwongen om de interpretatie van de beelden op een abstracte manier aan te pakken. En dat kan met methoden zoals wij die in het Vici-programma van de afgelopen jaren hebben ontwikkeld.”

In het IST/e-programma gaan de TU/e-faculteiten Wiskunde & Informatica en Biomedische Technologie samenwerken met het bedrijfsleven (Philips Healthcare en Philips Research) en met medische centra (Maastricht Universitair Medisch Centrum, Leids Universitair Medisch Centrum, Catharina Ziekenhuis en het Máxima Medisch Centrum). “Tot nu toe was die samenwerking ad hoc”, vertelt Florack. “Het nieuwe programma stelt ons structureel in staat om wiskundige, computationele, fysische en biomedische invalshoeken te combineren.”