Showing posts with label Over wetenschappelijk onderzoek. Show all posts
Showing posts with label Over wetenschappelijk onderzoek. Show all posts

Monday, March 8, 2010

Understanding scientific uncertainty

This column was written for the World Federation of Science Journalists (WFSJ).


People expect a lot from scientists. Preferably ready-made, unambiguous answers, valid for eternity. But because of science’s critical character and rigorous reality checks of hypotheses, various scientists can give different answers to the same questions. If these questions concern cutting edge research, this is more the rule than the exception. Only after years or even decades of extensive checks, some scientific hypotheses make it into handbook science, that is hardly doubted anymore. But even some handbook science might get overthrown after some time.

Furthermore, even the best scientists at the time can be terribly mistaken. When American physicist Charles Townes in 1951 started to think about microwave amplification by the stimulation emission of radiation – a maser, the microwave equivalent and predecessor of the laser – Nobel prize winner Isidor Isaac Rabi and Polykarp Kusch, who yet was to win the Nobel prize, told Townes that it was impossible and asked him to stop his research. Luckily Townes didn’t stop and developed the first maser only two years later, which won him the 1964 Nobel prize.

The story repeats itself with the development of the laser. Townes’ brother-in-law Arthur Schawlow, who also was to win a Nobel prize, had predicted that it was impossible to build a laser with ruby as a laser medium. The young Theodore Maiman wasn’t convinced and started his intensive research at Hughes Research Laboratories. The Hughes-management however, trusting Schawlow’s prediction, discouraged Maiman’s ruby-research. Maiman stubbornly continued, and in 1960, this year exactly fifty years ago, he demonstrated the first laser…with ruby as a laser medium. The great freedom to doubt the thoughts of even the best scientists led Townes to the maser and Maiman to the laser. Uncertainty in science is a strong stimulus for creativity.

By better understanding the role of uncertainty in science we may better understand what science can and cannot offer society. Uncertainty in science has essentially three roots: in measurements, in data-analysis and in models (both conceptual, physical and numerical). Scientists try to get rid as much as possible from uncertainties, but cannot get rid of them all. Therefore, science is first of all a process that separates the evidently untrue from the possibly true. This is very different from the public perception that science is an encyclopedia of absolutely true facts.

Unfortunately, when people hear scientists saying they don’t know everything, they often conclude that they know nothing, or that one opinion is as good as any other, or that evident blunders in the IPCC-report make the whole report worthless. Uncertain science, however, is something different form bad science. There are degrees in uncertainty, varying from extremely uncertain to virtually certain. Hardly anything in science is absolutely certain. Watch what physicist and Nobel prize winner Richard Feynman had to say on uncertainty: “It’s much more interesting to live not knowing than to have answers that might be wrong...I don’t feel frightened by not knowing things.”

Friday, October 16, 2009

Gesjoemel in de wetenschap

Nature Online schrijft deze week over twee gevallen van stinkende wetenschap. Op zijn minst gaat het om aantasting van wetenschappelijke integriteit.

Het eerste geval gaat over beeldmanipulatie in wetenschappelijke artikelen. Steekproeven bij de tijdschriften PLOS Biology en PLOS Medecine brachten digitale beeldmanipulaties van foto’s in gepubliceerde artikelen aan het licht, zonder dat de onderzoekers dit hadden vermeld.

In een jaar tijd ging het om zo’n dertig gemanipuleerde foto’s verdeeld over achttien artikelen (uit een steekproef van ruim tweehonderd artikelen)). Hier zaten bijvoorbeeld foto's bij van gel-elektrophorese, gebruikt om stukjes DNA of RNA op grootte te scheiden.

De manipulaties waren niet zo ernstig dat ze de artikelen inhoudelijk onderuit haalden, maar door de beeldmanipulatie niet te vermelden falsifieer je wel ‘data’, en dat mag niet. De directeur van Bureau voor Integriteitsonderzoek van het US Department of Health and Human Services maakt zich zorgen over het groeiende probleem van beeldmanipulatie in wetenschappelijke artikelen. Volgens hem gaan 68% van de door zijn bureau geopende onderzoeken naar wetenschappelijke fraude over gemanipuleerde beelden.

In het tweede geval van stinkende wetenschap liggen baanbrekende artikelen van een gerenommeerde Amerikaanse enzymontwerper sterk onder vuur. Professor Homme Hellinga van het Duke University Medical Center (Durham, North Carolina, VS) ontwerpt enzymen met de computer. Als je dat goed onder de knie hebt, zou je betere medicijnen kunnen ontwerpen op de computer in plaats van door zomaar wat in de praktijk te proberen. Vorig jaar moest Hellinga al twee artikelen terugtrekken uit Science en het Journal of Molecular Biology omdat collega’s er ernstige fouten in aantroffen. Enzymen die Hellinga had ontworpen deden helemaal niet wat ze volgens Hellinga zouden doen.

Nu liggen twee van zijn baanbrekende publicaties uit Nature (2003) en PNAS (2004) onder vuur. Dankzij deze publicaties ontving Hellinga in 2004 een half miljoen dollar van het Amerikaanse National Institute of Health en rees zijn ster snel. Maar…nota bene een ex-postdoc van Hellinga, nu werkzaam in Duitsland, publiceert in PNAS dat ze niets terugvindt van de resultaten die Hellinga destijds claimde. Birte Höcker maakte vijf van de door Hellinga ontworpen enzymen. Helaas, alle vijf bleken niet stabiel te zijn en uit elkaar te vallen, waardoor verdere analyse niet eens mogelijk was.

Vier publicaties die sterk onder vuur liggen…Is dit een nieuw geval à la de neergestorte fysica-ster Jan Hendrik Schön, of is Hellinga te goeder trouw, maar doorstaat zijn werk de toets der kritiek uiteindelijk toch niet?

Friday, October 17, 2008

Promovendi-blues

Dit artikel is gepubliceerd in universiteitsblad DELTA van de TU Delft, 16 oktober 2008. Het is gebaseerd op het hoofdstuk ‘The PhD blues’ uit mijn net verschenen boek To the heart of the challenge – PhD research at Delft: a century of thinking and doing

Het doen van promotieonderzoek is dé manier om volwassen te worden als wetenschappelijk onderzoeker. Daarbij hoort ook het omgaan met tegenslagen: onwillige experimenten, theorieën-voor-in-de-prullenbak, maar ook menselijke strubbelingen. Twee oud-promovendi kijken terug op de hobbels tijdens hun promotieonderzoek.


De meeste ideeën verdwijnen in de prullenbak...

Wetenschap bedrijven is het verkennen van een onbekend landschap. Inherent aan die verkenning is dat de promovendus ook een doodlopend pad kan inslaan. Maar ook als een pad doodloopt, kan de promovendus toch hebben aangetoond dat hij uitstekend zelfstandig onderzoek heeft verricht.

Prof. dr. Pieter Jan Stappers (gepromoveerd in 1992 aan de Faculteit Industrieel Ontwerpen) was in eerste instantie flink teleurgesteld dat zijn promotieonderzoek geen resultaat opleverde. Maar hij leerde ervan dat de weg naar het doel even waardevol kan zijn als het bereiken van dat doel. En hij schopte het even goed tot hoogleraar ontwerptechnieken aan de faculteit Industrieel Ontwerpen van de TU Delft.

Eind jaren tachtig werd bij de Faculteit Industrieel Ontwerpen onderzoek gedaan naar hoe je met een beter begrip van onze ruimtelijke waarneming het ontwerp van producten zou kunnen verbeteren. Eén onderzoekspad richtte zich op de gevolgen van hoofdbewegingen op de visuele waarneming. Wanneer je bijvoorbeeld gewoon rechtdoor loopt, dan beweegt je hoofd niet zomaar in een rechte lijn. In de beweging van het hoofd komt een soort hobbel te zitten. Stappers wilde in zijn promotieonderzoek experimenteel uitzoeken welk effect die hobbel heeft op onze visuele waarneming. Hij zette een innovatief experiment op waarbij een proefpersoon met een van de eerste toen beschikbare virtual-realityhelmen op zijn hoofd door een soort deuropening moest lopen.

Maar helaas. De promovendus vond geen enkele invloed van de loophobbel op de visuele waarneming. “Destijds was dat een grote teleurstelling”, vertelt Stappers. “Daarbij komt dat het heel moeilijk is om onderzoek te publiceren als je geen effect vindt. Publiceren was toen ook al belangrijk, en dan is het toch vervelend als je niet kunt publiceren over je onderzoek. Maar mijn promotor vertelde me dat promoveren in eerste instantie een proeve van bekwaamheid is en dat ik die had getoond. Bovendien vond ze het belangrijker dat iemand een dappere poging deed die mislukte, dan een risicoloos onderzoek waarvan de uitkomst al bijna vaststaat. Tja, veel blijer werd ik er niet van. Pas later ging ik het positiever zien.”

Exploratie
Terugkijkend beseft Stappers dat je verschillende stadia kunt onderscheiden in wetenschappelijk onderzoek: “De eerste fase is de exploratieve fase, waarin je je afvraagt wat er gebeurt bij een bepaald fenomeen. Daarna bouw je het eerste eenvoudige model om het fenomeen te verklaren. Vervolgens ontwikkel je geavanceerdere modellen die je gaat fijnafstemmen met de werkelijkheid. De meest aansprekende resultaten worden in die laatste fase behaald. Juist in de verkennende fase zijn de doelen die je je stelt vaak niet de grootste waarden die je onderzoek oplevert. De grootste waarden liggen in deze exploratieve fase juist langs het onderzoekspad. En die waarden blijken meestal pas lang nadat het onderzoek is gedaan. Dat was bij mijn promotieonderzoek ook het geval, omdat het onderzoeksthema nog in zo’n exploratieve fase verkeerde.”

Stappers denkt ook dat de techniek die hij toen gebruikte nog niet ver genoeg was ontwikkeld om zijn hypothese te toetsen: “Er zat bijvoorbeeld een vertraging van een kwart seconde op het genereren van de beelden in de virtual-realityhelm. Waarschijnlijk handelt een proefpersoon dan nooit zo natuurlijk als je zou willen. Als ik zou willen volhouden aan mijn eigen hypothese, dan had ik, à la de wetenschapsfilosoof Imre Lakatos, de apparatuur de schuld kunnen geven. Als ik à la wetenschapsfilosoof Karl Popper zou redeneren, dan zou ik moeten zeggen dat de hypothese niet werkt. Zelf kijk ik er meer tegenaan zoals Paul Feyerabend doet. Het doen van onderzoek levert op zichzelf al inzichten op.”


Naïef
Dr. Arjan van Dijk (in 1999 gepromoveerd aan het Laboratorium voor Aëro- en Hydrodynamica van de Faculteit Werktuigbouwkunde en Maritieme Techniek) kwam weer andere hobbels op de promotieweg tegen. Een promovendus in de natuurwetenschappen is vrijwel altijd van anderen afhankelijk: van hoogleraren, van dagelijkse begeleiders, van technici, van collega-promovendi. Van Dijk, tegenwoordig onderzoeker bij het RIVM, liep ongewild op tegen menselijke strubbelingen in de groepsdynamiek. Zijn ‘PhD-blues’ is exemplarisch voor een proces dat veel promovendi zullen herkennen.

“Als promovendus liep ik vooral tegen mijn eigen tekortkomingen aan”, begint hij aan een uitvoerige terugblik. “Ik was met een naïef verwachtingspatroon begonnen: als promovendus word je opgeleid tot zelfstandig onderzoeker, tenminste zo zou het moeten zijn. Maar het woord ‘opleiding’ suggereert dat iemand je ook vertelt waarin je wordt opgeleid en hoe je die leerdoelen kunt gaan bereiken. Dat bleek niet het geval. En trouwens ook niet in het geval van veel andere promovendi die ik heb gezien. Als je niet weet waarvoor je komt, zal niemand je dat vertellen. Door een gebrek aan begeleiding ben ik overal zelf achter moeten komen.”

“Ik denk dat ik zowel last had van een naïef verwachtingspatroon, als van een naïef mensbeeld. Sommige mensen zijn inschikkelijker dan andere. Ik ben van het koppige, stekelige soort, en daar ben ik zeker niet de enige in. Die karaktertrek is enerzijds mijn kracht, maar ik heb geleerd dat ik daar wel mee moet oppassen. Een beter inzicht in hoe mensen met elkaar omgaan, had mijn promotie heel wat soepeler laten verlopen. Ik heb bijvoorbeeld wel eens een bezoek gebracht aan een naburig lab in Delft, waar ze soortgelijk onderzoek deden. Ik wilde praten over mijn werk. Toen ik op mijn eigen lab terugkwam, bleken ze daar al gebeld te zijn dat ik was wezen buurten. Ik kreeg te horen dat het toch helemaal niet kon dat ik met iemand van een ander lab had gesproken. Mensen voelden zich bedreigd. Als ik destijds meer had begrepen van hoe mensen met elkaar omgaan, had ik zo’n probleem kunnen voorzien.”

Meelopers en dwarsliggers
“Alles wat afwijkt van de status quo, roept angst op bij mensen. In de wetenschappelijke biotoop bestaat een vaste lijst van niches. Die lijst is op elk lab hetzelfde. Je hebt de autoriteit, de meelopers, de dwarsliggers, de zwijgers, de praters enzovoort. Het is net als in Amerikaanse films waarin elk typetje een eigen rol speelt. Omdat die typetjes zo goed werken, worden ze in elke film weer gebruikt. Als je in een nieuwe wetenschappelijke omgeving gaat werken, is het voor je eigen overleving handig om een nog vrije niche te claimen die voor niemand een bedreiging vormt. Bij binnenkomst als promovendus heb ik dat fout ingeschat en dan zijn de persoonlijke verhoudingen later moeilijk meer te herstellen. Kennis van groepsdynamica is belangrijk bij het doen van wetenschappelijk onderzoek.”

Door het overwinnen van alle hobbels tijdens zijn promotieonderzoek, leerde van Dijk gelukkig ook de diepe saamhorigheid kennen die er onder onderzoekers kan ontstaan. “Het positieve was dat, omdat andere promovendi vaak voor dezelfde problemen stonden als ik, de groep promovendi op ons lab sterk naar elkaar toe trok. Een gevoel van nerds onder elkaar. Een gevoel van diepe waardering voor elkaar en voor onderzoek doen. In het lab hielpen andere promovendi vaak dagenlang mee met jouw experiment, gewoon omdat ze het voor je over hadden. Wat ook helpt om de hobbels onderweg te overwinnen, is om er ook buiten het lab eens samen op uit te trekken. Ga maar eens samen zeilen, zak maar eens samen door, gooi de frustraties er maar eens uit.”

“Aan het eind van mijn promotieonderzoek bleek ik een stuk signaaltheorie nodig te hebben voor de interpretatie van mijn metingen. Maar ik wist weinig van die tak van sport. Toen ben ik letterlijk bij de TU gaan shoppen om te kijken wie me daarbij kon helpen. Uiteindelijk vond ik inderdaad een signaaltheoreet van een andere faculteit die me heeft geholpen. Ik moest ook ineens boeken doorploeteren waar ik helemaal nooit college in gehad. Maar na het hele traject dat ik al had afgelegd, deerde me dat niets meer. Toen voelde ik dat ik als onderzoeker zelfstandig was geworden.”

Liefde is een werkwoord
Wat ziet van Dijk, een kleine tien jaar na zijn promotie – en in alle rust terugkijkend – als de essentie van het doen van promotieonderzoek? “Voor een perfectionist zoals ik, is de valkuil dat je van je proefschrift een levenswerk wilt maken. Pas in de loop van mijn onderzoek kreeg ik door dat promoveren eerder zoiets is als het halen van je rijbewijs. Als je het hebt gehaald, mag je alleen achter het stuur zitten en zelfstandig rijden. Toen ik als theoretisch fysicus aan mijn promotie begon, was ik in staat om boeken te lezen en sommetjes te maken. Maar dat wil niet zeggen dat je onderzoek kunt doen.”

Gevraagd naar wat er beter had gekund in zijn opleiding tot onderzoeker, grijpt hij terug op het belang van wetenschap als mensenwerk: “Ik zou een groot voorstander zijn van het ongevraagd geven van een boekenpakket aan beginnende promovendi. Een pakket met Het Bureau van Voskuil, en met Nooit meer slapen en Onder professoren van W.F. Hermans. Of ook een dvd met een heel seizoen van de reality-soap ‘Expeditie Robinson’. Alles wat in die boeken staat, is gewoon waar. In Nooit meer slapen lees je precies waar je als promovendus in terecht kunt komen. En stop er dan ook maar het boek Liefde is een werkwoord: spelregels voor een relatie van Alfons Vansteenwegen bij. Dat boek heb ik als promovendus aan veel collega’s uitgeleend. Ik heb meer dan eens gezien hoe de liefde een promovendus kan opbreken of hoe de promovendus een liefde opbreekt.”

Saturday, February 16, 2008

Onzekere wetenschap in een onzekere wereld

Bekijk mijn powerpointpresentatie over de rol van onzekerheid in het klimaatdebat. Deze lezing heb ik gegeven op vrijdag 16 november 2007 aan de Universiteit Leiden.