Eerst maar eens beginnen met een open deur: opinieonderzoek wordt in onze maatschappij steeds belangrijker. Dat weten we allemaal bijvoorbeeld uit de Obama campagne, maar recentelijk hoorde ik een nieuwe onderstreping.
Op het hoogtepunt van de kredietcrisis in november zouden sommige media wel eens wat meer willen weten of de Nederlander aan het overwegen was zijn of haar geld van de bank te halen. Dat zou een mooie kop kunnen opleveren: ‘Nederlanders overwegen massaal om geld van de bank te halen’. En ieder begrijpt wat er dan gebeurt, dan treedt er een soort vliegwieleffect of ‘self-fulfilling prophecy’ op. De lezer van het onderzoekresultaat schrikt van die kop en denkt ‘o jee, ik moet nu snel vandaag nog naar de bank om mijn geld er af te halen’. En het resultaat is een veel grotere crisis dan voor de publicatie van de opiniepeiling. Nu gaat het gerucht dat de grotere en betere onderzoekbureaus besloten om in die periode niet dat type onderzoek te doen. De bureaus kennen blijkbaar hun macht maar ook hun verantwoordelijkheid!
In dit geval is het duidelijk dat we voorzichtig moeten zijn, maar in andere gevallen accepteren we gewoon dit vliegwieleffect. Politicologen noemen dit als het om politieke voorkeur gaat het bandwagon effect. De mensen willen als het ware graag achter de bandwagon en muziek van de overwinnaar aanlopen. Mensen doen dingen omdat ze denken dat veel andere mensen hetzelfde doen. Als een onderzoekbureau voorspelt dat Verdonk van 12 naar 16 zetels in de polls is gestegen weet je vrijwel zeker dat zij de week daarna naar 18 gaat. En als je voorspelt dat het aantal zetels van 12 naar 10 is teruggelopen dan is de week daarna de score 9.
Allemaal redenen dus om met dat opinieonderzoek voorzichtig om te gaan. Ook een open deur zult u denken, maar dat is zeker niet zo. Allereerst is mijn verbazing dat media zoals dagbladen en tv-zenders nooit bereid zijn bij elke gepresenteerde poll een kadertje te zetten met daarin enkele kerngegevens: naam bureau, wel/geen keurmerk bureau, steekproefgrootte, leeftijdgrenzen, methode van dataverzameling. Geen diepe methodologische verhalen, maar gewoon enkele cruciale gegevens. Wie wel eens USA Today bekijkt weet dat dit in de praktijk uitgevoerd kan worden. Al vele jaren geleden is er overleg geweest tussen hoofdredacteuren en de voorlopers van de MarktOnderzoekAssociatie, maar tot op de dag van vandaag is er tot mijn grote ergernis nooit een stap in die richting genomen.
Dan nog een ander punt. Er wordt altijd gedaan of die resultaten zo ‘hard’ zijn. Maar doorgewinterde onderzoekers weten dat de vraagstelling veel invloed heeft op de resultaten. Will Tiemeijer deed in 2008 een boek het licht zien getiteld ‘Wat 93.7 procent van de Nederlanders moet weten over opiniepeilingen’. En betoogt hierin dat mensen teveel tijdens het interview gedwongen worden hun mening te geven over allerlei zaken waarover zij nooit hebben nagedacht en dan maar wat zeggen. Omdat ik een cursus moest geven over ‘the art of asking questions’ heb ik recentelijk ook de literatuur op dit punt weer eens bekeken. En wat blijkt in lijn met wat Tiemeijer zegt? De mogelijkheid aanbieden om ‘weet niet’ te antwoorden kan tot een aardverschuiving in de resultaten leiden. En welke is dan de ware verdeling van de opinies, de verdeling waarin ‘weet niet’ niet is toegelaten als antwoordmogelijkheid of de verdeling waarin die mogelijkheid wel bestaat? Hoe zouden we dan ‘weet niet’ kunnen toelaten?
Een mogelijke formulering is: ‘Nu volgen enkele vragen over…niet iedereen heeft daar een mening over. Indien u geen mening heeft, dan zegt u dat gewoon’. De mogelijkheid om ‘weet niet’ te antwoorden is dan dus expliciet in de vraagstelling opgenomen. Een Belgische groep onderzoekers noemt de groep die zonder filter een mening geeft, maar met een filter ‘weet niet’ antwoordt de groep ‘vlotters’. En deze auteurs geven aan dat het expliciet opnemen van de ‘weet niet’ categorie niet alleen de antwoordverdeling beïnvloedt maar ook de correlaties. Met filter zouden de correlaties duidelijker naar voren komen.
Kortom: journalisten in de verschillende media besef dat opinieonderzoek een machtig wapen is en ga daarmee zorgvuldig om! En overweeg toch nog eens dat kadertje met basisgegevens van het onderzoek.