De visie van SWOCC op... opinieonderzoek in de media: hoe kan het beter?

Clou, Fred Bronner, nummer 46, p 34.

Een aantal maanden geleden schreef ik een column voor de SWOCC-site over het publiceren van opinieonderzoek in de media ( titel: 'De macht van opinieonderzoek'). En gezien de vele reacties blijkbaar een heet onderwerp. Dus het ligt voor de hand toch nog eens even in deze voorliggende column over dit onderwerp door te gaan.

Wat was de kern van mijn betoog? Allereerst de observatie dat opinieonderzoek in onze maatschappij alomtegenwoordig en invloedrijk is. We komen de peilingen dagelijks tegen over belangrijke en onbelangrijke zaken des levens. En we nemen niet alleen kennis van de cijfers uit opinieonderzoek, maar deze beïnvloeden ook ons gedrag. Als uit onderzoek blijkt dat Nederlanders van plan zijn hun geld massaal van de bank te halen dan treedt er een soort vliegwieleffect of 'self-fulfilling prophecy' op. De lezer van het onderzoekresultaat schrikt van die kop en denkt 'o jee, ik moet nu snel vandaag nog naar de bank om mijn geld er af te halen'.

Mensen doen dingen omdat ze denken dat veel andere mensen hetzelfde doen. Als een onderzoekbureau voorspelt dat Wilders van 21 naar 24 zetels in de polls is gestegen weet je vrijwel zeker dat hij de week daarna naar 25 gaat.

En als opinieonderzoek steeds meer alomtegenwoordig en invloedrijk is dan zijn dat redenen om met dat opinieonderzoek voorzichtig om te gaan. Een open deur zult u denken, maar dat is zeker niet zo. Allereerst is mijn verbazing dat media zoals dagbladen en tv-zenders nooit bereid zijn bij elke gepresenteerde poll een kadertje te zetten met daarin enkele kerngegevens: naam bureau, wel/geen keurmerk bureau, steekproefgrootte, leeftijdgrenzen, methode van dataverzameling. Geen diepe methodologische verhalen, maar gewoon enkele cruciale gegevens. Al vele jaren geleden is er overleg geweest tussen hoofdredacteuren en de voorlopers van de MarktOnderzoekAssociatie, maar tot op de dag van vandaag is er tot mijn grote ergernis nooit een stap in die richting genomen. En u gelooft het niet maar eind jaren zeventig schreef één van de nestoren van ons vak Peter van Westendorp al een boekje getiteld "Publiceren over onderzoek". En na dertig jaar staan daar nog steeds leerzame dingen in. Het boekje is vergeten en ligt in mijn kast onder het stof. Ten onrechte!

Soms lijkt het wel of we in de praktijk van het publiceren van onderzoekresultaten nog verder terug gaan dan het boekje geschreven door van Westendorp en dat we terecht komen in de jaren 30 van de vorige eeuw. Toen dachten veel media dat een grote steekproef vooral van belang was, maar een opinieonderzoeker zoals Gallup werd juist groot omdat hij aantoonde dat je met een kleine fijne mooi aselect getrokken steekproef van n=500 a 1000 beter de uitslag van de Amerikaanse presidentverkiezingen kon voorspellen dan met een steekproef van 100000 lezers van een bepaald tijdschrift. Grootte deed er minder toe dan de wijze van steekproeftrekking, zo leerde de toenmalige generatie. Ouwe Koek? Nee zeker niet want met alle nieuwe internet onderzoeken lijken oude tijden te herleven. Het lijkt in de publiciteit weer net als 70 jaar geleden om de grote aantallen te gaan en niet om de samenstelling van de steekproef.

Ik vind de media meer 'to blame' dan de onderzoekbureaus, soms staan onderzoeken van werkelijk totaal onbekende bureaus op de voorpagina van een landelijk dagblad. Ook maken sommige media het zo bont dat ze zelf een lezerspanel hebben en dat als representatief voor de Nederlandse bevolking verkopen. Vorig jaar was ik in Iran en een reden dat alle kranten daar verschillende voorspellingen over de verkiezingen die zomer deden was omdat elke krant een steekproef trekt uit zijn eigen lezers. Daar kunnen Nederlandse methodologen hartelijk om lachen, maar ieder die lacht om zulke dommigheid in Iran moet beseffen dat dit gewoon in Nederland ook gebeurt door de media. Toevallige kijkers naar een tv programma wordt gevraagd te reageren op een vraag en het resultaat wordt als de opinie van de gemiddelde Nederlander verkocht. Een mooi voorbeeld dat ik op college geef: in een tv-programma werd gevraagd of men de volgende dag ging demonstreren, aan het eind van de uitzending werd gezegd dat 40% ja zei. Dat komt dus neer op 4 miljoen demonstranten. In werkelijkheid bleken het er de volgende dag nog lang geen 100000. Wat was er gebeurd? Alleen mensen die gingen demonstreren hadden op de enquête vraag gereageerd. Dat noemen wij als onderzoekers zelf-selectie. Niet de onderzoeker selecteert random zijn respondenten maar de respondenten kiezen zelf dat ze me willen doen en dan heb je geen enkel idee wat voor soort mensen zich aanmelden.

Een cursus opinieonderzoek aan journalisten zou geen overbodige luxe zijn. Ze hebben geen idee wat voor eisen je aan een steekproef moet stellen. Kortom: journalisten in de verschillende media besef dat opinieonderzoek een machtig wapen is en ga daarmee zorgvuldig om! En overweeg toch nog eens dat kadertje met basisgegevens van het onderzoek.