“Hoe krijgen we dat nou significant?” hoorde ik een collega tegen een student zeggen, terwijl ze samen over SPSS-output gebogen zaten. Onvermoed had ik een inkijkje gekregen in de wondere wereld van sloppy science. Toen ik later meedeed aan een onderzoekje bij een andere faculteit en informeerde naar de resultaten kreeg ik te horen dat ik een outliar was. Althans, dat verstond ik. Ik antwoordde verontwaardigd dat ik alles naar waarheid had ingevuld. “Nee”, legde de onderzoekster uit, een outlier week zodanig af dat hij uit het onderzoek verwijderd kon worden. Ik weet nu dat dit behoort tot het standaard onderzoeksrepertoire, net als data-cleaning, value-fishing en data-massage. Zaken waar ik me verre van houd. Maar het is een kleine stap van straight science naar creatief datamanagement.
Met drie collega’s deden we onderzoek naar e-mailmarketing. Qua originaliteit geen Nobelprijskandidaat; geen innovatieve theoretische inzichten, geen onderzoek in de sfeer van “vleeseters zijn hufters”. We wilden weten of e-mails waarin mensen met hun naam werden aangesproken en waarin ze op links konden klikken om een keuze te maken, beter werkten dan eenvoudige tekst-mails met “Beste klant”.
Personalisatie en interactiviteit zijn vaker onderzocht, maar de uitkomsten waren inconclusive zoals dat heet. Voor bedrijven die honderdduizenden mails per week versturen kan het nogal wat uitmaken. Personalisatie vereist het extra goed beheren van de database en een interactieve mail is duurder dan een tekst-mail.
Normaal gesproken organiseer je een survey onder studenten die je in een lab-opstelling of op hun eigen computer een mail laat ontvangen en daarna vragen stelt. Wij hadden geen studenten maar mochten gebruikmaken van de database van een telecombedrijf. 80.000 mensen kregen een van de vier versies van de nieuwsbrief: persoonlijk en interactief, alleen persoonlijk, alleen interactief of geen van beide. Een dag later kregen alle ontvangers een mail met de vraag of ze mee wilden werken aan een onderzoek. Ruim 1200 mensen vulden de enquête in
Tot onze verbijstering was niks significant. Maar als we nu eens alleen mensen jonger dan veertig jaar selecteerden? Of alleen de mensen die het in de eerste drie dagen hadden ingevuld? Of alleen de mensen die het op hun iPad hadden ontvangen? Ongemerkt waren we hier op de slippery slope richting sloppy science geraakt. In plaats van onze resultaten proberen te verklaren, probeerden we ze significant te maken: want niet significante resultaten kun je toch niet publiceren?
Al dat geknoei leek ons toch wel goddeloos en onwetenschappelijk. Bovendien zag het er niet naar uit dat het wat op zou leveren. Onze resultaten waren echt 100% robuust super-niet-significant.
We draaiden het om: waarom waren de resultaten niet significant? Al snel konden we diverse redenen bedenken, maar de voornaamste was dat wij het onderzoek niet in een lab maar in een real-life situatie hadden uitgevoerd. Waar vaste klanten onder tijdsdruk, vaak op kleine schermpjes, in onmogelijke situaties, lang niet altijd relevante nieuwtjes voorgeschoteld kregen. Die klanten zaten helemaal niet te wachten op leuke interactieve features en “Beste meneer de Vries”. Een heel andere setting dan bij respondenten in een laboratorium.
Eigenlijk is het onderzoek nu veel leuker en relevanter, deze resultaten kunnen heel wat betekenen voor de praktijk. Alleen moeten we het nu nog geaccepteerd krijgen. Is er een Journal for Non-significant Results?
Het onderzoek van Remco de Vries, Tom Bakker, Damian Trilling en Piet Bakker (2013) is getiteld The Myth of E-Mail Personalization and Interactivity (abstract: p. 192) en gepresenteerd op het Etmaal van de Communicatiewetenschap in februari 2013.