Blog uit de wetenschap

Social media monitoring d.m.v. sentiment analyse? Liever niet!

Stefan Bernritter

Consumenten praten online graag en veel over merken. Zo delen ze positieve ervaringen met een merk via social media, maar klagen ze ook graag over slechte ervaringen met een merk. Als je systematisch in de gaten wil houden wat klanten online over jouw merk vertellen – zodat je mogelijk via webcare deel kan nemen aan de conversatie omtrent je merk – bestaat er eigenlijk geen andere mogelijkheid dan gebruik te maken van één van de velen social listening tools.

 

Waar gaat deze blog over?

  • Merken maken vaak gebruik van sentiment analyse om relevante eWOM op te sporen. Maar onderzoek laat zien dat sentiment van eWOM een slechte proxy voor relevantie is.
  • Sentiment analyse is vaak niet nauwkeurig genoeg.
  • Machine Learning is een goedkopere, snellere en flexibelere oplossing om relevante eWOM op te sporen.

 

Focus niet alleen op negatieve eWOM
Omdat het vooral voor grotere merken moeilijk is om bij te houden wat er over hen wordt gezegd, wordt door veel social listening tools gebruik gemaakt van sentiment analyse om aan te geven welke posts belangrijk zijn en welke niet. Sentiment analyse analyseert (eenvoudig gezegd) het aantal negatieve/positieve/neutrale woorden en leidt hieruit het sentiment van een post af. Vaak wordt hierbij de nadruk gelegd op negatieve online Word of Mouth (eWOM). Negatieve eWOM zou namelijk zo snel mogelijk in behandeling moeten worden genomen om verdere schade te voorkomen. Dit klinkt in eerste instantie aannemelijk, maar wetenschappelijk onderzoek laat zien dat negatieve eWOM niet per se belangrijker is dan andere vormen van eWOM, omdat:

  • Negatieve eWOM niet altijd schadelijk is, het kan zelfs positieve effecten hebben.
  • Webcare reacties op positieve posts van consumenten sterke positieve effecten opleveren.
  • Ook neutrale eWOM een positief effect kan hebben voor je merk.


Een sentiment analyse is vrij gebrekkig
Negatieve eWOM een prioriteit maken is volgens wetenschappelijk onderzoek niet zo’n goed idee, omdat je daardoor kans loopt andere vormen van eWOM – en de wellicht positieve effecten hiervan – te missen. Hiernaast heeft de sentiment analyse ook nog een aantal andere tekortkomingen die het voor merken moeilijk maken om op een snelle, makkelijke en overzichtelijke manier relevante eWOM bij te houden:

  • Een sentiment analyse analyseert woorden, maar geen betekenis. Je krijgt dus geen inzicht in of een consument een klacht heeft of wellicht alleen opbouwende kritiek geeft.
  • Een sentiment analyse misinterpreteert sarcasme.
  • Een sentiment analyse houdt geen rekening met de relevantie van content. Alle posts die te maken hebben met je merk worden gecategoriseerd en komen terecht op je dashboard.
  • Een sentiment analyse is een one-size fits all oplossing. Er wordt geen rekening gehouden met het feit dat mensen bijvoorbeeld op een hele andere manier over auto’s dan over rookworst praten.


Dan toch maar handmatig?
Bovenstaande maakt duidelijk dat een sentiment analyse geen optimale oplossing is om relevante eWOM op te sporen en minder relevante content eruit te filteren. Je hoort dan ook over steeds meer merken die mensen in dienst nemen om handmatig relevante eWOM te filteren. Maar hoe kan je dan wel aangeven of eWOM belangrijk is?

Supervised Machine Learning
Een oplossing is om gebruik te maken van Supervised Machine Learning  en daarbij te focussen op relevantie in plaats van sentiment. Onderzoek van collega’s en mij [1] laat zien dat je beter een Machine Learning algoritme, dat getraind is op relevantie voor jouw merk, kan gebruiken dan welke vorm van sentiment analyse dan ook. Middels een dataset, bestaande uit 60000 Facebook posts en 11000 tweets over 16 merken in verschillende industrieën, is onderzocht of Machine Learning betrouwbaarder en efficiënter is dan sentiment analyse. Zie het figuur voor een schets van het onderzoeksmodel.

 

 

Het onderzoek
De eerste stap hierbij was het coderen van een post als wel of niet relevant voor een merk is. Het resultaat? Tot 85% van de posts op social blijken niet relevant te zijn voor het merk. Vervolgens werd de relevante content onderverdeeld in zes verschillende categorieën: afwijzing, klacht, commentaar, vraag, suggestie, herkenning, en compliment. De eerste twee categorieën zijn negatief, de volgende drie neutraal, en de laatste twee positief. Dit gaf de onderzoekers de mogelijkheid om het proces te vergelijken met een aantal sentiment analyse technieken (waaronder ook technieken die gebaseerd zijn op Machine Learning).

Machine Learning: beter, goedkoper, flexibeler
Kortom, sentiment analyse is niet erg betrouwbaar. Maar met  Supervised Machine Learning beschikken we over een techniek die het duidelijk makkelijker voor jouw merk maakt om relevante eWOM op te sporen. De voordelen?

  • Het is goedkoper! Zo’n 250 werkuren.
  • Het is nauwkeuriger.
  • Je krijgt een op maat gemaakte oplossing voor jouw merk.
  • Het filtert automatisch alle ‘rommel’ eruit (zo’n 85% van alle eWOM is niet relevant voor je merk).
  • Je verliest neutrale en positieve content niet uit het oog.
  • Je kan eWOM automatisch onder laten verdelen in een aantal subcategorieën om je webcare team meteen te laten zien waar een post inhoudelijk over gaat. Gaat het bijvoorbeeld om een klacht of om een verbeter punt?
  • Het werkt op verschillende social media.

 

Train per industrie
De resultaten laten zien dat het gebruik van Supervised Machine Learning twee keer zo accuraat is als welke vorm van sentiment analyse dan ook. Verder laat het onderzoek zien dat je een algoritme dat getraind is met Facebook-data ook kan gebruiken voor Twitter-data. Bovendien blijkt dat het verstandig is om een algoritme per industrie te trainen in plaats van gebruik te maken van een algemeen algoritme, want mensen praten dus inderdaad anders over auto’s dan over rookworst.

 

Lees hier meer over social media.

Stefan Bernritter is Associate Professor of Marketing bij het Institute of Management Studies, Goldsmiths, Universiteit van Londen.

 

[1] Het volledige artikel van Vermeer, Araujo, Bernritter en Van Noort is getiteld ‘Seeing the wood for the trees: How machine learning can help firms in identifying relevant electronic word-of-mouth in social media’ en verscheen in International Journal of Research in Marketing (2019), 1-17. Je vindt het artikel hier (betaald).

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

*

*

Voor u verder gaat even bewijzen dat u mens bent.

Typ de eerste drie letters van het alfabet (anti-spam)