[onderzoek] Het moment dat mijn geloof op de proef werd gesteld

Aan het eind van de deskundige en feestelijke levering van mijn nieuwe auto werd mij gevraagd of ik bij het klanttevredenheidsonderzoek dat ik binnenkort zou ontvangen een 10 wilde geven. Zichtbaar ongemakkelijk vertelde de verkoper dat de dealer anders een probleem zou krijgen met de importeur. Ik schreef over mijn beleving op LinkedIn en kreeg talloze reacties. Veel mensen herkenden de uit de hand gelopen NPS-aanpak van bedrijven, waarin het middel een doel op zich is geworden.
In 2003 verlichtte de Amerikaanse marketingconsultant Fred Reicheld het bedrijfsleven met een baanbrekend artikel in Harvard Business Review: The One Number You Need To Grow. Reicheld stelde dat er één enkele vraag gesteld moest worden om vast te stellen wat de echte klantloyaliteit was. Het bedrijfsleven smulde van deze aanpak, want het was simpel, het creëerde een getal waarop je mensen kon afrekenen en het voelde klantgericht en legitiem. Ondanks kritiek uit wetenschappelijke hoek omarmden het bedrijfsleven en hun consultants de NPS-methode massaal.

Manische focus
In december 2017 geeft Jared M. Spool in zijn blog Net Promotor Score Considered Harmful (And What UX Professionals Can Do About It) een kritische beschouwing op de NPS-methodiek. Bij de NPS-methodiek scoort een consument op een 11-puntsschaal (0-10) de volgende vraag: hoe waarschijnlijk gaat u <bedrijf x> aanbevelen aan een vriend of collega? Een normale statisticus zou vervolgens de gemiddelde score van alle antwoorden berekenen, maar Reichheld pakt het anders aan. Hij stelt dat iedereen die 0 tot 6 scoort een detractor is, iedereen met een 7 of 8 passive is en alleen mensen die een 9 of 10 scoren promotors zijn. Het NPS-getal wordt vervolgens bepaald door het percentage detractors af te trekken van het percentage promotors. In zijn blog schetst Spool een aantal situaties:

• Stel 100 respondenten geven allemaal een 0. Dan is de NPS -100.
• Vervolgens gaat het bedrijf verbeteringen doorvoeren en de 100 respondenten scoren nu allemaal een 6. De NPS is dan nog steeds -100.  zijn dan alle verbeteringen voor niets geweest?
• Na nog een verbeterslag geven alle respondenten een 8. De NPS is nu 0 in plaats van -100. Een enorme stijging, maar nog steeds een neutraal getal.
• En dan in de laatste kleine verbetering van de gebruikservaring geven alle respondenten een 9. Nu is de NPS +100. Een 100% verbetering ten opzichte van een 8!

Spool stelt dat er noch statistische, noch bedrijfskundige argumenten zijn om zulke abrupte veranderingen in scores te legitimeren. Zeker daar waar bedrijven tegenwoordig in korte sprints continu hun user experience verbeteren, zouden kleine, incrementele verbeteringen ook zichtbaar moeten zijn in incrementele verbeteringen van de score. Maar er is nog meer voortschrijdend inzicht over NPS:

1. De 11-puntsschaal: de schaal is te breed en creëert daarmee onduidelijkheid; mensen kunnen bij een zelfde ervaring toch heel verschillende scores geven
2. De betrouwbaarheid van het antwoord: een vraag stellen over toekomstig gedrag is minder betrouwbaar dan een vraag over gedrag uit het recente verleden
3. Onvoldoende verband tussen NPS en groei: er is niet echt bewezen dat NPS een voorspellende waarde heeft voor de groei van een bedrijf.
4. Ervaring en NPS matchen niet altijd: zeker bij transactionele NPS-meting zeggen scores weinig over loyaliteit
5. Consumenten begrijpen de vraag niet altijd: men relateert het antwoord bijvoorbeeld niet altijd aan de meest recente ervaring, maar soms ook aan een ervaring van lang geleden
6. NPS is makkelijk te manipuleren: door op het juiste moment de vraag te stellen, is de score makkelijk te beïnvloeden (bijvoorbeeld net na de feestelijke overhandiging van je auto)
7. Sturen op één getal is niet realistisch: de werkelijkheid van een onderneming is vaak te complex om in één enkel getal uit te drukken
8. De echte waarde zit in de opvolgingsvraag: ervaring leert dat bedrijven meer hebben aan de open ‘waarom’-vraag na een score echter bedrijven zouden hier nog beter naar kunnen kijken
9. Tot slot een eigen observatie: Nederlanders geven niet snel een 9 of 10, zelfs niet als ze heel erg tevreden zijn

De oorspronkelijke bedoeling van NPS was goed, NPS als onderdeel van bredere benchmark of een set KPI’s kan heel nuttig zijn, maar de manische focus op het ene NPS-getal van sommige bedrijven is contraproductief. Het is na ruim 15 jaar tijd voor een update van de NPS-methode, waarin bovenstaande kritische noten worden opgelost. En wil je als bedrijf echt klantgericht worden, dan is focus op de bedrijfscultuur belangrijker dan focus op één simpel getal. Culture eats NPS for breakfast.

Dit artikel is geschreven door Maton Sonnemans, partner EY VODW en stond in MarketingTribune 10, 2019.