[interview] SAN en MetrixLab: Onderzoek met AI naar succes reclamecampagnes

De mens zal waarschijnlijk altijd een prominente rol spelen om mede de effectiviteit van reclame - sowieso gevoelsmatig - goed te kunnen duiden. Maar, zo blijkt, met de juiste data en variabelen in een geavanceerd voorspellingsmodel kan mede worden berekend of reclamecampagnes succesvol zullen zijn of niet.
SAN en MetrixLab gebruikten dit jaar onder andere Artificial Intelligence (AI) om 54 ingezonden SAN-cases te beoordelen en constateerden dat algoritmes in combinatie met een voorspellingsmodel betrouwbare partners kunnen zijn bij het beoordelen van creatief werk. Andy Santegoeds (rechts op de foto), Senior Solution Consultant MetrixLab (onderdeel van de Macromill Group) en Ron Schneider (links op de foto), voorzitter SAN en tot voor kort directeur marketing bij Eneco, over de inzet van AI bij de beoordeling van creatieve campagnes.
Eén van de pijlers van SAN en MetrixLab is kennis delen om het marcomvak te verrijken en te inspireren. SAN werkt sinds 2017 samen met MetrixLab op het gebied van reclameonderzoek. Schneider: ‘Het digitale SAN-archief, overigens gratis toegankelijk voor een ieder via de SAN-website, is met 4.400 campagnes uit de laatste vijftien jaar zo rijk en veelomvattend, dat we regelmatig kijken we of we daaruit interessante gegevens kunnen halen die de marketing- en reclamedeskundigen kunnen helpen om hun uitingen nog weer te verbeteren.’
De centrale vraag van dit onderzoek was: in hoeverre kan AI de effectiviteit van commercials voorspellen en daarmee winnende SAN Accenten onderscheiden?

Grenzen verleggen in creatief onderzoek
MetrixLab heeft voor dat doel ACT Instant ingezet, een met AI gevoed voorspellend model dat is gebaseerd op meer dan 16.000 uitingen die in eerder onderzoek door real life respondenten zijn beoordeeld. Het model beoordeelt ‘breakthrough’ en ‘response’ oftewel: is een reclame-uiting in staat om aandacht te trekken, merk- en boodschap herinnering te realiseren en vervolgens merkinteresse of zelfs koopintentie te bevorderen? Santegoeds: ‘De grote voordelen van het gebruik van AI zijn evident. In plaats van uitvoerig en langdurig respondenten ondervragen voor dit type onderzoek laat je een algoritme en een voorspellingsmodel het werk doen. Je bespaart geld en tijd. ACT Instant wordt steeds vaker door adverteerders gebruikt om uitingen, zoals met online video of banners, sneller te kunnen evalueren voor go of no go beslissingen of om gelijktijdig grote hoeveelheden uitingen te analyseren. Dat is de behoefte die we zien in de markt, omdat er steeds meer content komt die merken op allerlei platforms willen verspreiden. Wat werkt wel en wat niet?’

Winnend SAN-werk scoort fors bovengemiddeld
Voor het onderzoek zijn 54 commercials (22 uit winnende SAN-cases en 32 uit niet-winnende SAN-cases) uit de afgelopen drie jaar geselecteerd in de categorieën Fast Moving, Dienstverlening en Branding 360°. Deze commercials werden gecodeerd door uitvoerig geteste algoritmen op meer dan 130 variabelen. De meer interpretatiegevoelige variabelen, zoals het gebruik van humor, emotie en het aantal boodschappen, werden gecodeerd door reclamedeskundigen (verhouding AI versus menselijk: 70% versus 30%). Santegoeds: ‘Er zijn een aantal variabelen die AI nog onvoldoende kan herkennen, zoals de merkboodschap van de commercial of de muziek die wordt gebruikt. Daarom kunnen dit soort modellen nooit zonder de menselijke inbreng. Reclame is en blijft wat dat betreft een mooie combinatie van art en science.’
In plaats van een door respondenten ingevulde vragenlijst leverde het voorspellingsmodel vervolgens de uitkomsten over de verwachte effectiviteit. En wat blijkt? Santegoeds: ‘Gemiddeld genomen doen alle ingezonden SAN-cases het fors beter dan de benchmark. Ook is er een duidelijk verschil tussen de inzendingen en de uiteindelijke winnaars. De winnende commercials scoren 24% beter ten opzichte van de benchmark, tegenover 19% voor de ingezonden commercials. Ook op breakthrough is er een substantieel verschil van 9% voor de winnende en 4% van de ingezonden commercials. Een ogenschijnlijk relatief klein verschil, maar zeer betekenisvol, aangezien het gaat om grote investering in reclamebudgetten.’

Human touch
Nieuwsgierig naar hoe AI zich vergelijkt met menselijke beoordelingen, zoals door marcom-specialisten in het jureerproces van SAN, hebben de onderzoekers ook wat dieper gekeken naar wat winnend werk anders maakt dan ander ingezonden werk. Santegoeds: ‘Merk, audio en character zijn als thema’s met alle onderliggende kenmerken het sterkst bepalend in de uiteindelijke score. Op deze vlakken onderscheiden winnaars zich op de ingrediënten branding, prominent muziekgebruik, positief sentiment, emotionele storyline en zowel product- als merkgebruik in de uiting.’
De verschillen in toepassing van deze elementen tussen winnende en overige commercials zijn volgens Santegoeds groot. ‘Juist deze “zachtere” variabelen werden door mensen gecodeerd. Daarmee hebben we dan ook gelijk de belangrijkste reden waarom MetrixLab in zijn methodiek AI combineert met menselijke codering.’
Het model dicht winnend SAN-werk gemiddeld flink hogere scores toe. Schneider: ‘AI is in staat in een split second tientallen kenmerken van campagnes te onderscheiden en te ordenen en daarmee het voorspellingsmodel voor verwachte effectiviteit te vullen. En zoals we gezien hebben is de human touch - als in codering door mensen – een onmisbare aanvulling op AI. Net als dat de SAN-juryleden niet alleen naar data kijken, maar ook het vernieuwende van een concept en creatieve invulling meewegen in hun beoordeling. Je moet het zien als een kok die dankzij AI allerlei ingrediënten krijgt toegespeeld voor een succesvol diner, maar hij of zij moet nog wel de finishing touch eraan geven.’

Pre-testing
Door de combinatie van AI en menselijke codering is deze vorm van pre-testing volgens Santegoeds al heel waardevol voor merken. ‘Zij kunnen uitingen testen die voorheen niet of moeilijk te testen waren omwille van tijd en/of budget. Merken kunnen nu dus eerder in het proces veel sneller op data gefundeerde beslissingen nemen.’ De ontwikkelingen in kunstmatige intelligentie gaan razendsnel. MetrixLab heeft het model zo ontwikkeld dat als er zich nieuwe technieken of algoritmes aanbieden, deze vrij eenvoudig kunnen worden toegevoegd. En dankzij machine learning zal het model alleen maar beter worden en is dan zelfs in staat om nieuwe verbanden te ontdekken, die voor menselijke analisten niet of minder voor de hand liggen. Santegoeds: ‘Denk bijvoorbeeld aan interactie tussen muziekgebruik en boodschap-memorisatie. Daarnaast liggen er nog meer toepassingen in het verschiet, zoals AI inzetten om voorspellingen te doen op het gebied van het gedrag van mensen, zoals klikgedrag op online advertenties.’
Schneider: ‘Ook als SAN blijven we meegaan met kennisontwikkeling, zowel op het gebied van Artificial Intelligence op deze cases uit het SAN-archief, als de human intelligence van de SAN-jurering. Ook in de toekomst willen we vanuit ons rijke SAN-archief nieuwe inspiratie halen voor onze vakgenoten.’

Dit artikel verscheen eerder in MarketingTribune 10, 2021.