Deepfakes maken een eind aan nasynchronisatie

Volgens Perfect Dubs is al jaren bekend dat mensen zich storen aan nagesynchroniseerde reclames. Het bureau stelt dat bedrijven tot nu slechts de keuze hebben tussen nasynchronisatie (dubbing) of een voice-over. ‘Ongeveer 5% van de tv-reclames wordt gedubbed. Terwijl uit verschillende onderzoeken blijkt dat consumenten merken slechter waarderen wanneer reclames worden nagesynchroniseerd. De koppeling van deze twee feiten was voor ons de reden om deze oplossing te bouwen’ aldus Douglas Voeten, founder van Perfect Dubs.

Perfecte nasynchronisatie
In 1932 werden de eerste films nagesynchroniseerd en sindsdien is er weinig aan de techniek veranderd. De Amsterdamse startup introduceert nu een alternatief voor nasynchronisatie – Deep Sync - waarbij gebruik wordt gemaakt van deep learning technologie om de mond van de acteur synchroon te laten lopen met de audio. De oplossing is gebaseerd op dezelfde methodes die worden gebruikt bij het maken van deepfakes.

‘Elke seconde van een commercial bestaat uit 24 frames (foto’s) die snel achter elkaar worden afgespeeld. Ons algoritme leert op basis van enkele minuten beeld van de hoofdpersoon - de zogenoemde target - hoe het gezicht eruitziet en hoe het beweegt.’ Douglas vervolgt: ‘Nadat het algoritme is getraind kan deze het gezicht van de target genereren op basis van beeld van een acteur in de nieuwe taal – de driver. Klinkt ingewikkeld, maar ik noem het altijd Photoshop on steroids omdat het algoritme in staat is om pixel voor pixel foto’s te creëren die samen het bewegend beeld vormen.’

Internationale merken
Internationale merken hebben volgens het bureau door deze nieuwe oplossing een middel in handen om hun commercials schaalbaar te maken, zonder af te doen aan de kwaliteit en authenticiteit van de reclame uiting. Douglas: ‘Ons doel is om merken te helpen zich sterker te positioneren in elk land waar ze actief zijn, ongeacht de grootte van die markt.’

Toekomst
De Deep Sync technologie is nu in staat om commercials perfect te dubben, stelt de startup. Maar de deep learning techniek die er aan ten grondslag ligt is constant in ontwikkeling. Binnen een paar jaar zal het met dezelfde techniek ook mogelijk zijn om volledige films en series perfect na te synchroniseren. ‘We richten ons nu op commercials omdat dit met de huidige techniek tot mooie resultaten leidt. Maar stel je eens voor dat je Squid Game kunt kijken en dat het lijkt alsof hij in het Engels, Nederlands of Spaans is gemaakt. Dat zullen we over een paar jaar mogelijk maken’ aldus Douglas.

Foto: Douglas Voeten.