A/B testen voor optimaal rendement

Doelstelling

Optimaal resultaat behalen uit lopende campagnes door het inzetten van de juiste strategie

Waar al vele stappen gemaakt zijn om campagnes uit te breiden op het gebied van targeting, advertentietypen, extensies en dergelijke, is het ook belangrijk om te kijken hoe je een campagne zo kan sturen dat je er optimaal resultaat uithaalt.

Al eerder stapten we voor het gros van onze Google Ads campagnes over op automatische biedstrategieën. Deze biedstrategieën zijn in staat op basis van het algoritme een zeer gericht doel na te streven, doorgaans een stuk beter dan dat je dit handmatig kan doen. Daarnaast bespaart het inzetten ervan een hoop tijd (al zou dat zeker niet je hoofddoel moeten zijn) die je kan investeren in andere analyses en optimalisaties. Ook met de mogelijkheid om automatische biedstrategieën in te zetten kan het nog lastig zijn hier een keuze in te maken.

Want wat kies je als je op branded termen het liefst overal bovenaan wilt staan (hoog vertoningspercentage), geen omzet op dit vlak wil laten liggen, maar ook geen onnodige kosten wil maken? Bij Roompot liepen we tegen dit issue aan: door het gewenste hoge vertoningsaandeel kampten we, ondanks uitgebreide uitsluitingen, met hoge CPC’s en een te lage ROAS op campagnes waar je anders zou verwachten. Deze branded campagne draaide nog op een Enhanced CPC strategie. Aan ons de taak om uit te zoeken of we door het inzetten van een automatische biedstrategie waarbij we de campagne zouden “knijpen”, kosten kunnen besparen zonder in te leveren op de opbrengst en het vertoningsaandeel niet onder de 90% zouden laten zakken.

Aanpak

Enhanced CPC x ROAS-target strategie A/B testen

Als je een test uitvoert, wil je natuurlijk niet dat externe factoren je testresultaat beïnvloeden waardoor je mogelijk foutieve conclusies trekt. Het is dan ook niet wenselijk een aanpassing door te voeren en de data voor de aanpassing te vergelijken met de data na de aanpassing. Een andere intentie in de markt of zelfs een extreem zonnige dag, waarbij de potentiële gasten hun dag doorbrengen op het strand in plaats van achter hun laptop, kan hier voor een enorme vertekening in de resultaten zorgen. Ook het draaien van twee verschillende campagnes naast elkaar is niet ideaal, omdat je op dat moment met jezelf concurreert en er kannibalisatie optreedt.

De beste wijze om de effecten van een wijziging correct in kaart te brengen in Google Ads is het opzetten van een A/B test middels “experimenten”. Hierin maakten we een concept aan waarin we kozen voor een ROAS-strategie en verder geen enkele wijziging aanbrengen om enkel het verschil in biedstrategie te testen.

Het ROAS-target bepaalden we door te kijken wat realistisch was voor het type campagne, ondanks dat dit maar liefst 50% boven de huidige ROAS lag. De achterliggende gedachte was dat we uitschieters in klikprijzen zouden voorkomen door het gebonden target zonder in te moeten leveren op overige adgroups en zoekwoorden. Een ruim budget om de ROAS-strategie de ruimte te geven (dan presteert deze het best) en een tijdspanne waarin we voldoende data kunnen vergaren en het experiment kon van start.

In de controlevariant lieten we de campagne staan op handmatig bieden aangevuld met ECPC, waarbij de handmatige biedingen automatisch worden aangepast als de waarschijnlijk tot het wel of niet converteren toeneemt. Aangezien dit een branded campagne betrof waren biedingen ruim ingesteld om geen veilingen te verliezen op de eigen merknaam, waardoor de geboden CPC’s fors hoger lagen dan de uiteindelijke gemiddelden. De uitschieters die we zagen lagen tot wel vijf keer hoger dan wat binnen de marges valt binnen een branded campagne. De oorspronkelijke CPC prijzen op adgroup en zoekwoord niveau lieten we staan, maar we stuurden in de loop van het experiment wel bij zoals we normaal gesproken ook zouden doen met handmatige biedingen. Enkel zo konden we werkelijk zien wat onder aan de streep de beste resultaten zou opleveren voor Roompot.

Wat we dus daadwerkelijk testen: de ongewijzigde ECPC strategie tegen een ROAS-strategie met een strakker target.

Resultaat

Gelijke opbrengst met 21% ROAS stijging

In de testperiode die vier weken duurde, werden de advertenties van beide testvarianten meer dan 150.000 keer vertoond. Voldoende data voor dit experiment dus. De resultaten waren niet mis: -17% kosten en een stijging van de ROAS van maar liefst 21% in de test variant met ROAS target strategie ten opzichte van de Enhanced CPC sturing.

We leverden hier niet in op de daadwerkelijke opbrengst, deze lag in de testvariant met ROAS-target strategie zelfs 1% hoger, uiteraard is dit niet significant. Wel daalde het aantal vertoningen met 9%. Aangezien het vertoningsaandeel ruim boven de 90% was gebleven, was dit meer dan acceptabel.

Het experiment kwam als winnaar uit de bus met een statistische significatie van 99,6%, gekeken naar de ROAS. De biedstrategie welke binnen het experiment getest is, de ROAS target strategie, is naar aanleiding van deze resultaten dan ook doorgevoerd. Ook op branded campagnes kunnen biedstrategieën dus voor beter resultaat zorgen, zonder afbreuk te doen aan de zichtbaarheid om opbrengst.

Meer testen

Uiteraard is het vergelijken van biedstrategieën niet het enige wat we testen. Testen geeft bij ons met regelmaat de doorslag of we aanpassingen wel of niet doorvoeren in het gehele account of meerdere accounts. Alleen al de afgelopen maanden hebben we bij Roompot Vakanties getest:

• Of de landingspagina’s met de hoogste relevantie voor de zoekwoorden die er aan gekoppeld zijn ook de best presterende zijn, als we kijken naar de uiteindelijke opbrengst. (Spoiler: dit was zeker niet het geval door het verschil in conversieratio van de pagina’s.)
• Of het toevoegen van responsive ads een toegevoegde waarde had voor de campagne wat betreft CTR, CPC en uiteindelijke opbrengst. Dit hebben we getest toen de RSA’s nog in bèta waren én toen de verbeterde variant volledig werd uitgerold.
• Of keyword insertion gebaseerd op intentgedreven retargeting doelgroepen de CTR van campagnes verhoogde, omdat we meer gepersonaliseerde advertenties konden tonen.
• Of het tonen van de merknaam in de kop van generieke advertenties een hogere CTR opleverde en of het uitmaakte of dit in kop 1 of 2 was.
• Of uitbreiding van de targeting in display-campagnes daadwerkelijk tot betere (lees: meer conversies tegen een gelijkaardige ROAS) resultaten leidt.

Hierbij houden we er rekening mee dat het resultaat specifiek kan zijn voor een campagne, doelgroep of markt, wat betekent dat testen in meerdere van dit soort combinaties opgezet worden om zeker te zijn van onze zaak.