Emerce Conversion & Analytics 2025 event

Hoe ziet een goede experimenteercultuur en analytics binnen conversie optimalisatie (CRO) eruit in 2025 en in de nabije toekomst? Deze vraag stond centraal tijdens het Emerce Conversion & Analytics event. Onderwerpen als het écht begrijpen van jouw doelgroep, segmentatie, een goede A/B teststrategie kwamen aan bod. Natuurlijk werd er ook veel verteld over het gebruik van AI marketing in de verschillende presentaties.

Lars en Marleen waren aanwezig bij het Emerce Conversion & Analytics event in Amsterdam om kennis op te doen en om te reflecteren op hoe ze de besproken thema’s zelf kunnen toepassen in hun dagelijkse werkzaamheden. Hieronder vind je de hoogtepunten en belangrijkste inzichten van de Emerce Conversion & Analytics event-dag.

A/B testen strategieën

De bekendste methode binnen CRO is het uitvoeren van A/B testen. Het wordt ook zeker niet ten onrechte de ‘holy grail’ binnen CRO genoemd. Maar hoe ziet een écht goede A/B test strategie eruit?

NS International: Betrouwbare testen

In een sessie van NS International met Hans Nauta werd besproken hoe NS international tot betrouwbare A/B-testresultaten is gekomen. Het bedrijf ontdekte dat hun A/B-testproces minder betrouwbaar was dan gedacht. Een probleem dat breder speelt in wetenschappelijk onderzoek door de replicatiecrisis. Deze replicatiecrisis triggerde NS international om te onderzoeken wat dit betekende voor hun CRO strategie. Hierna hebben zij contact opgenomen Professor Millet van de Vrije Universiteit van Amsterdam om dit te onderzoeken.

Professor Millet stelde hen de cruciale vraag: “Heb je de test echt exact hetzelfde nog een keer uitgevoerd?” Toen ze dit deden, ontdekten ze dat de betrouwbaarheid van hun tests laag was. Bij een significantie van 80% kwamen 2 van de 5 testen positief uit door puur toeval. Hierop besloten ze om striktere significantieniveaus te hanteren. Eerst een verkennende fase met lagere significante scores en kortere tests. Gevolgd door een bevestigende fase met strengere richtlijnen en langere tests. Dit leverde veel betere en betrouwbaardere resultaten op. Daarnaast gaf dit hun de vrijheid om eerst voldoende bewijs te verzamelen met meerdere testen voordat ze de uitkomsten communiceerden aan belangrijke stakeholders.

Booking.com: A/B testen binnen de app

Tijdens een sessie bij Booking.com deelde Jorden Lentze, een expert op het gebied van A/B-testen, zijn ervaringen en inzichten over experimentatie in hun app. Deze inzichten zijn echter ook waardevol voor websites. Hij benoemde het nut van het testen van de echte waarde. Ook het testen van bestaande elementen. Hij ging in op het interactie effect wanneer meerdere testen tegelijk draaien.

Ten eerste ging hij in op het testen van de toegevoegde waarde van elementen. Hij legde uit dat het belangrijk is om bij alles wat je toevoegt aan een website te bedenken wat de werkelijke meerwaarde is voor het einddoel van de gebruiker. Het doel van een bezoeker is bijvoorbeeld niet om via Booking.com een hotel te boeken; het gebruiksdoel gaat verder dan dat. Bijvoorbeeld: een comfortabel hotel voor een businessreis.

Op basis van het gebruiksdoel kun je evalueren: draagt een element of functionaliteit echt iets bij?

Met deze denkwijze is bij Booking.com ook besloten om te testen met het weghalen van elementen. Hieruit bleek dat het weghalen soms geen effect had (en dat het element dus eigenlijk geen waarde toevoegt). Soms bleek zelfs dat het weghalen een positief effect had, en dat het element dus waarschijnlijk een negatieve impact had.

Verder merkten ze binnen Booking.com op dat er in slechts weinig situaties een interactie-effect optreedt waarbij meerdere tests elkaars resultaten beïnvloeden. Hieruit kan geconcludeerd worden dat in veel gevallen wél meerdere testen naast elkaar kunnen draaien.

ClickValue: Alternatieve methoden voor A/B testen

In een sessie met Olf Koekoek van ClickValue werd gekeken naar alternatieve methoden voor A/B-testen. In sommige scenario’s is het niet mogelijk om een A/B-test uit te voeren, bijvoorbeeld vanwege te weinig websiteverkeer. Weer in andere gevallen is A/B-testen wél mogelijk, maar kost het veel moeite om een CRO-test op te zetten. Of is de test zó ingrijpend dat er eerst behoefte is aan een initiële validatie voorafgaand aan het testen.

User testing

Een van de oplossingen is het uitvoeren van gebruikerstesten. Gebruikerstesten zijn er in veel vormen. Zo kun je bezoekers in een interview vragen naar hun mening of intenties, of tree testing inzetten om een nieuwe navigatiestructuur te valideren. Op deze manier kunnen aannames over gebruikersbehoeften en mogelijke oplossingen worden getoetst.

Een nadeel van deze methoden is echter dat je vaak slechts meningen of intenties achterhaalt en niet het daadwerkelijke gedrag. Of dat de test niet plaatsvindt in een natuurlijke context. Een methode die hiervoor een waardevol alternatief biedt, is causal impact analysis.

Causal impact analysis

In een causal impact analysis wordt er in de basis een pre-post analyse gedaan. Er wordt gekeken naar het conversieratio (van aankopen of een andere KPI) voor en nadat een wijziging is doorgevoerd. Het nadeel van de standaard pre-post analyse is dat veel andere elementen ook een rol kunnen spelen (denk hierbij aan seizoenen, het type verkeer op de website, etc.). Bij een causal impact analyse wordt gebruik gemaakt van een model dat deze factoren meeneemt en op basis hiervan uitrekent wat het daadwerkelijke effect van de wijziging is geweest.

Structuur en impact van gebruikersonderzoek

Een ander centraal thema tijdens het event was het belang van gebruikersonderzoek. Hoe je dit onderzoek gestructureerd kunt aanpakken en écht tot de kern komt door te focussen op de ‘jobs to be done’.

Loop Earplugs: Het mixen van verschillende onderzoekmethoden

In de sessie van Desiree van der Horst van Loop Earplugs werd er stilgestaan bij het belang van het mixen van verschillende onderzoeksmethoden. Ook ging ze in op het structuren door gebruik te maken van het 6V model van Online Dialogue.

Het 6V-model bevat, zoals te verwachten valt, zes elementen die allemaal beginnen met de letter V:

• Value: Welke bedrijfswaarden zijn belangrijk en relevant (en willen we optimaliseren)?
• Versus: Hierin wordt een concurrentenanalyse gedaan en wordt er gekeken naar de best-practices in de markt.
• View: Dit gaat om het analyseren van web analytics vanuit GA4, maar ook data zoals heatmaps vanuit Clarity of recordings.
• Validated: Welke inzichten zijn er vanuit vorige experimenten of analyses?
• Verified: Wat voor inzichten zijn er beschikbaar vanuit wetenschappelijk onderzoek?
• Voice: Welke inzichten hebben we vanuit de stem van de gebruiker? Denk hierbij aan surveys, feedback, service contact, en reviews.

In de sessie werd benadrukt waarom het 6V-model zo belangrijk is. Het stelt je in staat om, op basis van eerder onderzoek, te bevestigen dat je op de goede weg zit en de juiste focus hebt, maar mogelijk nog niet de ideale oplossing hebt gevonden. Met andere woorden: een negatieve A/B-test betekent niet dat je helemaal verkeerd zit, maar dat je de juiste richting opgaat, maar de uitvoering nog moet verbeteren.

Growth Waves: Jobs to be done (JBTD)

Last but not least nam Daphne Tideman van Growth Waves ons mee in het belang van het gebruiken van het framework ‘Jobs to be Done’ in alle touchpoints van de customer journey. Ze liet hierin duidelijk zien wat de kracht van goede copy is.

Jobs to be Done draait om het focussen op het doel van de gebruiker en waarom zij jouw product nodig hebben. Veel websites richten zich vooral op hun eigen product en de oplossing die ze bieden. Ze missen daardoor een groot aantal potentiële gebruikers. Door je alleen te concentreren op de oplossing, bereik je namelijk alleen de gebruikers die al weten dat de oplossing of het product bestaat. Je mist de gebruikers die zich nog niet bewust zijn van het probleem, of die wel weten dat er een probleem is, maar nog niet weten welke oplossing ze nodig hebben.

Ze liet ons een gestructureerde aanpak zien om tot de JTBD (Jobs to be Done) te komen:

• Review mining: Je reviews bevatten enorm veel waarde om je gebruikers te begrijpen. Hieruit kun je vaak afleiden waarom iemand je product heeft aangeschaft, welke twijfels ze mogelijk hadden. Daarnaast zijn reviews ook een geweldige bron voor het schrijven van teksten. Gebruik de termen en woorden die je gebruikers zelf gebruiken.
• Een concurrentenanalyse: door je concurrenten te analyseren, krijg je inzicht in hoe jij je positioneert ten opzichte van hen en ontdek je je onderscheidende factoren. Hierbij kun je ook je eigen reviews vergelijken met die van de concurrent. Het is belangrijk om te begrijpen dat een concurrent niet per se hetzelfde product hoeft te verkopen, maar zich wel op dezelfde ‘Jobs To Be Done’ (JTBD) richt.
• Vragenlijsten: Met vragenlijsten kun je gerichte vragen stellen aan bezoekers en demografische gegevens verzamelen. Vaak komen uit de eerste stappen meerdere ‘Jobs To Be Done’ naar voren, maar met vragenlijsten kun je de belangrijkste hiervan identificeren.
• Interviews: Nadat je de belangrijkste JTBDs hebt geïdentificeerd kun je interviews houden om nog nét wat meer diepgang te krijgen in de behoeften, vragen, wensen, pijnpunten, en twijfels van je bezoeker.

Door middel van deze aanpak wist ze bij haar klanten met alleen copy aanpassingen al erg succesvolle resultaten te behalen. Hierin benadrukte ze ook meermaals dat dit geldt voor de gehele customer journey en alle touchpoints en niet alleen voor de website.

Sessies over CRO & AI

Twee van de sessies die we hebben bezocht gingen over AI. In de eerste sessie lag de focus op het integreren van AI in je organisatie en hoe dit ook vanaf managementniveau wordt gedaan. In de tweede sessie lag de focus op praktische tips waarmee je direct aan de slag kan.

Zalando: AI binnen de organisatie

In de eerste sessie, gegeven door Nils Stotz van Zalando, kregen we een inkijkje in hoe hij voor zich zag dat AI zich ontwikkelde in de toekomst binnen CRO. Ook leerden we hier het belang van het blijven motiveren van je collega’s en medewerkers. Hij benadrukte het in gesprek blijven met elkaar als AI bepaalde taken overneemt. Ook kan AI er juist voor gaan zorgen dat het meer ruimte biedt voor andere taken.

Online Dialogue: Praktische tips voor AI gebruik binnen CRO

Joost Baalbergen van Online Dialogue gaf ons in de tweede sessie praktische voorbeelden van hoe wij AI kunnen gebruiken in het CRO werkveld. Een aantal inspirerende voorbeelden waren:

• Review mining: Hierbij scraped ChatGPT de reviews van jouw website. Hierin kun je de AI vragen naar thema’s, behoeften van de bezoeker, of knelpunten. Dit is een efficiënte manier om deze inzichten uit de reviews te halen. Dit kan zowel gebruikt worden voor de reviews van jouw bedrijf als die van de concurrent.
  De input kan ook gebruikt worden om AI te vragen om USP’s te genereren. Dit kan door woorden te gebruiken die in de reviews gebruikt worden of om quotes op te vragen die over een bepaald thema gaan.
• Inzichten: Een ander voorbeeld was het gebruik van AI toolings voor het ophalen van de belangrijkste inzichten uit het wetenschappelijke onderzoek. Hiervoor kan Consensus gebruikt worden. Dit is een AI-gedreven zoekmachine die jou voor een bepaalde zoekopdracht niet alleen de lijst met resultaten geeft, maar ook een samenvatting van deze literatuur. Een tweede tooling die gebruikt kan worden is Notebook LM. Hier moet je zelf de artikelen toevoegen, waarna je Notebook LM vragen kunt stellen over het onderwerp.

Aan het einde van de Emerce Conversion & Analytics event dag zijn we vol kennis en inspiratie weer teruggereden met de Dtch. Digitals bus. We waren geïnspireerd door de waardevolle inzichten die we hebben opgedaan en de indrukwekkende cases die we hebben mogen zien. Met de nieuwe kennis gaan we nu direct aan de slag om deze toe te passen in onze dagelijkse werkzaamheden. Het was een waardevolle dag. We hebben niet alleen nieuwe AI tools ontdekt, maar ook waardevolle CRO strategieën die ons zullen helpen bij onze toekomstige aanpak.