A/B test newsletteru: co porovnávat, aby výsledek něco řekl

A/B test má odpovědět na jednu konkrétní otázku. Když se ptáte na všechno najednou, nedozvíte se nic. Dvě verze zprávy, které se liší předmětem, obrázkem i nabídkou, sice přinesou rozdílná čísla, ale ne vysvětlení. Smysl testu je vyloučit ostatní vlivy a porovnat jednu změnu.

Co lze v newsletteru testovat

Nejčastěji se testuje předmět, protože ovlivňuje první rozhodnutí. Dále lze měnit jméno odesílatele, úvodní odstavec, pořadí sekcí, text výzvy k akci, umístění odkazu nebo délku zprávy. Každá z těchto změn má jiný účel a jiné metriky.

U předmětu sledujte otevření, ale berte ho s rezervou. U výzvy k akci je vhodnější kliknutí a dokončená konverze. U délky zprávy může být rozhodující, zda lidé dojdou na konec. Testujte jen to, co můžete skutečně vyhodnotit.

Jak test postavit

Vyberte jednu hypotézu. Například: „Konkrétní termín v předmětu zvýší kliknutí.“ Potom vytvořte dvě verze, které se liší pouze tímto prvkem. Všechno ostatní, včetně dne odeslání, cílové stránky a nabídky, zůstane stejné.

Skupiny rozdělte náhodně a pokud možno stejně velké. U malého seznamu je lepší testovat delší dobu nebo spojit několik kampaní, než udělat unáhlený závěr z jednoho týdne. Výsledek si zapisujte i s datem a tématem, protože kontext se mění.

Předem si napište, co bude znamenat úspěch. Je to vyšší kliknost, více dokončených objednávek, méně odhlášení, nebo delší pobyt na stránce? Bez kritéria budete později hledat výklad, který se hodí.

Velikost vzorku a očekávaný rozdíl

Čím menší rozdíl chcete odhalit, tím větší vzorek potřebujete. Ilustrativní příklad: pokud má varianta A kliknost 4 procenta a varianta B 4,5 procenta, rozdíl je malý a při několika stech příjemcích snadno vznikne náhodou. Pokud je rozdíl 4 procenta proti 8 procentům, signál je výraznější i při menším počtu.

U seznamu o 1 000 lidech nemá smysl čekat na rozdíl v desetinách procenta. Zaměřte se na větší změny a sledujte je opakovaně. U seznamu o desítkách tisíc lze pracovat jemněji, ale i tam platí, že výsledek z jednoho testu není zákon.

Nedívejte se na výsledky průběžně a neukončujte test ve chvíli, kdy se jedna varianta zdá lepší. Průběžné nahlížení zvyšuje riziko, že zachytíte náhodný výkyv. Stanovte dobu předem a vyhodnoťte ji celou.

Praktické pravidlo pro malou firmu: pokud seznam nemá alespoň několik tisíc aktivních adres, testujte výrazné rozdíly a opakujte je v několika kampaních. Jeden test se dvěma sty příjemci je zajímavá indicie, ne podklad pro změnu celé strategie. Výsledky zapište a po třech podobných kampaních hledejte společný vzorec.

Jak číst výsledek

Nejdřív zkontrolujte, zda test proběhl podle plánu. Doručilo se oběma skupinám stejně zpráv? Nedošlo k výpadku? Nezměnila se cílová stránka? Pokud ano, výsledek může být zkreslený a je lepší jej nebrat jako potvrzení.

Potom porovnejte hlavní metriku a vedlejší dopady. Vyšší kliknost nemusí být výhra, pokud zároveň prudce roste odhlášení nebo stížnosti. Sledujte také kvalitu provozu: zda lidé na stránce zůstanou a zda skutečně dokončí zamýšlenou akci.

Výsledek interpretujte jako pozorování, ne jako univerzální pravdu. Co fungovalo u jednoho tématu, nemusí platit u jiného. Zapište podmínky a při další kampani je zohledněte.

Časté chyby

Měnili jste víc věcí najednou. Pak nevíte, která změna rozdíl způsobila. Testujte po jednom prvku, i když to znamená více kol.

Vyhodnotili jste test příliš brzy. Ranní výsledek bývá jiný než večerní. Nechte zprávě čas a vyhodnocujte po ukončení sběru.

Použili jste nerovnoměrné skupiny. Menší skupina má větší výkyvy. Rozdělte publikum pokud možno napůl.

Sledovali jste jen otevření. Otevření ovlivňuje nastavení klienta a blokování obrázků. Doplňte kliknutí nebo jinou akci.

Praktické shrnutí

Testujte jednu změnu, jednu hypotézu a jednu hlavní metriku. Skupiny rozdělte náhodně a stejně velké. Vyhodnocujte po předem stanovené době a sledujte i vedlejší dopady, zejména odhlášení. Výsledky si zapisujte s kontextem. Malý rozdíl u malého seznamu neberte jako pravidlo.

Zdroje

  • Nařízení Evropského parlamentu a Rady (EU) 2016/679, obecné nařízení o ochraně osobních údajů.
  • Zákon č. 480/2004 Sb., o některých službách informační společnosti.
  • Směrnice Evropského parlamentu a Rady 2002/58/ES o zpracování osobních údajů a ochraně soukromí v elektronických komunikacích.

Publikováno: 26. 08. 2025

Kategorie: Marketing