Testarea A/B înseamnă să arăți două variante ale aceluiași element, de exemplu o pagină, un buton sau un email, unor grupuri alese aleatoriu și să compari care dă rezultate mai bune. Valoarea ei vine din comparația simultană: cele două grupuri trăiesc aceleași condiții, deci diferența se datorează variantei, nu întâmplării sau sezonului. O schimbare făcută și măsurată „înainte și după” nu poate face asta.
Pentru un startup, testarea A/B este utilă, dar adesea folosită prea devreme sau prea grăbit. Cadrul mai larg al experimentelor este în Experimentele de creștere: cum le planifici și le măsori, iar lista indicatorilor care merită testați în Metricile unui startup: ghid complet pentru fondatori; aici ne concentrăm pe cum rulezi corect un test comparativ și când nu merită.
Ce este un test A/B și când are sens?
Un test A/B are o variantă de control (A, versiunea actuală) și o variantă nouă (B), iar utilizatorii sunt împărțiți aleatoriu între ele. Se măsoară un indicator principal, de pildă procentul care finalizează o înregistrare.
Are sens când îndeplinești două condiții: ai suficient trafic și schimbarea poate afecta un comportament măsurabil. Dacă primești 200 de vizitatori pe lună, un test de buton nu va spune nimic sigur. În acest caz, discuțiile directe cu utilizatorii aduc mai multă informație, iar metoda este explicată în Feedbackul utilizatorilor: cum îl aduni și ce faci cu el.
Când nu merită
- Traficul e foarte mic și testul ar dura luni.
- Schimbarea este uriașă (o redesenare totală) și nu poți atribui efectul unui element.
- Nu ai o definiție clară a succesului.
- Decizia e deja luată din alte motive și testul ar fi doar o formalitate.
Cum construiești un test pas cu pas
Un test bun începe cu o ipoteză, nu cu o idee de culoare de buton. Respectă pașii în ordine.
- Ipoteza: „Dacă scurtăm formularul de la șapte câmpuri la patru, procentul celor care îl finalizează va crește, pentru că cerem mai puțin efort”.
- Indicatorul principal: un singur lucru măsurat, ales înainte de test (rata de finalizare). Indicatorii secundari verifică efectele nedorite.
- Mărimea schimbării așteptate: cât de mare trebuie să fie efectul ca să merite?
- Împărțirea aleatorie: fiecare utilizator vede aceeași variantă la fiecare vizită.
- Durata și numărul de utilizatori: stabilite dinainte, nu schimbate pe parcurs.
- Decizia: ce faci dacă B câștigă, dacă pierde sau dacă diferența este neclară.
Tabel: ce poți testa
| Element | Indicator posibil | Observație |
|---|---|---|
| Titlul paginii | Procent care continuă pe pagină | Efect adesea mare |
| Formular de înregistrare | Rata de finalizare | Mai puține câmpuri, mai multe finalizări, dar atenție la calitate |
| Pagina de prețuri | Conversie în plătitori | Impactează marja, nu doar volumul |
| Subiectul unui email | Rata de deschidere | Nu garantează acțiunea |
| Primul ecran din aplicație | Procent de activare | Legat de Rata de activare: cum găsești momentul aha al produsului |
Câți utilizatori îți trebuie
Numărul depinde de rata de bază a indicatorului și de cât de mare e schimbarea pe care vrei s-o detectezi. Cu cât efectul așteptat e mai mic, cu atât ai nevoie de mai mulți utilizatori; pentru diferențe mici pot fi necesare mii de utilizatori pe variantă.
Nu trebuie să faci calculul manual: există calculatoare de dimensiune a eșantionului, pe care introduci rata actuală de conversie, creșterea minimă dorită și nivelul de încredere. Rezultatul îți spune câți utilizatori ai nevoie pe fiecare variantă și deci cât ar dura testul cu traficul tău.
Dacă vrei să vezi dacă un grup de utilizatori rămâne după schimbare, folosește Analiza pe cohorte: cum citești retenția utilizatorilor. Dacă numărul este nerealist de mare, ai două opțiuni: testezi o schimbare mult mai mare sau alegi o altă metodă de învățare, de exemplu interviuri.
Ce înseamnă semnificația statistică, pe înțeles
Semnificația statistică spune cât de probabil este ca diferența observată să fi apărut din întâmplare. Un nivel folosit frecvent este 95%: dacă variantele ar fi de fapt identice, ai vedea o diferență atât de mare doar în cam 5% din cazuri.
Nu este o garanție că B este mai bun, ci o măsură a prudenței. Câteva reguli practice:
- Nu opri testul în clipa în care vezi „câștigător” pe grafic. Rezultatele fluctuează la început.
- Rulează testul pe durate întregi de săptămâni, pentru că comportamentul diferă între zilele săptămânii.
- Nu testa zece variante și să ții doar cea care a ieșit bine: cu cât compari mai multe, cu atât crește șansa de rezultat întâmplător.
Atenție: Dacă nu ești sigur de calculele statistice, cere ajutorul cuiva cu experiență în analiza datelor. O decizie bazată pe un test prost rulat este mai periculoasă decât una bazată pe intuiție, fiindcă pare dovedită.
Greșeli care strică un test
Cele mai multe teste eșuează din cauza procesului, nu a ideii. Merită să le știi dinainte.
- Ghicitul la jumătate: oprești testul când îți place rezultatul.
- Schimbarea mai multor lucruri odată: nu mai știi ce a produs efectul.
- Împărțire care nu e aleatorie: dacă variantele rulează în zile diferite sau pe canale diferite, comparația nu mai e corectă.
- Indicator greșit: o variantă poate crește clicurile și scădea vânzările. Verifică și efectele secundare.
- Ignorarea segmentelor: o schimbare poate ajuta utilizatorii noi și deranja clienții vechi.
- Nenotarea rezultatelor: după câteva luni nimeni nu mai ține minte ce s-a testat. Ține un jurnal simplu al experimentelor: ipoteza, perioada, rezultatul, decizia.
Alternative când traficul este mic
Un startup tânăr poate învăța mult fără teste statistice. Metode utile:
- Interviuri cu utilizatori care parcurg fluxul sub ochii tăi.
- Teste de utilizabilitate cu cinci-șase persoane, în care observi unde se blochează.
- Schimbări mari, apoi comparație înainte/după cu prudență, ținând cont de sezon.
- Sondaje scurte în aplicație, la momentul în care utilizatorul pleacă.
Când traficul crește, poți trece treptat la teste A/B corecte, cu ipoteze bine formulate.
Întrebări frecvente
Cât ar trebui să dureze un test A/B?
Cât este nevoie ca să obții numărul de utilizatori calculat dinainte, de obicei pe un număr întreg de săptămâni. Nu îl opri înainte, chiar dacă o variantă pare câștigătoare.
Ce trafic minim am nevoie?
Depinde de rata de conversie actuală și de efectul pe care vrei să-l detectezi. Pentru diferențe mici sunt necesare mii de utilizatori pe variantă; pentru schimbări mari, mai puțini.
Pot testa mai multe lucruri deodată?
Poți, cu teste multivariate, dar necesită mult mai mult trafic. Pentru un startup, un singur element schimbat pe test este abordarea mai sigură.
Ce fac dacă rezultatul este neconcludent?
Păstrezi varianta mai simplă sau pe cea actuală și treci la o ipoteză cu un efect așteptat mai mare. Un rezultat fără diferență clară este tot o informație.
Am nevoie de un instrument special?
Nu neapărat. Există instrumente dedicate, dar un test simplu poate fi făcut și cu două pagini și o împărțire aleatorie, atât timp cât urmărești corect indicatorii.
