A/B test koji ima smisla: kako da znaš da li rezultat nije slučajnost

"Promenili smo CTA dugme i konverzija je skočila 20%!" Možda. A možda je to bila slučajnost. Većina A/B testova koje vidimo nije validna · premali sample, prerano zaustavljen, pogrešna hipoteza. Loš A/B test je gori od nikakvog · jer te tera da donosiš odluke na osnovu šuma. Vodič kroz pravilan setup.

Kada A/B test ima smisla

• Imaš dovoljan saobraćaj (minimum 1.000 posetilaca na varijantu mesečno)
• Promena je dovoljno velika da očekuješ 10%+ razlike u rezultatu
• Imaš jasnu hipotezu zašto ti se promena isplati
• Možeš da postaviš tracking koji meri pravu metriku (ne samo CTR, već konverziju)

Ako bilo gde je "ne" · A/B test nije za tebe sad. Bolje fokusirati se na druge stvari (više saobraćaja, popravljanje očiglednih problema).

Šta da testiraš · po prioritetu uticaja

Visok uticaj · uvek vredi testirati

• Hero naslov (H1) sajta
• Headline oglasa u kampanji
• Tekst primarnog CTA dugmeta
• Pricing struktura (jedan plan vs 3 plana, mesečno vs godišnje)
• Lead form: dužina (3 polja vs 6 polja)

Najbolje rezultate na testovima daju promene na hero sekciji i tekstu CTA dugmeta · oba imaju framework-e u zasebnim vodičima.

Srednji uticaj · ako visok je već testiran

• Boja CTA dugmeta
• Pozicija CTA-a (iznad/ispod hero teksta)
• Tip social proof-a (logoi vs testimonial)
• Dužina landing stranice (kratka vs duga)

Nizak uticaj · često gubitak vremena

• Tačan nijans boje dugmeta
• Font koji koristiš
• Tačno ime sekcije ('Cene' vs 'Plaćanje')
• Stock fotografija A vs stock fotografija B

Kako da postaviš pravilan A/B test · 5 koraka

1. Definiši hipotezu PRE testa

Formula: "Ako promenim X, očekujem Y zato što Z."

Primer: "Ako zamenim 'Saznaj više' sa 'Zatraži ponudu za 24h' na primarnom CTA, očekujem 15-25% više klikova zato što govori konkretan ishod i vremenski okvir."

Bez hipoteze, test nije nauka · samo random pucanje.

2. Izračunaj sample size pre starta

Alat: optimizely.com/sample-size-calculator (besplatno). Unesi:

• Baseline conversion rate (npr. 3%)
• Minimum detectable effect (npr. 15%)
• Statistical significance (95% standardno)

Dobićeš broj posetilaca po varijanti koji ti treba. Često je oko 5.000-15.000 posetilaca po varijanti za male razlike. Ako nemaš toliko · test je premali da bi bio validan.

3. Testiraj jednu stvar po testu

Ako menjaš naslov + boju + sliku odjednom, ne znaš šta je donelo razliku. Jedan element po testu. Ako želiš da testiraš više · radiš sekvencijalno, ne paralelno.

4. Pusti test pun ciklus, ne ranije

Minimum 1 nedelja (da pokriješ celu nedelju ponašanja korisnika · utorak je drugačiji od subote). Idealno 2-4 nedelje. Ne zaustavi test rano čak i ako vidiš "očiglednu pobedu" · prerano zaustavljen test je matematski neispravan.

5. Tumači rezultat sa statističkom značajnošću

Većina A/B alata ti pokaže statistical significance(p-value). Pravilo: ne donosi odluku ako je p-value veći od 0.05 (95% confidence). Pod tim pragom · rezultat može biti slučajnost.

Alati · šta da koristiš

• Google Optimize · gašen (RIP), tražite alternativu
• VWO (besplatno do 50.000 visitors mesečno) · solidno za male biznise
• Convert.com · za srednje biznise sa ozbiljnim CRO budžetom
• PostHog Experiments (besplatno do 1M events) · open source, za tech biznise
• Server-side A/B testing (custom code) · najfleksibilnije, treba developer

Najčešće greške · koje pretvaraju test u šum

• Zaustavljanje testa kad jedna varijanta ima 'vodjstvo' (pobedjeni hit-trate u jednom danu nije signal)
• Test za vreme sezonskih anomalija (Crni petak, Nova godina, državni praznici)
• Test sa nejednako podeljenim saobraćajem (70/30 traffic split umesto 50/50)
• Cherry-picking metrike (testirao si konverziju, gledaš CTR samo jer si tako 'pobedio')
• Ne dokumentuješ test (ne znaš za 3 meseca šta si testirao i zašto)

A/B test je moćan alat kada se primeni pravilno · sa dovoljno saobraćaja, jasnom hipotezom, jednom promenom po testu, i punim ciklusom. Bez tih elemenata, donosiš odluke na osnovu šuma · što je gore od neuračunavanja podataka uopšte.