Pytanie „ile trwa test A/B” ma jedną uczciwą odpowiedź: to zależy od ruchu, konwersji bazowej i od tego, jak dużą różnicę chcesz w ogóle wykryć. Przy 5000 sesji miesięcznie ta odpowiedź brzmi zwykle „dłużej, niż jesteś w stanie czekać”. Poniżej liczymy to na konkretnych liczbach, bez zaokrąglania w stronę marketingowego optymizmu.
Punkt wyjścia jest prosty i nieprzyjemny. Sklep z 5000 sesji miesięcznie i konwersją 2 procent zbiera około 100 transakcji na miesiąc, czyli po 50 na wariant. Statystyka potrzebuje ich o rząd wielkości więcej, żeby odróżnić prawdziwą poprawę od szumu.
Od czego zależy czas trwania testu
Czas testu wynika z czterech parametrów, a nie z kalendarza kampanii. Trzeba znać je wszystkie, zanim ktokolwiek uruchomi eksperyment.
- Ruch kierowany do testu. Nie cały ruch serwisu, tylko ten, który realnie widzi testowany element. Test na karcie produktu dostaje ułamek 5000 sesji, nie całość.
- Konwersja bazowa. Im niższa, tym więcej obserwacji potrzeba. Przejście z 2 na 4 procent bazy skraca test mniej więcej dwukrotnie.
- MDE (minimalna wykrywalna różnica). Deklaracja, jak dużą poprawę chcesz umieć zauważyć. To najczęściej ignorowany parametr i jednocześnie ten, który decyduje o wszystkim.
- Poziom istotności i moc testu. Standard branżowy to 95 procent istotności i 80 procent mocy. Obniżanie ich „żeby szybciej” oznacza po prostu częstsze mylne wnioski.
Do tego dochodzi pułapka jednostki pomiaru. Kalkulatory wielkości próby liczą użytkowników, a panele analityczne najczęściej raportują sesje. Jeśli jeden użytkownik generuje 1,4 sesji, realna próba jest o 30 procent mniejsza, niż wynika z raportu. Podobnych rozjazdów w danych jest więcej i warto je najpierw uporządkować: opisaliśmy to szczegółowo przy okazji sytuacji, gdy GA4 pokazuje mniej konwersji niż Google Ads.
Kalkulacja na przykładzie: 5000 sesji i 2 procent konwersji
Dla porównania dwóch proporcji przy istotności 95 procent i mocy 80 procent wielkość próby na wariant wylicza się z formuły opartej na sumie wariancji obu wersji podzielonej przez kwadrat różnicy między nimi. Szczegóły rachunku można odtworzyć w publicznym kalkulatorze wielkości próby Evana Millera. Poniżej wyniki dla konwersji bazowej 2 procent i podziału ruchu 50/50.
| Wzrost względny | Konwersja wariantu B | Próba na wariant | Łączny ruch | Czas przy 5000 sesji/mies. |
|---|---|---|---|---|
| +10% | 2,20% | 80 700 | 161 400 | ok. 32 miesiące |
| +20% | 2,40% | 21 100 | 42 200 | ok. 8,5 miesiąca |
| +30% | 2,60% | 9 800 | 19 600 | ok. 4 miesiące |
| +50% | 3,00% | 3 800 | 7 600 | ok. 6 tygodni |
| +100% | 4,00% | 1 140 | 2 280 | ok. 2 tygodnie |
Wniosek jest jednoznaczny. Test wykrywający realistyczny wzrost rzędu 10 procent trwałby prawie trzy lata. W tym czasie zmieni się sezon, asortyment i ceny konkurencji, więc wynik byłby bezwartościowy. Sensowny horyzont, czyli 4–6 tygodni, domyka tylko zmiana podnosząca konwersję o połowę albo więcej.
MDE, czyli jak duża zmiana jest wykrywalna
Odwróćmy rachunek. Zamiast pytać, ile potrwa test, ustalmy z góry budżet czasowy i sprawdźmy, co da się w nim wykryć. To znacznie uczciwsza rozmowa z zarządem niż obietnica „przetestujemy i zobaczymy”.
| Czas trwania | Ruch na wariant | Wykrywalny wzrost względny |
|---|---|---|
| 1 miesiąc | 2 500 | ok. +63% |
| 3 miesiące | 7 500 | ok. +35% |
| 6 miesięcy | 15 000 | ok. +24% |
| 12 miesięcy | 30 000 | ok. +17% |
Miesięczny test wykrywa więc wyłącznie różnice ekstremalne. Raport po trzech tygodniach w stylu „wariant B jest lepszy o 12 procent, wdrażamy” opisuje nie wzrost, tylko przypadkową fluktuację, normalną przy 50 konwersjach na wariant.
Dlaczego przerywanie testu psuje wynik
Najczęstszy błąd przy małym ruchu to zaglądanie do wyników codziennie i zatrzymywanie testu w momencie, gdy istotność po raz pierwszy przekroczy 95 procent. Ta praktyka ma nazwę: peeking. Klasyczny test istotności zakłada jedno sprawdzenie, przy z góry ustalonej wielkości próby.
Konsekwencja jest policzalna. Przy codziennym podglądaniu przez miesiąc realny odsetek fałszywych alarmów rośnie z deklarowanych 5 procent do okolic 20–30 procent. Innymi słowy: co czwarty „zwycięski wariant” wygrywa wyłącznie w danych, a nie w rzeczywistości. Przy małym ruchu efekt jest jeszcze silniejszy, bo krzywa konwersji skacze mocniej i częściej przypadkiem przekracza próg.
Wyjścia są dwa: ustalić wielkość próby przed startem i twardo się jej trzymać, albo od razu zaprojektować eksperyment sekwencyjnie lub bayesowsko, bo te metody wielokrotny podgląd dopuszczają. Czego robić nie wolno: podglądać testu zaprojektowanego klasycznie.
Co testować przy małym ruchu zamiast przycisków
Skoro wykrywalne są tylko zmiany rzędu +50 procent, to testowanie koloru przycisku czy mikrokopii nie ma sensu. Takie zmiany dają zwykle jednocyfrowe wzrosty, których przy 5000 sesji nie da się odróżnić od zera. Testować warto rzeczy, które mogą wywrócić wynik.
- Całą stronę, nie element. Radykalnie inny układ, inna hierarchia argumentów, inna sekcja główna. Test „wariant A kontra kompletnie nowa strona” ma szansę przekroczyć MDE.
- Ofertę, nie opakowanie. Darmowa dostawa od niższego progu, inna gwarancja, inna forma płatności, pakiet zamiast pojedynczego produktu.
- Model cenowy. Rozłożenie ceny na raty albo abonament zamiast opłaty jednorazowej potrafią zmienić konwersję kilkukrotnie.
- Długość i liczbę kroków formularza. Skrócenie z siedmiu pól do trzech to zmiana kategorii, nie kosmetyka.
Przy stronach sprzedażowych zasilanych płatnym ruchem sensowniej jest najpierw wdrożyć sprawdzone wzorce konwersji, a dopiero potem testować odchylenia od nich. Zebraliśmy je w przeglądzie wzorców CRO dla landing page pod paid.
Testy na zdarzeniach pośrednich
Jeżeli transakcji jest za mało, można mierzyć zdarzenie położone wyżej w lejku. Dodanie do koszyka zdarza się zwykle 5–8 razy częściej niż zakup, rozpoczęcie formularza 3–5 razy częściej niż jego wysłanie. Wyższa częstość oznacza mniejszą wymaganą próbę i krótszy test.
Przy konwersji pośredniej na poziomie 12 procent zamiast 2 procent i tym samym ruchu 5000 sesji miesięcznie wykrycie wzrostu o 20 procent zajmuje około 5 tygodni zamiast 8,5 miesiąca. To różnica między eksperymentem wykonalnym a teoretycznym.
Cena tego skrótu jest realna. Zdarzenie pośrednie to tylko przybliżenie celu biznesowego: wariant zwiększający liczbę dodań do koszyka może obniżać średnią wartość zamówienia. Dlatego zdarzenie pośrednie jest metryką decyzyjną, a przychód i AOV metrykami zabezpieczającymi. Gdy metryka zabezpieczająca wyraźnie spada, wynik unieważniamy niezależnie od istotności na metryce głównej.
Kiedy zdecydować bez testu
Test A/B jest narzędziem do rozstrzygania sporów, w których obie strony mają argumenty. Przy małym ruchu większość decyzji do tej kategorii nie należy i można je podjąć taniej.
- Naprawa oczywistych błędów. Formularz nie działa na iOS, koszt dostawy pojawia się dopiero w ostatnim kroku, strona ładuje się 6 sekund. Tego się nie testuje, tylko naprawia.
- Zgodność ze standardem branżowym. Jeśli 90 procent konkurencji pokazuje koszt dostawy na karcie produktu, ryzyko, że akurat u nas zaszkodzi, jest niskie.
- Badania jakościowe. Pięć sesji z użytkownikami, nagrania sesji i mapy kliknięć wskażą problem szybciej i taniej niż półroczny eksperyment.
- Decyzje odwracalne. Zmianę, którą da się cofnąć w dziesięć minut, wdraża się i obserwuje trend.
Warto też spojrzeć na koszt alternatywny. Kwartał trzymania połowy ruchu na gorszym wariancie to realna strata przychodu, a w kampaniach płatnych także przepalony budżet mediowy. Przy niewielkich budżetach ten rachunek zwykle wypada na niekorzyść testowania, o czym piszemy szerzej przy podziale budżetu 3000 zł miesięcznie w Google Ads.
Podsumowując: przy 5000 sesji miesięcznie testowanie A/B nie jest zakazane, ale jest wąskie. Wykrywa wyłącznie zmiany duże, wymaga zdefiniowania MDE przed startem i nie toleruje podglądania wyników. Wszystko poniżej tego progu warto rozstrzygać badaniami jakościowymi, standardami branżowymi i zwykłym rozsądkiem operacyjnym. Formalne podstawy metody opisuje hasło Testy A/B w Wikipedii.
FAQ
Ile minimalnie powinien trwać test A/B?
Niezależnie od wielkości próby test powinien objąć co najmniej dwa pełne cykle tygodniowe, czyli minimum 14 dni. Zachowanie użytkowników różni się między dniem roboczym a weekendem, więc krótszy okres wprowadza systematyczne obciążenie. Górnej granicy technicznej nie ma, ale powyżej 6–8 tygodni rośnie ryzyko, że rynek albo sam serwis zdążą się zmienić.
Czy 5000 sesji miesięcznie wystarczy na test A/B?
Wystarczy wyłącznie do wykrywania dużych zmian. W miesiąc wykryjesz wzrost konwersji rzędu 60 procent, w kwartał około 35 procent. Typowe optymalizacje dają kilka procent i przy takim ruchu pozostają niemierzalne.
Co to jest MDE i jak je ustalić?
MDE to minimalna różnica między wariantami, którą test jest w stanie wykryć przy zadanej próbie, istotności i mocy. Ustala się je przed startem, wychodząc od progu opłacalności: jaka poprawa uzasadnia koszt wdrożenia zmiany. Jeśli wyliczone MDE jest wyższe niż realistyczny efekt zmiany, testu nie warto uruchamiać.
Czy można zatrzymać test wcześniej, gdy jeden wariant wyraźnie prowadzi?
W teście zaprojektowanym klasycznie nie. Wcześniejsze zatrzymanie po osiągnięciu progu istotności podnosi odsetek fałszywych wyników z 5 procent do 20–30 procent. Jeżeli chcesz mieć możliwość wcześniejszego zamknięcia, zaprojektuj eksperyment sekwencyjnie albo bayesowsko od samego początku.
Czy test wielowariantowy skróci czas przy małym ruchu?
Nie, wydłuży go. Każdy dodatkowy wariant dzieli ten sam ruch na mniejsze części i wymaga korekty na wielokrotne porównania. Przy 5000 sesji miesięcznie sensowny jest wyłącznie klasyczny podział A/B na dwie wersje.
Co zamiast testu A/B przy niskim ruchu?
Testy na zdarzeniach pośrednich (dodanie do koszyka, rozpoczęcie formularza), badania jakościowe z użytkownikami, analiza nagrań sesji i map kliknięć oraz porównania przed i po dla zmian odwracalnych. Żadna z tych metod nie daje pewności statystycznej, ale wszystkie działają w tygodniach, nie w kwartałach.