Kalkulator istotności testu A/B: czy wynik nie jest przypadkiem

Kalkulator istotności testu A/B sprawdza, czy różnica w konwersji między dwoma wariantami strony jest na tyle duża, że trudno ją wytłumaczyć przypadkiem. Wpisujesz liczbę użytkowników i konwersji w wariantach A i B, a kalkulator wykonuje dwustronny test z dla dwóch proporcji i podaje wartość p. Wynik poniżej 0,05 oznacza istotność statystyczną na poziomie ufności 95%.

Jak korzystać z kalkulatora istotności testu A/B

Kalkulator ma cztery pola – po dwa dla każdego wariantu. Wynik przelicza się od razu po zmianie dowolnej liczby.

Liczby wpisuj bez spacji: 12500, a nie 12 500. Kalkulator nie przyjmie liczby konwersji większej niż liczba użytkowników – to zabezpieczenie przed częstym błędem, gdy ktoś wpisuje zamówienia, a jeden klient złożył ich kilka.

Wynik ma dwie części. Nagłówek mówi, czy różnica jest istotna statystycznie. Pod nim widać konwersję obu wariantów, zmianę względną, wartość p i statystykę z. Domyślny przykład – 5000 użytkowników i 150 konwersji w A wobec 5000 i 185 w B – daje konwersję 3,00% wobec 3,70%, zmianę względną +23,3%, wartość p 0,0518 i werdykt „Brak istotnej różnicy”. Wzrost o prawie jedną czwartą nie wystarczył, bo próba była za mała.

Kalkulator ocenia test już zakończony. Wielkość próby trzeba zaplanować przed startem – metodę i tabelę z wymaganą liczbą użytkowników opisujemy w poradniku o testowaniu elementów zaufania na stronie.

Co liczy kalkulator: test z dla dwóch proporcji krok po kroku

Obliczenie przebiega w czterech krokach:

1. Konwersje wariantów: p_A = konwersje A / użytkownicy A, p_B = konwersje B / użytkownicy B.
2. Konwersja łączna: p = (konwersje A + konwersje B) / (użytkownicy A + użytkownicy B). To najlepszy szacunek konwersji przy założeniu, że warianty się nie różnią.
3. Błąd standardowy różnicy: SE = √[p × (1 − p) × (1/n_A + 1/n_B)].
4. Statystyka i wartość p: z = (p_B − p_A) / SE, a wartość p to prawdopodobieństwo, że z rozkładu normalnego wypadnie wynik co najmniej tak odległy od zera w którąkolwiek stronę.

Przykład obliczeniowy dla domyślnych danych: p_A = 150 / 5000 = 3,0%, p_B = 185 / 5000 = 3,7%. Konwersja łączna wynosi 335 / 10 000 = 3,35%. Błąd standardowy: √(0,0335 × 0,9665 × 0,0004) ≈ 0,0036, czyli 0,36 pkt proc. Statystyka z = 0,7 / 0,36 ≈ 1,95. Dla testu dwustronnego granica istotności to 1,96, więc wynik minimalnie jej nie przekracza – wartość p wynosi około 0,052.

Test jest dwustronny: sprawdza, czy B różni się od A w którąkolwiek stronę. To uczciwsze założenie, bo zmiana elementu zaufania może też zaszkodzić, np. nachalne powiadomienia o zakupach potrafią obniżyć konwersję. Jak sprawdzać takie elementy, opisujemy w tekście o aplikacjach social proof popup.

Ten sam wzrost, inny werdykt: przykłady obliczeń

Istotność zależy od dwóch rzeczy naraz: wielkości różnicy i wielkości próby. Ta sama poprawa konwersji może być przypadkiem w małym teście i pewnym wynikiem w dużym.

Z tabeli płyną dwa wnioski. Po pierwsze, nawet wzrost o połowę przy tysiącu użytkowników na wariant może nie wystarczyć – mała próba nie odróżni dużego efektu od szczęśliwego tygodnia. Po drugie, przy ogromnej próbie istotny staje się nawet wzrost o 5%, co nie znaczy, że jest wart wdrożenia. Dlatego oprócz wartości p trzeba patrzeć na wielkość efektu.

Przedział ufności: ile naprawdę może dać zwycięzca

Wartość p mówi, czy różnica jest prawdopodobnie prawdziwa. Przedział ufności mówi, jak duża może być. 95-procentowy przedział dla różnicy konwersji liczy się jako (p_B − p_A) ± 1,96 × SE, gdzie SE to błąd standardowy liczony osobno dla każdego wariantu: √[p_A(1 − p_A)/n_A + p_B(1 − p_B)/n_B].

Przykład obliczeniowy: przy 10 000 użytkowników na wariant i konwersji 3,0% wobec 3,7% przedział różnicy wynosi od około 0,2 do 1,2 pkt proc. W ujęciu względnym to wzrost od około 7% do 40%. Wariant B prawie na pewno jest lepszy, ale realny efekt może być skromny. Jeśli wdrożenie zmiany jest kosztowne, planuj według dolnej granicy, a nie według najlepszego scenariusza. Przy domyślnych danych kalkulatora (5000 na wariant) ten sam przedział zaczyna się tuż poniżej zera – stąd brak istotności.

Po wdrożeniu zwycięskiego wariantu obserwuj wynik w danych analitycznych – efekt z testu często słabnie, gdy zmiana obejmuje cały ruch. Metodę monitorowania opisuje poradnik o mierzeniu wpływu opinii na sprzedaż w GA4.

Pięć błędów, przez które „istotny” wynik bywa przypadkiem

Kalkulator poprawnie policzy każde dane, które dostanie. Jeśli dane pochodzą z wadliwie przeprowadzonego testu, poprawne obliczenie da błędny wniosek.

1. Podglądanie i wczesne zatrzymanie. Sprawdzanie wyników codziennie i kończenie testu w dniu, w którym p spadło poniżej 0,05, znacząco zwiększa odsetek fałszywych zwycięzców. Test z zakłada jeden pomiar po zebraniu zaplanowanej próby. Narzędzia z testami sekwencyjnymi pozwalają zaglądać częściej, ale tylko w swoich panelach, nie w tym kalkulatorze.
2. Niezgodna proporcja użytkowników. Przy planowanym podziale 50/50 wynik 5000 do 4800 daje w teście chi-kwadrat wartość p około 0,04 – to sygnał, że przydział do wariantów działa wadliwie, np. skrypt wariantu B nie ładuje się na części urządzeń. Taki test trzeba naprawić, a nie analizować. Podział 5050 do 4950 mieści się w normie (p około 0,32).
3. Wiele porównań. Każde porównanie na poziomie 0,05 daje 5% szans na fałszywy alarm. Przy pięciu niezależnych porównaniach – wariantach, segmentach, wskaźnikach – szansa na co najmniej jeden fałszywy „sukces” rośnie do około 23%, przy dziesięciu do 40%. Najprostsza korekta (Bonferroniego) to podzielenie progu przez liczbę porównań, np. 0,05 / 5 = 0,01.
4. Zła jednostka analizy. Liczenie sesji zamiast użytkowników albo zamówień zamiast kupujących łamie założenie niezależnych obserwacji i zaniża wartość p. Do porównania średniej wartości zamówienia czy przychodu na użytkownika ten kalkulator się nie nadaje – to inne miary, wymagające innych testów.
5. Za krótki test i efekt nowości. Test trwający kilka dni nie obejmuje pełnego cyklu tygodnia, a powracający użytkownicy reagują na każdą zmianę samą jej nowością. Prowadź testy przez pełne tygodnie, zwykle co najmniej dwa.

Klasycznym przykładem ostrożnej interpretacji jest test A/B Highrise ze zdjęciem klienta: wariant wygrał, ale zmieniono w nim kilka elementów naraz, więc wynik nie mówi, który z nich zadziałał.

Dlaczego narzędzie do testów może pokazać inny wynik

Jeśli wpiszesz do kalkulatora dane z narzędzia testowego, wynik może się różnić od tego, co pokazuje panel. Nie musi to oznaczać błędu.

Przy domyślnych danych kalkulatora test jednostronny dałby wartość p około 0,026 i werdykt „istotny”. To pokazuje, dlaczego metodę trzeba wybrać przed testem, a nie dopasowywać po fakcie. Przegląd narzędzi i ich podejścia do statystyki znajdziesz w zestawieniu narzędzi do testów A/B po Google Optimize.

Najczęściej testowane elementy dowodu społecznego to położenie opinii w karcie produktu – zasady opisuje tekst o tym, gdzie wyświetlać opinie – oraz logotypy klientów na stronach kampanii, omówione w artykule o logotypach na landing page. Zanim zaczniesz testować sposób prezentacji ocen, upewnij się, że masz co pokazać: system opinii wybierzesz z porównania narzędzi do zbierania opinii, a cel dla średniej policzysz w kalkulatorze średniej oceny.

Jak czytać wynik testu – checklista

1. Przed startem zapisz hipotezę, wskaźnik główny, wielkość próby i czas trwania testu A/B.
2. Po zakończeniu sprawdź proporcję użytkowników w wariantach – przy wyraźnym odchyleniu od planu nie analizuj wyniku.
3. Wpisz do kalkulatora użytkowników i użytkowników z konwersją, nie sesje i nie zamówienia.
4. Odczytaj wartość p, ale oceń też przedział ufności i przelicz go na pieniądze.
5. Jeśli porównujesz kilka wariantów lub segmentów, obniż próg istotności.
6. Wynik nieistotny traktuj jako informację: efekt jest mniejszy, niż test potrafił wykryć.
7. Zwycięzcę wdrażaj, a jego efekt obserwuj w danych analitycznych przez kolejne tygodnie.
8. Zapisz wynik w rejestrze testów razem z datami, próbą i zrzutami ekranu wariantów.