Highrise od 37signals: test A/B ze zdjęciem klienta na stronie rejestracji

Test A/B Highrise z 2011 r. pokazał, że strona z dużym zdjęciem uśmiechniętej klientki i jej krótką wypowiedzią dała o 47% więcej płatnych rejestracji niż długa strona sprzedażowa, która wcześniej wygrała z oryginałem o 37,5% rejestracji. Popularna liczba +102,5% nie jest wyjaśniona w treści wpisów 37signals, a wyników nie należy opisywać jako podwojenia.

Kontekst: Highrise, 37signals i seria „Behind the scenes”

Highrise to prosty system do zarządzania kontaktami i relacjami z klientami, rozwijany w 2011 r. przez 37signals – firmę znaną z Basecampa. Latem tego roku zespół opisał na firmowym blogu „Signal v. Noise” serię testów strony głównej Highrise w trzech wpisach:

• część 1 (21 lipca 2011 r.) – test długiej strony sprzedażowej,
• część 2 (2 sierpnia 2011 r.) – opis metodyki autorstwa analityka danych Noaha Loranga,
• część 3 (23 sierpnia 2011 r.) – wyniki strony ze zdjęciem klienta i wnioski.

Seria była nietypowa, bo firma pokazała nie tylko zwycięzcę, ale też warianty przegrane i sposób liczenia. Dlatego wciąż jest cytowana w materiałach o optymalizacji konwersji – często w uproszczonej, a czasem przekręconej formie.

Etap 1: długa strona sprzedażowa kontra oryginał

Punktem wyjścia była strona główna, która działała od około roku. Zespół podejrzewał, że odwiedzający nie rozumieją, do czego służy Highrise. Projektant serwisu i Ryan Singer z 37signals przygotowali wersję w stylu długiego listu sprzedażowego, zainspirowaną wpisem twórców narzędzia Visual Website Optimizer. Zamiast spierać się, która wersja jest lepsza, uruchomili test.

Od maja 2011 r. ponad 42 tys. odwiedzających zobaczyło oryginał albo długą stronę (Long Form). Wynik: o 37,5% więcej rejestracji netto w wersji Long Form. Autor przyznał, że rezultat był zaskakujący, i zastrzegł, że zespół nie wie dokładnie, który element zadziałał – zmieniło się niemal wszystko, od nagłówka po układ.

Jak 37signals mierzyło wyniki

Drugi wpis wyjaśnia, dlaczego liczby z tej serii są bardziej wiarygodne niż typowe „case studies” z sieci. Noah Lorang opisał narzędzia i zasady:

1. Warianty uruchamiano w narzędziu Optimizely, a każdy odwiedzający dostawał znacznik testu i wariantu.
2. Znacznik zapisywano przy rejestracji w wewnętrznym systemie rozliczeń, więc można było sprawdzić nie tylko, czy ktoś się zarejestrował, ale też na jaki plan.
3. Analizowano całą ścieżkę: wejście na stronę z planami, wejście do formularza, ukończenie rejestracji.
4. Dla każdej grupy liczono odsetek płatnych planów, średnią cenę planu i wartość miesięczną w przeliczeniu na odwiedzającego.
5. Przed testem wyliczano wielkość próby potrzebną do wykrycia różnicy rzędu 10% i prowadzono test do jej osiągnięcia, zamiast kończyć go przy pierwszym wyniku istotnym statystycznie.

Ostatni punkt ma duże znaczenie. Przerywanie testu w chwili, gdy wynik „wygląda dobrze”, to jedna z najczęstszych przyczyn fałszywych zwycięzców. Wielkość próby przed startem możesz oszacować w kalkulatorze istotności testu A/B.

Etap 2: strona ze zdjęciem klientki

Następnie zespół przetestował radykalnie inną wersję, nazwaną stroną „Person”. Była znacznie krótsza od Long Form, zawierała mniej informacji o produkcie, a jej centralnym elementem było duże zdjęcie uśmiechniętej klientki Highrise – Jocelyn z firmy One Design – z krótką, bezpośrednią wypowiedzią.

Dwa ostatnie wiersze są równie ciekawe jak zwycięzca. Dodanie pod zdjęciem dodatkowych informacji o produkcie wyraźnie pogorszyło wynik, co sugeruje, że w tym przypadku pomagała także zwięzłość. A zamiana Jocelyn na pięciu innych klientów (Michaela, Willa, Johna, Mari i Briana) nie zmieniła wyraźnie rezultatu. Autor podsumował to krótko: duże zdjęcia uśmiechniętych klientów działają, a konkretna osoba wśród przetestowanych nie miała większego znaczenia.

Dlaczego duże zdjęcie klienta mogło zadziałać

37signals nie badało przyczyn, ale wyniki dają się wyjaśnić kilkoma hipotezami, które warto sprawdzać we własnych testach:

• Dowód, że produkt ma prawdziwych użytkowników. Twarz i imię konkretnej osoby są trudniejsze do zbycia niż ogólne zapewnienia o zaletach. Dla nowego odwiedzającego to sygnał, że ktoś taki jak on już korzysta z aplikacji.
• Jeden wyraźny komunikat. Strona „Person” mówiła mniej, ale prościej. Długa strona tłumaczyła produkt, krótka – pokazywała efekt w życiu klienta.
• Uwaga skupiona na wezwaniu do działania. Mniej treści oznaczało mniej powodów, by odłożyć decyzję i zacząć porównywać.

Każda z tych hipotez prowadzi do innego testu. Pierwszą sprawdzisz, porównując to samo zdjęcie z podpisem i bez niego, drugą – testując długość strony przy stałym zdjęciu, trzecią – mierząc, ilu odwiedzających dociera do formularza.

Zdjęcie połączone z wypowiedzią to klasyczny testimonial. Jak łączyć wizerunek klienta z konkretnym cytatem, opisujemy w tekście o cytacie klienta przy logotypie, a dlaczego ludzie ufają twarzom podobnym do własnej – w artykule o efekcie podobieństwa.

Skąd się wzięło +102,5% i dlaczego nie piszemy o „podwojeniu”

W branżowych zestawieniach przypadków test Highrise opisywany jest często tak: „dodanie zdjęcia uśmiechniętej kobiety zwiększyło konwersję o 102,5%”. Tej liczby nie ma w treści żadnego z trzech wpisów. Pojawia się w dyskusji pod trzecim z nich – jeden z czytelników nazywa zwycięski wariant „stroną 102,5%” – ale autorzy nigdzie nie wyjaśniają w tekście, wobec którego wariantu i dla jakiego wskaźnika ją policzono.

Kusi też prosty rachunek: skoro Long Form dał +37,5%, a „Person” +47% względem Long Form, to 1,375 × 1,47 daje około 2,02, czyli „podwojenie”. Takie mnożenie jest błędem:

• pierwszy wynik dotyczy rejestracji netto, drugi – płatnych rejestracji,
• testy przeprowadzono w różnym czasie, na innym ruchu i względem innych wariantów bazowych,
• strona „Person” nie była nigdy – według treści wpisów – porównywana bezpośrednio z oryginałem na tym samym wskaźniku.

Dlatego w tej teczce opieramy się wyłącznie na dwóch udokumentowanych liczbach: +37,5% rejestracji netto (Long Form vs oryginał) i +47% płatnych rejestracji (strona ze zdjęciem vs Long Form).

Jeśli przywołujesz ten przypadek w prezentacji, ofercie czy artykule, podawaj zawsze trzy elementy: co porównywano, jaki wskaźnik mierzono i kiedy przeprowadzono test. Zdanie „strona ze zdjęciem klientki dała w 2011 r. o 47% więcej płatnych rejestracji niż długa strona sprzedażowa” jest prawdziwe i sprawdzalne. Zdanie „zdjęcie podwoiło konwersję” – nie.

Co ten test mówi, a czego nie

Seria 37signals to dobry materiał edukacyjny, ale wnioski trzeba formułować ostrożnie.

Co wiadomo: w 2011 r., dla tego produktu i tego ruchu, krótka strona z dużym zdjęciem klienta i jego wypowiedzią przyniosła więcej płatnych rejestracji niż długa strona sprzedażowa, a dokładanie treści pod zdjęciem szkodziło.

Czego nie wiadomo: jaki był udział samego zdjęcia. Wariant „Person” różnił się od Long Form długością, nagłówkiem, ilością informacji i obecnością cytatu. Komentatorzy zauważali też, że w teście różnych klientów razem ze zdjęciami zmieniały się wypowiedzi. Wpisy nie podają wartości istotności ani surowych liczb rejestracji, a autor sam przestrzegał: to, co działa u nas, może nie zadziałać u was.

Kontrprzykładem jest test komunikatów w brytyjskim rejestrze dawców, w którym ogólne zdjęcie grupy ludzi obniżyło skuteczność prośby. Różnica między portretem konkretnego klienta a anonimowym obrazem ze stocku może mieć tu kluczowe znaczenie.

Ten sam wpis z 2016 r. opisuje przywrócenie bardziej szczegółowej strony z planami, po którym płatne rejestracje wzrosły o 51,4%, a nowy przychód o 67,6%. To przypomnienie, że zwięzłość nie jest regułą uniwersalną – na stronie z cenami klienci potrzebowali więcej informacji. O tym, jak wyróżniać plany w cenniku, piszemy w tekście o plakietce „Najpopularniejszy” w cenniku SaaS.

Jak powtórzyć test ze zdjęciem klienta u siebie

1. Wybierz wskaźnik biznesowy – płatne rejestracje, zamówienia, przychód na odwiedzającego – zanim uruchomisz test.
2. Wylicz wielkość próby i nie przerywaj testu wcześniej.
3. Testuj jeden element naraz: najpierw samo zdjęcie przy tej samej treści, potem cytat, potem długość strony.
4. Używaj prawdziwych klientów z imieniem i zgodą na wykorzystanie wizerunku; zasady opisuje artykuł o testimonialach a RODO i wizerunku.
5. Sprawdź kilka osób na zdjęciu, by oddzielić efekt formatu od efektu konkretnej twarzy.
6. Wybierz narzędzie, które pozwala powiązać wariant z danymi o płatności – przegląd zawiera tekst o narzędziach do testów A/B.
7. Opisz wynik precyzyjnie: wariant, wariant bazowy, wskaźnik, okres i próbę.

Pełną procedurę przygotowania takich eksperymentów opisuje poradnik o testowaniu elementów zaufania, a listę elementów wartych sprawdzenia – checklista sekcji social proof na landing page. Wynik Highrise jest jednym z pozycji w naszym przeglądzie 30 udokumentowanych badań i przypadków, gdzie zestawiamy go z badaniami o innym poziomie wiarygodności. To dobry przykład testu A/B, z którego więcej uczy metoda niż sam procent.