Test A/B
Teczka nr 014, Sektor publiczny i energia
| Wskaźnik | Przed | Po |
|---|---|---|
| Rejestracje: komunikat o tysiącach osób bez zdjęcia i ze zdjęciem tłumu | ok. 2,9% | ok. 2,2% |
GOV.UK, 2013 r., 5 tygodni, ponad 135 tys. odwiedzających na wariant
Case studiesTeczka nr 014
W 2013 r. brytyjski rząd przetestował osiem wersji prośby o zapis do rejestru dawców narządów na stronie odwiedzanej przez ponad milion osób. Zdanie o tysiącach ludzi, którzy rejestrują się każdego dnia, zwiększyło liczbę zapisów. Ta sama treść uzupełniona zdjęciem grupy ludzi wypadła gorzej niż prosta prośba. Wyjaśniamy, co dokładnie zmierzono i jakie wnioski płyną z tego dla marketingu.
Test A/B
Teczka nr 014, Sektor publiczny i energia
| Wskaźnik | Przed | Po |
|---|---|---|
| Rejestracje: komunikat o tysiącach osób bez zdjęcia i ze zdjęciem tłumu | ok. 2,9% | ok. 2,2% |
GOV.UK, 2013 r., 5 tygodni, ponad 135 tys. odwiedzających na wariant
Eksperyment z rejestrem dawców narządów to przykład, w którym dowód społeczny jednocześnie zadziałał i zawiódł. Zdanie o tysiącach osób rejestrujących się każdego dnia zwiększyło odsetek zapisów z 2,3% do około 2,9%, ale ta sama treść ze zdjęciem grupy ludzi spadła do około 2,2% – poniżej prostej prośby. Test objął ponad milion osób w 2013 r.
Brytyjski Krajowy Rejestr Dawców Narządów prowadzi NHS Blood and Transplant (NHSBT). Problem, z którym się mierzył, jest dobrze znany marketerom: wiele osób popiera ideę, ale nie robi kroku, który wymaga kilku kliknięć. Między deklaracją a działaniem jest luka, a najtańszym sposobem jej zmniejszenia jest prośba w dobrym miejscu i we właściwej formie.
Takie miejsce znaleziono na portalu GOV.UK. Po zakończeniu sprawy online – opłaceniu podatku od pojazdu albo załatwieniu formalności związanych z prawem jazdy – użytkownik trafiał na stronę z zaproszeniem do rejestru. Test przygotował zespół Behavioural Insights Team we współpracy z NHSBT, Government Digital Service, Departamentem Zdrowia i urzędem DVLA, który zajmuje się prawami jazdy i rejestracją pojazdów.
Raport „Applying Behavioural Insights to Organ Donation” opublikowano 24 grudnia 2013 r. Autorzy określili test jako jeden z największych randomizowanych eksperymentów przeprowadzonych w Wielkiej Brytanii.
Wybór miejsca nie był przypadkowy. Użytkownik, który właśnie zakończył sprawę urzędową, nie ma już zadania do wykonania, a jest zalogowany i w trybie „załatwiania spraw”. To moment, w którym dodatkowa prośba nie przeszkadza w głównym celu wizyty. Ta sama logika obowiązuje w e-commerce: prośba o zapis do newslettera, opinię czy program poleceń działa najlepiej na stronie z potwierdzeniem zamówienia, a nie w trakcie wypełniania formularza płatności.
Przez pięć tygodni odwiedzający byli losowo przydzielani do jednej z ośmiu wersji strony. Według aneksu technicznego komunikaty zobaczyło 1 085 322 osoby, czyli ponad 135 tys. na wariant. Taka próba pozwala wychwycić różnice rzędu dziesiątych części punktu procentowego.
| Wariant | Treść (w tłumaczeniu) | Odsetek rejestracji |
|---|---|---|
| 1. Kontrola | „Prosimy, zapisz się do rejestru dawców narządów NHS” | 2,3% |
| 2. Norma społeczna | „Każdego dnia tysiące osób, które widzą tę stronę, decydują się zarejestrować” | ok. 2,9% |
| 3. Norma + zdjęcie | treść wariantu 2 i zdjęcie grupy ludzi | ok. 2,2% |
| 4. Norma + logo | treść wariantu 2 i logo NHSBT | ok. 2,9–3,0% |
| 5. Strata | „Każdego dnia trzy osoby umierają, bo brakuje dawców narządów” | ok. 3,1% |
| 6. Zysk | „Jako dawca możesz uratować lub odmienić życie nawet 9 osób” | ok. 2,9% |
| 7. Wzajemność | „Gdybyś potrzebował przeszczepu, czy przyjąłbyś go? Jeśli tak, pomóż innym” | ok. 3,2% |
| 8. Działanie | odwołanie do rozdźwięku między poparciem a działaniem | ok. 2,8–2,9% |
Raport nie podaje dokładnych odsetków dla każdego wariantu w tekście – wartości przybliżone wynikają z oszacowań regresji w aneksie technicznym. Kolejność i istotność różnic są jednak opisane wprost.
Najlepszy okazał się wariant 7, odwołujący się do wzajemności. Istotnie wyprzedził wszystkie pozostałe z wyjątkiem komunikatu o stracie – różnica między tymi dwoma nie była istotna statystycznie. W czasie testu wariant wzajemności dał 1203 rejestracje więcej niż wersja kontrolna. Autorzy oszacowali, że przy stałych pozostałych warunkach oznaczałoby to około 96 000 dodatkowych zapisów rocznie. Mechanizm tej reguły opisujemy w tekście o zasadach wpływu Cialdiniego.
Komunikat z normą społeczną (wariant 2) również istotnie zwiększył liczbę rejestracji. To potwierdza wyniki znane z innych badań, m.in. z listów brytyjskiego fiskusa o terminowym płaceniu podatków, które przygotowywał ten sam zespół.
Ciekawe jest też zestawienie wariantów 5 i 6. Ta sama informacja o korzyściach z dawstwa podana jako strata („trzy osoby umierają każdego dnia”) dała wyższy odsetek rejestracji (ok. 3,1%) niż podana jako zysk („możesz uratować nawet 9 osób”, ok. 2,9%). Kierunek jest zgodny z obserwacją, że perspektywa straty silniej motywuje do działania, choć w komunikacji komercyjnej łatwo tu przekroczyć granicę straszenia.
Zaskoczeniem był wariant 3. Dodanie zdjęcia grupy ludzi do skutecznego zdania nie wzmocniło efektu, lecz go odwróciło: był to jedyny wariant, który istotnie obniżył odsetek rejestracji w porównaniu z prostą prośbą. Dla kontrastu wariant 4, z tym samym tekstem i logo NHSBT, istotnie zwiększył liczbę zapisów.
Najważniejsze zastrzeżenie: test nie badał przyczyn. Wiemy, co się stało, ale nie wiemy dlaczego. Autorzy raportu podali jedną hipotezę, a w literaturze pojawiają się kolejne:
Żadna z tych hipotez nie została potwierdzona w tym badaniu. Warto je jednak znać, bo każda prowadzi do innego wniosku projektowego: pierwsza – do zastąpienia stockowych zdjęć autentycznymi, druga – do upraszczania strony, trzecia – do formułowania komunikatu tak, by podkreślał rolę odbiorcy.
Wynik z rejestru dawców bywa cytowany jako dowód, że zdjęcia ludzi obniżają konwersję. To nadinterpretacja. W innych testach efekt był odwrotny – w serii testów strony Highrise wariant z dużym zdjęciem klientki i jej wypowiedzią poprawił wyniki.
| Cecha zdjęcia | Rejestr dawców (wariant 3) | Highrise |
|---|---|---|
| Kto na zdjęciu | anonimowa grupa ze stocku | konkretna klientka z imieniem |
| Związek z treścią | ilustracja ogólnego zdania | portret autorki cytowanej opinii |
| Kontekst | komunikat urzędowy | strona produktu |
| Wynik | spadek względem kontroli | poprawa wyników |
Różnice w tabeli sugerują – choć nie dowodzą – że liczy się autentyczność i powiązanie obrazu z przekazem. Klienci ufają ludziom podobnym do siebie i rozpoznawalnym jako prawdziwi; ten mechanizm opisuje artykuł o efekcie podobieństwa. Z tego powodu problematyczne mogą być także wygenerowane przez AI „zdjęcia klientów”, o czym piszemy w tekście o UGC generowanym przez AI.
Eksperyment jest wzorcowy metodycznie, a jego najcenniejsza lekcja dotyczy sposobu pracy, a nie konkretnego komunikatu:
To przykład dobrze zaprojektowanego testu A/B z wieloma wariantami. Sposób przygotowania takich testów na stronie firmowej opisuje poradnik o testowaniu elementów zaufania.
Ośmiu wersji z rejestru dawców nie trzeba kopiować, ale ich logikę – zestawienie różnych motywacji obok siebie – można zastosować niemal wszędzie, gdzie prosimy o jeden prosty krok. Przykładowy zestaw wariantów do testu (ilustracja, nie wyniki badania):
| Sytuacja | Wariant z normą społeczną | Wariant z wzajemnością lub stratą |
|---|---|---|
| Zapis do newslettera | „Co tydzień czyta nas 8 tys. osób z branży” | „Dostałeś od nas ten poradnik – w newsletterze wysyłamy kolejne” |
| Prośba o opinię | „Większość klientów ocenia zamówienie w ciągu tygodnia” | „Twoja opinia pomoże kolejnym osobom wybrać rozmiar” |
| Zbiórka organizacji pozarządowej | „W tym miesiącu wsparło nas 1200 osób” | „Bez nowych darczyńców w marcu zamkniemy jedną świetlicę” |
W każdym przypadku dowód społeczny jest tylko jedną z hipotez. Test z rejestrem dawców pokazał, że inny argument – tutaj wzajemność – może okazać się silniejszy, a dodatki graficzne mogą zmienić wynik w nieprzewidywalny sposób. Liczby w komunikatach muszą być prawdziwe, a komunikat o stracie nie może straszyć zagrożeniem, którego nie ma.
Rejestr dawców to jeden z przypadków, w których dowód społeczny zadziałał odwrotnie, niż zakładano. Inne takie przykłady, a także badania, w których działał zgodnie z przewidywaniami, zebraliśmy w przeglądzie 30 udokumentowanych badań i przypadków.
Pokazał, że drobne zmiany w treści prośby mogą wyraźnie zmienić liczbę rejestracji. Najlepiej działało odwołanie do wzajemności, dobrze wypadły też komunikat o stracie i zdanie o tysiącach osób rejestrujących się codziennie. Jedynym wariantem, który obniżył skuteczność względem prostej prośby, był komunikat o tysiącach osób uzupełniony zdjęciem grupy ludzi.
Badanie nie odpowiada na to pytanie wprost, bo nie testowało przyczyn. Autorzy raportu przypuszczali, że zdjęcie ze stocku mogło wyglądać jak reklama i obniżyć wiarygodność całego komunikatu. Inne możliwe wyjaśnienia to odwrócenie uwagi od treści lub wrażenie, że sprawą zajmują się już inni. Każdą z tych hipotez trzeba by sprawdzić w kolejnym teście.
Według aneksu technicznego raportu komunikaty zobaczyło 1 085 322 osoby, czyli ponad 135 tys. na każdy z ośmiu wariantów. Strona wyświetlała się użytkownikom portalu GOV.UK po opłaceniu podatku od pojazdu lub załatwieniu sprawy związanej z prawem jazdy. Test trwał pięć tygodni, a raport opublikowano w grudniu 2013 r.
Nie. W innych testach, na przykład w serii testów strony Highrise, duże zdjęcie konkretnej klientki z jej wypowiedzią poprawiło wyniki. Różnica może wynikać z tego, czy zdjęcie wygląda na autentyczne i czy jest powiązane z treścią. Ogólne zdjęcie ze stocku przy komunikacie urzędowym to inna sytuacja niż portret prawdziwego klienta przy jego opinii.
Najlepiej działało pytanie odwołujące się do wzajemności: „Gdybyś potrzebował przeszczepu, czy przyjąłbyś go? Jeśli tak, pomóż innym”. Odsetek rejestracji wyniósł około 3,2% wobec 2,3% w wersji kontrolnej. Podczas testu przełożyło się to na 1203 dodatkowe rejestracje, a w skali roku – szacunkowo na około 96 000 nowych zapisów.