Test A/B
Teczka nr 006, Sektor publiczny i energia
| Wskaźnik | Przed | Po |
|---|---|---|
| Odsetek zalegających, którzy zapłacili podatek (6 tygodni) | 67,5% | 83,0% |
140 000 podatników, test listów HMRC i Behavioural Insights Team
Case studiesTeczka nr 006
Brytyjski urząd skarbowy dopisał do listów ponaglających jedno zdanie o tym, że większość ludzi płaci podatki w terminie, i zebrał wpłaty szybciej. Omawiamy oba etapy tej historii: pierwszy test opisany przez Behavioural Insights Team i późniejsze eksperymenty naukowe na ponad 220 tys. podatników. Na końcu – jak przenieść tę lekcję do przypomnień o płatnościach w firmie.
Test A/B
Teczka nr 006, Sektor publiczny i energia
| Wskaźnik | Przed | Po |
|---|---|---|
| Odsetek zalegających, którzy zapłacili podatek (6 tygodni) | 67,5% | 83,0% |
140 000 podatników, test listów HMRC i Behavioural Insights Team
Listy HMRC z normą społeczną pokazały, że jedno zdanie – „9 na 10 osób płaci podatki w terminie” – może przyspieszyć wpłaty zaległych podatków. W pierwszym teście na 140 000 podatników odsetek osób, które zapłaciły, wzrósł z 67,5% do 83,0% przy najlepszej wersji odwołującej się do okolicy adresata. Późniejsze eksperymenty naukowe potwierdziły kierunek efektu, choć wykazały mniejszą skalę.
W 2010 r. rząd Wielkiej Brytanii powołał przy Cabinet Office zespół Behavioural Insights Team (BIT), nazywany potocznie „nudge unit”. Miał sprawdzać, czy wiedza z psychologii i ekonomii behawioralnej pozwala tanio poprawić skuteczność administracji.
Jednym z pierwszych partnerów był HM Revenue and Customs (HMRC), czyli brytyjski urząd skarbowy. Problem był prozaiczny: część osób rozliczających się samodzielnie (Self Assessment) nie płaciła podatku w terminie. Urząd wysyłał im listy ponaglające, a gdy to nie działało – uruchamiał kosztowne działania windykacyjne, w tym telefony.
Pomysł BIT był prosty: zamiast zmieniać procedury, zmienić treść listu. Ludzie mają tendencję do zawyżania tego, jak często inni łamią zasady. Jeśli dłużnik dowie się, że prawie wszyscy płacą na czas, jego zwłoka przestaje wyglądać na coś normalnego.
Pierwsze wyniki BIT opisał w raporcie o ograniczaniu oszustw, błędów i zadłużenia, opublikowanym w lutym 2012 r. Różne wersje listów wysłano do 140 000 podatników. Wszystkie listy z normą społeczną zawierały zdanie, że 9 na 10 osób w Wielkiej Brytanii płaci podatki w terminie. Wersje lokalne dodawały, że większość osób z kodu pocztowego lub miejscowości adresata już zapłaciła.
| Grupa | Odsetek osób, które zapłaciły (6 tygodni) |
|---|---|
| Stary list kontrolny | 67,5% |
| Listy z normą społeczną | od 72,5% do 83,0% |
| Najlepsza wersja lokalna | 83,0% |
Najlepiej działały wersje lokalne: różnica względem starego listu wyniosła około 15 punktów procentowych. BIT szacował, że wdrożenie takich listów mogło przyspieszyć wpływ około 160 mln funtów w ciągu sześciu tygodni, a odciążenie zespołów windykacji pozwoliłoby wygenerować około 30 mln funtów dodatkowych dochodów rocznie.
Lokalne odniesienie działa podobnie jak w eksperymencie z ręcznikami w hotelu, gdzie najlepiej wypadła informacja o gościach z tego samego pokoju. Im bliższa grupa odniesienia, tym trudniej uznać ją za „innych ludzi, których sytuacja mnie nie dotyczy”. Komunikaty oparte na lokalnych liczbach omawiamy w tekście o liczbach odwołujących się do miasta i regionu.
Wyniki z raportu rządowego zostały sprawdzone w ściślejszej formie. Michael Hallsworth, John List, Robert Metcalfe i Ivo Vlaev opisali dwa duże eksperymenty terenowe w pracy „The behavioralist as tax collector” (wersja robocza w 2014 r., publikacja w „Journal of Public Economics” w 2017 r.).
Pierwszy eksperyment objął 101 471 osób z zaległościami od 400 do 100 000 funtów. Listy wysłano między 16 a 22 sierpnia 2011 r. Każdy z sześciu wariantów trafił do około 17 000 osób, a dodatkowe zdanie umieszczono zaraz po pierwszym zdaniu standardowego listu.
| Wariant | Dodane zdanie | Efekt wobec listu standardowego |
|---|---|---|
| Norma podstawowa | „9 na 10 osób płaci podatki w terminie” | ok. +1,3 pkt proc. |
| Norma krajowa | „9 na 10 osób w Wielkiej Brytanii płaci podatki w terminie” | ok. +1,7–2,1 pkt proc. |
| Norma z mniejszością | norma krajowa + „jesteś obecnie w bardzo nielicznej mniejszości osób, które jeszcze nam nie zapłaciły” | ok. +5 pkt proc. |
| Korzyść dla wspólnoty | płacąc podatki, wszyscy zyskujemy na usługach publicznych (NHS, drogi, szkoły) | ok. +1,3–1,6 pkt proc. |
| Strata dla wspólnoty | niepłacenie oznacza, że wszyscy tracimy | ok. +1,3–1,6 pkt proc. |
Wynik jest jednoznaczny: najsilniej działała informacja o tym, że adresat odstaje od większości. Wszystkie dodatkowe komunikaty łącznie przyniosły ponad 3 mln funtów wpłat w ciągu 23 dni, a autorzy wyliczyli, że wysłanie wersji z mniejszością do całej grupy dałoby około 11,3 mln funtów. Koszt zmiany był praktycznie zerowy – list i tak był wysyłany.
Rok później, w sierpniu 2012 r., przeprowadzono drugi eksperyment na 119 527 osobach z zaległościami od 351 do 50 000 funtów, podzielonych na 14 grup. W grupie kontrolnej podatek zapłaciło 33,6% osób. Tym razem porównano normy opisowe (co ludzie robią) z nakazowymi (co ludzie uważają za słuszne) oraz z informacjami praktycznymi.
| Komunikat | Typ | Efekt (pkt proc.) |
|---|---|---|
| „Zdecydowana większość osób w twojej okolicy płaci podatki w terminie” + „większość osób z podobnym długiem już go spłaciła” | opisowa, lokalna i dotycząca długu | +5,0 |
| „Jesteś w bardzo nielicznej mniejszości osób, które jeszcze nie zapłaciły” | mniejszość | +4,7 |
| „Naliczamy odsetki od tej kwoty” | informacja finansowa | +3,9 |
| „88% osób zgadza się, że każdy w Wielkiej Brytanii powinien płacić podatki w terminie” | nakazowa z procentem | +3,4 |
| informacja o metodach płatności | praktyczna | +3,2 |
| „Większość osób z podobnym długiem już go spłaciła” | opisowa, dotycząca długu | +3,0 |
| „Każdy w Wielkiej Brytanii powinien płacić podatki w terminie” | obowiązek moralny | +2,2 |
| „Dziewięć na dziesięć osób zgadza się, że…” | nakazowa z ułamkiem | +1,7 |
| „Zdecydowana większość osób w Wielkiej Brytanii płaci…” | opisowa, ogólna | +1,4 |
Normy opisowe okazały się średnio skuteczniejsze od nakazowych o 1,44 punktu procentowego. Najlepszy wariant – połączenie normy lokalnej z informacją o osobach z podobnym długiem – zwiększył odsetek wpłat o 5 punktów, czyli o 14,8% względem grupy kontrolnej. Dodatkowe wpłaty w ciągu 23 dni wyniosły 9,1 mln funtów. Mechanizm stojący za tą różnicą opisujemy w artykule o tym, dlaczego „większość to robi” działa lepiej niż „powinieneś”.
Ciekawy jest też szczegół językowy: wersja nakazowa z liczbą procentową („88%”) wypadła lepiej niż ta sama treść wyrażona ułamkiem („dziewięć na dziesięć”). Nie wolno z tego wyciągać ogólnej reguły, ale to sygnał, że forma liczby ma znaczenie – szerzej piszemy o tym w tekście o liczbach precyzyjnych i okrągłych.
Kto porównuje oba źródła, zauważy rozbieżność: 15 punktów procentowych w raporcie BIT z 2012 r. i 1–5 punktów w pracy naukowej. To nie sprzeczność, tylko lekcja o tym, jak czytać wyniki testów:
Dla praktyka wniosek jest prosty: pojedynczy spektakularny wynik warto traktować jako hipotezę, a nie obietnicę. Ten sam wzorzec – duże liczby z wczesnych wdrożeń i skromniejsze z dużych badań – widać też w historii Opower i porównań z sąsiadami.
Mechanizm z listów HMRC można przenieść do każdej sytuacji, w której klient ma coś zrobić w terminie: zapłacić fakturę, odnowić subskrypcję, uzupełnić dane, odebrać przesyłkę. Warunek jest jeden – liczba musi być prawdziwa.
Instytucje publiczne mają jeszcze jedno zadanie: komunikat musi być zrozumiały dla wszystkich adresatów i nie może wywoływać poczucia zagrożenia. O tym, jak łączyć autorytet instytucji z normą społeczną, piszemy w tekście o ekspertach w kampaniach społecznych.
Listy HMRC należą do najlepiej udokumentowanych zastosowań dowodu społecznego w sektorze publicznym. Inne przykłady – z handlu, internetu i administracji – zebraliśmy w zestawieniu 30 badań i przypadków o działaniu social proof.
Do standardowego listu ponaglającego dodano krótkie zdanie z normą społeczną. Podstawowa wersja brzmiała: „9 na 10 osób płaci podatki w terminie”. Inne warianty dodawały odniesienie do Wielkiej Brytanii lub okolicy adresata, a najmocniejszy informował, że adresat należy do bardzo nielicznej mniejszości osób, które jeszcze nie zapłaciły.
W pierwszym teście opisanym przez Behavioural Insights Team w 2012 r. najlepsze listy z normą lokalną dały wzrost o około 15 punktów procentowych w ciągu sześciu tygodni. W późniejszych eksperymentach naukowych efekt był mniejszy: od około 1 do 5 punktów procentowych w ciągu trzech tygodni, zależnie od treści komunikatu.
Informacja, że adresat jest w bardzo nielicznej mniejszości zalegających, łączy normę opisową z poczuciem wyróżnienia na tle innych. Odbiorca widzi, że jego zachowanie odstaje od normy, a nie że jest jednym z wielu. W eksperymencie z 2011 r. ten wariant podniósł odsetek wpłat o około 5 punktów procentowych, najwięcej spośród testowanych zdań.
Tak, pod warunkiem że liczba jest prawdziwa. Jeśli większość klientów płaci faktury w terminie, informacja o tym w przypomnieniu może przyspieszyć wpłaty. Komunikat powinien być uprzejmy, rzeczowy i zgodny z danymi firmy. Przed wdrożeniem warto porównać nową wersję z dotychczasową w teście na części klientów.
Pierwsze testy przeprowadził brytyjski urząd skarbowy HM Revenue and Customs we współpracy z Behavioural Insights Team, zespołem działającym wówczas przy Cabinet Office. Naukową analizę dwóch eksperymentów z lat 2011–2012 opublikowali Michael Hallsworth, John List, Robert Metcalfe i Ivo Vlaev w pracy „The behavioralist as tax collector”.