Airbnb i opinie „w ciemno”: jak jednoczesna publikacja ocen zmieniła ich szczerość

System opinii Airbnb od 2014 r. działa „w ciemno”: gość i gospodarz nie widzą swoich recenzji, dopóki obaj ich nie wystawią albo nie minie 14 dni. Eksperyment opisany przez Andreya Fradkina, Elenę Grewal i Davida Holtza pokazał, że zmiana zwiększyła liczbę opinii – u gospodarzy z 71,5% do 78,7% – i osłabiła wzajemne podbijanie ocen, choć recenzje nadal pozostały bardzo pozytywne.

Problem dwustronnych ocen: uprzejmość, odwzajemnianie i odwet

Airbnb należy do platform, na których oceniają się obie strony transakcji. Gość wystawia opinię gospodarzowi, gospodarz – gościowi. Taki układ buduje zaufanie, bo każdy uczestnik rynku ma własną reputację, ale rodzi problem nieznany w zwykłym sklepie: recenzja staje się elementem gry między dwiema osobami, które się znają.

Przed zmianą obowiązywała prosta zasada – opinia ukazywała się zaraz po wysłaniu. Kto pisał jako drugi, znał już ocenę pierwszej strony. To otwierało drogę do trzech zachowań:

• odwzajemniania – ciepła opinia od gospodarza skłaniała gościa do odpowiedzi w tym samym tonie, nawet jeśli pobyt miał wady,
• odwetu – krytyczna recenzja mogła spotkać się z równie krytyczną odpowiedzią, niezależnie od faktów,
• strategicznego czekania – część użytkowników zwlekała z oceną, by najpierw zobaczyć, co napisze druga strona, albo rezygnowała z niej, by nie narazić się na odwet.

Skutek jest łatwy do przewidzenia: oceny na platformach dwustronnych są wyjątkowo wysokie, a krytyka – rzadka. Dla przyszłych gości to realna strata, bo średnia przestaje odróżniać oferty dobre od przeciętnych. Reguła wzajemności, która w marketingu zwykle pomaga, tutaj działa na niekorzyść rzetelności.

Jak wyglądał eksperyment z publikacją opinii „w ciemno”

Airbnb przetestowało nową zasadę w kontrolowanym eksperymencie, zanim wprowadziło ją dla wszystkich użytkowników. Test rozpoczął się 8 maja 2014 r. Wyniki opisali Andrey Fradkin, Elena Grewal, David Holtz i Matthew Pearson w pracy „Bias and Reciprocity in Online Reviews: Evidence From Field Experiments on Airbnb” (wersja z 2015 r.), a w rozszerzonej formie Fradkin, Grewal i Holtz w artykule opublikowanym w 2021 r. w czasopiśmie „Marketing Science”.

Projekt testu był prosty i dzięki temu czytelny. Przed jego startem użytkownicy mieli 30 dni na wystawienie opinii. Na czas eksperymentu obu grupom skrócono ten termin do 14 dni, żeby jedyną różnicą między nimi była widoczność recenzji.

Losowanie dotyczyło ofert, a do analizy badacze wzięli pierwszy pobyt w każdej z nich. Łącznie dało to ponad 120 tys. obserwacji – próbę wystarczającą, by wychwycić nawet niewielkie przesunięcia w ocenach.

Wyniki: więcej opinii i odrobinę mniej laurek

Najsilniejszy efekt dotyczył samej liczby recenzji, szczególnie od gospodarzy. Zmiany w treści i ocenach były mniejsze, ale szły w kierunku, którego spodziewali się autorzy.

Wzrost o ponad 7 punktów procentowych u gospodarzy oznacza, że na każde sto pobytów pojawiało się kilka dodatkowych opinii o gościach. Dla platformy, która obsługuje miliony rezerwacji, to ogromna liczba informacji, których wcześniej brakowało. Opinie pojawiały się też szybciej, bo obie strony chciały jak najwcześniej zobaczyć ocenę partnera.

Zmiana w ocenach była skromna. Nawet w grupie testowej blisko trzy czwarte opinii gości zawierało pięć gwiazdek, a przeciętna ocena spadła według autorów zaledwie o około 0,25%. Ważniejsze od skali jest jednak to, czego dotyczyła zmiana: krytyczne uwagi gospodarzy stały się wyraźniejsze, a goście rzadziej wystawiali maksymalną ocenę „z grzeczności”.

Przykład obliczeniowy (ilustracja, nie dane Airbnb): platforma z 10 000 zakończonych zleceń miesięcznie, na której ocenia 71,5% wykonawców, zbiera 7150 opinii. Przy odsetku 78,7% byłoby ich 7870, czyli o 720 więcej co miesiąc – bez żadnych nagród i dodatkowych przypomnień.

Ograniczenia badania

Eksperyment dotyczył jednej platformy i specyficznej relacji: gość i gospodarz często kontaktują się osobiście, co wzmacnia presję uprzejmości. Wyniki dotyczą też pierwszego pobytu w danej ofercie, a nie całej historii ocen. Kierunek wniosków jest przekonujący, ale skali efektu nie należy przenosić wprost na serwisy, w których strony transakcji nigdy się nie spotykają.

Dlaczego jednoczesna publikacja zadziałała

Autorzy wskazują dwa mechanizmy. Pierwszy to ciekawość: skoro opinię drugiej strony można zobaczyć dopiero po wystawieniu własnej, rośnie motywacja, żeby nie odkładać oceny. Drugi to chęć, by własna recenzja była widoczna dla innych – w nowym systemie nie da się jej „przeczekać” i dopasować.

Równocześnie zniknęła podstawa do odwzajemniania i odwetu. Gość, który nie wie, co napisał gospodarz, nie ma powodu podnosić oceny w rewanżu za pochwałę ani obniżać jej w odpowiedzi na krytykę. W pracy z 2021 r. badacze opisują to jako spadek ocen wynikający z ograniczenia „odwzajemnionej” informacji zwrotnej.

To zjawisko bliskie efektowi stada: kiedy widzimy cudzą ocenę przed wystawieniem własnej, przesuwamy się w jej stronę. Podobny mechanizm, tyle że w ocenach komentarzy, pokazał eksperyment z „Science” o stadnym ocenianiu. Szerzej o tym, jak wcześniejsze głosy wpływają na kolejne decyzje, piszemy w tekście o efekcie stada w zakupach online.

Czego „opinie w ciemno” nie naprawiły

Jednoczesna publikacja rozwiązała problem gry między stronami, ale nie problem milczenia. Część osób po słabszym pobycie po prostu nie pisze opinii – i tego żaden mechanizm ujawniania nie zmieni. Fradkin i Holtz zwracali uwagę, że bez dodatkowych zachęt goście oceniali gospodarzy w około 69% przypadków, a brakujące recenzje były przeciętnie mniej pozytywne niż te opublikowane.

Airbnb sprawdziło to w osobnym eksperymencie. Gościom, którzy od wielu dni nie wystawili opinii, zaproponowano kupon o wartości 25 dolarów za recenzję. Liczba opinii w tej grupie wyraźnie wzrosła, a udział ocen pięciogwiazdkowych spadł według autorów o około 8 punktów procentowych. Zachęta okazała się skuteczna, ale kosztowna – i niesie własne ryzyka. W Unii Europejskiej nagrodę za opinię trzeba ujawnić, a niektóre platformy zakazują jej całkowicie; zasady opisujemy w artykule o opiniach za nagrodę.

Z perspektywy czytelnika recenzji wniosek jest praktyczny. Bardzo wysoka średnia na platformie dwustronnej mówi mniej, niż się wydaje, a pojedyncza krytyczna opinia waży więcej, niż sugeruje jej udział w średniej. Dlaczego klienci ufają ocenom poniżej ideału, pokazuje analiza badania Northwestern University o ocenie 4,7 i 5,0, a rolę krytyki opisuje tekst o tym, jak negatywne opinie zwiększają wiarygodność.

Gdzie przenieść lekcję z Airbnb

Jednoczesna publikacja nie jest uniwersalnym ulepszeniem. Ma sens tam, gdzie obie strony transakcji oceniają się nawzajem i mogą na siebie wpływać.

W turystyce, gdzie opinie decydują o rezerwacjach, mechanizm stał się standardem platform z ocenami wzajemnymi. Jak goście korzystają z recenzji w różnych serwisach, opisujemy w przeglądzie opinii w turystyce.

Projektując własny system, trzeba też pamiętać o oknie czasowym. Zbyt krótkie zmniejsza liczbę opinii, zbyt długie – ich aktualność i sens ukrywania. Podobny dylemat dotyczy możliwości edycji recenzji po publikacji; jak rozwiązała go największa polska platforma handlowa, omawiamy w teczce o edycji opinii na Allegro do 360 dni.

Wnioski z eksperymentu Airbnb – checklista dla projektujących system opinii

1. Jeżeli obie strony transakcji się oceniają, ukryj opinie do czasu, aż wystawią je obie albo minie stały termin.
2. Ustal jedno okno na wystawienie opinii – Airbnb stosuje 14 dni – i komunikuj je w prośbie o ocenę.
3. Mierz nie tylko średnią, ale też odsetek transakcji bez opinii; milczenie bywa ważniejszą informacją niż gwiazdki.
4. Rozważ kanał prywatnej informacji zwrotnej dla platformy, w którym łatwiej o szczerą krytykę.
5. Jeśli stosujesz zachęty, nie uzależniaj ich od treści i ujawniaj je przy opinii.
6. W prośbie o ocenę nie pokazuj średniej innych użytkowników – ogranicza to dopasowywanie się do tłumu. Sprawdzone sposoby formułowania próśb zawiera poradnik o tym, jak prosić klientów o opinie.
7. Pokazuj weryfikację: na Airbnb opinię może wystawić tylko ktoś, kto faktycznie odbył pobyt, co czyni ją opinią zweryfikowaną.

Eksperyment Airbnb to jeden z niewielu przypadków, w których platforma pokazała, jak zasady publikacji wpływają na treść opinii, a nie tylko na ich liczbę. Pokazuje, że dowód społeczny zależy od architektury systemu ocen co najmniej tak samo jak od zadowolenia klientów. Inne badania, w których mierzono siłę i granice opinii, zebraliśmy w przeglądzie 30 udokumentowanych badań i przypadków.