Fałszywe opinie hoteli: TripAdvisor kontra Expedia w badaniu Mayzlin, Dover i Chevalier

Fałszywe opinie hoteli zostawiają ślad w statystyce. Dina Mayzlin, Yaniv Dover i Judith Chevalier porównali recenzje tych samych hoteli w TripAdvisorze i Expedii i wykazali, że hotele z silną motywacją do manipulacji mają w otwartym serwisie więcej pięciogwiazdkowych ocen, a ich sąsiedzi – więcej jedynek i dwójek. Skala była zauważalna, ale dotyczyła niewielkiej części wszystkich opinii.

Naturalny eksperyment: te same hotele w dwóch serwisach

Największą przeszkodą w badaniu fałszywych opinii jest to, że dobrze napisana fałszywka wygląda jak prawdziwa recenzja. Autorzy ominęli ten problem. Zamiast oceniać pojedyncze teksty, wykorzystali różnicę w zasadach dwóch dużych serwisów turystycznych:

• TripAdvisor – opinię mógł dodać każdy, kto zadeklarował, że nie jest powiązany z hotelem i nie dostał zachęty,
• Expedia – opinię mógł dodać tylko użytkownik, który w ciągu ostatnich sześciu miesięcy zarezerwował przez serwis co najmniej jedną noc w danym hotelu.

Fałszywa opinia w TripAdvisorze kosztowała więc tyle, ile założenie konta i napisanie tekstu. W Expedii wymagała opłacenia pobytu. Jeśli hotele manipulują recenzjami, ślady powinny być wyraźniejsze w serwisie otwartym.

Badanie, zatytułowane „Promotional Reviews: An Empirical Investigation of Online Review Manipulation”, ukazało się w sierpniu 2014 r. w „American Economic Review”. Wcześniej krążyło jako wersja robocza National Bureau of Economic Research (NBER) z lat 2012–2013 – z niej pochodzą szczegółowe liczby przytaczane poniżej. Kierunek wniosków w wersji opublikowanej jest taki sam.

Kto ma motywację, żeby fałszować opinie

Drugi element pomysłu to przewidzenie, które hotele powinny manipulować częściej. Autorzy rozumowali w kategoriach kosztów i korzyści.

Hotel niezależny należący do małego właściciela zyskuje najwięcej: każda dodatkowa rezerwacja trafia bezpośrednio do niego, a ryzyko wykrycia dotyczy tylko jednego obiektu. Hotel sieciowy należący do dużej firmy ma mniej do zyskania, bo goście wybierają go także ze względu na markę, i więcej do stracenia – skandal z fałszywymi opiniami mógłby uderzyć w setki obiektów. Ważna była nie tylko marka, ale też struktura właścicielska i to, kto zarządza hotelem.

Trzeci element to sąsiedztwo. Fałszywa negatywna opinia ma sens wtedy, gdy uderza w bezpośredniego konkurenta. Autorzy sprawdzali więc, czy hotele położone w promieniu 0,5 km od niezależnego obiektu mają w TripAdvisorze więcej krytycznych ocen, niż wynikałoby to z ich ocen w Expedii. Sąsiada w takiej odległości miało 76% hoteli w próbie.

Dane: blisko 3 tys. hoteli i ponad 470 tys. recenzji

Autorzy zebrali opinie w październiku 2011 r. dla hoteli z amerykańskich miast od 25. do 75. miejsca pod względem liczby ludności (bez Las Vegas). Do analizy trafiło 2931 hoteli, które miały recenzje w obu serwisach – łącznie 350 485 opinii z TripAdvisora i 123 569 z Expedii. Dane o hotelach, w tym o właścicielach i zarządcach, pochodziły z bazy firmy badawczej STR.

Sama różnica między serwisami niczego jeszcze nie dowodzi – TripAdvisor przyciąga innych użytkowników niż serwis rezerwacyjny i jest ogólnie bardziej krytyczny. Dowodem jest dopiero to, że różnica zmienia się zależnie od motywacji hotelu do manipulacji.

Wyniki: więcej piątek u siebie, więcej jedynek u sąsiada

Zmienną badaną była różnica w udziale danych ocen między TripAdvisorem a Expedią. Najważniejsze wyniki z wersji roboczej badania:

Autorzy przełożyli te wartości na liczby opinii. Hotel niezależny należący do małego właściciela miał – w porównaniu z hotelem sieciowym dużej firmy – około 7 dodatkowych fałszywych pochwał w TripAdvisorze, przy przeciętnie 120 opiniach, w tym 37 pięciogwiazdkowych. Hotel położony obok takiego niezależnego obiektu miał – w porównaniu z hotelem bez sąsiadów – około 6 dodatkowych fałszywych krytyk, przy przeciętnie 30 ocenach jedno- i dwugwiazdkowych.

Dla pojedynczego hotelu kilka opinii to niewiele. Ale 6 fałszywych jedynek wśród 30 krytycznych recenzji to jedna piąta negatywnego obrazu obiektu – wystarczająco dużo, by przesunąć średnią i decyzje gości. Wpływ jednej gwiazdki na przychody dobrze pokazuje badanie Yelp i restauracji.

Równie wymowny jest wynik odwrotny. Hotel, którego sąsiadem był obiekt dużego właściciela, miał w TripAdvisorze mniej krytycznych ocen niż hotel z sąsiadem niezależnym. To zgodne z hipotezą autorów: duże firmy, które mają dużo do stracenia, rzadziej sięgają po fałszywe ataki na konkurencję. Gdyby różnice wynikały wyłącznie z odmiennych gustów użytkowników obu serwisów, struktura właścicielska sąsiada nie powinna mieć znaczenia.

Jak mocne są te dowody

Autorzy przeprowadzili szereg testów odporności, które wzmacniają wnioski, ale też pokazują ich granice:

• Jednorazowi recenzenci. Około 23% opinii w TripAdvisorze pochodziło od osób, które napisały tylko jedną recenzję. Aż 47,6% z nich to piątki, wobec 38,1% w całym serwisie, a hotele niezależne miały o 8,8 pkt proc. więcej takich opinii.
• Inny serwis kontrolny. Porównanie z Orbitz na danych ze stycznia 2013 r. (2512 hoteli) potwierdziło efekt niezależności dla ocen pięciogwiazdkowych, ale efekty sąsiedztwa były już nieistotne.
• Wrażliwość na dodatkowe zmienne. Efekty dotyczące własnych piątek słabły po uwzględnieniu cech hoteli, a efekty sąsiedztwa pozostawały stabilne.

Wniosek autorów jest wyważony: manipulacja jest istotna ekonomicznie, ale niewielka w porównaniu z całą liczbą recenzji. Badanie nie mówi, że opinie hotelowe są fałszywe, tylko że w otwartym serwisie istnieje mierzalny margines manipulacji, który rośnie wraz z motywacją firm.

Jak użyć tej metody we własnej firmie

Logika badania sprawdza się także na małą skalę. Firma, która zbiera opinie w kilku miejscach, może porównać ich rozkłady i wychwycić anomalie, zanim zauważą je klienci:

1. Zestaw rozkład ocen z kanału zweryfikowanego (np. ankiet wysyłanych po zakupie lub pobycie) z rozkładem w serwisie otwartym, takim jak Mapy Google.
2. Sprawdź, jaki odsetek skrajnych ocen pochodzi od kont z jedną recenzją. W badaniu to właśnie jednorazowi recenzenci częściej wystawiali piątki.
3. Zestaw daty krytycznych opinii z wydarzeniami rynkowymi – otwarciem konkurenta w okolicy, zmianą cen, sezonem.
4. Porównaj wyniki z konkurentami o podobnym profilu. Jeśli różnica między kanałami jest u ciebie znacznie większa niż u nich, przyjrzyj się pojedynczym opiniom.

Taka analiza nie udowodni, że konkretna recenzja jest fałszywa, ale wskaże, gdzie szukać problemu i jakie dane dołączyć do zgłoszenia w serwisie. Przy kilkudziesięciu opiniach wnioski będą jedynie orientacyjne – badacze potrzebowali tysięcy hoteli, by uchwycić efekt rzędu kilku punktów procentowych.

Co zmieniło się od czasu badania

Dane pochodzą z 2011 r., a rynek opinii wygląda dziś inaczej. Platformy rozwinęły automatyczne filtry, a w Unii Europejskiej zamieszczanie i zlecanie fałszywych opinii znalazło się na liście praktyk zakazanych w każdych okolicznościach; wyjaśniamy ją w artykule o czarnej liście nieuczciwych praktyk. W Polsce przepisy wdrażające dyrektywę Omnibus obowiązują od 1 stycznia 2023 r., a odpowiedzialność firm i menedżerów omawiamy w tekście o fałszywych opiniach a prawie.

Zmieniła się też podaż. Fałszywe opinie są dziś często kupowane od wyspecjalizowanych pośredników, a nie pisane przez właściciela. Polski regulator ścigał takie firmy, o czym piszemy w przeglądzie kar UOKiK dla handlarzy opiniami. Niezmienny pozostał natomiast mechanizm opisany przez Mayzlin, Dover i Chevalier: najwięcej do zyskania na manipulacji mają małe, niezależne firmy w gęstej konkurencji lokalnej.

Wnioski dla hotelarzy, marketerów i czytelników opinii

Badanie daje praktyczne wskazówki trzem grupom.

Hotelarzom i firmom lokalnym:

1. Monitoruj nagłe skoki negatywnych ocen od jednorazowych kont – to typowy ślad ataku konkurencji. Procedurę zgłaszania takich recenzji opisuje poradnik o tym, jak usunąć fałszywą opinię z Google.
2. Zbieraj opinie w kanałach z weryfikacją pobytu – recenzja powiązana z rezerwacją jest dla gościa mocniejszym dowodem niż anonimowa pochwała. Sposoby oznaczania takich opinii omawia tekst o opiniach zweryfikowanych zakupem.
3. Nie kupuj opinii – zysk w postaci kilku dodatkowych piątek jest niewspółmierny do ryzyka kary i utraty zaufania.

Marketerom:

4. Pokazuj źródło i sposób weryfikacji ocen; opinia zweryfikowana jest dziś wyróżnikiem, a nie formalnością.
5. Porównuj oceny marki w kilku serwisach – rozbieżności bywają pierwszym sygnałem manipulacji, także przeciwko tobie.

Czytelnikom opinii:

6. Zwracaj uwagę na konta z jedną recenzją i skrajną oceną oraz na skupiska podobnych opinii w krótkim czasie; pełną listę sygnałów zawiera tekst o tym, jak rozpoznać fałszywą opinię.
7. W turystyce porównuj serwisy z weryfikacją i bez niej – gdzie goście szukają recenzji, opisujemy w przeglądzie opinii w turystyce.

Praca Mayzlin, Dover i Chevalier należy do najczęściej cytowanych badań o manipulacji opiniami, bo pokazuje ją bez polowania na pojedyncze fałszywki. Pozostałe badania o sile i słabościach dowodu społecznego zebraliśmy w przeglądzie 30 udokumentowanych badań i przypadków.