Efekt pierwszego plusa: eksperyment z „Science” o stadnym ocenianiu komentarzy

Efekt stada w ocenach polega na tym, że wczesne oceny wpływają na kolejne niezależnie od jakości ocenianej treści. W eksperymencie Leva Muchnika, Sinana Arala i Seana Taylora, opublikowanym w „Science” w 2013 r., jeden losowo dodany plus zwiększał o 32% szansę na kolejny pozytywny głos, a końcowa średnia ocena takich komentarzy była o 25% wyższa niż w grupie kontrolnej.

Jak przeprowadzono eksperyment

Badacze – Lev Muchnik z Uniwersytetu Hebrajskiego w Jerozolimie, Sinan Aral z MIT i Sean Taylor z Uniwersytetu Nowojorskiego – nawiązali współpracę z serwisem agregującym wiadomości, w którym użytkownicy komentują artykuły i oceniają komentarze innych plusami i minusami. Ze względów prawnych nie ujawniono nazwy serwisu; Aral opisywał go jako działający podobnie do Reddita.

Projekt był prosty i mocny jednocześnie. Gdy w serwisie pojawiał się nowy komentarz, system losowo decydował, czy:

1. dodać mu jeden plus (grupa „w górę”),
2. dodać mu jeden minus (grupa „w dół”),
3. nie robić nic (grupa kontrolna).

Losowanie oznaczało, że sztuczny głos nie miał nic wspólnego z jakością komentarza. Jeśli więc komentarze z plusem radziły sobie potem lepiej, różnicę można było przypisać wyłącznie pierwszemu, fałszywemu sygnałowi. Eksperyment trwał pięć miesięcy i objął 101 281 komentarzy, które oceniali zwykli użytkownicy serwisu, nieświadomi manipulacji.

Wyniki: pozytywne stado i negatywna korekta

Najważniejsze wyniki da się zebrać w jednej tabeli:

Efekt plusa nie był chwilowy. Przewaga komentarzy z losowym plusem utrzymywała się przez cały pięciomiesięczny okres obserwacji. Pierwszy głos ustawiał trajektorię: przyciągał kolejne pozytywne oceny, a te – następne.

Minusy działały inaczej. Komentarz ze sztucznym minusem częściej dostawał kolejne minusy, ale jednocześnie część użytkowników „broniła” go plusami. Autorzy nazwali to efektem korekty. W efekcie końcowe średnie w grupie z minusem nie różniły się od grupy kontrolnej.

Ta asymetria jest kluczowym wnioskiem badania. Tłum skutecznie koryguje niesprawiedliwie zaniżone oceny, ale nie koryguje zawyżonych. Pozytywny sygnał na starcie jest więc przyjmowany bez sprzeciwu i wzmacniany.

Temat ma znaczenie: polityka tak, technologia nie

Badacze sprawdzili też, czy efekt jest jednakowy w różnych kategoriach tematycznych serwisu. Nie był.

Autorzy nie przesądzili, skąd te różnice, i wskazali je jako temat dalszych badań. Jedna z możliwych interpretacji jest taka, że w tematach, w których ocena jest bardziej subiektywna i wiąże się z tożsamością (polityka, kultura), ludzie chętniej opierają się na sygnałach od innych. Ta interpretacja jest jednak hipotezą, a nie wynikiem badania.

Dla praktyka wniosek jest ostrożny, ale użyteczny: podatność na stadne ocenianie zależy od kategorii. Nie można zakładać, że wszystkie produkty czy treści są nią dotknięte w tym samym stopniu.

Dlaczego plusy się kumulują, a minusy nie

Eksperyment pokazał asymetrię, ale nie wyjaśnił jej mechanizmu – autorzy wprost wezwali do dalszych badań nad psychologią efektu korekty. Psychologia społeczna podsuwa kilka wyjaśnień, które warto znać jako hipotezy:

• Konformizm wobec pozytywnej oceny jest „tani”. Dołączenie do pozytywnej oceny nie wymaga uzasadnienia; w razie wątpliwości łatwo przyjąć, że inni widzieli coś wartościowego. Klasyczne badania nad konformizmem, od eksperymentu Ascha począwszy, pokazują, jak silna jest ta skłonność.
• Niesprawiedliwa krytyka budzi sprzeciw. Minus przy rozsądnym komentarzu może wyglądać na atak i skłaniać do obrony.
• Uwaga. Komentarz z plusem może być wyżej sortowany lub częściej czytany, co daje mu więcej okazji do zdobycia kolejnych głosów.

Każdy z tych mechanizmów prowadzi do tego samego wniosku praktycznego: systemy oparte na widocznych ocenach są bardziej podatne na sztuczne zawyżanie niż zaniżanie. Podobny mechanizm kumulacji wczesnej przewagi opisuje eksperyment MusicLab ze sztucznym rynkiem muzyki, a psychologiczne tło – nasz tekst o efekcie stada w zakupach online.

Co to oznacza dla opinii w sklepie i na platformach

Eksperyment dotyczył komentarzy, ale jego logika przenosi się na recenzje produktów, głosy „przydatne” pod opiniami, oceny w aplikacjach czy wątki na forach.

Pierwsze opinie ustawiają trajektorię. Jeśli pierwsza recenzja produktu jest entuzjastyczna i zebrała kilka głosów „przydatna”, kolejni klienci czytają ją jako pierwszą i mogą dopasowywać do niej swoje oceny. Dlatego pierwsze opinie powinny pochodzić od prawdziwych, zweryfikowanych klientów, a nie od znajomych czy pracowników.

Asymetria to furtka dla manipulacji. Skoro sztuczne zawyżenie przyjmuje się bez korekty, nieuczciwi gracze mają motywację, by podbijać oceny na starcie. To jeden z powodów, dla których fałszywe recenzje są tak szkodliwe – nie tylko same w sobie, ale też przez to, że wpływają na oceny prawdziwych klientów. Sygnały ostrzegawcze opisujemy w poradniku o tym, jak rozpoznać fałszywą opinię, a konsekwencje prawne – w tekście o fałszywych opiniach a prawie.

Sortowanie według „najbardziej pomocnych” wzmacnia efekt. Opinia, która jako pierwsza zebrała głosy, jest wyświetlana wyżej, więc dostaje kolejne. Warto okresowo mieszać kolejność lub dawać nowszym opiniom szansę na pojawienie się u góry.

Przykład obliczeniowy (ilustracja, nie dane z badania): produkt ma dwie równie rzeczowe opinie dodane tego samego dnia. Pierwsza dostaje na starcie dwa głosy „przydatna” od znajomych autora i trafia na górę listy. Przez kolejny miesiąc czyta ją każdy odwiedzający kartę produktu, a drugą – tylko co dziesiąty. Nawet jeśli obie są równie pomocne, pierwsza zbierze wielokrotnie więcej głosów, bo miała wielokrotnie więcej czytelników.

Dyskusje użytkowników, w których efekt pierwszego plusa działa najsilniej, mają dziś dodatkowe znaczenie – są cytowane przez wyszukiwarki i asystentów AI. Piszemy o tym w tekście o tym, dlaczego Reddit i fora stały się nowym social proof.

Ograniczenia badania – czego nie wiemy

Eksperyment jest metodologicznie bardzo mocny dzięki losowemu przydziałowi i dużej próbie, ale jego wnioski mają granice:

• Jeden serwis. Badanie przeprowadzono na jednej platformie, której nazwy nie ujawniono. Społeczność innego serwisu, z innymi zasadami i kulturą dyskusji, mogłaby reagować inaczej.
• Komentarze, nie produkty. Oceniano wypowiedzi w dyskusji, a nie zakupy. Przy recenzjach produktów klient ma często własne doświadczenie z towarem, co może osłabiać wpływ cudzych ocen.
• Głosy, nie decyzje zakupowe. Badanie mierzyło plusy i minusy, a nie to, czy zawyżona ocena przełożyła się na konkretne działania czytelników.
• Pojedynczy sztuczny głos. Manipulacja polegała na jednym głosie. Nie wiadomo dokładnie, jak skaluje się efekt przy kilkunastu czy kilkuset sztucznych głosach.

Mimo to wynik dobrze współgra z innymi badaniami nad wpływem społecznym i z doświadczeniem platform, które walczą z kupowanymi ocenami. Dla marketera najważniejsza jest ogólna lekcja: średnia ocena w systemie z widocznymi głosami nie jest czystą miarą jakości, tylko wynikiem jakości i historii głosowania.

Projektowanie systemu ocen odpornego na stado

Platformy mają kilka sposobów, by ograniczać błąd wpływu społecznego. Żaden nie jest idealny, ale wybór ma znaczenie.

Część serwisów dyskusyjnych daje moderatorom możliwość ukrycia punktacji nowych komentarzy na pewien czas. Pokrewne rozwiązanie – jednoczesne odsłanianie ocen gościa i gospodarza – opisujemy w teczce o opiniach „w ciemno” na Airbnb. Szerzej o zasadach pracy z treściami użytkowników piszemy w tekście o moderacji treści od klientów, a o układzie opinii w e-commerce – w poradniku o karcie produktu z opiniami.

Najważniejsze wnioski i lista kontrolna

1. Pierwszy pozytywny sygnał ma nieproporcjonalny wpływ na późniejsze oceny – w eksperymencie zwiększał końcową średnią o 25%.
2. Tłum koryguje niesprawiedliwie zaniżone oceny, ale nie zawyżone. Systemy ocen są więc bardziej podatne na sztuczne podbijanie.
3. Podatność na stadne ocenianie zależy od tematu; w kategoriach subiektywnych może być większa.
4. Zbieraj pierwsze opinie od zweryfikowanych klientów i nie dopuszczaj do „rozgrzewania” produktu przez pracowników czy znajomych.
5. Rozważ mechanizmy ograniczające wpływ wczesnych ocen: ukrycie wyniku, ocenę przed zobaczeniem średniej, mieszanie kolejności.
6. Monitoruj nienaturalne wzorce głosowania na starcie – to typowy ślad manipulacji.

Eksperyment Muchnika, Arala i Taylora to jeden z najczystszych dowodów na to, że oceny w internecie nie są prostą sumą niezależnych opinii. Pozostałe badania i przypadki – od hotelowych ręczników po decyzje regulatorów – zebraliśmy w przeglądzie 30 udokumentowanych badań o skuteczności social proof.