Microsoft wprowadził ludzi w błąd?

Chodzi o kampanię 'Bing it On', która Microsoft rozpoczął rok temu w celu pokazania użytkownikom, że wyszukiwarka Bing daje lepsze wyniki niż algorytmy Google. Według Microsoftu wygrał Bing, ale okazuje się, że może być inaczej.

Zespół Bing przeprowadził doświadczenie, w którym brało udział 1000 osób. Polegało ono na tym, że badani wprowadzali jednakowe frazy w Bing i Google, a następnie wybierali, która wyszukiwarka dała im lepsze wyniki. Microsoft chwalił się, że Bing wypadł lepiej od swojego rywala w stosunku 2:1. Zaznaczono też, że wyniki kampanii były sprawdzane przez niezależnych specjalistów.

Sprawą zajął się inny, również niezależny od Microsoftu analityk. Ian Ayres z serwisu Freakonomics przeprowadził podobne badanie. Ayres przede wszystkim wyszedł z założenia, że grupa 1000 osób to zbyt mało, aby wyniki można było uznać za wiarygodne. Analityk był też zdziwiony dlaczego Microsoft nie chciał opublikować wyników swoich badań. Akcja 'Bing it On' była przecież aktywna przez bardzo długi czas i ostatecznie w badaniu wzięły udział setki tysięcy osób, więc wyniki mogły ulec zmianie. Ayres wraz ze swoimi współpracownikami z Freaconomics przeprowadził podobne badania, również z udziałem 1000 osób, tylko pełnoletnich mieszkańców USA. Wyniki okazały się inne niż te, które przedstawił Microsoft. Wyszukiwarkę Bing wybrało 41 procent badanych, Google 53 procent. Sześć procent badanych stwierdziło, że wyniki są takie same. Te dane nie są nawet bliskie temu co przedstawił Microsoft mówiąc o stosunku 2:1 na korzyść swojej wyszukiwarki. To wprowadzająca w błąd reklama i namawianie kolejnych osób do 'potwierdzania' tych złych danych - powiedział.

Na odpowiedź Microsoftu nie trzeba było długo czekać. Działaniem Freakonomics zajął się Matt Wallaert, pracownik działu Bing. Wallaer powiedział, że próba 1000 osób jest wystarczająca i porównał ją do wyborczych sondaży prowadzonych przez amerykańską agencję Gallup, która prowadzi badania na próbie 1500 osób. Takie badania są trudne do przeprowadzenia. Ludzie biorący udział w badaniu robili to we własnym domu, więc mogli znaleźć się i tacy, którzy faworyzowali jedną lub drugą wyszukiwarkę. Nie możemy tego śledzić, bo jest to niezgodne z normami etycznymi dotyczącymi ludzkiej prywatności. Nasze badania, przeprowadzone z 1000 osób, są według nas poprawne, bo mogliśmy liczyć na ich obiektywizm - czytamy we wpisie na blogu Bing.

Pełny 28 stronicowy raport napisany przez specjalistów Freakonomics można przeczytać pod tym adresem, oczywiście w języku angielskim.

Źródło: freakonomics.com/