Na ile wierzyć wynikom Gemius Now?

Przypomnijmy wydarzenia: Gemius najpierw stracił kontrakt z PBI na mierzenie ruchu w polskim internecie na rzecz Gfk Polonia. Pl@net (Gfk), który miał zastąpić Megapanel (Gemius), nigdy jednak oficjalnie nie wystartował. PBI zerwało więc kontrakt z Gfk i ponownie związało się z Gemiusem, który przygotował nowe badania. W międzyczasie, gdy Gemius nie był związany kontraktem z PBI udostępnił publicznie badanie Gemius Now.

Czytaj o tym więcej: Farsa wokół nowych badań polskiego internetu? Mało powiedziane

Niektórzy uznali to za - wreszcie - normalizację oficjalnego mierzenia ruchu w polskim internecie, inni za - niestety - powrót do czasów wielce krytykowanego Megapanelu. Ostatnio Grzegorz Marczak z Antyweba otwarcie skrytykował wyniki Gemius Now nazywając je absurdalnymi, niezgadzającymi się nie tylko liczbami z tym, co widzi w swoim Google Analyticsie, ale przede wszystkim z trendami ruchu u siebie.

My na Spider’s Web akurat przesadnie narzekać na aktualne dane Gemius Now nie możemy. Ruch na poziomie +/- 400 tys. RU tygodniowo pokrywa się z naszymi własnymi estymacjami, na podstawie analizy Google Analyticsa. Oznacza to przy okazji - co, nie ukrywam, bardzo mnie cieszy - że jesteśmy największym polskim serwisem tech nie licząc stron technologicznych polskich portali, które oczywiście zasilane są ze stron głównych swoich macierzystych podmiotów.

Należy przy tym wszystkim pamiętać o istotnych różnicach pomiędzy danymi Google Analyticsa, który mierzy unikalnych użytkowników, a Gemiusem, który opiera się na realnych użytkownikach.

Więcej o tych różnicach pisałem tutaj: UU, RU, czyli kogo można nazwać czytelnikiem medium.

Przemysław Pająk, Spider’s Web: W jaki sposób zbierane są dane do now.gemius.com?

Marcin Pery, członek zarządu Gemiusa: Serwis now.gemius.com, w fazie beta, jest serwisem eksperymentalnym prezentującym szacunki wyników badania oglądalności Gemius/PBI w czasie rzeczywistym wraz z predykcją wyników w przyszłości. Serwis prezentuje w chwili obecnej wyniki dla wybranych dziesięciu kategorii tematycznych.

Proszę o dokładny opis metodologii badań.

Prezentowane wyniki są estymacją bazującą na panelu internautów. Każdy panelista reprezentuje część populacji o analogicznych cechach społeczno-demograficznych i behawioralnych. W chwili obecnej bierzemy pod uwagę tylko panelistów z zainstalowanym software'owym miernikiem ─ ok. 10 tysięcy panelistów. W ciągu najbliższego czasu do analizy włączymy również panelistów cookie-panelu ─ ok. 100 tys. panelistów. Dane od panelistów są zbierane w trybie online, przesyłane na serwery firmy i tam poddawane procesom obliczeniowym. Wyniki aktualne, na daną chwilę, są efektem przemnożenia danych surowych przez wagi panelistów, natomiast wyniki predykcji bazują na krzywej budowy zasięgu, która jest tworzona na podstawie danych historycznych.

Czy to ten sam panel co wcześniej w Megapanelu?

W większości jest to nowy panel, zrekrutowany w tym roku, część pochodzi jednak jeszcze z zeszłego roku ─ z okresu Megapanelu.

Czy są to te same dane, które otrzymuje PBI po nowym przetargu?

Panel źródłowy jest ten sam, choć produkt Now prezentuje wyniki w inny sposób. Wyniki badania Gemius/PBI publikowane są po zakończeniu badanych okresów, Now prezentuje szacunki jeszcze w czasie ich trwania. W przypadku badania Gemius/PBI źródłem danych jest duży panel hybrydowy ─ ponad 100 tysięcy panelistów, w przypadku Now źródłem jest dzisiaj panel bazujący na miernikach softwarowych ─ ok. 10 tys. panelistów.

Czy uważają Państwo, że narzędzie dobrze mierzy tzw. serwisy niszowe, mniejsze, ale jednocześnie duże w swoich kategoriach tematycznych? Pytam w kontekście tekstu Grzegorza Marczaka z Antyweb, w którym krytykuje on wyniki, jakie Gemius Now pokazuje odnośnie jego serwisu.

Wyniki serwisów o oglądalności poniżej 100 tys. użytkowników mogą być niestabilne. Wynika to z prostego faktu, że przy panelu o liczebności 10 tys. panelistów, jeden panelista reprezentuje kilka tysięcy użytkowników. Jeżeli jakiś serwis ma oglądalność na poziomie kilkudziesięciu tysięcy użytkowników, oznacza to, że jest szacowany na podstawie aktywności kilku, kilkunastu panelistów i w skrajnych przypadkach wyniki mogą zmieniać się istotnie. Ze statystycznego punktu widzenia zmiany wyników należy rozpatrywać jako punkty procentowe wielkości populacji, a nie wielkości względne ─ procent zasięgu danej witryny, i z punktu widzenia bezdusznej matematyki dla małych witryn oznacza to po prostu podatność na duże względne zmiany wyników.

Trochę to krzywdzące.

Zdecydowaliśmy się, do czasu uwzględnienia w estymacjach danych pochodzących z cookie-panelu, nie prezentować wyników małych witryn. Po dołączeniu danych z cookie-panelu najprawdopodobniej wrócimy do prezentacji również mniejszych serwisów.

Dlaczego np. w kategorii technologie zaliczane są serwisy, które nie mają nic wspólnego z treściami, np. youtube-mp3.org, dealwifi.com, i inne?

Kategorie tematyczne są obecnie przedmiotem aktualizacji. Jeżeli znajdują się tam witryny czy serwisy, które nie powinny się tam znaleźć bądź odwrotnie, bardzo prosimy o informację, będziemy uaktualniać kategoryzację.