Ścieżki Internautów. Metodologia.

Od osoby opiekującej się serwisem blox.pl (Michała Olszewskiego) otrzymałam e-maila z zarzutami dotyczącymi metodologii „Ścieżek”.

W związku tym (i pytaniami niektórych Glogerów) postanowiłam zebrać tutaj informacje dotyczące metodologii badania.

Na początek kilka słów o „ścieżkach”. Raportem „Ścieżki Internautów – Blogi” zapoczątkowaliśmy cykl prezentacji dotyczących najczęściej odwiedzanych miejsc w sieci.

W badaniu wykorzystaliśmy dane dotyczące ruchu na stronach WWW dostarczane przez darmowe narzędzie Google Ad Planner.

Jak stworzyliśmy listę rankingową blogów i platform blogowych:

Podstawą listy jest wygenerowane w Ad Plannerze zestawienie 250 stron z kategorii blogi (o największej liczbie użytkowników). Zestawienie to zostało oczyszczone ze stron, które z blogami nie miały nic wspólnego (każda pozycja na liście sprawdzana osobno).

Listę uzupełniliśmy blogami, które w zestawieniu Ad Plannera się nie znalazły, a mają wystarczającą liczbę czytelników. Do listy udało się dodać średnio jeden na 15 sprawdzanych dodatkowo blogów. Każdy blog podejrzewany o dużą liczbę czytelników był osobno sprawdzany w Ad Plannerze. W ten sposób dodaliśmy kilkanaście blogów, w tym m.in. blogi z salon24, blog Roberta Gwiazdowskiego czy Antyweb.

Niestety nie byliśmy w stanie zidentyfikować wszystkich brakujących blogów o dużej liczbie czytelników. Dlatego w raporcie zaapelowaliśmy do blogerów o przesyłanie swoich blogów do weryfikacji - w kolejnej edycji mam nadzieję lista blogów będzie pełniejsza.

Ad Planner ma swoje wady, ale ma też wiele zalet. Warto więc porównać go z produktem PBI czyli Megapanelem i wskazać wady i zalety obu rozwiązań.

Kilka słów o metodologii Ad Plannera i Gemiusa:

Jak podaje google „Narzędzie Ad Planner łączy informacje z różnych źródeł, w tym anonimowe dane zbiorcze pochodzące od użytkowników paska narzędzi Google Toolbar, którzy zaakceptowali korzystanie z udoskonalonych funkcji, udostępniane po zaakceptowaniu anonimowe dane wydawców z narzędzia Google Analytics, udostępniane po zaakceptowaniu zewnętrzne dane z badań panelowych wśród konsumentów i inne dane pochodzące z badań rynkowych firm zewnętrznych.”

„Realizacja badania Megapanel PBI/Gemius obejmuje następujące elementy:

badanie gemiusTraffic – pomiar site-centric, dostarcza “twardych danych” na temat odwiedzalności poszczególnych witryn internetowych; Badanie gemiusTraffic wykorzystuje technologię cookies, pozwalającą na identyfikowanie użytkowników monitorowanych stron bez naruszania ich prywatności. Dane uzyskiwane są dzięki skryptom zliczającym, umieszczonym w kodzie stron podłączonych do badania.

program netPanel – narzędzie dostarczające informacji z pomiaru user-centric, instalowane na komputerze wyłącznie za zgodą internauty decydującego się na udział w badaniu. Nie angażując internauty, program monitoruje sposób korzystania z internetu przez użytkownika. Kilkunastotysięczny panel użytkowników, stanowiący miniaturę polskiej społeczności internautów, jest podstawowym źródłem informacji o odwiedzanych witrynach, używanych aplikacjach oraz czasie korzystania z internetu. Wyniki badania panelowego są uzupełniane danymi z audytu site-centric oraz danymi strukturalnymi;

Oba systemy opierają się więc na podobnych systemach:

1. Gogle Ad Planner ma dane z Analyticsa, Gemius ze swojego narzędzia stat24. Pierwszy darmowy, drugi płatny w przypadku większego ruchu na stronie. Admini największych serwisów mają najczęściej zainstalowane oba systemy, większość małych serwisów ma zainstalowany jeden system i częściej jest to produkt Google. Gemiusa instalują firmy, którym zależy na sprzedaży swoich reklam, więc pośrednio na obecności w Megapanelu.

2.Gogle Ad Planner zbiera dodatkowo dane z paska instalowanego w przeglądarce przez Internautów (Google Toolbar) a PBI zbiera dane z programu zainstalowanego na komputerach przez Internautów. Google Toolbar ma jednak trochę szersze zastosowanie – Internauci nie instalują go po to, by zbierał informacje o ich stronach, ale by wykorzystywać inne jego funkcje. W przypadku PBI – innych funkcji brak. Można się więc zastanowić kim jest osoba, która instaluje taki program. Czy jest to typowy Internauta? Hmm…

Andrzej Garapich (prezes PBI) sam wyjaśnia: „Witryny, które nie korzystają z audytu site-centric (nie mają zainstalowanych statystyk Gemiusa – dopisek mój) są o wiele trudniejsze do zbadania. Musimy polegać wyłącznie na badaniu panelowym, które z oczywistych względów statystycznych są tylko przybliżeniem. Witryny nie mające audytu site-centric same zrzekają się lepszego sposobu badania. Ale myślę, że nie to jest główna bolączką badania, gdyż reklamodawcy lokują swoje budżety praktycznie wyłącznie na stronach mających założony audyt site-centric. Chodzi oczywiście o reklamę typu display, search to zupełnie inna sprawa.”

Pozostałe źródła danych w przypadku Gemiusa nie dotyczą ruchu na stronie (tylko demografii), natomiast pozostałe źródła danych Ad Plannera są na tyle enigmatyczne, że ciężko cokolwiek o nich powiedzieć. Nie zdziwiłabym się jednak, gdyby Google wykorzystywało więcej źródeł – choćby statystyki z wyszukiwarki Google lub przeglądarki Chrome.

Który z tych systemów jest więc lepszy i podaje bardziej wiarygodne dane? To każdy sobie oceni sam.

Do „Ścieżek Internautów” Wybrałam Ad Plannera i już wyjaśniam dlaczego.

Po pierwsze – Ad Planner jest narzędziem darmowym i dostępnym dla każdego. Nie ma więc możliwości fałszowania rankingu, skoro każdy może sobie do Ad Plannera wejść i sprawdzić statystyki poszczególnych stron (w tym własnej). Z Gemiusem tak łatwo nie jest, bo dostęp trzeba wykupić. To największa zaleta Ad Plannera. Łatwiej więc odpierać zarzuty dotyczące braku konkretnej strony w rankingu. Jeśli witryna jest w Ad Plannerze, znajdzie się w rankingu (jeśli nie w tej edycji raportu to w kolejnej). To Ad Planner jest weryfikatorem popularności danej strony (niezależny od nas podmiot), a nie my.

Po drugie: Ad Planner to nie PBI. Jeśli inna firma (może sam Gemius) będzie publikować dane w oparciu o Megapanel, to będzie to alternatywne źródło informacji o popularnych witrynach. Każde będzie miało swoje życie, każde swoich zwolenników i przeciwników.

Z Gemiusa korzystają domy mediowe i reklamodawcy, bo zawiera dane dotyczące największych portali (sprzedawców powierzchni reklamowej). Ale co z pozostałymi witrynami, którym nie zależy na reklamach i w związku z tym nie mają zainstalowanego narzędzia Gemiusa?

Uznaliśmy, że do pokazania Internautom popularnych miejsc w sieci lepszym pomysłem jest w tej sytuacji wykorzystanie narzędzia Google.

Oczywiście Ad Planner ma też swoje wady:

Szacunki dotyczące liczby użytkowników podawane przez Ad Planner są niższe od danych z Google Alalytics. Inna metodologia – inne wyniki. To powoduje, że nie można porównywać danych z Ad Plannera z danymi z Google Analytics.

Dla przykładu blog kominek.blox.pl – ma 24 tys. czytelników według Ad Plannera i 89 tys. czytelników według Analytics.

Ad Planner nie podaje wyników dla czwartego i kolejnych poziomów domeny.

Przykład: Dostępne są statystyki dla bloga „mcw.bloog.pl” (mcw to trzeci poziom domeny). Niedostępne są natomiast statystyki dla witryny palikot.blog.onet.pl (palikot to czwarty poziom domeny- dostępne statystyki są tylko dla „blog.onet.pl”)

W analizie najczęściej odwiedzanych witryn nie ma to zazwyczaj znaczenia (domeny 4 stopnia zazwyczaj nie mają znaczenia dla statystyk). W przypadku tego opracowania ograniczenie do trzeciego poziomu domeny spowodowało wykluczenie wszystkich blogów prowadzonych na Onecie (statystyki dotyczące blogów na innych platformach są dostępne).

W tym wypadku powstał więc ranking najpopularniejszych blogów, z wyłączeniem blogów Onetu. Przy pozostałych opracowaniach ten problem nie będzie występować.

I jeszcze odpowiedź na zarzuty Pana Michała Olszewskiego z Agory.

Pan Michał pisze:

„Wykorzystane narzędzie badawcze (Google AdPlaner) nie jest przyjętym przez branżę interaktywną standardem - jest nim jedynie badanie Megapanel PBI/Gemius”.

Udziałowcami Gemiusa są m.in. Onet, Agora, Presspublica, WP, Interia i niektóre domy Mediowe. Główni gracze w „branży interaktywnej”. Nie dziwne więc że jest przez nich uznawany za standard (w tym przez Pana Michała z Agory).

Trzeba pamiętać, że Gemius jest na polskim rynku od dawna, a Ad Planner to narzędzie w Polsce nowe. Gemius był do niedawna monopolistą. Miał więc czas na uzależnienie od siebie tej „branży interaktywnej”. Teraz jednak mamy darmowego Ad Plannera, który niewątpliwie namiesza na rynku. To tylko kwestia czasu.

Poza tym – my nie robimy rankingu dla reklamodawców, tylko dla Internautów – osób, które chcą się dowiedzieć gdzie się „coś dzieje”, jakie są aktualnie popularne strony. To raporty nie dla osób, które szukają miejsca na reklamy (choć i dla takich może to być dobry zbiór informacji), ale dla osób, które chcą przejrzeć ciekawe miejsca w sieci, w których mogą zagościć na dłużej.

W trakcie tworzenia tego rankingu sama odkryłam wiele blogów, na które będę teraz często zaglądać.

„Zaletą AdPlanera jest jego darmowość i stosunkowo prosty dostęp, jednakże nie do końca nadaje się ono do konstruowania raportów na temat poszczególnych blogów. Zapewne macie tego świadomość - natknęliście się państwo na kłopoty przy próbie zmierzenia oglądalności blogów z platformy blog.onet.pl.”

Tę tematykę poruszyłam wyżej.

„Badanie jest też obarczone błędem polegającym na skupieniu się na platformach blogowych - pojedyncze blogi spoza nich są dorzucone do zestawienia "ręcznie", bez wskazania sposobu dołączania konkretnej witryny do rankingu.”.

Sposób opisałam powyżej – wzięliśmy pod uwagę dodatkowo sto kilkadziesiąt blogów, które podejrzewaliśmy o wysoką liczbę czytelników. Każdy z nich sprawdzaliśmy w Ad Plannerze i dodawaliśmy w przypadku gdy Ad Planner pokazywał dla nich statystyki.

„Zasięgi poszczególnych blogów z niektórych platform blogowych (m.in. Blox i Blogger/Blogspot) są zaniżane. Dzieje się tak dlatego, że część zawartości blogów (strony z komentarami) jest umieszczona pod innym adresem niż nazwabloga.serwis.com - oto przykłady:
http://www.blox.pl/komentuj/supergigant/2010/08/Pokonac-Casillasa-albo-Buffona-bezcenne.html
https://www.blogger.com/comment.g?blogID=16454725&postID=3365636574351958338
O takich sytuacjach AdPlaner "nie wie" - jedynym wyróżnikiem jest dla niego subdomena - i z tego powodu nie uwzględnia ich przy mierzeniu zasięgu/liczby odsłon poszczególnych blogów.”

Jaki procent czytelników danego bloga wchodzi na same komentarze, a nie wchodzi na stronę z podstawowym wpisem? Podejrzewam, że więcej niż 99% osób najpierw wchodzi na bloga, a potem czyta komentarze, lub czyta komentarze a potem jeszcze otwiera samą stronę główną bloga (lub z daną notką). Strony z komentarzami tego typu mogą mieć więc jakieś przełożenie na liczbę odsłon, ale nie na liczbę użytkowników (a jeśli mają na liczbę użytkowników, to marginalne).

„Oprócz tego nie mam pojęcia, jak wybrnęliście z sytuacji, kiedy zawartość jednego bloga jest dostępna pod kilkoma różnymi domenami - np. http://supergigant.pl/ i http://supergigant.blox.pl - tu również sądzę, że dochodzi do niedoszacowania oglądalności”

Podajemy je oddzielnie – na liście znalazła się dwa razy Kataryna oraz Marek Migalski. Rozważamy połączenie liczby użytkowników i odsłon tego typu blogów w kolejnej edycji.

„3. błędy merytoryczne w opisach platform blogowych
W raporcie można przeczytać (strona 5.):
"Serwisy blogowe ściśle powiązane z portalami wielofunkcyjnymi [...] Do tej grupy zaliczają się serwisy blogowe na Onet.pl,
WP.pl i Gazeta.pl. [...] Największą wadą tych serwisów są reklamy – a właściwie przestrzeń reklamowa w górnej części bloga będąca
własnością serwisu."
- nie jest to prawdą - w górnej części bloga (ani żadnej innej) Blox.pl nie emituje reklam.”

Blox.pl ich nie publikuje, Onet i WP tak. Doszło do uogólnienia przy opisywaniu całej grupy.

"Blogerzy z serwisów z drugiej grupy (nie powiązanych z portalami typu Onet), częściej niż blogerzy z pierwszej grupy samodzielnie pozyskują nowych czytelników. Stosują oni metody takie jak: pisanie komentarzy na innych blogach, notki na facebooku, „Wykop” najbardziej interesujących wpisów itp."
- niezwykle daleko idące uproszczenie. Nie spotkałem się z badaniami, które by wskazywały na to, że użytkownicy serwisów blogowych należących do portali nie pisali komentarzy czy nie korzystali z facebooka i wykopu.”

Osoby korzystające z platform blogowych nie zapewniających (tak jak Onet, WP i Gazeta) wejść na bloga ze strony głównej tych serwisów, mają większą motywację do aktywnego samodzielnego działania promocyjnego. Po prostu inaczej nie mieliby żadnych czytelników. Jest to ogólna obserwacja dokonana podczas przygotowywania raportu, przed kolejną edycją zweryfikujemy ją.

"Jeśli bloger preferuje inne systemy reklamowe lub chce samodzielnie publikować reklamy, bloga prowadzi najczęściej wykorzystując
CMS’a (np. Wordpress.org) i własną domenę oraz serwer. Takie rozwiązanie wybierają również blogerzy, którym zależy na pełnej kontroli nad wyglądem bloga i na ochronie zawartości bloga."
- praktycznie wszystkie serwisy blogowe pozwalają na samodzielną publikację reklam w różnych systemach (AdSense, AdTaily czy dziesiątki innych). Nie są znane badania wskazujące na to, że blogerzy publikujący reklamy korzystają częściej z platformy Wordpress. Pełna kontrola nad wyglądem bloga nie jest również wyróżnikiem żadnej z platform (może poza salonem24 gdzie rzeczywiście nie ma możliwości customizacji wyglądu). Nie rozumiem, co kryje się pod sformułowaniem "ochrona zawartości bloga"

Tutaj podobnie – nie jest to oparte na statystycznych danych, tylko na obserwacji. customizacja wyglądu to m.in. możliwość tworzenia zakładek, czy sposobu pokazywania komentarzy. Ochrona bloga to m.in. możliwość bezpiecznego eksportu danych czy ich przechowywania. Można znaleźć w Internecie wypowiedzi Internautów, twierdzących np., że ich blog prowadzony na popularnym portalu został bez uprzedzenia skasowany, a wpisy przepadły.