czwartek, 9 października 2008

Yahoo! Web Analytics

W kwietniu 2008 Yahoo przejęło węgierską firmę IndexTool która miała świetne narzędzia raportujące. Dennis R Mortensen na swoim blogu napisał post o tym jak Yahoo już oficjalnie zrobiło rebrandnig. To co mnie całkiem zaskoczyło to interfejs. Ich narzędzie raportujące składa się z wielu kreatorów. Szczególnie interesująco wygląda Kreator segmentacji
czy Kreator Raportów. Na dzień dzisiejszy dostęp do tego narzędzia mają Ci którzy są uczestnikami tych programów Yahoo (wylosowano wśród nich 15000 kont)
Jeżeli ktoś wcześniej miał dostęp do IndexTool to będzie mógł zalogować się
Ja po obserwacji doszedłem do wniosku, że niewielu ludzi potrafi dobrze wykorzystywać narzędzia raportujące w sposób optymalny. Tym bardziej skomplikowane narzędzie tym mniej ludzi używa bardziej zawansowanych funkcji, a co dopiero interpetować dane. Kreatory w Yahoo Web Analytics to jakiś zamiennik filtrów w Google Analytics. Tak jak mogłem spodziewać się narzędzia raportujące ruch w witrynach internetowych coraz bardziej będą przypominać potężne narzędzia typu Business Intelligence. Twórca tego narzędzia analitycznego zamierza w przyszłym roku wydać ksiażkę Yahoo! Web Analytics. Tracking, Reporting, and Analyzing for Data-Driven Insights, która jak przypuszczam może przypieczętować sukces tego narzędzia.

poniedziałek, 6 października 2008

Mierzenie interakcji za pomocą transakcji Google Amalytics

Na blogu Marketing w Internecie pojawił interesujący wpis o mierzeniu interakcji użytkowników w postaci ściągnięcia plików czy kliknięć w bannery na stronie bądź kliknięć w linki wewnętrzne. Sam do niedawna stosowałem tą technikę która polegała pomiar był dokonywany poprzez wywołanie trackera odsłony dla zdarzenia kliknięcia.

pageTracker._trackPageview(’/nazwa_pliku_widziana_w interfejsie’);

Ale o wiele ciekawiej będzie jak użyje się transakcji co wspomniałem w komentarzu na tym blogu

function getOrderID()
{
var currentTime = new Date();
var month = currentTime.getMonth()+1;
var timeStamp =' ' + currentTime.getFullYear() + '-' + month +
'-' + currentTime.getDate() + ' ' + currentTime.getHours() +":" + currentTime.getMinutes() + ":" + currentTime.getSeconds();

return(timeStamp);
}

A następnie do zdarzenia onclick warto zmodyfikować dodać poniższy kod

pageTracker2._addTrans(getOrderID(),"","1","","","","",""); pageTracker2._addItem(getOrderID(), "Dokument PDF", document.title, document.location.href, "1","1"); pageTracker2._trackTrans();

Co otrzymujemy dzięki temu kodowi:
  • informację kiedy użytkownik ściągnął dany plik
  • z jakiej strony i jaka strona miała wtedy tytuł
  • transakcje ładnie dają się wymiarować z danymi o lokalizacji czy typie użytkownika.

piątek, 3 października 2008

Opensourcowe rozwiązania dla analityków internetowych

Od pewnego czasu zauważam dominację Google Analytics jeżeli chodzi o rozwiązania w zakresie narzędzi raportujących. Właściwie zdolny programista od JavaScript potrafiłby wszystko czego się oczekuje od takich narzędzi zbierać. Nawet o prędkości ruchów myszki na danej stronie internetowej czy kolejności wizyt użytkownika na stronie.

W cieniu Google Analytics programiści open source pracują nad własnymi rozwiązaniami narzędzi raportujących. Narzędzia bazujące na logach serwera są dobre w celu zbierania informacji, które zapisze serwer. Ale w sytuacji stosowania technologii typu AJAX, logi serwera nie są już dość dobrym narzędziem do mierzenia aktywności użytkownika na stronie.


Jedna warto wspomnieć o tych narzędziach: AWStat to oparte na Perlu narzędzie do zbierania informacji o przeglądarkach użytkowników oraz Webalizer to napisany w C szybki analizator logów.

Gdy chodzi o zbieranie informacji o interakcjach i zachowaniach użytkownikach na stronach to te powyższe analizatory nie są najlepszym rozwiązaniem o ile programiści nie napiszą sobie własnego dedykowanego rozszerzenia.

W tej sytuacji trzeba było dostarczyć narzędzia w celu zbierania informacji marketingowych czy transakcji to trzeba było już osadzać skrypty JavaScript na stronach internetowych. Takie podejście w celu zbierania danych o ruchu na stronach WWW ma sens jak właściciel serwisu internetowego chce zbierać dane o samej przeglądarce WWW.

Środowisko OpenSource rozwija następujące projekty: Open Web Analytics Zaletą tego rozwiązania jest miezrznie ruchu z RSS oraz tworzenie własnych raportów. Inną zaletą jest też integracja z Wordpressem i jak Media Wiki.

Natomiast ze sobą rywalizują 2 projekty opensourcowe dla analityków internetowych. Piwik - zyskujący coraz większą popularność a ma coraz większe ambicje. W Polsce blogosfera mało na to zwróciło uwagi: Piotr Fiećko, Grzegorz Godlewski, Anna Deregowska-Watza W Polsce na razie zainteresował się tym inTrack oferując darmowe statystyki dla blogerów. Jednakże coraz bardziej zaawansowany zaczyna być phpMyVisites To co wyróżnia spośród innych to wykorzystanie mapy kliknięć.

Rozwój narzędzi raportujących coraz bardziej będzie zmierzał w kierunku ich integracji z CMS czy ERM tworząc narzędzia do badania KPI witryn internetowych co upodobni te narzędzia raportujące do narzędzi typu Business Intelligence.

wtorek, 30 września 2008

Kluczowe wskażniki efektywności

Ostatnio zrealizowałem prezentację o analityce internetowej.




Zapraszam do obejrzenia i komentowania.

środa, 24 września 2008

Terminologia analityki internetowej

Od pewnego czasu zorientowałem się, że są pewnego rodzaju niuanse terminologiczne w analityce internetowej. Trochę inaczej to postrzegają analitycy którzy na codzień siedzą przy narzędziach raportujących, a inaczej to określają ludzie z branży reklamowej czyli od marketingu.
W Polsce jeszcze nie ma dyskusji o tym. Czasami zastanawiam się nad terminologią zawodową która określa ludzi zajmujących się "web analytics". Najbardziej znanym pojęcie to "web analyst". Jak można ich nazywać po polsku: "analitykami internetu", a może "badaczami internetu", a może jeszcze "statystykami internetowymi" ? Formalnie w firmach tworzy się stanowiska specjalisty d/s badań i analiz. Ten dział "web analytics" proponuję nazwać "webmetrią" czy "analityką internetową". Osobiście skłaniam do drugiego terminu. Jak zauważyłem większość firm w Polsce szczególnie z tej branży mają swoje działy nazywające się tak: "dział badań i analiz"
Ostatnio wobec pewnych zmian w działaniu przeglądarek internetowych (wprowadzenie trybu incognito) spowodowało na nowo dyskusję nad tym co jak mierzyć.
Warto przyjrzeć się podstawowej terminologii w tym zakresie wg. Google czy wg GemiusTraffic a także wg. GemiusAudience
Organizacje też mają swoje definicje terminologiczne: WAA czy IAB.net
Warto też przyjrzeć się dyskusji w jaki ostatnio przeszła w środowisku analityków odnośnie interpretacji standardów WAA. Pisali o tym Dennis R. Mortensen czy Justin Cutroni. A nawet WAA na swoim blogu zaproponowało publiczną dyskusję nad nową wersją słownika terminów używanych przez analityków. Ostatnio jedna z firm analitycznych WebTrends przedstawiła swój glosariusz

niedziela, 14 września 2008

Testy A/B

Tworzenie stron internetowych za pomocą jednego prototypu powoli staje się przestarzałą metodą. Coraz więcej agencji interaktywnych przechodzi na eksperymentowanie ze względu na coraz większe wymagania analityczne stawiane przed procesem tworzenia kreacji internetowych i jak mierzenia efektywności kampanii reklamowych w internecie.

Z założenia o skuteczności kampanii reklamowej decydują odpowiednio przekazany komunikat. Ale jak zmierzyć czy dany komunikat jest skuteczny. W tej sytuacji potrzebne jest narzędzie dzięki któremu potrafimy zmierzyć skuteczność danego komunikatu poprzez sprawdzenie jak to wpływa na konwersję. W ten sposób można z lepszym efektem mierzyć skuteczność wyglądu stron, czy sposobu przekazywania treści na konwersję. Konwersją może być na przykład złożenie zamówienie, zgłoszenie uwag, czy zapisanie się do newslettera.

Takim narzędziem są testy A/B i testy wieloczynnikowe. Testy A/B świetnie się łączą z narzędziami raportującymi. co pozwala na testowanie wszelkich form internetowych reklam, , oraz stron internetowych odpowiedzialnych za współczynnik konwersji (takich na których internauta powinien wykonać pożądaną przez nas działania).
W praktyce to polega na tym że przedstawiamy grupom użytkowników kolejne wersje internetowej kreacji badając która z ma największy wpływ na konwersję. Trzeba trzymać się zasady, że test A/B mierzy jeden czynnik ma której nie ma na w wersji oryginalnej. Na przykład na stronie głównej serwisu nie ma formularza kontaktowego. Czy zamieszczenie formularza kontaktowego wpłynie na ilość wysyłanych uwag? Takie badania można zmierzyć testem A/B.

Do przeprowadzenia testów A/B potrzebna jest elementarna wiedza statystyczna która pozwoli na interpretowanie wyników. Otóż potrzebna jest próba badawcza w postaci odwiedzających stronę. Zakładamy, że wystarczy przetestować jeden element (czynnik) na co najmniej 30 użytkowników, aby mieć poziom istotności na poziomie 95%, a co za tym idzie większą pewność że wyniki będą podobnie rozkładały się przy większej próbie. Tego typu testy maja sens gdy testujemy wpływ wartości dodanej. Nie nadają się do mierzenia wpływu ceny czy promocji na konwersje. Tym natomiast zajmuje się test wieloczynnikowy (ANOVA).

Pokażę przykład: mamy reklamę AdWords - 2 reklamy i 2 docelowe strony. To w tej sytuacji potrzebne jest zbadanie jak wpływała na 30 użytkowników pierwsza reklama AdWords na pierwsza docelową stronę następnie mierzymy kolejnych 30 użytkowników pierwszej reklamy AdWords na drugą docelową stronę. Czyli mamy już 60 użytkowników którzy nieświadomie biorą udział w eksperymencie A my tym razem testujemy 2 reklamę AdWords na następnych 30 użytkownikach kierując ich znowu do pierwszej strony docelowej, a potem z tej reklamy kierujemy na drugą stronę docelową. Tak mamy już 120 internautów, którzy kliknęli w reklamę AdWords i jakieś tam wyniki z narzędzi raportujących o tym, czy internauci dokonali oczekiwanych działań.

Aby skutecznie przeprowadzać testy A/B potrzebne jest narzędzie, które pozwoli na przeprowadzenie tych testów. Największą popularnością cieszy się Google Website Optimizer, który jest jednym z najlepszych rozwiązań jeżeli chodzi o integrację z Google Analytics.

Coraz więcej firm dostarcza komercyjne rozwiązania do przeprowadzenia tych testów.
WebTrends proponuje WebTrends Score
Optimost InterWoven opisuje Content Generation and Delivery
Omniture proponuje produkt Omniture Test&Target
SiteSpect też ma w swojej ofercie przeprowadzanie testów A/B
Widemile jest także firmą specjalizującą się w testach
comScore MMetrics także oferuje przeprowadzanie tych testów na platformach mobilnych
Spore doświadczenia w tym ma firma Vertster dostarczając sporo statystycznych narzędzi.
Ciekawe spostrzeżenia badawcze dokonała firma Ascentium ZeroDash1 dostarczając raport na temat wykorzystania tych technologii w praktyce A/B and Multivariate Testing Landscape | July, 2008

Ale jak można zauważyć że te firmy dostarczają wiele różnych rozwiązań opartych na różnych metodologiach i narzędziach analizy statystycznej. W praktyce to oznacza przełamanie pewnych zwyczajów przy tworzeniu serwisów internetowych. Przede wszystkim klienci muszą być nastawieni na to, że trzeba ciągle testować, co oznacza w praktyce, że agencje interaktywne mogą mieć więcej pracy, żeby wdrożyć się w iteracyjne zmiany treści w serwisach i mierzenie skuteczności.

Krzysztof Adamus dał kilka wskazówek które należy wsiąść pod uwagę przy projektowaniu eksperymentów w serwisach internetowych opartych na testach A/B:
  1. Określenie problemu badawczego. W tych testach szukamy odpowiedzi, dlaczego na przykład klienci danego serwisu internetowego nie przechodzą do kolejnych podstron lub rezygnują z przycisku call-to-action. Należy wtedy przemyśleć jaki jest cel i co prowadzi do tego celu. Następnie trzeba określić hipotezy badawcze na których oprze się cały test. Postawienie prawidłowych hipotez pozwoli skrócić cały proces przygotowania, przeprowadzania i zanalizowania testów.
  2. Określenie do kogo ma być skierowany test. Pamiętajmy, że sami internauci są elementem testu. Jeżeli mamy możliwość dokonania selekcji użytkowników (na przykład pod kątem geolokalizacji). Dzięki temu zbliżymy się do pewności, iż każdą istotną część kreacji odnieśliśmy do interesujących nas grup docelowych i uniknęliśmy przypadkowości.
  3. Określenie jakie elementy będziemy testowali w testach. I trzeba uwzględnić kombinacje tych elementów (czynników) oraz sukcesywnie w kolejnych iteracjach przeprowadzać zmiany.
  4. Określenie czasu testów. Należy pamiętać o tym, że w danym czasie mierzymy tylko tą jedną iterację z jedną modyfikacją. Nie należy w trakcie testów wprowadzać kilka modyfikacji naraz.
  5. Ostrzeżenie. Test A/B nie jest testem porównawczym, a bardziej jest testem krzyżowym. Oznacza to, że z 2 stron internetowych trzeba przetestować conajmniej 2 czynniki, które mają wpływ na konwersję.

wtorek, 9 września 2008

Narzedzia analityka

Większość danych z narzędzi raportujących ruch w serwisie internetowym przeważnie importuje się do różnych formatów: są to przeważnie formaty dla Excela takie jak CSV, XML, XLS czy TSV. Następnie instaluje się Analysis Tool Pack. W większości przypadków na początku to wystarczy, ale szybko się ujawniają pewne mankamenty, jednym z nich jest potrzeba nauczenia programowania w Visual Basic for Application przy tworzeniu i modyfikowaniu makr. Można oczywiście zainwestować w pakiety statystyczne takie jak SSPS, Statistica, czy Matlab
To ma sens jak zna się biegle statystykę i ekonometrię oraz ma plany rozwijać się w stronę usług konsultingowych w zakresie badań marketingowych czy badań rynku w internecie.
Zanim zainwestuje się sporo kasy w pakiety statystyczne warto poznać opensourcowe pakiety statystyczne, które na początek przydadzą się żeby móc potem biegle wykorzystywać komercyjne rozwiązania.

Takimi pakietami są Project R i Gretl.
Project R jest nieformalnym liderem jeżeli chodzi o wykorzystanie obliczeń statystycznych. W Polsce nim interesują się głównie statystycy i naukowcy. Łukasz Komsta napisał kiedyś w 2004 roku Wprowadzienie do środowiska R po polsku. Przemysław Biecek swoim studentom zalecał zapoznanie się z platformą R równolegle z nauką statystyki. On jest autorem książki "Przewodnik po pakiecie R" W Polsce można liczyć na wsparcie polskiego forum "Grupa użytkowników R" a także na forum R na Goldenline.

Natomiast wśród ekonomistów i analityków cieszy się program Gretl. Istnieje też polska strona poświęcona temu programowi promująca podręcznik z ekonometrii: Ekonometria. Rozwiązywanie problemów z wykorzystaniem programu gretl.

Prognozowanie ruchu w serwisie internetowym jest bardzo ciekawym zagadnieniem badawczym.