wtorek, 30 września 2008

Kluczowe wskażniki efektywności

Ostatnio zrealizowałem prezentację o analityce internetowej.




Zapraszam do obejrzenia i komentowania.

środa, 24 września 2008

Terminologia analityki internetowej

Od pewnego czasu zorientowałem się, że są pewnego rodzaju niuanse terminologiczne w analityce internetowej. Trochę inaczej to postrzegają analitycy którzy na codzień siedzą przy narzędziach raportujących, a inaczej to określają ludzie z branży reklamowej czyli od marketingu.
W Polsce jeszcze nie ma dyskusji o tym. Czasami zastanawiam się nad terminologią zawodową która określa ludzi zajmujących się "web analytics". Najbardziej znanym pojęcie to "web analyst". Jak można ich nazywać po polsku: "analitykami internetu", a może "badaczami internetu", a może jeszcze "statystykami internetowymi" ? Formalnie w firmach tworzy się stanowiska specjalisty d/s badań i analiz. Ten dział "web analytics" proponuję nazwać "webmetrią" czy "analityką internetową". Osobiście skłaniam do drugiego terminu. Jak zauważyłem większość firm w Polsce szczególnie z tej branży mają swoje działy nazywające się tak: "dział badań i analiz"
Ostatnio wobec pewnych zmian w działaniu przeglądarek internetowych (wprowadzenie trybu incognito) spowodowało na nowo dyskusję nad tym co jak mierzyć.
Warto przyjrzeć się podstawowej terminologii w tym zakresie wg. Google czy wg GemiusTraffic a także wg. GemiusAudience
Organizacje też mają swoje definicje terminologiczne: WAA czy IAB.net
Warto też przyjrzeć się dyskusji w jaki ostatnio przeszła w środowisku analityków odnośnie interpretacji standardów WAA. Pisali o tym Dennis R. Mortensen czy Justin Cutroni. A nawet WAA na swoim blogu zaproponowało publiczną dyskusję nad nową wersją słownika terminów używanych przez analityków. Ostatnio jedna z firm analitycznych WebTrends przedstawiła swój glosariusz

niedziela, 14 września 2008

Testy A/B

Tworzenie stron internetowych za pomocą jednego prototypu powoli staje się przestarzałą metodą. Coraz więcej agencji interaktywnych przechodzi na eksperymentowanie ze względu na coraz większe wymagania analityczne stawiane przed procesem tworzenia kreacji internetowych i jak mierzenia efektywności kampanii reklamowych w internecie.

Z założenia o skuteczności kampanii reklamowej decydują odpowiednio przekazany komunikat. Ale jak zmierzyć czy dany komunikat jest skuteczny. W tej sytuacji potrzebne jest narzędzie dzięki któremu potrafimy zmierzyć skuteczność danego komunikatu poprzez sprawdzenie jak to wpływa na konwersję. W ten sposób można z lepszym efektem mierzyć skuteczność wyglądu stron, czy sposobu przekazywania treści na konwersję. Konwersją może być na przykład złożenie zamówienie, zgłoszenie uwag, czy zapisanie się do newslettera.

Takim narzędziem są testy A/B i testy wieloczynnikowe. Testy A/B świetnie się łączą z narzędziami raportującymi. co pozwala na testowanie wszelkich form internetowych reklam, , oraz stron internetowych odpowiedzialnych za współczynnik konwersji (takich na których internauta powinien wykonać pożądaną przez nas działania).
W praktyce to polega na tym że przedstawiamy grupom użytkowników kolejne wersje internetowej kreacji badając która z ma największy wpływ na konwersję. Trzeba trzymać się zasady, że test A/B mierzy jeden czynnik ma której nie ma na w wersji oryginalnej. Na przykład na stronie głównej serwisu nie ma formularza kontaktowego. Czy zamieszczenie formularza kontaktowego wpłynie na ilość wysyłanych uwag? Takie badania można zmierzyć testem A/B.

Do przeprowadzenia testów A/B potrzebna jest elementarna wiedza statystyczna która pozwoli na interpretowanie wyników. Otóż potrzebna jest próba badawcza w postaci odwiedzających stronę. Zakładamy, że wystarczy przetestować jeden element (czynnik) na co najmniej 30 użytkowników, aby mieć poziom istotności na poziomie 95%, a co za tym idzie większą pewność że wyniki będą podobnie rozkładały się przy większej próbie. Tego typu testy maja sens gdy testujemy wpływ wartości dodanej. Nie nadają się do mierzenia wpływu ceny czy promocji na konwersje. Tym natomiast zajmuje się test wieloczynnikowy (ANOVA).

Pokażę przykład: mamy reklamę AdWords - 2 reklamy i 2 docelowe strony. To w tej sytuacji potrzebne jest zbadanie jak wpływała na 30 użytkowników pierwsza reklama AdWords na pierwsza docelową stronę następnie mierzymy kolejnych 30 użytkowników pierwszej reklamy AdWords na drugą docelową stronę. Czyli mamy już 60 użytkowników którzy nieświadomie biorą udział w eksperymencie A my tym razem testujemy 2 reklamę AdWords na następnych 30 użytkownikach kierując ich znowu do pierwszej strony docelowej, a potem z tej reklamy kierujemy na drugą stronę docelową. Tak mamy już 120 internautów, którzy kliknęli w reklamę AdWords i jakieś tam wyniki z narzędzi raportujących o tym, czy internauci dokonali oczekiwanych działań.

Aby skutecznie przeprowadzać testy A/B potrzebne jest narzędzie, które pozwoli na przeprowadzenie tych testów. Największą popularnością cieszy się Google Website Optimizer, który jest jednym z najlepszych rozwiązań jeżeli chodzi o integrację z Google Analytics.

Coraz więcej firm dostarcza komercyjne rozwiązania do przeprowadzenia tych testów.
WebTrends proponuje WebTrends Score
Optimost InterWoven opisuje Content Generation and Delivery
Omniture proponuje produkt Omniture Test&Target
SiteSpect też ma w swojej ofercie przeprowadzanie testów A/B
Widemile jest także firmą specjalizującą się w testach
comScore MMetrics także oferuje przeprowadzanie tych testów na platformach mobilnych
Spore doświadczenia w tym ma firma Vertster dostarczając sporo statystycznych narzędzi.
Ciekawe spostrzeżenia badawcze dokonała firma Ascentium ZeroDash1 dostarczając raport na temat wykorzystania tych technologii w praktyce A/B and Multivariate Testing Landscape | July, 2008

Ale jak można zauważyć że te firmy dostarczają wiele różnych rozwiązań opartych na różnych metodologiach i narzędziach analizy statystycznej. W praktyce to oznacza przełamanie pewnych zwyczajów przy tworzeniu serwisów internetowych. Przede wszystkim klienci muszą być nastawieni na to, że trzeba ciągle testować, co oznacza w praktyce, że agencje interaktywne mogą mieć więcej pracy, żeby wdrożyć się w iteracyjne zmiany treści w serwisach i mierzenie skuteczności.

Krzysztof Adamus dał kilka wskazówek które należy wsiąść pod uwagę przy projektowaniu eksperymentów w serwisach internetowych opartych na testach A/B:
  1. Określenie problemu badawczego. W tych testach szukamy odpowiedzi, dlaczego na przykład klienci danego serwisu internetowego nie przechodzą do kolejnych podstron lub rezygnują z przycisku call-to-action. Należy wtedy przemyśleć jaki jest cel i co prowadzi do tego celu. Następnie trzeba określić hipotezy badawcze na których oprze się cały test. Postawienie prawidłowych hipotez pozwoli skrócić cały proces przygotowania, przeprowadzania i zanalizowania testów.
  2. Określenie do kogo ma być skierowany test. Pamiętajmy, że sami internauci są elementem testu. Jeżeli mamy możliwość dokonania selekcji użytkowników (na przykład pod kątem geolokalizacji). Dzięki temu zbliżymy się do pewności, iż każdą istotną część kreacji odnieśliśmy do interesujących nas grup docelowych i uniknęliśmy przypadkowości.
  3. Określenie jakie elementy będziemy testowali w testach. I trzeba uwzględnić kombinacje tych elementów (czynników) oraz sukcesywnie w kolejnych iteracjach przeprowadzać zmiany.
  4. Określenie czasu testów. Należy pamiętać o tym, że w danym czasie mierzymy tylko tą jedną iterację z jedną modyfikacją. Nie należy w trakcie testów wprowadzać kilka modyfikacji naraz.
  5. Ostrzeżenie. Test A/B nie jest testem porównawczym, a bardziej jest testem krzyżowym. Oznacza to, że z 2 stron internetowych trzeba przetestować conajmniej 2 czynniki, które mają wpływ na konwersję.

wtorek, 9 września 2008

Narzedzia analityka

Większość danych z narzędzi raportujących ruch w serwisie internetowym przeważnie importuje się do różnych formatów: są to przeważnie formaty dla Excela takie jak CSV, XML, XLS czy TSV. Następnie instaluje się Analysis Tool Pack. W większości przypadków na początku to wystarczy, ale szybko się ujawniają pewne mankamenty, jednym z nich jest potrzeba nauczenia programowania w Visual Basic for Application przy tworzeniu i modyfikowaniu makr. Można oczywiście zainwestować w pakiety statystyczne takie jak SSPS, Statistica, czy Matlab
To ma sens jak zna się biegle statystykę i ekonometrię oraz ma plany rozwijać się w stronę usług konsultingowych w zakresie badań marketingowych czy badań rynku w internecie.
Zanim zainwestuje się sporo kasy w pakiety statystyczne warto poznać opensourcowe pakiety statystyczne, które na początek przydadzą się żeby móc potem biegle wykorzystywać komercyjne rozwiązania.

Takimi pakietami są Project R i Gretl.
Project R jest nieformalnym liderem jeżeli chodzi o wykorzystanie obliczeń statystycznych. W Polsce nim interesują się głównie statystycy i naukowcy. Łukasz Komsta napisał kiedyś w 2004 roku Wprowadzienie do środowiska R po polsku. Przemysław Biecek swoim studentom zalecał zapoznanie się z platformą R równolegle z nauką statystyki. On jest autorem książki "Przewodnik po pakiecie R" W Polsce można liczyć na wsparcie polskiego forum "Grupa użytkowników R" a także na forum R na Goldenline.

Natomiast wśród ekonomistów i analityków cieszy się program Gretl. Istnieje też polska strona poświęcona temu programowi promująca podręcznik z ekonometrii: Ekonometria. Rozwiązywanie problemów z wykorzystaniem programu gretl.

Prognozowanie ruchu w serwisie internetowym jest bardzo ciekawym zagadnieniem badawczym.

poniedziałek, 8 września 2008

Współczynniki korelacji i regresja liniowa odwiedzin serwisu internetowego

Zawsze mnie intrygowało co ma większy wpływ na ruch w serwisie internetowym. Zazwyczaj miarą jest ilość odwiedzin. Zazwyczaj wyróżnia się ruch z wyszukiwarek,wejścia bezpośrednie i jak wejścia ze stron internetowych, a także wskutek działań marketingowych. Jak wiadomo możemy mierzyć jak zachodzą relację pomiędzy odwiedzinami w całości a poszczególnymi odwiedzinami.
Otóż statystycy wymyślili narzędzie do mierzenia zależności czyli to jest korelacji. Do określania wartości zależności pomiędzy tymi danymi nazywamy współczynnikiem korelacji.Mamy zbiór danych z wszystkich odwiedzin:
88,73,47,42,69,84,85,82,21,34,35,89,77,68,76,75,29,37,81,86,96,75,52,40,34,70,83,88,83,92,44
Mamy też zbiór danych o odwiedzinach ze stron internetowych.
30,26,15,16,18,23,23,25,15,14,13,28,25,16,25,21,9,17,25,25,21,18,13,15,20,26,18,28,22,21,14
Mamy też informacje jaki udział odwiedzin był też z wyszukiwarek internetowych
13,13,14,6,11,19,13,13,1,8,10,16,18,9,14,10,1,5,16,18,24,23,15,5,6,13,19,21,26,25,8
A także jakie udział w tych wszystkich odwiedzinach mieli nowi użytkownicy:
63,58,39,34,43,61,51,59,18,25,26,52,57,39,50,45,15,31,48,61,59,46,35,28,28,51,51,54,42,46,24

Korelacja oznacza możliwość oszacowania tendencji wpływu pomiędzy 2 cechami Wartość współczynnika korelacji może być od -1 do 1
W naszym przypadku interesują następujące korelacje:
wszystkich odwiedzin do odwiedzin ze stron internetowych - współczynnik wynosi 0,78
wszystkich odwiedzin do odwiedzin z wyszukiwarek internetowych - współczynnik wynosi 0,82
wszystkich odwiedzin do odwiedzin osób których system raportujący potraktował jako nowych użytkowników 0,91

Wskaźniki korelacji są bardzo silne. Można by powiedzieć że odwiedziny z wyszukiwarki mają większy wpływ na wynik niż z linki serwisów zewnętrznych w przypadku tego serwisu.

Analityk nie poprzestanie na tym i spróbuje dokonać model który pozwoli mu na dość bezpieczne określanie jak te zależności wpływają na siebie. Do tego wystarczy mu równanie regresji liniowej: takie proste narzędzie dzięki któremu można by prognozować odwiedziny przy założeniu nie nie robimy większych zmian. Czyli nic się nie dzieje szczególnego w serwisie, ani w internecie.

Najlepszy sposób poznawania problemów i rozwiązywania ich przypomina "przepisy kuchenne". Mamy wysmażyć wzór dzięki któremu będziemy mogli dowiedzieć się ile trzeba odwiedzin ze stron internetowycxh żeby można było osiagnąć ponasd 200 odwiedzin.

Składniki do wzoru "kuchennego" regresji liniowej:
Dane z wszystkich odwiedzin.
Dane o odwiedzinach ze stron internetowych.
Współczynnik korelacji wszystkich odwiedzin do odwiedzin ze stron internetowych - 0,78.
Odchylenie standardowe wszystkich odwiedzin - 22,52.
Odchylenie standardowe odwiedzin ze stron - 5,38.
Średnia ze wszystkich odwiedzin - 65,65.
Średnia z odwiedzin ze stron - 20,16.

Obliczamy wagę = Współczynnik korelacji*(Odchylenie standardowe odwiedzin ze stron/Odchylenie standardowe wszystkich odwiedzin)
Waga wynosi 0,19
Pozostaje jeszcze obliczenie stałej:
Stała = Średnia z odwiedzin ze stron - (Waga * Średnia ze wszystkich odwiedzin)
Stała w tym przypadku wynosi 7,94

Na koniec pozostaje nam zrobienie przyprawy na patelni wg przepisu na ilość odwiedzin ze stron:
Waga * 200 wszystkich odwiedzin + stała
Na talerzu otrzymamy 45,16 odwiedzin ze stron.

Gdy się najemy - trzeba zrozumieć, że to jest spekulacja, ale lepiej zajmować się spekulacją opartą na modelu tego co było czyli na równaniu regresji liniowej.