Porównanie odwiedzin w serwisie internetowym.

Często lubimy porównywać ze sobą rożne serwisy internetowe. Ale tym razem sprawdzimy hipotezę zerową że pomiędzy odwiedzinami w dwóch tygodniach nie ma większej różnicy.
A hipoteza alternatywna poinformuje nam że że istnieje jakaś różnica pomiędzy odwiedzinami w serwisie internetowym (a jeżeli będzie istniała to trzeba będzie dokonywać dalszych badań w celu wskazania i odkrycia jakiejś relacji).

Analityk dostał informacje że w tygodniu 10-16 sierpnia w pewnym serwisie internetowym były codzienne takie odwiedziny: 43, 69, 84, 85, 82, 21, 34. Razem odwiedzin było 418, co daje średnią 59,51 odwiedzin na dzień. Następnie dostał dane z 17-23 sierpnia następującymi danymi 35, 89, 77, 68, 76, 75, 29, razem daje to 449 z średnią 64,14 odwiedzin na dzień.
Analityk ma 2 próby. I chce dokonać porównania wariancji 2 prób, aby stwierdzić czy są istotne różnice w tych odwiedzinach a potem z testu t chce wywnioskować podobieństwa z średnich odwiedzin.
Wariancja z pierwszego tygodnia wynosi 708,57, a wariancja z drugiego tygodnia wynosi 523,48 a w obu przypadkach stopnie swobody wynoszą 6. Do mierzenia rozkładu z różnicy wariancji używa się rozkładu F. Rozkład F to stosunek wariancji z dwóch prób.
W naszym przypadku dla 5% stopnia ufności, przy 6 stopniach swobody statystyka F wynosi 4,284. Stosunek wariancji odwiedziń serwisu wynosi 1,35 co jest mniejszą wartością niż wartośc teoretyczna. Analityk więc wnioskuje że nie ma istotnych róznic w wariancjach odwiedziń. W tej sytuacji pozostaje jemu jeszcze sprawdzić jak bardzo do siebie są dopasowane te próby inaczęj pisząc sprawdzić stopień podobieństwa. Hipoteza zerowa mówi, że średnie odwiedziń swerwisu internetowego nie różnią się czyli są podobne do siebie.
W tym przypadku najpierw trzeba obliczyć stopnie swobody dla testu t: jest nią suma wszystkich danych minus 2 czyli 12 Teoretyczna wartość testu t dla 12 stopni swobody przy 5% poziomie ufności wynosi: 2,1788 W tym przypadku wzór na test t z 2 prób przy braku istotnych róznić w wariancjach wyglada tak jak podano w Wikipedii

|59,51 - 64,14| / Sqrt([(708,57 * 6)+(523,48*6) /7+7-2] * [(7+7)/(7*7)]) = 0.33

Znowu wartość obliczona wartośc t nie przekracza wartości z tablicowej wartości co oznacza że spełniamy hipotezę zerową. Czyli średnie odwiedziń serwisu nie róznią się od siebie przy załozeniu 5% poizomi ufności.

Podsumując statystycznie jesteśmy w stanie obliczyć to że nic się nie zmieniło w sposób istotny w odwiedzinach serwisu internetowego.

Microsoft adCenter Analytics beta

Wraz z nową aktualizacją systemu raportującego ruch w serwisie internetowym Microsoft adCenter Analytics beta dostałem linka do założenia nowego konta. Założyłem skrypt zliczający ruch w serwisie internetowym i po 4 godzinach miałem już dane. Oznacza to że dane są zliczane w czasie rzeczywistym. Interfejs mam bardzo przejrzysty. Mogę decydować jakie dane chcę wyświetlić na tablicy nawigacyjnej. Mam tam gadżety: Page views - odsłony, Visits - odwiedziny, Visitors - odwiedzający, użytkownicy. Mam też listę Top pages - 5 najbardziej odwiedzanych stron, Top keywords - 5 slów kluczowych, Top referring websites - 5 odsyłających stron

Raporty są pogrupowane w lewym menu:
Ruch i historia: ciekawy interfejs z czasem z podziałem na rozkłady dzienne, tygodniowe czy miesięczne, i to można przedstawiać na wykresach płaskich czy wymiarowych
W widoku kalendarza można przeglądać w rożnych zakresach kalendarza czy porównywać dane. Widok użytkowników pokazuje ilość użytkowników i jak ilość odsłoń
Bardzo rozbudowaną zawartość ma widok Visitor Loyalty opisujący proporcje nowych i odwiedzających, lojalność, długość wizyt, częstość wizyt.
Ciekawostką jest segmentacja użytkowników po płci, zawodzie, wieku i jak lokalizacji ( na szczęście to w Polsce nie działa). Nowością w sposobie prezentacji jest widok mapy drzewa ruchu użytkowników po stronie. Widok odnośników pokazuje strony z których ludzie trafili z serwisu i jak linki stron z których wyszli z serwisu. Widok celów wymaga skonfigurowania celów dla których mogą być zrealizowane przez odwiedzających na stronie. Raporty mogą pokazywać co miało wpływ na dany cel, ciekawe są raporty pokazujące wpływ kampanii czy słów kluczowych na zrealizowane konwersje. Odrębną rzeczą wymagającą bliższego przestudiowania jest generowanie linków dla kampanii w płatnych wyszukiwarkach (w adCenter, Google i jak Yahoo) , email czy reklamę bannerową w widoku kampanii. Cała sztuka polega na tym, że trzeba sobie samemu wymyślać jakieś długie adresy URL wyróżniające z jakiej kampanii na jaką stronę trafi dany użytkownik. Trochę inaczej zorganizowano zbieranie informacji z transakcji komercyjnych. Pozwala to śledzić co dodał do koszyka użytkownik i jak w efekcie końcowym zliczyć zamówienie. Raport ścieżek to jedna z najbardziej wartościowych cech tego systemu raportującego - może jego prezentacja przekonać ludzi do wykorzystywania tego narzędzia w serwisach internetowych. Konfiguracja tego narzędzia pozwoli na stwierdzenie jak na daną stronę trafiali użytkownicy i jak chodzili po tym serwisie. Innym użytecznym narzędziem są funnele jest generowanie róznych scenariuszy które maja pokazywac jak wielu uztykowników dochodziło do celu, bądź realizowało pewne zadania w serwisie.

Od strony technicznej cała operacja polega na wstawianiu kawałku kodu JavaScript.
http://analytics.live.com/Analytics/msAnalytics.js
a potem każdy skrypt profilu ma wygenerowany taki kod
msAnalytics.ProfileId = 'ABCD1234';
Dodając nowe linijki kodu można monitorować ile plików zostało pobrano bądź zrobiono coś z kliknięciem - wystarczy dodać
msAnalytics.EnableLinkTracking();
działa to globalnie. Można też ręcznie obsługiwać łącza wychodzące
onClick="msAnalytics.TrackLink('http://www.jakasstrona.pl/index.html', LinkType.Outbound, 'Strona dokądś');
albo łącza do plików do pobrania
onClick="msAnalytics.TrackLink('http://www.jakasstrona.pl/download/catalog.pdf', LinkType.Download, 'Prezentacja firmy');
Skrypty do zbierania informacji o zamówieniach wyglądają następująco, w momencie zbierania informacji o tym co dodano do koszyka
msAnalytics.SetCartItem('Produkt', 129.99, 1);
msAnalytics.TrackCart();
a także informację o tym, że zamówienie z koszyka zostało dokonane
msAnalytics.SetCartItem('Produkt 1', 129.99, 1);
msAnalytics.SetCartItem('Towar 2', 79.99, 1);
msAnalytics.SetCartItem('Usluga 3', 3.99, 3);
msAnalytics.TrackPurchase();
Na koniec w tym narzędziu raportującym przewidziano sytuację w której można generować własna strukturę serwisu do badań statystycznych zamiast opierać się na linkach.
msAnalytics.SetView(1, 'cars/sedans/Under25K');
msAnalytics.SetView(2, 'ContosoCars/ContosoModel1/LE');
msAnalytics.TrackPage();
Jak widać Microsoft próbuje dogonić Google w narzędziach raportujących dla analityków internetowych.

Advanced Web Metrics with Google Analytics

Książka Briana Cliftona Advanced Web Metrics with Google Analytics ma 353 strony i 11 rozdziałów. Została wydana w marcu 2008 roku przez wydawnictwo Sybex. Koncentruje się na najnowszej wersji Google Analytics. Autor prowadzi interesującego bloga

Pierwsza część książki dotyczy sposobu mierzenia sukcesu. Chce pokazać jak ważna jest umiejętność mierzenia w celu osiągnięcia sukcesu. W przypadku serwisu internetowego kluczowe jest zrozumienie jak właściwe wyciągać wnioski z ruchu na stronie internetowej. Główne techniki mierzenia ruchu na stronie opierają się na logach i ciasteczkach. ale z tych samych danych trudno o właściwą analizę. Z tej książki zrozumiałem, że nie można zbierać informacji o użytkownikach w sposób pozwalający ich na identyfikację tożsamości. Można zbierać informacje o ruchu na stronie konkretnego użytkownika i wyciągać wnioski. o jego zachowaniu a następnie wyświetlić jemu odpowiednio przegotowana zawartość strony, natomiast zabronione jest zbieranie i przechowywanie informacji personalnych typu imię i nazwisko czy numer telefonu. Google Analytics to nic innego jak przerobiona wersja aplikacji Urchin do mierzenia i analiz ruchu na stronach internetowych. Google kupiło aplikację Urchin i nadal ją rozwija.

Druga część książki koncentruje się na omówieniu raportów Google. Zwraca uwagę na najważniejszą cechę raportów:segmentację danych. Dzięki tej technice można zestawiać różne powiązania pomiędzy poszczególnymi danymi. Bardzo wygodną cechą jest eksportowanie raportów do plików CSV, TSV (dla Excela) oraz PDF Dokładnie omawia kilka ważniejszych raportów: raporty odwiedzin, raporty e-Commerce, raporty celów, raport wizualizacji celu, raport słów kluczowych, raporty AdWords, raporty mediów, raporty geolokalizacyjne, raporty wyszukiwarki wewnętrznej.

Trzecia część jest dla mnie najciekawsza:opisuje najlepsze praktyki dla programistów które pozwalają zaimplementować kod skryptów na stronach serwisu internetowego. Zanim zacznie się prace nad implementacją skryptów Google Analytics trzeba zwrócić uwagę na stosowanie polityki kopii zapasowych z raportów, tworzenia profili i jak zarządzaniem uprawnieniami użytkowników i administratorów. Odrębną kwestia która jest poruszona to połączenie konta AdWord z kontem Google Analytics.Z poziomu skryptów Google Analytics ga.js developerzy mogą przystosować własny kod skryptów JavaScript do wykonywania zadań. Omówiona została obsługa dynamicznych adresów URL oraz sposoby zmierzenia aktywności na tych stronach. Podobną techniką można posłużyć się, gdy zechcemy mierzyć ilość pobieranych plików czy sposób wypełniania formularzy (w celu zmierzenia problemów na jakie napotykają użytkownicy na stronie). Potężnym narzędziem są skrypty transakcji, które mają na celu zbieranie informacji o zamówieniach czy o procesie zbierania informacji z zamówień. Bardzo silnym narzędziem, ale niedocenianym jest możliwość mierzenia efektywności kampanii reklamowych. Wystarczy wygenerować odpowiedni adres URL, który będzie wskazywał na odpowiednią reklamę: z bannerów, z emaili, z serwisów płacących za kliknięcia, z innych dokumentów takich jak PDF. Tą technikę można też użyć do śledzenia zachowania użytkownika po serwisie - wystarczy odpowiednie generowanie linków po stronie serwera. Do mierzenia AJAX Google Analytics pozwala na użycie eksperymentalnej funkcjonalności - mierzenie zdarzeń. Jeszcze nie miałem okazji tego używać. Głownie to zastosowanie jest w aplikacjach RIA w szczególności Flex/Flash, ale też w śledzeniu dokąd wybrali się użytkownicy z tego serwisu. Dużą wagę trzeba przywiązywać do odpowiedniej konfiguracji konta Google Analytics dla danego serwisu takich jak wykluczenie odpowiednich parametrów w adresie URL, czy umożliwienie mierzenia danych z transakcji. Interesującą możliwością jest mierzenie czego szukają użytkownicy używających wewnętrznej wyszukiwarki (to musi być możliwe dzięki danym w adresie URL, bądź wykorzystaniu wirtualnych adresów URL w celu identyfikacji zapytań do wewnętrznej wyszukiwarki). Podczas planowania celów w serwisie trzeba wskazać ścieżkę krok po kroku wskazując na kolejne adresy stron, dzięki którym użytkownicy mogą osiągnąć cel. są różne cele wizyty użytkownika takie jak ściągnięcie pliku, obejrzenie prezentacji czy dokonanie zamówienia. Ustawienie celów użytkownika w serwisie ma ułatwić dokonywanie pomiarów efektywności. Powiązanie segmentacji z celami pozawala odkrywać wiele różnych ciekawych zależności: pochodzenia, języka, użytych słów kluczowych. Często zachodzi potrzeba wyświetlania odpowiednio przygotowanych raportów pod kątem szczególnych danych. Google Analytics dostarcza filtry, które pozwalają na zbieranie wyselekcjonowanych informacji. Książka zawiera tabele, które opisują jakie dane mogą być filtrowane. Są pokazane ciekawe przykłady w praktyce na przykład: wykluczenie pewnych użytkowników z raportów, wydzielenie danych z pewnej lokalizacji geograficznej, wydzielenie informacji tylko o danej kampanii reklamowej. Najciekawszym rozdziałem jest rozdział o trikach w Google Analytics. Można dodawać nowe wyszukiwarki do listy organicznych wyszukiwarek. W ten sposób można dodać własną wyszukiwarkę na stronie do wyników które mogą pokazywać jakie słowa kluczowe interesowały użytkowników, albo jakieś niszowe wyszukiwarki. Każdemu odwiedzającemu można nadać jakaś etykietkę, która pozwoli na identyfikowanie użytkowników, ile razy wchodzili na dana stronę. Można zbierać informacje z innych kampanii reklamowych (na przykład Microsoftu Ad Center czy Yahoo Marketing Search). Pokazuje też jak zbierać informacje o tym ile razy na danej stronie był kliknięty link. Jest możliwość wykorzystania z adresów URL dla Google Analytics pod kątem danych dla systemu zarządzania treścią serwisu. Oznacza to, że system odpowiednio reaguje na adresy URL dla Google Analytics serwując użytkownikowi odpowiednia treść. Czwarta część książki zawiera informacje przeznaczone dla działu marketingu i kadry zarządzającej, aby wiedzieli czego oczekiwać od analityka i jak interpretować dane z raportów. Cały sens w tym polega na tym jak wyciągnąć z tego właściwe informacje. Analityk powinien wiedzieć jakich informacji potrzebują od niego, ale często jest tak, że sam analityk będzie informował o swoich spostrzeżeniach. Kolejny rozdział pokazuje jak obliczać różne wskaźniki efektywności podczas interpretowania danych z raportów. Do najciekawszych wskaźników jest wskaźnik "indeksu marki". W większości przypadków takie dane mają sens jak maja służyć długoterminowej analizie danych w celu obliczania wskaźników zwrotów z inwestycji. Kilka stron poświęcono interpretacji wyników pod katem optymalizacji treści w reklamie płatnej. Na zakończenie pokazano trik jak mierzyć reklamę z innych mediów. Sztuka polega na tym że dla reklamy zewnętrznej należy przygotować domenę, która potem będzie przekierowywana na właściwy adres URL zawierający informację o kampanii. Ostatni rozdział książki został poświęcony Google Website Optimizer. To narzędzie jest używane do tworzenia testów A/B do testowania layoutów i testów ANOVA do testowania korelacji pomiędzy poszczególnymi elementami na stronie. W internecie coraz większą rolę odgrywają blogi więc autor w aneksie zamieścił listę blogów poświęconych temu tematowi.

Książkę można kupić w Krainie Książek albo na Amazon

Analitycy internetowi w Polsce

Polski rynek analiz internetowych jest w fazie rozwojowej i widać pewną inercja wobec konkurencji takich zagranicznych firm Urchin/Google Analytics, Omniture SiteAnalytics, NelbenOnline. W Polsce rywalizują o klientów głownie Google Analytics i jak Stat24.

Obecnie zakładanie statystyk jest domeną pozycjonerów z branży SEO/SEM. Natomiast w tej sytuacji, gdy pozycjonerzy koncentrują się uzyskaniu dobrych wyników w wyszukiwarkach na słowach kluczowych, analitycy internetowi mają już zupełnie inne zadania. Ich zadaniem jest przeprowadzenie eksperymentów, które mają na celu przewidzenie ruchu na stronie wskutek działań marketingowych. Jak do tej pory zauważyłem, że większość ofert w polskich firmach to raporty ze statystyk czy różnego rodzaju audytów wskazujących na konieczność dokonania usprawnień. Ale mało kto potrafi wskazać jak zmierzyć efektywność tych działań. Od tego są analitycy internetowi, którzy zbierają dane liczbowe na temat tego w jakim stanie jest serwis (czyli stawiają diagnozę statystyczną) i zbierają dane z eksperymentów (w celu wskazania czy ich prognozy się spełniły).

W Polsce na razie dominuje Gemius ze sporą ilością ofert analitycznych a także oferujące darmowe statystyki Stat24.pl Na razie próbują w tym znaleźć swoją niszę takie firmy jak 7point czy Inteuron. Z trochę inną propozycją wyszła firma 5m.pl prowadzona przez Macieja Zająca, która zaproponowała produkt SiteDoctor polskie narzędzie do przeprowadzania clicktrackingu i testów A/B. Z podobnego podejścia wyszła firma Netina prowadzona przez Mateusza Chłodnickiego i Marcina Kądziołka, proponując proste narzędzie n.Rotator do przeprowadzenia eksperymentów na tekstach reklamowych w internecie.

Jeżeli chodzi o polskich analityków to jednak najbardziej wybija się osoba Mariusza Gąsiewskiego twórcy jedynego jak na razie polskiego bloga poruszającego problemy analityki internetowej. Innym przykładem jest blog Łukasza Szkudlarka, który jest pisany w języku angielskim. W polskim internecie jeszcze słowa "analityk internetowy" czy "analityk internetu" nie są powszechne znane. Często pojawia się nazwisko Krystyny Bębenek pracującej w firmie Gemius S.A. Jest ona współautorką bloga Gemiusa. Sporo polskich analityków internetowych i badaczy internetu można znaleźć na w serwisach społecznościowych takim jak Goldenline czy Linkedin:
Są tam ciekawe profile osób zatrudnionych Gemius S.A takich jak Tomasza Szmidta, Adriana Ostrowskiego, Anny Poręby, Kamili Kowalskiej, Marcina Molendy, Anny Sidlarewicz, Małgorzaty Kaczmarczyk, Krzysztofa Rosińskiego. Jak wiadomo, że wizerunek firmy tworzą ludzie. Na dzień dzisiejszy nawet Tomasz Sienkiewicz założył grupę Web analytics na Goldenline.

Wydaje mi się, że w sytuacji, gdy coraz ważniejsze stanie się dokonywanie analiz pod kątem preferencji słownictwa używanego przez internautów czy tworzenia teoretycznych modeli zachowania użytkowników to rola analityków internetowych będzie systematycznie wzrastała. Obecnie tworzy się serwisy internetowe na zasadzie przedstawienia klientowi prototypu stron w serwisie i gdzie nacisk jest położony na aspekt wizualny. Niewiele serwisów internetowych zostało stworzonych tak żeby można przeprowadzać testy na użytkownikach. Analityka internetowa ma dużą przyszłość.

Web Analytics Solution Profiler

WASP to Web Analytics Solution Profiler, specjalne rozszerzenie do Firefoxa która jest adresowana do analityków internetowych, których interesuje jakie narzędzia analityczne są zawarte na stronach internetowych. Dzięki temu, że obsługuje 116 różnych narzędzi analitycznych i raportujacych mam rozeznanie jakie informacje są zbierane podczas mojej wędrówki po internecie. W każdej chwili mogę zobaczyć ciasteczka i dane jakie są wysyłane do narzędzi raportujących. Dodatkowo mogę wygenerować mapę serwisu (do 100 stron).
Autor tego rozszerzenia Stephane Hamel jest osobą dość dobrze znaną w środowisku analityków internetowych. Ma interesujacego bloga. ale też jest aktywnym członkiem organizacji Web Analytics Association zrzeszajacą analityków internetowych.

Testy hipotez

W dzisiejszych czasach jesteśmy zalewani informacjami statystycznymi. Myślę, że ten kto wie jak konstruowane są te informacje może dojść do intencji jak potraktowano dane. Tym razem do sprawdzania danych statystycznych trzeba wykorzystać hipotezy. A w tym przypadku w celu sprawdzenia wartości danych użytych do wyciągania wniosków stosuje się wnioskowanie statystyczne czyli testy hipotez.
W czerwcu na swoim blogu o Flex 2 miałem 6727 użytkowników, a w lipcu 7245 użytkowników. Zadaję sobie pytania: Czy ta zmiana ilości użytkowników ma moim blogu jest znacząca czy nie?
Jakie jest kryterium znaczącej zmiany ilości użytkowników na blogu? Aby znaleźć odpowiedź na to pytanie trzeba postawić jakiś wniosek do sprawdzenia czyli hipotezę zerową. W naszym przypadku ta hipoteza brzmi: nie ma istotnej zmiany w ilości użytkowników mojego bloga. Trzeba też postawić hipotezę alternatywną czyli, że jest istotna zmiana w ilości użytkowników mojego bloga. Mamy 2 hipotezy i wtedy podejmujemy decyzję którą hipotezę przyjmiemy na wiarę. Przyjmujemy hipotezę zerową. W tej sytuacji zaczynamy robić eksperyment na danych aby stwierdzić czy dane spełniają hipotezę zerową. Gdy okaże się, że z eksperymentu wyjdzie wniosek sprzeczny z hipotezą zerową to prawdopodobnie popełniliśmy błąd drugiego typu.
Natomiast, jak za punkt wyjścia przyjmiemy alternatywną i eksperyment pokaże, że nie ma istotnej zmiany to oznacza że popełniliśmy błąd pierwszego typu.

Jeżeli wnioskujemy, że coś jest prawdziwe, a fakty stwierdzają, że to jest fałszywe to nasze wnioskowanie zawiera błąd drugiego typu. Jeżeli myślimy, że to coś jest fałszywe, kłamliwe a fakty stwierdzają, że to jest prawdziwe to popełniamy błąd pierwszego typu.

Eksperyment - narzędzia analityczne

Coraz większy wpływ na efekty działań marketingowych w internecie będzie miał eksperyment. W tym momencie przyjrzymy się procedurze w jakim możemy osiągnąć efekt z eksperymentu.

1. Wybieramy temat i stawiamy hipotezę
2. Opisujemy sytuację bieżącą i ustalamy cel (weryfikację hipotezy)
3. Sporządzamy plan działania (planowanie eksperymentu)
4. Analizujemy przyczyny (zebranie danych i ich eksploracja)
5. Opracujemy środki zaradcze (na bazie analizy wyciągamy wnioski i wybieramy rozwiązanie)
6. Sprawdzamy rezultaty (weryfikacja eksperymentu ma pokazać czy nie popełniliśmy błędu)
7. Ustalamy procedurę postępowania (przeprowadzamy stałą kontrolę nad danymi).

Narzędzia w analizie eksperymentu w serwisie internetowym:

• Lista kontrolna - przeprowadzenie audytów w serwisie internetowym, główny nacisk położony na audyt funkcjonalny (użyteczności) serwisu internetowego. Testujemy serwis pod kątem tego celu jak użytkownik może szybko osiągnąć to czego oczekuje twórca serwisu. Celem listy kontrolnej jest wyłapanie wszystkich nieprawidłowości i propozycji usprawnień w serwisie
  
• Stosowanie wykresów pozwala na wyłapanie tendencji oraz częstości występowania problemów z jakimi zmaga sie serwis internetowy
• Wykres Pareto ma na celu oszacowanie w jakim zakresie skali mogą występować problemy w serwisie internetowym
• Rybia ość i techniki mapy myśli pozwalają na uchwycenie zależności pomiędzy przyczyną a skutkiem problemów serwisu internetowego
• Histogramy i krzywe statystyczne mają na celu sprawdzanie jak dane wpływają na problemy z serwisem internetowym. Pozwalają określić jaki model statystyczny pasuje do tych danych
• Wykresy kontrolne pozwalają na stwierdzenie czy procesy jakie zachodzą w serwisie internetowym są stabilne.
• Diagramy rozproszenia - pozwalają na wyszukiwanie pewnych relacji pomiędzy danymi które mają wpływ na serwis internetowy (na przykład ilość użytkowników a ilość zamówień).

Jak wybierać narzędzia do przeprowadzania eksperymentu?

1. Stawianie hipotezy przynosi dobre efekty jak używa się listy kontrolnej
2. Do opisania stanu faktycznego potrzebne są dane z narzędzi raportujących, a te dane najlepiej przedstawiać w postaci wykresów
3. Do zaplanowania eksperymentu dobrze jest użyć map myśli.
4. Po zebraniu danych z eksperymentu trzeba użyć szeregu narzędzi - głównie trzeba na nowo narysować wykresy, określić krzywe statystyczne, wyznaczyć wykresy kontrolne i zbadać korelację w diagramie rozproszenia.
5. Do wyciągania wniosków warto użyć mapy myśli i jak na bazie tych danych dokonać oszacowania wyników w przyszłości - w tym przyda sie dopasowywanie danych do modeli statystycznych
6. Do weryfikacji eksperymentu wystarczy mierzyć wartości zaobserwowanych od wartości oczekiwanych i trzeba dokonywać testu hipotez bądź testu ANOVA
   
7. Standaryzacja eksperymentu polega na ustaleniu listy kontrolnej i ciągle stosowanie wobec danych wykresów kontrolnych.

Wezwanie analityka do sklepu internetowego w którym ma tylko do dyspozycji narzędzia raportujące jest tak jak wezwanie lekarza do zmarłego, żeby powiedział na co umarł.