Testy A/B

Tworzenie stron internetowych za pomocą jednego prototypu powoli staje się przestarzałą metodą. Coraz więcej agencji interaktywnych przechodzi na eksperymentowanie ze względu na coraz większe wymagania analityczne stawiane przed procesem tworzenia kreacji internetowych i jak mierzenia efektywności kampanii reklamowych w internecie.

Z założenia o skuteczności kampanii reklamowej decydują odpowiednio przekazany komunikat. Ale jak zmierzyć czy dany komunikat jest skuteczny. W tej sytuacji potrzebne jest narzędzie dzięki któremu potrafimy zmierzyć skuteczność danego komunikatu poprzez sprawdzenie jak to wpływa na konwersję. W ten sposób można z lepszym efektem mierzyć skuteczność wyglądu stron, czy sposobu przekazywania treści na konwersję. Konwersją może być na przykład złożenie zamówienie, zgłoszenie uwag, czy zapisanie się do newslettera.

Takim narzędziem są testy A/B i testy wieloczynnikowe. Testy A/B świetnie się łączą z narzędziami raportującymi. co pozwala na testowanie wszelkich form internetowych reklam, , oraz stron internetowych odpowiedzialnych za współczynnik konwersji (takich na których internauta powinien wykonać pożądaną przez nas działania).
W praktyce to polega na tym że przedstawiamy grupom użytkowników kolejne wersje internetowej kreacji badając która z ma największy wpływ na konwersję. Trzeba trzymać się zasady, że test A/B mierzy jeden czynnik ma której nie ma na w wersji oryginalnej. Na przykład na stronie głównej serwisu nie ma formularza kontaktowego. Czy zamieszczenie formularza kontaktowego wpłynie na ilość wysyłanych uwag? Takie badania można zmierzyć testem A/B.

Do przeprowadzenia testów A/B potrzebna jest elementarna wiedza statystyczna która pozwoli na interpretowanie wyników. Otóż potrzebna jest próba badawcza w postaci odwiedzających stronę. Zakładamy, że wystarczy przetestować jeden element (czynnik) na co najmniej 30 użytkowników, aby mieć poziom istotności na poziomie 95%, a co za tym idzie większą pewność że wyniki będą podobnie rozkładały się przy większej próbie. Tego typu testy maja sens gdy testujemy wpływ wartości dodanej. Nie nadają się do mierzenia wpływu ceny czy promocji na konwersje. Tym natomiast zajmuje się test wieloczynnikowy (ANOVA).

Pokażę przykład: mamy reklamę AdWords - 2 reklamy i 2 docelowe strony. To w tej sytuacji potrzebne jest zbadanie jak wpływała na 30 użytkowników pierwsza reklama AdWords na pierwsza docelową stronę następnie mierzymy kolejnych 30 użytkowników pierwszej reklamy AdWords na drugą docelową stronę. Czyli mamy już 60 użytkowników którzy nieświadomie biorą udział w eksperymencie A my tym razem testujemy 2 reklamę AdWords na następnych 30 użytkownikach kierując ich znowu do pierwszej strony docelowej, a potem z tej reklamy kierujemy na drugą stronę docelową. Tak mamy już 120 internautów, którzy kliknęli w reklamę AdWords i jakieś tam wyniki z narzędzi raportujących o tym, czy internauci dokonali oczekiwanych działań.

Aby skutecznie przeprowadzać testy A/B potrzebne jest narzędzie, które pozwoli na przeprowadzenie tych testów. Największą popularnością cieszy się Google Website Optimizer, który jest jednym z najlepszych rozwiązań jeżeli chodzi o integrację z Google Analytics.

Coraz więcej firm dostarcza komercyjne rozwiązania do przeprowadzenia tych testów.
WebTrends proponuje WebTrends Score
Optimost InterWoven opisuje Content Generation and Delivery
Omniture proponuje produkt Omniture Test&Target
SiteSpect też ma w swojej ofercie przeprowadzanie testów A/B
Widemile jest także firmą specjalizującą się w testach
comScore MMetrics także oferuje przeprowadzanie tych testów na platformach mobilnych
Spore doświadczenia w tym ma firma Vertster dostarczając sporo statystycznych narzędzi.
Ciekawe spostrzeżenia badawcze dokonała firma Ascentium ZeroDash1 dostarczając raport na temat wykorzystania tych technologii w praktyce A/B and Multivariate Testing Landscape | July, 2008

Ale jak można zauważyć że te firmy dostarczają wiele różnych rozwiązań opartych na różnych metodologiach i narzędziach analizy statystycznej. W praktyce to oznacza przełamanie pewnych zwyczajów przy tworzeniu serwisów internetowych. Przede wszystkim klienci muszą być nastawieni na to, że trzeba ciągle testować, co oznacza w praktyce, że agencje interaktywne mogą mieć więcej pracy, żeby wdrożyć się w iteracyjne zmiany treści w serwisach i mierzenie skuteczności.

Krzysztof Adamus dał kilka wskazówek które należy wsiąść pod uwagę przy projektowaniu eksperymentów w serwisach internetowych opartych na testach A/B:

1. Określenie problemu badawczego. W tych testach szukamy odpowiedzi, dlaczego na przykład klienci danego serwisu internetowego nie przechodzą do kolejnych podstron lub rezygnują z przycisku call-to-action. Należy wtedy przemyśleć jaki jest cel i co prowadzi do tego celu. Następnie trzeba określić hipotezy badawcze na których oprze się cały test. Postawienie prawidłowych hipotez pozwoli skrócić cały proces przygotowania, przeprowadzania i zanalizowania testów.
2. Określenie do kogo ma być skierowany test. Pamiętajmy, że sami internauci są elementem testu. Jeżeli mamy możliwość dokonania selekcji użytkowników (na przykład pod kątem geolokalizacji). Dzięki temu zbliżymy się do pewności, iż każdą istotną część kreacji odnieśliśmy do interesujących nas grup docelowych i uniknęliśmy przypadkowości.
   
3. Określenie jakie elementy będziemy testowali w testach. I trzeba uwzględnić kombinacje tych elementów (czynników) oraz sukcesywnie w kolejnych iteracjach przeprowadzać zmiany.
4. Określenie czasu testów. Należy pamiętać o tym, że w danym czasie mierzymy tylko tą jedną iterację z jedną modyfikacją. Nie należy w trakcie testów wprowadzać kilka modyfikacji naraz.
5. Ostrzeżenie. Test A/B nie jest testem porównawczym, a bardziej jest testem krzyżowym. Oznacza to, że z 2 stron internetowych trzeba przetestować conajmniej 2 czynniki, które mają wpływ na konwersję.