Podsumowanie testów A/B

W jednym z poprzednich artykułów opisałem sposób na przygotowanie testów strony internetowej. Testy te uruchomiłem w serwisie o bardzo małym ruchu, rzędu kilkanaście wejść dziennie (liczyłem tylko nowe wejścia). Dodatkowo obie wersje strony A i B są takie same.
Chciałem w ten sposób sprawdzić, w jakim stopniu tak mały ruch na stronie wpłynie na wynik testów. Mierzonym przeze mnie parametrem jest bounce rate. Dla przypomnienia określa on jak dużo osób wychodzi z naszego serwisu po obejrzeniu tylko jednej strony. Im wyższy ten wskaźnik tym gorszy wynik.


Badany serwis

Badany serwis zawiera informacje o produkcie. Składa się ze strony głównej opisującej produkt oraz podstron z dokładniejszym opisem. Ruch zapewniony jest dzięki kampanii AdWords.


Wyniki

Na poniższym wykresie można zobaczyć ilość wszystkich nowych wejść na stronę.Są to wejścia zarówno osób z grupy A jak i grupy B.

Następnie możemy zobaczyć sumaryczną ilość wejść w badanym okresie z podziałem na grupę A i B:

Z tabeli tej widać, że:

• 110 osób zastało zakwalifikowanych do grupy A i 103 osoby do grupy B
• Bounce rate wyniósł odpowiedni 78.18% dla grupy A oraz 81.55% dla grupy B

Tu mała uwaga:
Bouce rate na poziome 80% to bardzo słaby wynik. Jest kilka powodów tak złego wyniku, ale nie jest to istotnej z punktu widzenia tego artykułu.
Przyzwoity bounce rate powinien być bliżej 40%.


Wnioski

Różnica między poszczególnymi wersjami wyniosła ponad 3%, mimo, ze strony są identyczne. Jest to w zakresie błędu standardowego, który w tym przypadku wynosi 5.5%.

Oznacza to, że jeżeli chciałbym przy tak słabym ruchu przeprowadzić testy różnych stron, to aby wybrać jeden z wariantów strony powinien on uzyskać wynik lepszy o co najmniej 12%.