Kalkulator kosztu testu A/B i zmiany konwersji

Kiedy ten kalkulator jest szczególnie przydatny?

W sklepie internetowym wiele zmian wygląda na małe: inny przycisk, krótszy formularz, komunikat o dostawie, układ opinii, sekcja z gwarancją zwrotu, zmiana kolejności zdjęć albo nowy blok z produktami dodatkowymi. Każda z tych zmian może poprawić konwersję, ale może też kosztować czas grafika, copywritera, programisty, specjalisty od analityki i osoby odpowiedzialnej za wdrożenie. Jeżeli sklep ma duży ruch, nawet wzrost konwersji z 1,80% do 2,00% może być wartościowy. Jeżeli ruch jest mały, taka różnica może nie pokryć kosztu testu przez wiele miesięcy.

Kalkulator pomaga odpowiedzieć na konkretne frazy użytkowników: „czy test A/B się opłaca”, „ile daje wzrost konwersji o 0,2 punktu procentowego”, „ile zamówień więcej da poprawa checkoutu”, „jaki koszt wdrożenia ma sens przy moim ruchu” albo „ile musi wzrosnąć konwersja, żeby test się zwrócił”. Jeżeli zmiana dotyczy ceny, warto porównać wynik z kalkulatorem ceny minimalnej produktu. Jeżeli test obejmuje rabat lub kupon, przyda się też kalkulator kosztu rabatu i kuponu promocyjnego.

Najlepsze decyzje powstają wtedy, gdy wynik testu jest połączony z marżą. Sama konwersja nie mówi, czy sklep zarobił więcej. Wariant B może zwiększyć liczbę zamówień, ale jednocześnie obniżyć średni koszyk, zwiększyć udział zwrotów albo wymusić droższą obsługę. Dlatego w formularzu uwzględniono koszyk, marżę, koszty zmienne zamówienia oraz zwroty. Dzięki temu wynik pokazuje zysk, a nie tylko liczbę transakcji.

Wzór i logika obliczeń

Kalkulator najpierw wyznacza zysk na jednym zamówieniu. Podstawą jest średni koszyk brutto pomnożony przez marżę po koszcie produktu. Od tej wartości odejmowane są koszty zmienne zamówienia, czyli prowizje, płatności, dopłata do dostawy, pakowanie i obsługa. Następnie odejmowana jest rezerwa na zwroty i anulacje: procent zwrotów pomnożony przez koszt jednego zwrotu.

Drugi krok to porównanie wariantu A i B. Różnica konwersji w punktach procentowych mówi, o ile wariant B jest lepszy lub gorszy od obecnej wersji. Jeżeli konwersja A wynosi 1,80%, a wariant B ma 2,15%, poprawa wynosi 0,35 punktu procentowego. Przy 52 000 sesji miesięcznie oznacza to około 182 dodatkowe zamówienia w miesiącu. Dopiero po przemnożeniu tych zamówień przez zysk jednostkowy widać, czy zmiana jest finansowo mocna.

Kalkulator liczy również minimalną konwersję potrzebną do zwrotu kosztu testu i wdrożenia. To ważne przy małych zmianach. Jeżeli test i wdrożenie kosztują 4400 zł, a sklep zarabia 41 zł na zamówieniu, potrzeba około 108 dodatkowych zamówień, aby pokryć koszt. Przy małym ruchu taki zwrot może trwać długo. Przy dużym ruchu ta sama poprawa konwersji może zwrócić się w kilka tygodni.

Przykład obliczeń

Sklep ma 52 000 sesji miesięcznie, średni koszyk 185 zł i marżę po koszcie produktu 36%. Koszty zmienne zamówienia wynoszą 24 zł, zwroty 7%, a koszt obsługi jednego zwrotu to 18 zł. Zysk na zamówieniu po tych korektach wynosi około 41 zł. Obecna konwersja wynosi 1,80%, a wariant B w teście osiąga 2,15%.

Różnica konwersji to 0,35 punktu procentowego. Przy 52 000 sesji oznacza to około 182 dodatkowe zamówienia miesięcznie. Po przemnożeniu przez zysk na zamówieniu sklep może uzyskać ponad 7400 zł dodatkowego wkładu miesięcznego. Jeżeli koszt utrzymania zmiany wynosi 300 zł, miesięczny efekt spada do około 7100 zł. Przy koszcie testu i wdrożenia 4400 zł zwrot może nastąpić szybciej niż w jeden miesiąc.

Ten przykład pokazuje, dlaczego warto liczyć zmianę konwersji razem z marżą. Wzrost konwersji o 0,35 punktu procentowego może wyglądać skromnie, ale przy dużym ruchu i dodatniej marży daje realny efekt. Jeżeli jednak zysk na zamówieniu byłby niski, a zwroty wysokie, ten sam wzrost konwersji mógłby nie wystarczyć.

Zadania przykładowe

Tabela: co oznaczają wyniki?

Mały wzrost konwersji może być ważniejszy niż duża zmiana wyglądu

Właściciel sklepu często widzi test A/B jako zmianę graficzną: inny kolor przycisku, inny układ sekcji, nowe zdjęcia albo krótszy opis. W praktyce najważniejsza jest nie skala zmiany widoczna na ekranie, lecz jej wpływ na decyzję klienta. Mała korekta komunikatu o dostawie może usunąć niepewność w koszyku. Jedno zdanie o terminie wysyłki może zmniejszyć liczbę pytań do supportu. Widoczna informacja o zwrocie może poprawić konwersję, ale jednocześnie przyciągnąć osoby, które częściej odsyłają produkt.

Dlatego test powinien mieć jedną główną hipotezę: co dokładnie ma się poprawić i dlaczego. Przykład: „jeżeli dodamy informację o terminie dostawy nad przyciskiem zakupu, mniej osób opuści koszyk”. Taka hipoteza jest lepsza niż ogólne „zmieniamy kartę produktu na ładniejszą”. Kalkulator pomaga przełożyć tę hipotezę na pieniądze. Wystarczy wpisać obecną konwersję, nową konwersję, koszyk, marżę i koszt wdrożenia, aby zobaczyć, czy wynik ma znaczenie dla całego sklepu.

Największą wartość mają testy, które powtarzają się w wielu miejscach: koszyk, checkout, karta produktu, moduł dostawy, sekcja opinii, rekomendacje produktów, kupony i komunikaty o darmowej dostawie. Jeśli zmiana działa tylko na jednej małej podstronie, jej efekt może być ograniczony. Jeśli działa na tysiącach sesji miesięcznie, nawet niewielka poprawa potrafi finansować kolejne prace rozwojowe.

Test A/B bez marży może prowadzić do złej decyzji

Jeżeli wariant B zwiększa liczbę zamówień, ale sprzedaje głównie produkty o niższej marży, standardowy raport testu może wyglądać dobrze. Widać więcej transakcji, lepszą konwersję i większy przychód. Dopiero po doliczeniu prowizji, płatności, dopłat do dostawy, zwrotów i kosztów obsługi okazuje się, że sklep zarobił mniej. To częsty problem przy testach promocji, darmowej dostawy, zestawów i komunikatów rabatowych.

Dlatego zmianę konwersji warto sprawdzać razem z kalkulatorem marży po prowizjach i zwrotach, kalkulatorem darmowej dostawy i kalkulatorem kosztu zwrotów i reklamacji. Test A/B ma sens wtedy, gdy poprawia zachowanie użytkownika i jednocześnie wzmacnia wynik finansowy sklepu.