relativer Uplift

Die absolute Differenz

Da braucht sich wirklich niemand etwas einzubilden: Einen A/B Test aufzusetzen ist keine Rocket Science. Tatsächlich ist das Aufsetzen meist der eher leichtere Part der Übung – der kritische Teil folgt erst im Anschluss, wenn es an die statistische Analyse der Daten geht. Denn ohne ein Grundverständnis für die Zahlen eines Tests macht eine Auswertung kaum Sinn. Und auch abseits des unfassbar spannenden Felds der ordentlichen Hypothesentesterei 😉 gibt es einige Kleinigkeiten, die man über Zahlen wissen sollte, um sich das Leben etwas einfacher zu machen.

Häufig werden zum Beispiel nach der Auswertung eines A/B Tests ausschließlich die absoluten Differenzen zwischen den Conversionsraten dokumentiert. Die Berechnung des absoluten Uplifts ist denkbar einfach:

Absolute Differenz

Nun kann man sich die Frage stellen, ob diese Differenz wirklich das widerspiegelt, was man wissen möchte. Diese absolute Differenz zeigt uns, einfach ausgedrückt, die “wirkliche” Differenz der beiden Gruppen. Nehmen wir als Beispiel einfach mal zwei unterschiedliche Versionen eines Buttons, der den Kunden zu einer Newsletteranmeldung führen soll. Ergebnis: Wo Version A 6% der Besucher konvertieren lässt, führt Version B bei 7% des Traffics zur Konversion. Die absolute Differenz (7%-6%) liegt hier bei 1%, was den Schluss zulässt, dass die zweite Variante (B) eine um 1% höhere CR zeigte als die Kontrollvariante (A). Soweit, so einfach.

Aber wie “mächtig” ist der wirkliche Unterschied denn nun zwischen den beiden Gruppen? Wie hoch ist die relationale Steigerung an dieser Stelle? Ist 1% hier viel – oder wenig? Einfacher und fassbarer wird es, wenn man statt der absoluten Differenz einfach auf die relative Differenz schaut.

Die relative Differenz (relativer Uplift)

Die relative Differenz zwischen zwei Testergebnissen ermöglicht es uns, den Unterschied auf einen Blick besser verständlich und interpretierbar zu machen. Auch hier ist die Berechnung unwesentlich komplizierter:

Relative Differenz

Um dies etwas anschaulicher zu machen fügen wir einfach die Werte aus dem oben genannten Beispiel ein: (7%- 6%) / 6% * 100 = 16,67%. In diesem Fall würden wir nun erfreut feststellen, dass die Variation unseres Buttons (B) in unserem Experiment die Conversion Rate um 16,67% gegenüber der Kontrollvariante (A) steigern konnte – diese also um 16,67% besser performt hat. Diese Zahl ist wesentlich einfacher zu verstehen und “selbsterklärender” und vermittelt dem Leser auf einen Blick ein besseres Verständnis für den Unterschied zwischen den beiden Varianten.

Verbesserung – verständlich gemacht!

Zusammengefasst kann man folgendes festhalten: In einem A/B Test interessiert mich in den meisten Fällen, ob meine Variante eine Verbesserung gegenüber meiner Kontrollgruppe darstellt. Ein relativer Uplift – oder die relative Differenz – ist leicht zu berechnen und wesentlich aussagekräftiger als die absolute Differenz.

Jan
Jan
Autor
Psychologe, Web Analyst, Science Junkie, Star Wars Missionar und Gründer des Blogs

Hinterlasse einen Kommentar

Please enter your comment!
Please enter your name here