Bayesian AB-Test

9

Ich führe einen AB-Test auf einer Seite durch, die nur 5.000 Besuche pro Monat erhält. Es würde zu lange dauern, bis das Verkehrsniveau erreicht ist, das erforderlich ist, um einen Unterschied von + -1% zwischen Test und Kontrolle zu messen. Ich habe gehört, dass ich Bayes'sche Statistiken verwenden kann, um eine gute Chance zu haben, festzustellen, ob der Test eine Outperformance erzielt hat. Wie kann ich Bayes'sche Statistiken verwenden, um meine aktuellen Daten zu analysieren?

        Visitors    Conversions
Control 1345         1165
Test A  961          298
Test B  1274         438

bayesian hypothesis-testing ab-test

— Bi-Gnomial
quelle

1

Sie können die Einschränkungen der Stichprobengröße durch Bayes'sche Magie nicht umgehen. Sammeln Sie Ihre Daten.

— Aksakal

9

Ich arbeite mich durch die gleichen Fragen. Es gibt jetzt einige hilfreiche Artikel, die nicht verfügbar waren, als Sie diese Frage stellten.

„Bayesian A / B - Tests mit Theorie und Code“ von Antti Rasinen - die logische Schlussfolgerung einer unvollendeten Reihe von Artikeln Serie „Exact Bayesian Inference für A / B - Tests“ von Evan Haas (hier teilweise gerettet Teil1 und Teil2 ).

$Pr(A > B)$

$\alpha$ $\beta$

"Kapitel 2: Ein bisschen mehr über PyMC" aus dem Buch "Bayesian Methods for Hackers" von Cam Davidson Pilon - Dies ist ein iPython-Buch, das Bayesian-Methoden in einer Reihe von Anwendungen erklärt. Ungefähr zur Hälfte von Kapitel 2 (der Titel des Abschnitts lautet Beispiel: Bayesian A / B-Test ) gibt der Autor eine detaillierte Erklärung, wie die Wahrscheinlichkeit berechnet wird, dass A besser als B ist (oder umgekehrt), indem er die Pymc- Bibliothek verwendet. Es wird der vollständige Python-Code angegeben, einschließlich des Zeichnens der Ergebnisse.

Es gibt jetzt auch eine Reihe von Bayes'schen Signifikanzrechnern online:

— Lenwood
quelle

(+1) vielen dank, sehr hilfreich in der Tat

— steffen

2

Können Sie eine Übersicht über die Informationen in den Artikeln hinzufügen, damit die Leute erkennen können, ob sie sie verfolgen möchten und ob die Links nicht mehr funktionieren? Können Sie auch vollständige Zitate angeben, falls die Links nicht mehr funktionieren?

— Gung - Reinstate Monica

8

Sie können eine Monte-Carlo-Integration der glaubwürdigen Intervalle jeder Gruppe durchführen, die durch Beta-Verteilungen dargestellt werden, um die Wahrscheinlichkeit zu berechnen, dass der wahre unbekannte Parameter einer Gruppe besser ist als der wahre unbekannte Parameter einer anderen Gruppe. Ich habe in dieser Frage etwas Ähnliches getan. Wie berechnet ein Frequentist die Wahrscheinlichkeit, dass Gruppe A Gruppe B in Bezug auf die binäre Antwort schlägt, wobei Versuche = Besucher und erfolgreiche Versuche = Conversions

ABER: Beachten Sie, dass Bayes Ihnen nur subjektive Wahrscheinlichkeiten gibt, abhängig von den bisher gesammelten Daten, nicht von der objektiven "Wahrheit". Dies beruht auf dem Unterschied in der Philosophie zwischen Frequentisten (die statistische Tests, p-Werte usw. verwenden) und Bayesianern. Daher können Sie nicht erwarten, mit Bayes einen signifikanten Unterschied festzustellen, wenn die statistischen Verfahren dies nicht tun.

Um zu verstehen, warum dies wichtig ist, kann es hilfreich sein, zuerst den Unterschied zwischen dem Konfidenzintervall und dem glaubwürdigen Intervall zu lernen, da die oben erwähnte MC-Integration "nur" zwei unabhängige glaubwürdige Intervalle miteinander vergleicht.

Für weitere Details zu diesem Thema siehe zB folgende Fragen:

— steffen
quelle

0

Es gibt verschiedene Ansätze für Bayes'sche A / B-Tests.

Zunächst sollten Sie entscheiden, ob Sie einen analytischen Ansatz (unter Verwendung von konjugierten Verteilungen, wie Lenwood erwähnt) oder einen MCMC-Ansatz verwenden möchten. Für einfache A / B-Experimente, insbesondere für die Conversion-Rate, die Ihr Fall ist, ist es wirklich nicht erforderlich, einen MCMC-Ansatz zu verwenden: Verwenden Sie einfach eine Beta-Verteilung als vorherige und Ihre hintere Verteilung wird auch eine Beta-Verteilung sein.

Dann müssen Sie entscheiden, welche Entscheidungsregel angewendet werden soll. Hier scheint es zwei Hauptansätze für die Entscheidungsfindung zu geben. Die erste basiert auf einer Arbeit von John Kruschke von der Indiana University (K. Kruschke, Bayesian Estimation ersetzt den t-Test , Journal of Experimental Psychology: General, 142, 573 (2013)). Die in diesem Dokument verwendete Entscheidungsregel basiert auf dem Konzept der Region of Practical Equivalence (ROPE).

Eine andere Möglichkeit besteht darin, das Konzept eines erwarteten Verlusts zu verwenden. Es wurde von Chris Stucchio (C. Stucchio, Bayesian A / B Testing bei VWO ) vorgeschlagen.

Grundsätzlich können Sie eine andere Entscheidungsregel verwenden.

Dies und vieles mehr finden Sie in diesem Blogbeitrag: Bayesian A / B Testing: Eine Schritt-für-Schritt-Anleitung . Es enthält auch einige Python-Code-Schnipsel und verwendet ein Python-Projekt, das auf Github gehostet wird .

— cbellei
quelle