Als «ab-test» getaggte Fragen

A / B-Tests, auch Split- oder Bucket-Tests genannt, sind ein kontrollierter Vergleich der Wirksamkeit von Varianten einer Website, einer E-Mail oder eines anderen kommerziellen Produkts.

1
Berechnung der Wiederholbarkeit von Effekten aus einem früheren Modell
Ich bin gerade auf diese Arbeit gestoßen , in der beschrieben wird, wie die Wiederholbarkeit (auch bekannt als Zuverlässigkeit, auch bekannt als Intraclass-Korrelation) einer Messung über Mixed-Effects-Modellierung berechnet wird. Der R-Code wäre: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = …
28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 
4
Wie kann man in einer Potenzanalyse mit zwei unabhängigen Anteilen eine Stoppregel entwickeln?
Ich bin ein Softwareentwickler, der an A / B-Testsystemen arbeitet. Ich habe keinen soliden Hintergrund für Statistiken, habe aber in den letzten Monaten Wissen gesammelt. In einem typischen Testszenario werden zwei URLs auf einer Website verglichen. Ein Besucher besucht LANDING_URLund wird dann nach dem Zufallsprinzip an URL_CONTROLoder weitergeleitet URL_EXPERIMENTAL. Ein …
2
Warum ist es falsch, einen A / B-Test abzubrechen, bevor die optimale Stichprobengröße erreicht ist?
Ich bin dafür verantwortlich, die Ergebnisse von A / B-Tests (die auf Website-Variationen ausgeführt werden) in meinem Unternehmen zu präsentieren. Wir führen den Test einen Monat lang durch und überprüfen dann die p-Werte in regelmäßigen Abständen, bis wir die Signifikanz erreichen (oder geben auf, wenn die Signifikanz nach längerer Durchführung …
3
Welcher statistische Test wird für den A / B-Test verwendet?
Wir haben zwei Kohorten mit jeweils 1000 Proben. Wir messen 2 Mengen pro Kohorte. Die erste ist eine binäre Variable. Die zweite Zahl ist eine reelle Zahl, die einer starken Schwanzverteilung folgt. Wir möchten beurteilen, welche Kohorte für jede Metrik die beste Leistung erbringt. Es stehen zahlreiche statistische Tests zur …
12 ab-test 
2
Validieren Sie Web-A / B-Tests, indem Sie ein Experiment erneut ausführen. Ist dies gültig?
In einem Webinar eines A / B-Testunternehmens wurde der ansässige "Data Scientist" erklärt, dass Sie Ihre Ergebnisse validieren sollten, indem Sie das Experiment erneut ausführen. Die Prämisse war, dass bei Auswahl von 95% Konfidenz eine Wahrscheinlichkeit von 5% (1/20) für ein falsches Positiv besteht. Wenn Sie Ihr Experiment mit denselben …
1
Die Formel für Bayes'sche A / B-Tests macht keinen Sinn
Ich verwende die Formel aus dem Bayes'schen Ab-Test , um die Ergebnisse des AB-Tests nach der Bayes'schen Methode zu berechnen. Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA)Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA) \Pr(p_B > p_A) = \sum^{\alpha_B-1}_{i=0} \frac{B(\alpha_A+i,\beta_B+\beta_A)}{(\beta_B+i)B(1+i,\beta_B)B(\alpha_A, \beta_A)} wo αAαA\alpha_A in eins plus die Anzahl der Erfolge für A. βAβA\beta_A in eins plus die Anzahl der Fehler für A. αBαB\alpha_B …
10 r  bayesian  ab-test 
3
Bayesian AB-Test
Ich führe einen AB-Test auf einer Seite durch, die nur 5.000 Besuche pro Monat erhält. Es würde zu lange dauern, bis das Verkehrsniveau erreicht ist, das erforderlich ist, um einen Unterschied von + -1% zwischen Test und Kontrolle zu messen. Ich habe gehört, dass ich Bayes'sche Statistiken verwenden kann, um …
2
Ist der Wilcoxon-Rang-Summen-Test der richtige Test, um festzustellen, ob sich die Gesamtspenden unterscheiden?
Hintergrund: Meine Software bittet Benutzer um optionale Spenden in beliebiger Höhe. Ich habe Testspendenanfragen unter den Benutzern aufgeteilt, um den besten Weg zu finden, um zu fragen: 50% erhalten Anforderungsversion 1, 50% erhalten Anforderungsversion 2, und wir sehen, welche besser ist. Fast alle Benutzer geben 0 US-Dollar, aber einige spenden. …
1
AB-Test vs. Test der Nullhypothese
Ich versuche den Unterschied zwischen zu verstehen Testen der Nullhypothese (dh Testen, dass die Wahrscheinlichkeit eines "Ziels" für 2 verschiedene Populationen gleich ist, ähnlich wie bei prop.test in R) ein A / B-Test unter Verwendung einer Bayes'schen Formel wie hier beschrieben: http://www.evanmiller.org/bayesian-ab-testing.html Ist da ein Unterschied? Ist man vorzuziehen? Das …
2
Mathematik hinter multivariaten Tests zur Website-Optimierung
Ich suche nach theoretischen Ressourcen (Bücher, Tutorials usw.), um zu lernen, wie man fundierte statistische Schlussfolgerungen aus (vielen) multivariaten Website-Conversion-Daten ziehen kann. Ich bin hinter der Mathematik her und kann keine guten Nicht-Marketing-Sachen im Web finden. Die Art von Fragen, die ich beantworten möchte: Wie viel Einfluss hat eine einzelne …
2
A / B-Tests in Python oder R [geschlossen]
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 7 Monaten . A / B-Tests: http://20bits.com/articles/statistical-analysis-and-ab-testing/ http://elem.com/~btilly/effective-ab-testing/ Ich bin mit A / B-Tests nicht allzu vertraut, habe …
8 r  python  ab-test 
1
Wie berechnet ein Frequentist die Wahrscheinlichkeit, dass Gruppe A Gruppe B in Bezug auf die binäre Antwort schlägt?
... (optional) im Kontext von Google Web Optimizer. Angenommen, Sie haben zwei Gruppen und eine binäre Antwortvariable. Jetzt erhalten Sie folgendes Ergebnis: Original : 401 Studien, 125 erfolgreiche Studien Kombination 16 : 441 Studien, 141 erfolgreiche Studien Der Unterschied ist statistisch nicht signifikant, man kann jedoch eine Wahrscheinlichkeit berechnen, dass …
4
A / B-Testverhältnis der Summen
Kontext Stellen Sie sich das folgende Szenario für ein Unternehmen vor, das Waren online verkauft. Ein Benutzer kann mehrere Artikel (dh einen Warenkorb mit Artikeln) kaufen, von denen einige von besonderer Bedeutung sind und speziell verfolgt werden (nennen wir sie Sternartikel). Wir möchten eine Änderung in einem Algorithmus testen (z. …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.