A / B-Testverhältnis der Summen

 Kontext

Stellen Sie sich das folgende Szenario für ein Unternehmen vor, das Waren online verkauft. Ein Benutzer kann mehrere Artikel (dh einen Warenkorb mit Artikeln) kaufen, von denen einige von besonderer Bedeutung sind und speziell verfolgt werden (nennen wir sie Sternartikel).

Wir möchten eine Änderung in einem Algorithmus testen (z. B. Empfehlung, Risikobewertung, Targeting hinzufügen, was auch immer ...), die sowohl die Anzahl der verkauften Sternartikel als auch den Gesamtumsatz beeinflussen kann .

• Dies ist ein Standard-A / B-Testaufbau - die Randomisierungseinheit befindet sich auf Benutzerebene .
• Der Zweck des A / B-Tests besteht darin, die Auswirkungen der Algorithmusänderung zu vergleichen: Die Kontrollgruppe verfügt über den ursprünglichen Algorithmus und die Variante über den neuen Algorithmus
• Eine wichtige Metrik von Interesse ist das Verhältnis des Umsatzes mit Sternartikeln zum Gesamtumsatz . Dies ist eine Summe aller Transaktionen aller Benutzer im Bereich jeder A- oder B-Gruppe.
• Dies bedeutet, dass sich die Analyseeinheit auf Transaktionsebene befindet, die sich von der Randomisierungseinheit unterscheidet
• Die Metriken werden über die gesamte Testdauer (z. B. 2 Wochen) berechnet.

Detail der verwendeten Metrik

Bei gegebener Gruppe A und einer Gruppe von Benutzern ist jeder Benutzer an einer Anzahl von Transaktionen beteiligt. Die Menge aller Transaktionen aller Benutzer in Gruppe A für die Dauer des Tests ist .$U_A = \{u_1,u_2,...,u_{N_A} \}$$t_{u_n}$$T_A$$T_A = \{ t_{u_{11}}, t_{u_{12}}, ... t_{u_{nm} } \}$

Die interessierende Metrik für Gruppe A wird für alle Transaktionen im Bereich von Gruppe A definiert. Die Beträge befinden sich auf Transaktionsebene und nicht auf Benutzerebene.

Natürlich könnten wir die Definition ändern, um den Mittelwert auf Benutzerebene zu berechnen, und das würde alles vereinfachen, aber das ist nicht die Metrik, die verwendet wird.

Fragen

Welcher statistische Test könnte für eine solche Metrik verwendet werden? Eine zusätzliche Überlegung ist, dass, obwohl wir sicher davon ausgehen können, dass Benutzer iid sind, es höchstwahrscheinlich falsch ist anzunehmen, dass einzelne Einkaufskörbe für denselben Benutzer iid sind.

Hier sind einige Ideen, auf die ich gestoßen bin. Haben A / B-Testpraktiker in der Vergangenheit ähnliche Kennzahlen gefunden?

• Z-Test der Proportionen
• Bootstrapping und Jacknife
• Delta-Methode
• Ändern Sie die Metrik (letzter Ausweg)

https://en.wikipedia.org/wiki/Ratio_estimator

Bearbeiten - Einige Erläuterungen

Der Grund für diese Frage ist, dass ich oft gesehen habe, wie der Z-Test der Proportionen in dieser Situation verwendet wird. Beliebte Tools, die für A / B-Tests verwendet werden, werden beim Proportional-Test häufig standardmäßig verwendet, und Geschäftsbenutzer überprüfen selten die zugrunde liegenden Annahmen, die für die Gültigkeit des Tests erforderlich sind. Die Antwort von @ dnqxt unten ist ein gutes Beispiel: "Verwenden Sie einfach den z-Test der Proportionen!" - aber ich würde gerne eine strenge statistische Begründung dafür sehen, warum (oder warum nicht) dieser Test in einem solchen Fall verwendet werden kann.

Ich persönlich glaube nicht, dass die Verwendung eines Z-Tests mit Proportionen hier funktionieren würde, da Verkäufe von einem Kaufereignis keine Bernoulli-Versuche sind. Ich behaupte, dass wir nicht sagen können, dass jeder im Nenner verkaufte Dollar als Bernoulli-Versuch angesehen werden kann, der dazu führt, dass im Zähler ein Dollar mit 0 oder 1 Stern verkauft wird. Da sich die Randomisierungseinheit auf Benutzerebene befindet, sind Kaufereignisse desselben Benutzers nicht unabhängig (aber ich würde sagen, dass dies ein sekundäres Problem ist). Ich könnte mich hier irren, also zögern Sie nicht, dies anders zu beweisen!

Wir könnten die Metrik auch ändern, um daraus ein Bernoulli / Binomial zu machen, das durch Verwendung von Zählwerten gegen Normal konvergiert, aber das wäre ein letzter Ausweg

• Z-Test der Proportionen

  Dies gilt für einen anderen Fall, wenn Sie binäre Ergebnisse haben. Der Z-Test der Proportionen vergleicht die Proportionen dieser binären Ergebnisse.

  (Im Folgenden wird argumentiert, dass Sie einen t-Test durchführen können, der für große Zahlen ungefähr dem z-Test entspricht. Mit Proportionen können Sie einen z-Test durchführen, da die Binomialverteilung einen Parameter hat, der den bestimmt Varianz und Mittelwert im Gegensatz zu einer Normalverteilung)

• Bootstrapping

  Dies ist möglich, aber aufgrund der Delta-Methode, die den Fehler Ihrer beobachteten Statistik einfacher liefert, nicht unbedingt erforderlich.

• Delta-Methode

  Sie interessieren sich für das Verhältnis zweier möglicherweise korrelierter Variablen: 1. des Gesamtumsatzes und 2. des Umsatzes mit Sternartikeln.

  Diese Variablen sind wahrscheinlich asymptotisch normalverteilt, da sie die Summe der Verkäufe vieler Einzelpersonen darstellen (das Testverfahren könnte als ein Prozess angesehen werden, bei dem eine Stichprobe von Verkäufen einzelner Benutzer aus einer Verteilung der Verkäufe einzelner Benutzer ausgewählt wird). Somit können Sie die Delta-Methode verwenden.

  Die Verwendung der Delta-Methode zur Schätzung von Verhältnissen wird hier beschrieben . Das Ergebnis dieser Anwendung der Delta-Methode stimmt tatsächlich mit einer Annäherung an Hinkleys Ergebnis überein , einem exakten Ausdruck für das Verhältnis zweier korrelierter normalverteilter Variablen (Hinkley DV, 1969, On the Ratio of Two Correlated Normal Random Variables, Biometrica Vol. 56) Nr. 3).

  Zum $Z = \frac{X}{Y}$ mit

  $$\begin{bmatrix}X\\Y\end{bmatrix} \sim N\left(\begin{bmatrix} \mu_x \\ \mu_y \end{bmatrix} , \begin{bmatrix} \sigma_x^2 & \rho \sigma_x \sigma_y \\ \rho \sigma_x \sigma_y & \sigma_y^2 \end{bmatrix} \right)$$ Das genaue Ergebnis ist: $$f(z) = \frac{b(z)d(z)}{a(z)^3} \frac{1}{\sqrt{2\pi} \sigma_X\sigma_Y} \left[ \Phi \left( \frac{b(z)}{\sqrt{1-\rho^2}a(z)} \right) - \Phi \left( - \frac{b(z)}{\sqrt{1-\rho^2}a(z)} \right) \right] + \frac{\sqrt{1-\rho^2}}{\pi \sigma_X \sigma_Y a(z)^2} \exp \left( -\frac{c}{2(1-\rho^2)}\right)$$ mit $$\begin{array}{} a(z) &=& \left( \frac{z^2}{\sigma_X^2} - \frac{2 \rho z}{\sigma_X \sigma_Y} + \frac{1}{\sigma_Y^2} \right) ^{\frac{1}{2}} \\ b(z) &=& \frac{\mu_X z}{ \sigma_X^2} - \frac{\rho (\mu_X+ \mu_Y z)}{ \sigma_X \sigma_Y} + \frac{\mu_Y}{\sigma_Y^2} \\ c &=& \frac{\mu_X^2}{\sigma_Y^2} - \frac{2 \rho \mu_X \mu_Y + }{\sigma_X \sigma_Y} + \frac{\mu_Y^2}{\sigma_Y^2}\\ d(z) &=& \text{exp} \left( \frac {b(z)^2 - c a(z) ^2}{2(1-\rho^2)a(z)^2}\right) \end{array}$$ Und eine Annäherung, die auf einem assymptotischen Verhalten basiert, ist: (z $\theta_Y/\sigma_Y \to \infty$): $$F(z) \to \Phi\left( \frac{z - \mu_X/\mu_Y}{\sigma_X \sigma_Y a(z)/\mu_Y} \right)$$ Sie erhalten das Ergebnis der Delta-Methode, wenn Sie die Näherung einfügen $a(z) = a(\mu_X/\mu_Y)$ $$a(z) \sigma_X \sigma_Y /\mu_Y \approx a(\mu_X/\mu_Y) \sigma_X \sigma_Y /\mu_Y = \left( \frac{\mu_X^2\sigma_Y^2}{\mu_Y^4} - \frac{2 \mu_X \sigma_X \sigma_Y}{\mu_Y^3} + \frac{\sigma_X^2}{\mu_Y^2} \right) ^{\frac{1}{2}}$$

  Die Werte für $\mu_X,\mu_Y,\sigma_X,\sigma_Y,\rho$ kann aus Ihren Beobachtungen geschätzt werden, die es Ihnen ermöglichen, die Varianz und den Mittelwert der Verteilung für einzelne Benutzer zu schätzen und damit die Varianz und den Mittelwert für die Stichprobenverteilung der Summe mehrerer Benutzer zu bestimmen.

• Ändern Sie die Metrik

  Ich glaube, dass es interessant ist, zumindest eine erste Darstellung der Verteilung der Verkäufe (nicht der Verhältnisse) der einzelnen Benutzer zu machen. Schließlich könnte man mit einer Situation am Ende , dass es ist ein Unterschied zwischen den Benutzern in der Gruppe A und B, aber es passiert einfach nicht signifikant sein , wenn Sie die einzige Variable des Verhältnisses betrachten (das ist ein bisschen ähnlich ist MANOVA mächtiger zu sein als einzelne ANOVA-Tests).

  Während die Kenntnis einer Differenz zwischen den Gruppen, ohne einen signifikanten Unterschied in der Metrik , dass Sie in interressiert sind, können Sie nicht viel helfen , Entscheidungen zu treffen, es tut Ihnen helfen, in die zugrunde liegende Theorie zu verstehen und möglicherweise bessere Änderungen / Experimente beim nächsten Mal entwerfen.

Illustration

Unten ist eine einfache Illustration:

Lassen Sie die hypothetische Verteilung der Verkäufe von Benutzern als Bruchteile verteilt werden $a,b,c,d$ die angeben, wie viele Benutzer sich in einem bestimmten Fall befinden (in Wirklichkeit wird diese Verteilung komplexer sein):

                           star item sales
                         0$              40$ 

other item sales  0$      a               b
                 10$      c               d

Dann die Stichprobenverteilung für Summen aus einer Gruppe mit 10000 Benutzern mit einem Algorithmus

Das zeigt 10000 Läufe, die neue Benutzer anziehen und die Verkäufe und Verhältnisse berechnen. Das Histogramm dient zur Verteilung der Verhältnisse. Die Linien sind Berechnungen mit der Funktion von Hinkley.

• Sie können sehen, dass die Verteilung der beiden Gesamtverkaufszahlen ungefähr eine multivariate Normalität ist. Die Isolinien für das Verhältnis zeigen, dass Sie das Verhältnis sehr gut als lineare Summe schätzen können (wie bei der zuvor erwähnten / verknüpften linearisierten Delta-Methode) und dass eine Approximation durch eine Gaußsche Verteilung gut funktionieren sollte (und dann können Sie ein t- verwenden) Test, der für große Zahlen wie ein Z-Test ist).
• Sie können auch sehen, dass ein Streudiagramm wie dieses Ihnen im Vergleich zur Verwendung nur des Histogramms möglicherweise mehr Informationen und Einblicke bietet.

R-Code zur Berechnung des Graphen:

set.seed(1)
#
# 
# function to sampling hypothetic n users 
# which will buy star items and/or regular items
#
#                                star item sales
#                             0$              40$ 
#  
#  regular item sales  0$      a               b
#                     10$      c               d
#
#
sample_users <- function(n,a,b,c,d) {
  # sampling 
  q <- sample(1:4, n, replace=TRUE, prob=c(a,b,c,d))
  # total dolar value of items
  dri = (sum(q==3)+sum(q==4))*10
  dsi = (sum(q==2)+sum(q==4))*40
  # output
  list(dri=dri,dsi=dsi,dti=dri+dsi, q=q)
}


# 
# function for drawing those blocks for the tilted histogram
#
block <- function(phi=0.045+0.001/2, r=100, col=1) {
  if (col == 1) {
    bgs <- rgb(0,0,1,1/4)
    cols <- rgb(0,0,1,1/4)
  } else {
    bgs <- rgb(1,0,0,1/4)
    cols <- rgb(1,0,0,1/4)
  }
  angle <- c(atan(phi+0.001/2),atan(phi+0.001/2),atan(phi-0.001/2),atan(phi-0.001/2))
  rr <- c(90000,90000+r,90000+r,90000)
  x <- cos(angle)*rr
  y <- sin(angle)*rr
  polygon(x,y,col=cols,bg=bgs)
}
block <- Vectorize(block)


#
# function to compute Hinkley's density formula
#
fw <- function(w,mu1,mu2,sig1,sig2,rho) {
  #several parameters
  aw <- sqrt(w^2/sig1^2 - 2*rho*w/(sig1*sig2) + 1/sig2^2)
  bw <- w*mu1/sig1^2 - rho*(mu1+mu2*w)/(sig1*sig2)+ mu2/sig2^2
  c <- mu1^2/sig1^2 - 2 * rho * mu1 * mu2 / (sig1*sig2) + mu2^2/sig2^2
  dw <- exp((bw^2 - c*aw^2)/(2*(1-rho^2)*aw^2))

  # output from Hinkley's density formula
  out <- (bw*dw / ( sqrt(2*pi) * sig1 * sig2 * aw^3)) * (pnorm(bw/aw/sqrt(1-rho^2),0,1) - pnorm(-bw/aw/sqrt(1-rho^2),0,1)) + 
    sqrt(1-rho^2)/(pi*sig1*sig2*aw^2) * exp(-c/(2*(1-rho^2)))

  out
}
fw <- Vectorize(fw)

#
# function to compute
# theoretic distribution for sample with parameters (a,b,c,d)
# lazy way to compute the mean and variance of the theoretic distribution
fwusers <- function(na,nb,nc,nd,n=10000) {
  users <- c(rep(1,na),rep(2,nb),rep(3,nc),rep(4,nd))
  dsi <- c(0,40,0,40)[users]
  dri <- c(0,0,10,10)[users]
  dti <- dsi+dri

  sig1 <- sqrt(var(dsi))*sqrt(n)
  sig2 <- sqrt(var(dti))*sqrt(n)
  cor <- cor(dti,dsi)
  mu1 <- mean(dsi)*n
  mu2 <- mean(dti)*n

  w <- seq(0,1,0.001)
  f <- fw(w,mu1,mu2,sig1,sig2,cor)
  list(w=w,f=f,sig1 = sig1, sig2=sig2, cor = cor, mu1= mu1, mu2 = mu2)
}


# sample many ntr time to display sample distribution of experiment outcome
ntr <- 10^4

# sample A
dsi1 <- rep(0,ntr)
dti1 <- rep(0,ntr)
for (i in 1:ntr) {
  users <- sample_users(10000,0.19,0.001,0.8,0.009)
  dsi1[i] <- users$dsi
  dti1[i] <- users$dti
}

# sample B
dsi2 <- rep(0,ntr)
dti2 <- rep(0,ntr)
for (i in 1:ntr) {
  users <- sample_users(10000,0.19-0.02,0.001,0.8+0.02,0.009)
  dsi2[i] <- users$dsi
  dti2[i] <- users$dti
}


# hiostograms for ratio
ratio1 <- dsi1/dti1
ratio2 <- dsi2/dti2
h1<-hist(ratio1, breaks = seq(0, round(max(ratio2+0.04),2), 0.001))
h2<-hist(ratio2, breaks = seq(0, round(max(ratio2+0.04),2), 0.001))

# plotting

plot(0, 0, 
     xlab = "sum of total sales", ylab = "sum of star item sales",
     xlim = c(82000,92000),
     ylim = c(2500,6000), 
     pch=21, col = rgb(0,0,1,1/10), bg = rgb(0,0,1,1/10))
title("sample distribution for sum of 10 000 users")

# isolines
brks <- seq(0, round(max(ratio2+0.02),2), 0.001)
for (ls in 1:length(brks)) {
  col=rgb(0,0,0,0.25+0.25*(ls%%5==1))
  lines(c(0,10000000),c(0,10000000)*brks[ls],lty=2,col=col)
}

# scatter points
points(dti1, dsi1,
       pch=21, col = rgb(0,0,1,1/10), bg = rgb(0,0,1,1/10))
points(dti2, dsi2,
       pch=21, col = rgb(1,0,0,1/10), bg = rgb(1,0,0,1/10))

# diagonal axis
phi <- atan(h1$breaks)
r <- 90000
lines(cos(phi)*r,sin(phi)*r,col=1)

# histograms
phi <- h1$mids
r <- h1$density*10
block(phi,r,col=1)

phi <- h2$mids
r <- h2$density*10
block(phi,r,col=2)

# labels for histogram axis
phi <- atan(h1$breaks)[1+10*c(1:7)]
r <- 90000
text(cos(phi)*r-130,sin(phi)*r,h1$breaks[1+10*c(1:7)],srt=-87.5,cex=0.9)
text(cos(atan(0.045))*r-400,sin(atan(0.045))*r,"ratio of sum of star items and sum of total items", srt=-87.5,cex=0.9)

# plotting functions for Hinkley densities using variance and means estimated from theoretic samples distribution
wf1 <- fwusers(190,1,800,9,10000)
wf2 <- fwusers(170,1,820,9,10000)
rf1 <- 90000+10*wf1$f
phi1 <- atan(wf1$w)
lines(cos(phi1)*rf1,sin(phi1)*rf1,col=4)
rf2 <- 90000+10*wf2$f
phi2 <- atan(wf2$w)
lines(cos(phi2)*rf2,sin(phi2)*rf2,col=2)

Was beschrieben wird, ist ein klassischer Fall eines A / B-Experiments, bei dem wir eine Abhängigkeit zwischen Benutzern und Gegenständen haben (Käufe hier); Wir müssen dies berücksichtigen, da wir sonst eine voreingenommene Schätzung der zugehörigen Varianz haben. Um dem entgegenzuwirken, booten wir entweder unter Berücksichtigung von Benutzer- / Elementclustern oder gehen mit einem gemischten Modell vollständig parametrisch vor. Das Papier von Bakshy & Eckles (2013) Unsicherheit in Online-Experimenten mit abhängigen Daten: Eine Bewertung von Bootstrap-Methoden ist eine unschätzbare Referenz in dieser Angelegenheit, die sich auf Online-A / B-Tests konzentriert.

Bei näherer Betrachtung der Dinge ist das B & E-Papier in gewisser Weise ein erweiterter Anwendungsfall des Papiers The Pigeonhole Bootstrap von Owen (2007) . In ähnlicher Weise basiert der Ansatz mit gemischten Effekten auf dem überklassischen Artikel von Bayeen et al. (2009) Modellierung mit gemischten Effekten mit gekreuzten Zufallseffekten für Subjekte und Gegenstände .

Um die von Ihnen erwähnten Methoden kurz zu kommentieren: Wenn Sie die richtig identifizieren $z$-Test auf Proportionen ist zu einfach; Es wird von IID ausgegangen, und wie das B & E-Papier zeigt, kann diese Annahme ernsthaft irreführend sein. Die gleiche Einschränkung gilt auch für Bootstrap, wenn wir die Struktur der Daten ignorieren. Die Delta - Methode in Bezug auf : Abweichungen von der Normalität und / oder verrauschten Daten machen in der Regel die Delta - Methode suboptimal im Vergleich zu Bootstrap - Ansätze (zB Loch 2007 Ein Vergleich der Ansätze zur Abschätzung Konfidenzintervall für Zahlungsbereitschaft Maßnahmen ) , aber ich habe einige neuere Arbeiten gesehen ( zB Deng et al. 2017 Vertrauenswürdige Analyse von Online-A / B-Tests: Fallstricke, Herausforderungen und Lösungen und Deng et al. 2018 Anwendung der Delta-Methode in Metric Analytics: Ein praktischer Leitfaden mit neuartigen Ideen) die vielversprechend erscheinen; Beachten Sie, dass implizit davon ausgegangen wird, dass der durchschnittliche Behandlungseffekt normal ist. Schließlich ist die Änderung der Metrik auch eine ausgezeichnete Idee, wenn dies sinnvoll ist. Wir sollten keine Angst haben, auf Änderungen zu drängen, die mathematisch kohärenter sind, nur weil bereits eine Metrik vorhanden ist.

Fazit: Wenn es bei allen oben genannten Arbeiten ein übergreifendes Schema gibt, müssen wir sicherstellen, dass unsere Analyseeinheit und unsere Randomisierungseinheit mit unseren Forschungsfragen übereinstimmen.

Ein sehr einfacher Ansatz wäre die Verwendung eines Permutationstests. Dies ist ein verteilungsfreier Test, sodass Sie sich keine Gedanken über Verteilungen machen müssen.

Die Idee ist einfach. Sie mischen die Beschriftungen nach dem Zufallsprinzip und zählen, wie oft die gemessene Differenz Ihrer interessierenden Metrik größer ist als die Differenz, die Sie von Ihren realen Daten erhalten haben. Das Verhältnis, das Sie erhalten, ist Ihr p-Wert.

Warum funktioniert es? Nun, wenn die Nullhypothese wahr ist, würde ein zufälliges Mischen der Etiketten (dh in Gruppe A oder B) sehr oft bessere Werte ergeben als die, die Sie gemessen haben. Wenn Ihr Empfehlungsalgorithmus jedoch funktioniert, führt ein zufälliges Mischen selten zu einem besseren Ergebnis als das, das Sie erhalten haben.

Sie können auch Bootstrapping verwenden, um Konfidenzintervalle für Ihre Metrik Ihrer A- und B-Gruppe abzurufen. Dies, zwei, ist ohne Annahmen über Ihre Verteilung zulässig. Dies entspricht nicht einem statistischen Test (auch wenn sich die CI-Intervalle nicht kreuzen), aber der visuelle Aspekt von "Balken + Fehler" -Balken kann für Ihr Team interessant sein.

Ich habe eine sehr ähnliche Frage beantwortet (wo Sie mich tatsächlich gefunden haben). Wie kann man den Unterschied in zwei Proportionen testen, wenn die Ergebnisse nicht binär sind?. Ich denke, der Code, den ich dort vorgeschlagen habe, gilt auch hier.

p1 <- sum(sales_data[target_control==1,"final_value"])/sum(sales_data[target_control==1,"initial_value"])
p2 <- sum(sales_data[target_control==0,"final_value"])/sum(sales_data[target_control==0,"initial_value"])
yourGap<-abs(p1-p2)
L<-sales_data["target_control"]==1
LfilterOnlyBuyers<-sales_data["sale_success"]==1

count=0
for ( i in 1:10000) {
  Lperm=sample(L)
  p1_perm <- sum(sales_data[Lperm,"final_value"])/sum(sales_data[Lperm & LfilterOnlyBuyers,"initial_value"])
  p2_perm <- sum(sales_data[!Lperm,"final_value"])/sum(sales_data[!Lperm & LfilterOnlyBuyers,"initial_value"])
  if (abs(p1_perm-p2_perm)>=yourGap) {
    count=count+1
  }
}
pvalue=count/10000

Bootstrap-Konfidenzintervalle wären meine Wahl der Technik für dieses Szenario. Ich möchte einen Ansatz mit einigen Beispielauswahlnummern , die Sie verwenden können, und den Gründen für den Ansatz skizzieren :

1. Sie haben zwei Töpfe / Beutel und jeder Beutel enthält Personen aus der Kontrollgruppe und der Variantengruppe: $U_{ctr}$ und $U_{var}$ mit entsprechenden Größen $N_{ctr}$ und $N_{var}$. Ich habe deine Notation leicht geändert, ich hoffe das ist OK.
2. Sie wählen eine zufällige Stichprobe von $k$Menschen aus beiden Gruppen mit Ersatz. Wenn Ihre beiden Populationen "ausreichend groß" sind (z. B. mindestens 2000 Benutzer), können Sie auswählen$k\leq N_{ctr}$ und $k \leq N_{var}$. Faustregel: Ich wähle normalerweise$k = \frac{min(N_{ctr},N_{var})}{5}$Für flexiblere Ergebnisse, jedoch bei den meisten Bagging-Algorithmen (Bootstrap-Aggregation), wird standardmäßig eine Stichprobe aus der gesamten Grundgesamtheit erstellt. Wenn Ihre Populationen kleiner sind, können Sie dies trotzdem tun, aber stellen Sie sicher, dass Sie eine "ausreichend große" auswählen.$k$(sagen wir mindestens 400 Benutzer), erneut durch Probenahme mit Ersatz. Sagen wir, notieren Sie sie$SU_{ctr}$ und $SU_{var}$ beide von Größe $k$
3. Sie berechnen Ihre Metrik, indem Sie alle Transaktionen abrufen, die jede Person in jeder Gruppe durch Betrachten des Originals getätigt hat $T$ Transaktionsdatensatz für jeden Benutzer in $SU_{ctr}$ und $SU_{var}$. Sie werden dann mit enden$Metric_{ctr1}$ und $Metric_{ctr2}$. Speichern Sie diese Werte. Wichtiger Hinweis: Sie sollten diese Werte berechnen, indem Sie den Gesamtumsatz mit Sternartikeln summieren und durch den Gesamtumsatz dividieren. Nehmen Sie nicht den Durchschnitt des individuellen Verkaufskorbs jeder Person. Dies ist sehr wichtig, da dies die Metrik ist, die Sie betrachten.
4. Gehen Sie zurück zu Punkt 2 und wiederholen Sie den Vorgang. Die optimale Anzahl von Bootstrap-Beispielen,$B$, dass Sie wählen können, hängt von vielen Faktoren ab, aber auch hier wäre eine gute Faustregel etwa 1000-mal.
5. Sie haben jetzt eine $B$ Menge von $Metric_{ctr}$ und das gleiche für $Metric_{var}$. Sie können jetzt ihre Mittelwerte mit vielen der üblichen Techniken vergleichen. Ich persönlich würde mich dafür entscheiden, Konfidenzintervalle zu konstruieren und zu prüfen, ob sie sich überlappen, oder einen unabhängigen Stichproben-T-Test durchzuführen UND die Analyse mit einigen Histogrammen / Dichtediagrammen und Boxplots abzuschließen.

Off-Topic persönliche Meinung: Wählen Sie immer Dinge wie Distributionen, wann immer dies möglich ist. Wir haben heutzutage die Macht, dies zu tun. Die obigen Tests sind völlig in Ordnung, aber es gibt Fälle, in denen sie schief gehen könnten. Zum Beispiel, wenn Sie möchten$B$ Um extrem hoch zu sein, sagen wir 1000000, wird selbst der kleinste Unterschied zwischen den Mitteln eher als signifikant gekennzeichnet.

Das Obige ist robust, da unabhängig von der zugrunde liegenden Verteilung der zentrale Grenzwertsatz sicherstellt, dass wenn $B$ausreichend groß ist, beide Mittel von$Metric_{var}$ und $Metric_{ctr}$über die Proben verteilt werden normal und die Tests sind gültig. Das werden Sie auch an der Grafik erkennen. Alle Bedenken hinsichtlich der zugrunde liegenden Verteilung verschiedener Benutzerausgaben usw. werden vom CLT behandelt.

Es gibt viele Referenzen und gute Lesungen von den Benutzern vor mir. Darüber hinaus wird viel über die optimalen Beispielnummern geforscht, die ich oben erwähnt habe. Ich wollte Ihnen nur einen empirischeren und leichter verständlichen Überblick über einen robusten Ansatz geben. Sie können damit beginnen und sehen, ob sich die Dinge ändern, indem Sie die obigen Beispielnummern ändern.