So vergleichen Sie den Mittelwert zweier Stichproben, deren Daten zu Exponentialverteilungen passen

Ich habe zwei Datenproben, eine Basisprobe und eine Behandlungsprobe.

Die Hypothese ist, dass die Behandlungsprobe einen höheren Mittelwert als die Basisprobe hat.

Beide Proben haben eine exponentielle Form. Da die Daten ziemlich groß sind, habe ich zum Zeitpunkt der Durchführung des Tests nur den Mittelwert und die Anzahl der Elemente für jede Stichprobe.

Wie kann ich diese Hypothese testen? Ich vermute, dass es super einfach ist, und ich habe mehrere Hinweise auf die Verwendung des F-Tests gefunden, bin mir aber nicht sicher, wie die Parameter zugeordnet sind.

hypothesis-testing statistical-significance exponential

— Jonathan Dobbie
quelle

Warum hast du die Daten nicht? Wenn die Stichproben wirklich groß sind, sollten nichtparametrische Tests gut funktionieren, aber es scheint, als würden Sie versuchen, einen Test aus der zusammenfassenden Statistik auszuführen. Ist das richtig?

— Mimshot

Sind die Grundlinien- und Behandlungswerte von demselben Patientensatz oder sind die beiden Gruppen unabhängig?

— Michael M

@Mimshot, die Daten werden gestreamt, aber Sie haben Recht, dass ich versuche, einen Test aus der zusammenfassenden Statistik auszuführen. Es funktioniert ganz gut mit einem Z-Test für normale Daten

— Jonathan Dobbie

Unter diesen Umständen ist ein ungefährer Z-Test vielleicht das Beste, was Sie tun können. Es wäre mir jedoch wichtiger, wie groß der wahre Behandlungseffekt ist, nicht die statistische Signifikanz. Denken Sie daran, dass bei ausreichend großen Samples jeder winzige echte Effekt zu einem kleinen p-Wert führt.

— Michael M

@january - obwohl, wenn seine Stichprobengrößen groß genug sind, sie vom CLT sehr nahe an der Normalverteilung liegen. Unter der Nullhypothese wären die Varianzen dieselben (wie die Mittelwerte), daher sollte ein T-Test bei einer ausreichend großen Stichprobengröße gut funktionieren. Es wird nicht so gut sein, wie Sie es mit allen Daten tun können, aber es wäre trotzdem in Ordnung. wäre zum Beispiel ziemlich gut.

n_{1} = n_{2} = 100

$n_1 = n_2 = 100$

— Jbowman

Antworten:

Sie können die Gleichheit der Mittelwertparameter gegen die Alternative testen, dass die Mittelwertparameter mit einem Likelihood-Ratio-Test (LR-Test) ungleich sind. (Wenn sich die mittleren Parameter jedoch unterscheiden und die Verteilung exponentiell ist, handelt es sich um eine Skalenverschiebung, nicht um eine Ortsverschiebung.)

Für einen einseitigen Test (aber nur asymptotisch im zweiseitigen Fall) glaube ich, dass der LR-Test dem folgenden entspricht (um zu zeigen, dass dies tatsächlich der gleiche ist wie der LR-Test für den einseitigen Fall müsste man zeigen, dass die LR-Statistik in ) monoton war : $\bar x/\bar y$

Nehmen wir an, wir parametrisieren die te Beobachtung im ersten Exponential mit pdf und die te Beobachtung in der zweiten Stichprobe mit pdf (über die offensichtlichen Bereiche für die Beobachtungen und Parameter). (Um klar zu sein, arbeiten wir hier in der Mittelwertform und nicht in der Ratenform. Dies hat keinen Einfluss auf das Ergebnis der Berechnungen.) $i$ $1/\mu_x \exp(-x_i/\mu_x)$ $j$ $1/\mu_y \exp(-y_j/\mu_y)$

Da die Verteilung der ein Spezialfall des Gamma ist, , die Verteilung der Summe von ‚s, verteilt ; Ähnlich , daß für die Summe aus der s, ist . $X_i$ $\Gamma(1,\mu_x)$ $X$ $S_x$ $\Gamma(n_x,\mu_x)$ $Y$ $S_y$ $\Gamma(n_y,\mu_y)$

Wegen der Beziehung zwischen der Gammaverteilung und Chi-Quadrat - Verteilungen, es stellt sich heraus , dass verteilt . Das Verhältnis zweier Chi-Quadrate zu ihren Freiheitsgraden ist F. Daher das Verhältnis . $2/\mu_x S_x$ $\chi^2_{2n_x}$ $\frac{\mu_y}{\mu_x}\frac{S_x/n_x}{S_y/n_y} \sim F_{2n_x,2n_y}$

Unter der Nullhypothese der Gleichheit der , , und unter der zweiseitigen Alternative können die Werte dazu neigen, entweder kleiner oder größer als ein Wert aus der Null zu sein Verteilung, so dass Sie einen zweiseitigen Test benötigen. $\bar x/\bar y \sim F_{2n_x,2n_y}$

Simulation, um zu überprüfen, ob wir in der Algebra keinen einfachen Fehler gemacht haben:

Hier simulierte ich 1000 Stichproben der Größe 30 für und 20 für aus einer Exponentialverteilung mit demselben Mittelwert und berechnete die obige Statistik des Mittelwertverhältnisses. $X$ $Y$

Unten finden Sie ein Histogramm der resultierenden Verteilung sowie eine Kurve, die die Verteilung zeigt, die wir unter der Null berechnet haben: $F$

simulierte beispielhafte Verteilung der Verhältnisstatistik unter Null

Beispiel mit Diskussion der Berechnung von zweiseitigen p-Werten :

Zur Veranschaulichung der Berechnung hier zwei kleine Beispiele aus Exponentialverteilungen. Die X-Stichprobe enthält 14 Beobachtungen aus einer Population mit einem Mittelwert von 10, die Y-Stichprobe enthält 17 Beobachtungen aus einer Population mit einem Mittelwert von 15:

x: 12.173  3.148 33.873  0.160  3.054 11.579 13.491  7.048 48.836 
   16.478  3.323  3.520  7.113  5.358

y:  7.635  1.508 29.987 13.636  8.709 13.132 12.141  5.280 23.447 
   18.687 13.055 47.747  0.334  7.745 26.287 34.390  9.596

Die Stichprobenmittel sind 12.082 bzw. 16.077. Das Mittelwertverhältnis beträgt 0,7515

Der Bereich links ist unkompliziert, da er sich im unteren Schwanz befindet (berechnet in R):

 > pf(r,28,34) 
 [1] 0.2210767

Wir brauchen die Wahrscheinlichkeit für den anderen Schwanz. Wenn die Verteilung umgekehrt symmetrisch wäre, wäre dies unkompliziert.

Eine übliche Konvention mit dem Varianzverhältnis F-Test (der ähnlich zweiseitig ist) besteht darin, einfach den einseitigen p-Wert zu verdoppeln (effektiv, was wie hier vor sich geht ; das scheint auch in R zu tun zu sein ); in diesem Fall ergibt sich ein p-Wert von 0,44.

Wenn Sie dies jedoch mit einer formalen Ablehnungsregel tun, indem Sie einen Bereich von in jeden Schwanz einfügen, erhalten Sie kritische Werte, wie hier beschrieben . Der p-Wert ist dann das größte , das zur Zurückweisung führen würde. Dies entspricht der Addition des obigen einseitigen p-Werts zu dem einseitigen p-Wert im anderen Schwanz für die vertauschten Freiheitsgrade. Im obigen Beispiel ergibt dies einen p-Wert von 0,43. $\alpha/2$ $\alpha$

— Glen_b - Monica neu starten
quelle

Ich vermute, das ist nur, dass ich dick bin, aber woher kommt 0,7515?

— Jonathan Dobbie

r = Mittelwert (x) / Mittelwert (y) = 0,7515 - das heißt "Das Verhältnis der

— Mittelwerte

Okay, großartig. Ich habe 0,67, aber das liegt wahrscheinlich nur an einem Dateneingabefehler.

— Jonathan Dobbie

Ich habe die Unterscheidung zwischen dem Bevölkerungsmittelwert und dem resultierenden Stichprobenmittelwert klarer gemacht

— Glen_b -State Monica

(+1) Aber obwohl es tangential ist, verstehe ich den letzten Absatz nicht. Wie ist die Verdoppelung des einseitigen p-Werts nicht gleichbedeutend mit der Suche nach dem größten mit einer Fläche in jedem Schwanz, die zur Ablehnung führen würde? Warum würden Sie die Freiheitsgrade überhaupt austauschen?

α

$\alpha$

\frac{α}{2}

$\frac{\alpha}{2}$

— Scortchi - Monica wieder einsetzen

Als Ergänzung zur Antwort von @ Glen_b lautet das Wahrscheinlichkeitsverhältnis die Sie in wobei . Es gibt ein einzelnes Minimum bei , daher ist der F-Test in der Tat der Likelihood-Ratio-Test gegen einseitige Alternativen zur Nullhypothese identischer Verteilungen.

n_{x} \log \frac{n_{x}}{\sum x_{i}} + n_{y} \log \frac{n_{y}}{\sum y_{j}} - (n_{x} + n_{y}) \log \frac{n_{x} + n_{y}}{\sum x_{i} + \sum y_{j}}

$n_x\log \frac{n_x}{\sum x_i} +n_y \log \frac{n_y}{\sum y_j} -(n_x+n_y)\log\frac{n_x+n_y}{\sum x_i +\sum y_j}$

n_{x} \log (\frac{n_{x}}{n_{y}} + \frac{1}{r}) + n_{y} \log (\frac{n_{y}}{n_{x}} + r) + n_{x} \log \frac{n_{y}}{n_{x} + n_{y}} + n_{y} \log \frac{n_{x}}{n_{x} + n_{y}}

$n_x\log\left(\frac{n_x}{n_y} + \frac{1}{r}\right) + n_y\log\left(\frac{n_y}{n_x}+r\right) + n_x\log\frac{n_y}{n_x+n_y} + n_y\log \frac{n_x}{n_x+n_y}$

r = \frac{\bar{x}}{\bar{y}}

$r=\frac{\bar{x}}{\bar{y}}$

r = 1

$r=1$

Um den für eine zweiseitige Alternative geeigneten Likelihood-Ratio-Test durchzuführen, können Sie weiterhin die F-Verteilung verwenden. Sie müssen lediglich den anderen Wert des Verhältnisses der Stichprobenmittelwerte für das das Wahrscheinlichkeitsverhältnis gleich dem beobachteten Verhältnis , und dann . Für dieses Beispiel ist , & , was einen Gesamt-p-Wert von (ziemlich nahe an dem, der durch die Chi-Quadrat-Näherung an erhalten wird die Verteilung des doppelten logarithmischen Wahrscheinlichkeitsverhältnisses ( ). $r_\mathrm{ELR}$ $r_\mathrm{obs}$ $\Pr(R>r_\mathrm{ELR})$ $r_\mathrm{ELR}=1.3272$ $\Pr(R>r_\mathrm{ELR})=0.2142$ $0.4352$ $0.4315$

Die Verdoppelung des einseitigen p-Werts ist jedoch möglicherweise die häufigste Methode, um einen zweiseitigen p-Wert zu erhalten: Dies entspricht der Ermittlung des Werts des Verhältnisses der Stichprobenmittelwerte für die die Endwahrscheinlichkeit ist gleich und findet dann . Auf diese Weise erklärt, scheint es, als würde der Wagen vor das Pferd gestellt, um die Schwanzwahrscheinlichkeiten die Extremität einer Teststatistik definieren zu lassen. Es kann jedoch gerechtfertigt sein, dass es sich tatsächlich um zwei einseitige Tests (jeweils LRT) mit mehreren Vergleichen handelt Korrektur - & Leute sind normalerweise daran interessiert, entweder oder $r_\mathrm{ETP}$ $\Pr(R>r_\mathrm{ETP})$ $\Pr(R<r_\mathrm{obs})$ $\Pr(R>r_\mathrm{ETP})$ $\mu_x > \mu_y$ $\mu_x < \mu_y$ $\mu_x > \mu_y$ oder . Es ist auch weniger umständlich und gibt selbst bei relativ kleinen Stichproben die gleiche Antwort wie das eigentliche zweiseitige LRT. $\mu_x < \mu_y$

R-Code folgt:

x <- c(12.173, 3.148, 33.873, 0.160, 3.054, 11.579, 13.491, 7.048, 48.836,
       16.478, 3.323, 3.520, 7.113, 5.358)

y <- c(7.635, 1.508, 29.987, 13.636, 8.709, 13.132, 12.141, 5.280, 23.447, 
       18.687, 13.055, 47.747, 0.334,7.745, 26.287, 34.390, 9.596)

# observed ratio of sample means
r.obs <- mean(x)/mean(y)

# sample sizes
n.x <- length(x)
n.y <- length(y)

# define log likelihood ratio function
calc.llr <- function(r,n.x,n.y){
  n.x * log(n.x/n.y + 1/r) + n.y*log(n.y/n.x + r) + n.x*log(n.y/(n.x+n.y)) + n.y*log(n.x/(n.x+n.y))
}

# observed log likelihood ratio
calc.llr(r.obs,n.x, n.y) -> llr.obs

# p-value in lower tail
pf(r.obs,2*n.x,2*n.y) -> p.lo

# find the other ratio of sample means giving an LLR equal to that observed
uniroot(function(x) calc.llr(x,n.x,n.y)-llr.obs, lower=1.2, upper=1.4, tol=1e-6)$root -> r.hi

#p.value in upper tail
p.hi <- 1-pf(r.hi,2*n.x,2*n.y)

# overall p.value
p.value <- p.lo + p.hi

#approximate p.value
1-pchisq(2*llr.obs, 1)

— Scortchi - Monica wieder einsetzen
quelle