Statistiken und Big Data correlation

4

Korrigieren von p-Werten für mehrere Tests, bei denen Tests korreliert sind (Genetik)

Ich habe p-Werte aus vielen Tests und möchte wissen, ob es nach der Korrektur für mehrere Tests tatsächlich etwas Bedeutendes gibt. Die Komplikation: Meine Tests sind nicht unabhängig. Die Methode, über die ich nachdenke (eine Variante von Fisher's Product Method, Zaykin et al., Genet Epidemiol , 2002), benötigt die Korrelation …

24 correlation multiple-comparisons statistical-significance genetics

3

Wie teste ich die Autokorrelation der Residuen?

Ich habe eine Matrix mit zwei Spalten, die viele Preise haben (750). Im Bild unten habe ich die Residuen der folgenden linearen Regression aufgetragen: lm(prices[,1] ~ prices[,2]) Betrachtet man das Bild, scheint dies eine sehr starke Autokorrelation der Residuen zu sein. Wie kann ich jedoch testen, ob die Autokorrelation dieser …

23 r regression correlation autocorrelation

3

Generieren Sie zufällig korrelierte Daten zwischen einer binären und einer kontinuierlichen Variablen

Ich möchte zwei Variablen erzeugen. Eines ist die binäre Ergebnisvariable (sagen wir Erfolg / Misserfolg) und das andere ist das Alter in Jahren. Ich möchte, dass das Alter positiv mit dem Erfolg korreliert. Zum Beispiel sollte es mehr Erfolge in den höheren Alterssegmenten geben als in den niedrigeren. Idealerweise sollte …

23 correlation random-variable random-generation binary-data

2

Clustering von Variablen basierend auf Korrelationen zwischen ihnen

Fragen: Ich habe eine große Korrelationsmatrix. Anstatt einzelne Korrelationen zu gruppieren, möchte ich Variablen anhand ihrer Korrelationen miteinander gruppieren. Wenn also Variable A und Variable B ähnliche Korrelationen zu Variablen C bis Z aufweisen, sollten A und B Teil desselben Clusters sein. Ein gutes Beispiel aus der Praxis sind verschiedene …

23 correlation clustering correlation-matrix

2

Definition der Autokorrelationszeit (für effektive Stichprobengröße)

Ich habe in der Literatur zwei Definitionen für die Autokorrelationszeit einer schwach stationären Zeitreihe gefunden: τa=1+2∑k=1∞ρkversusτb=1+2∑k=1∞|ρk|τa=1+2∑k=1∞ρkversusτb=1+2∑k=1∞|ρk| \tau_a = 1+2\sum_{k=1}^\infty \rho_k \quad \text{versus} \quad \tau_b = 1+2\sum_{k=1}^\infty \left|\rho_k\right| Dabei ist die Autokorrelation bei Verzögerung . kρk=Cov[Xt,Xt+h]Var[Xt]ρk=Cov[Xt,Xt+h]Var[Xt]\rho_k = \frac{\text{Cov}[X_t,X_{t+h}]}{\text{Var}[X_t]}kkk Eine Anwendung der Autokorrelationszeit besteht darin, die "effektive Stichprobengröße" zu ermitteln: Wenn Sie …

23 r time-series correlation

5

Wenn A und B positiv miteinander verwandte Variablen sind, können sie dann einen gegenteiligen Effekt auf die Ergebnisvariable C haben?

A ist positiv mit B verwandt. C ist das Ergebnis von A und B, aber die Wirkung von A auf C ist negativ und die Wirkung von B auf C ist positiv. Kann das passieren?

22 regression correlation

1

Korrelation als Distanzmetrik verwenden (für hierarchisches Clustering)

Ich möchte meine Daten hierarchisch gruppieren, aber anstatt die euklidische Distanz zu verwenden, möchte ich die Korrelation verwenden. Da der Korrelationskoeffizient im Bereich von -1 bis 1 liegt, wobei -1 und 1 in meiner Studie "Co-Regulation" bedeuten, behandle ich sowohl -1 als auch 1 als d = 0. Meine Berechnung …

22 correlation clustering distance hierarchical-clustering

2

Shrunken

In meinem Kopf gab es einige Verwirrung über zwei Arten von Schätzern für den Populationswert des Pearson-Korrelationskoeffizienten. A. Fisher (1915) zeigte, dass für bivariate Normalpopulation empirisch ein negativ verzerrter Schätzer von , obwohl die Verzerrung nur für kleine Stichprobengrößen ( ) von praktisch beträchtlichem Wert sein kann . Stichprobe unterschätzt …

22 correlation pearson-r unbiased-estimator estimators point-estimation

2

Generieren von Daten mit einer bestimmten Stichproben-Kovarianzmatrix

Wie kann man bei gegebener Kovarianzmatrix Daten so generieren, dass sie die Beispiel-Kovarianzmatrix ?ΣsΣs\boldsymbol \Sigma_sΣ^=ΣsΣ^=Σs\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s Allgemeiner: Wir sind oft daran interessiert, Daten aus einer Dichte generieren , wobei Daten x einen Parametervektor \ boldsymbol \ theta haben . Dies ergibt eine Stichprobe, aus der wir dann …

22 correlation sampling random-generation covariance-matrix

1

Was könnte große Unterschiede im Korrelationskoeffizienten zwischen der Pearson- und der Spearman-Korrelation für einen bestimmten Datensatz verursachen?

Der Pearson-Koeffizient zwischen zwei Variablen ist ziemlich hoch (r = 0,65). Wenn ich aber die Variablenwerte ordne und eine Spearman-Korrelation durchführe, ist der cofficient-Wert viel niedriger (r = .30). Was ist die Interpretation davon?

22 correlation spearman-rho

2

Gute Online-Ressource mit Tipps zur grafischen Zuordnung zwischen zwei numerischen Variablen unter verschiedenen Bedingungen

Kontext: Im Laufe der Zeit habe ich eine Reihe von Heuristiken zur effektiven Darstellung der Assoziation zwischen zwei numerischen Variablen entwickelt. Ich stelle mir vor, dass die meisten Leute, die mit Daten arbeiten, ähnliche Regeln haben würden. Beispiele für solche Regeln könnten sein: Wenn eine der Variablen positiv verzerrt ist, …

22 data-visualization correlation teaching rule-of-thumb scatterplot

3

Unvoreingenommene Schätzung der Kovarianzmatrix für mehrfach zensierte Daten

Chemische Analysen von Umweltproben werden im Folgenden häufig an Meldegrenzen oder verschiedenen Nachweis- / Bestimmungsgrenzen zensiert. Letztere können variieren, normalerweise proportional zu den Werten anderer Variablen. Beispielsweise muss möglicherweise eine Probe mit einer hohen Konzentration einer Verbindung zur Analyse verdünnt werden, was zu einem proportionalen Aufpumpen der Zensurgrenzwerte für alle …

22 correlation estimation censoring covariance-matrix unbiased-estimator

1

Gängige statistische Tests als lineare Modelle

(UPDATE: Ich habe mich eingehender damit befasst und die Ergebnisse hier veröffentlicht. ) Die Liste der genannten statistischen Tests ist riesig. Viele der gebräuchlichen Tests beruhen auf Schlussfolgerungen aus einfachen linearen Modellen, z. B. ist ein t-Test mit einer Stichprobe nur y = β + ε, der gegen das Nullmodell …

22 regression correlation anova t-test linear-model

4

Unterschied zwischen den einer Korrelation zugrunde liegenden Annahmen und einem Regressionssteigungstest von Bedeutung

Meine Frage entstand aus einer Diskussion mit @whuber in den Kommentaren einer anderen Frage . Konkret lautete der Kommentar von @whuber wie folgt: Ein Grund dafür könnte sein, dass die Annahmen, die einem Korrelationstest und einem Regressionssteigungstest zugrunde liegen, unterschiedlich sind. Selbst wenn wir verstehen, dass Korrelation und Steigung wirklich …

21 regression correlation p-value assumptions

2

Wann ist Distanzkovarianz weniger geeignet als lineare Kovarianz?

Ich bin gerade (vage) mit Brownian / Distanz-Kovarianz / Korrelation bekannt geworden . Es scheint in vielen nichtlinearen Situationen besonders nützlich zu sein, wenn auf Abhängigkeit getestet wird. Es scheint jedoch nicht sehr häufig verwendet zu werden, obwohl Kovarianz / Korrelation häufig für nichtlineare / chaotische Daten verwendet wird. Das …

21 correlation covariance distance-covariance

Als «correlation» getaggte Fragen