Statistiken und Big Data

1

Multiple Hypothesentestkorrektur mit Benjamini-Hochberg, p-Werten oder q-Werten?

Ausgehend von einer Liste von p-Werten, die aus unabhängigen Tests in aufsteigender Reihenfolge generiert wurden, kann das Benjamini-Hochberg-Verfahren für die Korrektur mehrerer Tests verwendet werden . Mit dem Benjamini-Hochberg-Verfahren können Sie für jeden p-Wert die False Discovery Rate (FDR) berechnen. Das heißt, an jeder "Position" in der sortierten Liste der …

22 hypothesis-testing

2

Markov-Prozess nur in Abhängigkeit vom vorherigen Status

Ich möchte nur, dass jemand mein Verständnis bestätigt oder mir etwas fehlt. Die Definition eines Markov-Prozesses besagt, dass der nächste Schritt nur vom aktuellen Status und nicht von früheren Status abhängt. Nehmen wir also an, wir hatten einen Zustandsraum von a, b, c, d und gehen von a-> b-> c-> …

22 markov-process

3

Unvoreingenommene Schätzung der Kovarianzmatrix für mehrfach zensierte Daten

Chemische Analysen von Umweltproben werden im Folgenden häufig an Meldegrenzen oder verschiedenen Nachweis- / Bestimmungsgrenzen zensiert. Letztere können variieren, normalerweise proportional zu den Werten anderer Variablen. Beispielsweise muss möglicherweise eine Probe mit einer hohen Konzentration einer Verbindung zur Analyse verdünnt werden, was zu einem proportionalen Aufpumpen der Zensurgrenzwerte für alle …

22 correlation estimation censoring covariance-matrix unbiased-estimator

6

Graphentheorie - Analyse und Visualisierung

Ich bin nicht sicher, ob das Thema in das CrossValidated-Interesse eintritt. Du wirst es mir sagen. Ich muss einen Graphen studieren (aus der Graphentheorie ) dh. Ich habe eine bestimmte Anzahl von Punkten, die verbunden sind. Ich habe eine Tabelle mit allen Punkten und den Punkten, von denen jeder abhängig …

22 r data-visualization graph-theory

5

Kann ich ANOVA-Ergebnissen für ein nicht normal verteiltes DV vertrauen?

Ich habe ein Experiment mit einer ANOVA mit wiederholten Messungen analysiert. Die ANOVA ist eine 3x2x2x2x3 mit 2 Zwischensubjektfaktoren und 3 innerhalb (N = 189). Fehlerrate ist die abhängige Variable. Die Verteilung der Fehlerraten hat einen Versatz von 3,64 und eine Kurtosis von 15,75. Der Versatz und die Kurtosis sind …

22 anova normality-assumption

6

Gruppenunterschiede bei einem Likert-Gegenstand mit fünf Punkten

Ausgehend von dieser Frage : Stellen Sie sich vor, Sie möchten die Unterschiede in der zentralen Tendenz zwischen zwei Gruppen (z. B. Männer und Frauen) an einem 5-Punkte-Likert-Element testen (z. B. Zufriedenheit mit dem Leben: Unzufrieden bis Zufrieden). Ich denke, ein t-Test wäre für die meisten Zwecke ausreichend genau, aber …

22 t-test ordinal-data likert scales

9

Wie finde ich heraus, welche Art von Verteilung diese Daten zu Ping-Antwortzeiten darstellt?

Ich habe einen realen Prozess abgetastet, Netzwerk-Ping-Zeiten. Die "Umlaufzeit" wird in Millisekunden gemessen. Die Ergebnisse werden in einem Histogramm aufgezeichnet: Ping-Zeiten haben einen Mindestwert, aber einen langen oberen Schwanz. Ich möchte wissen, um welche statistische Verteilung es sich handelt und wie man die Parameter abschätzt. Auch wenn es sich bei …

22 distributions sample-size sample normality-assumption distribution-identification

1

Gängige statistische Tests als lineare Modelle

(UPDATE: Ich habe mich eingehender damit befasst und die Ergebnisse hier veröffentlicht. ) Die Liste der genannten statistischen Tests ist riesig. Viele der gebräuchlichen Tests beruhen auf Schlussfolgerungen aus einfachen linearen Modellen, z. B. ist ein t-Test mit einer Stichprobe nur y = β + ε, der gegen das Nullmodell …

22 regression correlation anova t-test linear-model

3

Wie kann der Regressionsfehler-Term jemals mit den erklärenden Variablen korreliert werden?

Der erste Satz dieser Wiki- Seite besagt, dass "in der Ökonometrie ein Endogenitätsproblem auftritt, wenn eine erklärende Variable mit dem Fehlerterm korreliert wird. 1 " Meine Frage ist, wie kann das jemals passieren? Ist Regressions-Beta nicht so gewählt, dass der Fehlerterm orthogonal zum Spaltenraum der Entwurfsmatrix ist?

22 regression

2

Was ist die Orakeleigenschaft eines Schätzers?

Was ist die Orakeleigenschaft eines Schätzers? Für welche Modellierungsziele ist die Orakeleigenschaft relevant (prädiktiv, erklärend, ...)? Sowohl theoretisch rigorose als auch (besonders) intuitive Erklärungen sind willkommen.

22 feature-selection model-selection estimators oracle

9

Wie kann man das Vertrauen einer neuronalen Netzwerkvorhersage bestimmen?

Nehmen wir zur Veranschaulichung meiner Frage an, ich habe einen Trainingssatz, in dem die Eingabe einen Rauschgrad aufweist, die Ausgabe jedoch nicht. # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, 9.01, 12.10] : [3.0] hier …

22 regression machine-learning neural-networks confidence-interval prediction-interval

3

Klassifizierungs- / Bewertungsmetriken für stark unausgeglichene Daten

Ich beschäftige mich mit einem (kreditbewertungsähnlichen) Problem der Betrugserkennung. Insofern besteht ein sehr unausgewogenes Verhältnis zwischen betrügerischen und nicht betrügerischen Beobachtungen. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html bietet einen hervorragenden Überblick über verschiedene Klassifizierungsmetriken. Precision and Recalloder kappabeide scheinen eine gute Wahl zu sein: Eine Möglichkeit, die Ergebnisse solcher Klassifikatoren zu rechtfertigen, besteht darin, sie …

22 classification unbalanced-classes precision-recall cohens-kappa model-evaluation

3

Was ist ein neuronales Netz vor dem Training?

Nun, die Frage sagt schon alles. Was ist mit "vor dem Training eines neuronalen Netzwerks" gemeint? Kann das jemand in ganz einfachem Englisch erklären? Ich kann anscheinend keine dazugehörigen Ressourcen finden. Es wäre toll, wenn mich jemand darauf hinweisen könnte.

22 neural-networks pre-training

2

Trennen alle Algorithmen für maschinelles Lernen Daten linear?

Ich bin ein Enthusiast des Programmierens und des maschinellen Lernens. Vor ein paar Monaten habe ich angefangen, maschinelles Lernen zu lernen. Wie viele andere, die keinen quantitativen wissenschaftlichen Hintergrund haben, habe ich mich auch mit ML befasst, indem ich an den Algorithmen und Datensätzen des weit verbreiteten ML-Pakets (Caret R) …

22 machine-learning

6

Wahrscheinlichkeit - Warum multiplizieren?

Ich beschäftige mich mit der Maximum-Likelihood-Schätzung und lese, dass die Likelihood-Funktion das Produkt der Wahrscheinlichkeiten jeder Variablen ist. Warum ist es das Produkt? Warum nicht die Summe? Ich habe versucht, auf Google zu suchen, finde aber keine aussagekräftigen Antworten. https://en.wikipedia.org/wiki/Maximum_likelihood

22 maximum-likelihood