Statistiken und Big Data

1

Gibt es eine schnelle Möglichkeit, Z-Scores in Perzentil-Scores umzuwandeln?

Kennt jemand eine Funktion oder ein R-Paket, das mir helfen kann, z-Werte in Perzentil-Werte umzuwandeln? Das endgültige Ziel besteht darin, eine Gruppe von Befragten anhand der Höhe ihrer Z-Werte in vier Kategorien einzuteilen oder einzustufen (20% niedrigste Werte, 30%, 30%, 20% höchste Werte). Irgendwelche Ideen? Vielen Dank im Voraus!

9 r quantiles change-scores

2

Kann eine Stichprobe für eine ANOVA oder einen T-Test zu groß sein?

Ich habe fast eine Million Datensätze und wenn ich einen mittleren Vergleichstest durchführe, entweder ANOVA oder einen T-Test, erhalte ich ein Signifikanzniveau von weniger als 0,0001 für SPSS. Ich mache mir Sorgen, dass meine Stichprobe so groß ist, dass sie sich beim Vergleich der Mittel natürlich als signifikant unterschiedlich herausstellt. …

9 anova t-test effect-size large-data

1

Ockhams Rasiermesser veraltet?

Ich habe Vapniks Bücher über statistisches Lernen gesehen ... Ich habe die ersten Kapitel gelesen. Was mich jedenfalls am meisten überraschte, war, dass er dachte, das Rasiermesser des Occam sei veraltet. Ich dachte, es hängt mit der Situation zusammen, in der die Annahme einer höheren Dimension die Passform erheblich verbessert. …

9 machine-learning svm

2

SVM-Vertrauen nach Entfernung von der Hyperlinie

Für einen probabilistischen Mehrklassenklassifikator können wir Wahrscheinlichkeiten der Zugehörigkeit eines neuen Punktes zu jeder Klasse y_i erhalten ; Im Fall von 3 Klassen nehmen wir an, dass wir P (y_a | x)> P (y_b | x)> P (y_c | x) erhalten , daher ist die wahrscheinlichste Klasse von x y_a …

9 probability classification svm unsupervised-learning uncertainty

2

BIC-Clustering-Kriterium berechnen (um Cluster nach K-Mitteln zu validieren)

Ich frage mich, ob es eine gute Möglichkeit gibt, das Clustering-Kriterium basierend auf der BIC-Formel für eine k-Mittelwert-Ausgabe in R zu berechnen. Ich bin etwas verwirrt darüber, wie ich diesen BIC berechnen soll, damit ich ihn mit anderen Clustering-Modellen vergleichen kann. Derzeit verwende ich die Implementierung des Statistikpakets von k-means.

9 r clustering k-means bic

2

Regression durch den Ursprung

Wir haben die folgenden Punkte: Wie können wir die am besten passende Linie durch die Punkte finden? Mein Rechner hat die Option, die am besten passende Linie durch diese Punkte zu finden, nämlich:y = a x y = a x + b( 0 , 0 ) ( 1 , 51,8 …

9 regression intercept

2

Die p-Werte des Mann-Whitney-U-Tests sind für rohe und logarithmisch transformierte Daten identisch

Ich bin neu in Stats und bin auf dieses Problem gestoßen, als ich meine Analysen auf SPSS ausgeführt habe, die ich nicht erklären kann. Wie kommt es, dass meine Daten auch nach der Transformation durch Protokollierung denselben p-Wert haben wie der nicht transformierte Rohdatensatz?

9 data-transformation p-value wilcoxon-mann-whitney

1

Was ist mit dem „Level“ einer Zeitreihe gemeint?

In einem Großteil der Literatur, die ich studiere, ist es einer dieser Begriffe, die häufig vorkommen, ohne dass eine strenge Definition gefunden werden muss. Insbesondere wird mir gesagt: Für zeitindizierte Zufallsvariablen (RVs) wird das additive Zerlegungsmodell wie folgt angegeben{ X.t}}{Xt}\{X_t\} X.t= l l ( X.t - 1, X.t - 2, …

9 time-series definition

1

Was ist der Unterschied zwischen der Maximierung der bedingten (logarithmischen) Wahrscheinlichkeit oder der gemeinsamen (logarithmischen) Wahrscheinlichkeit bei der Schätzung der Parameter eines Modells?

Betrachten Sie eine Antwort y und Datenmatrix X . Angenommen, ich erstelle ein Modell des Formulars - y ~ g (X, )θθ\theta (g () könnte eine beliebige Funktion von X und )θθ\theta Zur Schätzung von θθ\theta Verwendung der Maximum Likelihood (ML) -Methode könnte ich entweder mit der bedingten ML (vorausgesetzt, …

9 estimation maximum-likelihood optimization

1

Multiple Regression mit wiederholt gemessenen unabhängigen Variablen?

Design und Hypothese : Wir haben wellbeingzum Zeitpunkt 1 und 2 gemessen und wollen sehen, ob der Faktor A(gemessen zum Zeitpunkt 1 und angenommen, dass er über die Zeit ein stabiler Faktor ist) ein signifikanter Prädiktor für den Faktor ist B(gemessen zum Zeitpunkt 2). . Wir erwarten auch, dass wellbeingaktuelle …

9 regression repeated-measures multiple-regression panel-data

1

Abstände zwischen diskreten einheitlichen Zufallsvariablen

Let sein iid diskrete einheitliche Zufallsvariablen auf (0,1) und ihre Reihenfolge - Statistiken werden U _ {(1)}, \ ldots, U _ {(n)} .U.1, … , U.nU.1,…,U.nU_1, \ldots, U_nnnnU.( 1 ), … , U.( n )U.(1),…,U.(n)U_{(1)}, \ldots, U_{(n)} Definiere D.ich= U.( i )- U.( i - 1 )D.ich=U.(ich)- -U.(ich- -1)D_i=U_{(i)}-U_{(i-1)} für …

9 probability distributions order-statistics joint-distribution

5

Bootstrapping hierarchischer / mehrstufiger Daten (Resampling-Cluster)

Ich erstelle ein Skript zum Erstellen von Bootstrap-Beispielen aus dem catsDataset (aus dem -MASS-Paket). Nach dem Lehrbuch von Davidson und Hinkley [1] führte ich eine einfache lineare Regression durch und übernahm ein grundlegendes nichtparametrisches Verfahren für das Bootstrapping von iid-Beobachtungen, nämlich das Resampling von Paaren . Das Originalmuster hat folgende …

9 r bootstrap fixed-effects-model

3

Wie kann bei Verwendung von glmnet die p-Wert-Signifikanz gemeldet werden, um die Signifikanz von Prädiktoren zu beanspruchen?

Ich habe eine große Anzahl von Prädiktoren (mehr als 43.000) zur Vorhersage einer abhängigen Variablen, die 2 Werte annehmen kann (0 oder 1). Die Anzahl der Beobachtungen beträgt mehr als 45.000. Die meisten Prädiktoren sind Unigramme, Bigramme und Trigramme von Wörtern, daher besteht zwischen ihnen ein hohes Maß an Kollinearität. …

9 r multiple-regression lasso glmnet

1

Posteriore Verteilung für die Bayes'sche lineare Regression

Ich habe die Verwendung der Bayes'schen linearen Regression untersucht, bin aber zu einem Beispiel gekommen, über das ich verwirrt bin. Angesichts des Modells: y=βX+ϵy=βX+ϵ{\bf y} = {\bf \beta}{\bf X} + \bf{\epsilon} Angenommen, und ein ,ϵ∼N(0,ϕI)ϵ∼N(0,ϕI){\bf \epsilon} \sim N(0, \phi I)p(β,ϕ)∝1ϕp(β,ϕ)∝1ϕp(\beta, \phi) \propto \frac{1}{\phi} Wie wird erreicht?p(β|ϕ,y)p(β|ϕ,y)p(\beta|\phi, {\bf y}) Wobei: .p(β|ϕ,y)∼N(XTX)−1XTy,ϕ(XTX)−1)p(β|ϕ,y)∼N(XTX)−1XTy,ϕ(XTX)−1)p(\beta|\phi, …

9 regression bayesian multiple-regression

1

Was sind die roten Linien im Quantil-Regressionsdiagramm (Quantreg-Paket)?

Mit plot.rqdem quantregPaket in R können wir die Koeffizientenschätzungsverteilung darstellen und so etwas erhalten: Was sind die gepunkteten roten Linien? Ausgiebiges Googeln hat ergeben, dass die mittlere der Durchschnitt aller 99 Schätzungen ist, aber immer noch nichts über die gepunktete rote Linie weiß.

9 r data-visualization quantile-regression