Statistiken und Big Data

3

Warum geben Lars und Glmnet unterschiedliche Lösungen für das Lasso-Problem?

Ich möchte die R-Pakete Larsund Glmnet, die zur Lösung des Lasso-Problems verwendet werden , besser verstehen : (für Variablen und Stichproben, siehe www.stanford.edu/~hastie/Papers/glmnet.pdf auf Seite 3)pm i n( β0β) ∈ Rp + 1[ 12 N∑i = 1N( yich- β0- xTichβ)2+ λ | | β| |l1]michn(β0β)∈Rp+1[12N∑ich=1N(yich-β0-xichTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 + …

22 r regression machine-learning lasso regularization

8

Führen Sie K-Means-Clustering (oder ein Clustern seiner nahen Verwandten) nur mit einer Distanzmatrix durch, nicht mit Daten zu Punkten nach Merkmalen

Ich möchte K-Means-Clustering für Objekte ausführen, die ich habe, aber die Objekte werden nicht als Punkte im Raum beschrieben, dh nach objects x featuresDatensatz. Ich kann jedoch den Abstand zwischen zwei beliebigen Objekten berechnen (er basiert auf einer Ähnlichkeitsfunktion). Also verfüge ich über die Distanzmatrix objects x objects. Ich habe …

22 machine-learning clustering data-mining k-means distance

4

Wie würden Sie ein maschinelles Lernsystem entwickeln, um Angry Birds zu spielen?

Nachdem ich viel zu viel Angry Birds gespielt hatte, begann ich meine eigenen Strategien zu beobachten. Es stellt sich heraus, dass ich einen sehr spezifischen Ansatz entwickelt habe, um auf jeder Ebene 3 Sterne zu bekommen. Das brachte mich auf die Herausforderung, ein maschinelles Lernsystem zu entwickeln, mit dem Angry …

22 machine-learning reinforcement-learning

1

Intraclass Correlation (ICC) für eine Interaktion?

Angenommen, ich habe für jedes Thema an jedem Standort eine Messung. Für die Berechnung von ICC-Werten (Intraclass Correlation) sind zwei Variablen (Subject und Site) von Interesse. Normalerweise würde ich die Funktion lmeraus dem R-Paket verwenden lme4und ausführen lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata) Die …

22 r lme4-nlme intraclass-correlation

3

AIC- oder p-Wert: Welchen wählen Sie für die Modellauswahl?

Ich bin ganz neu in dieser R-Sache, bin mir aber nicht sicher, welches Modell ich wählen soll. Ich habe eine schrittweise Vorwärtsregression durchgeführt , bei der jede Variable basierend auf dem niedrigsten AIC ausgewählt wurde. Ich habe mir 3 Modelle ausgedacht, bei denen ich nicht sicher bin, welches das "beste" …

22 model-selection aic stepwise-regression

2

Ist es möglich, eine Reihe von Statistiken zu erstellen, die eine große Anzahl von Stichproben beschreiben, sodass ich dann einen Boxplot erstellen kann?

Ich muss sofort klarstellen, dass ich ein praktizierender Softwareentwickler bin, kein Statistiker, und dass meine College-Statistik-Klasse schon sehr lange her ist… Allerdings würde ich gerne wissen, ob es eine Methode zum Sammeln einer Reihe von beschreibenden Statistiken gibt, mit der dann ein Boxplot erstellt werden kann, bei dem keine einzelnen …

22 algorithms median quantiles

4

Wann sind die Ergebnisse von Shao zur einmaligen Kreuzvalidierung anwendbar?

In seiner Arbeit Lineare Modellauswahl durch Kreuzvalidierung zeigt Jun Shao, dass für das Problem der Variablenauswahl bei der multivariaten linearen Regression die Methode der ausschließlichen Kreuzvalidierung (LOOCV) „asymptotisch inkonsistent“ ist. Im Klartext werden tendenziell Modelle mit zu vielen Variablen ausgewählt. In einer Simulationsstudie zeigte Shao, dass LOOCV selbst bei nur …

22 classification model-selection cross-validation

1

Was ist mit der von einer Zufallsvariablen erzeugten

Im Verlauf meines (Selbst-) Studiums der Statistik bin ich häufig auf die Terminologie " Algebra, die durch eine Zufallsvariable erzeugt wird " gestoßen. Ich verstehe die Definition auf Wikipedia nicht , aber vor allem verstehe ich die Intuition dahinter nicht. Warum / wann brauchen wir Algebren, die durch Zufallsvariablen erzeugt …

22 probability random-variable sigma-algebra

3

Hat das Bildformat (png, jpg, gif) Einfluss darauf, wie ein neuronales Netz für die Bilderkennung trainiert wird?

Mir ist bewusst, dass es viele Fortschritte in Bezug auf Bilderkennung, Bildklassifizierung usw. bei tiefen, faltungsbedingten neuronalen Netzen gegeben hat. Aber wenn ich ein Netz beispielsweise mit PNG-Bildern trainiere, funktioniert dies nur für Bilder, die so codiert sind? Welche anderen Bildeigenschaften beeinflussen dies? (Alphakanal, Interlacing, Auflösung usw.?)

22 neural-networks deep-learning image-processing

3

Warum müssen wir kategoriale Variablen blind codieren?

Ich bin nicht sicher, warum wir kategoriale Variablen Dummy-Code benötigen. Wenn ich zum Beispiel eine kategoriale Variable mit vier möglichen Werten 0,1,2,3 habe, kann ich sie durch zwei Dimensionen ersetzen. Wenn die Variable den Wert 0 hätte, hätte sie 0,0 in zwei Dimensionen, wenn sie 3 hätte, hätte sie 1,1 …

22 categorical-data categorical-encoding

5

Annahmen linearer Modelle und was zu tun ist, wenn die Residuen nicht normalverteilt sind

Ich bin ein bisschen verwirrt, was die Annahmen der linearen Regression sind. Bisher habe ich geprüft, ob: Alle erklärenden Variablen korrelierten linear mit der Antwortvariablen. (Dies war der Fall) es gab irgendeine Kollinearität zwischen den erklärenden Variablen. (Es gab wenig Kollinearität). Die Cook-Abstände der Datenpunkte meines Modells liegen unter 1 …

22 linear-model residuals assumptions normality-assumption

5

Stichprobe für unausgeglichene Daten in der Regression

Es gab gute Fragen zum Umgang mit unausgeglichenen Daten im Klassifizierungskontext , aber ich frage mich, was die Leute tun, um eine Stichprobe für eine Regression zu erstellen. Angenommen, die Problemdomäne reagiert sehr empfindlich auf das Vorzeichen, aber nur etwas empfindlich auf die Größe des Ziels. Die Größe ist jedoch …

22 regression sampling unbalanced-classes

6

Geeignete Normalitätstests für kleine Stichproben

Bisher habe ich die Shapiro-Wilk-Statistik verwendet, um Normalitätsannahmen in kleinen Stichproben zu testen. Könnten Sie bitte eine andere Technik empfehlen?

22 hypothesis-testing goodness-of-fit normality-assumption small-sample

5

Bayes Theorem Intuition

Ich habe versucht, ein auf Intuition basierendes Verständnis des Bayes'schen Theorems in Bezug auf Prior , Posterior , Likelihood und marginale Wahrscheinlichkeit zu entwickeln. Dafür verwende ich die folgende Gleichung: wobei eine Hypothese oder einen Glauben darstellt und Daten oder Beweise darstellt. Ich habe das Konzept des Seitenzahns verstanden - …

22 bayesian likelihood intuition

5

Rohe oder orthogonale Polynomregression?

Ich möchte eine Variable auf x , x 2 , … , x 5 zurückführen . Sollte ich dazu rohe oder orthogonale Polynome verwenden? Ich habe mir Fragen auf der Website angesehen, die sich mit diesen beschäftigen, aber ich verstehe nicht wirklich, was der Unterschied zwischen der Verwendung ist. yyyx,x2,…,x5x,x2,…,x5x,x^2,\ldots,x^5 …

22 r regression polynomial