Statistiken und Big Data sparse

7

Euklidischer Abstand ist normalerweise nicht gut für spärliche Daten?

Ich habe irgendwo gesehen, dass klassische Entfernungen (wie die euklidische Entfernung) schwach diskriminierend werden, wenn wir mehrdimensionale und spärliche Daten haben. Warum? Haben Sie ein Beispiel für zwei spärliche Datenvektoren, bei denen die euklidische Distanz nicht gut funktioniert? In diesem Fall welche Ähnlichkeit sollten wir verwenden?

72 machine-learning clustering data-mining sparse euclidean

3

Wie genau ist spärliches PCA besser als PCA?

Ich habe vor einigen Vorlesungen im Unterricht etwas über PCA gelernt, und als ich mehr über dieses faszinierende Konzept erfuhr, lernte ich etwas über spärliche PCA. Ich wollte fragen, ob ich mich nicht irre: Wenn Sie in PCA Datenpunkte mit p Variablen haben, können Sie jeden Datenpunkt im p- dimensionalen …

24 machine-learning pca sparse

4

Gibt es eine Random Forest-Implementierung, die mit sehr spärlichen Daten gut funktioniert?

Gibt es eine R-Random-Forest-Implementierung, die mit sehr spärlichen Daten gut funktioniert? Ich habe Tausende oder Millionen von booleschen Eingabevariablen, aber nur Hunderte oder so werden für ein bestimmtes Beispiel WAHR sein. Ich bin relativ neu in R und habe festgestellt, dass es ein 'Matrix'-Paket für den Umgang mit spärlichen Daten …

23 r random-forest sparse

1

Unterschied zwischen fehlenden Daten und spärlichen Daten in Algorithmen für maschinelles Lernen

Was sind die Hauptunterschiede zwischen Daten mit geringer Dichte und fehlenden Daten? Und wie beeinflusst es das maschinelle Lernen? Genauer gesagt, welche Auswirkung haben spärliche Daten und fehlende Daten auf Klassifizierungsalgorithmen und Regressionsalgorithmen (Vorhersage von Zahlen). Ich spreche von einer Situation, in der der Prozentsatz fehlender Daten erheblich ist und …

20 machine-learning dataset missing-data sparse

1

Clustering-Algorithmen, die mit spärlichen Datenmatrizen arbeiten [geschlossen]

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 5 Jahren . Ich versuche, eine Liste von Clustering-Algorithmen zu erstellen, die Folgendes umfassen: Implementiert in R Arbeiten …

18 r clustering sparse

4

Normen - Was ist das Besondere an

Eine L1L1L_1 -Norm ist (zumindest teilweise) eindeutig, da p=1p=1p=1 an der Grenze zwischen nicht konvex und konvex liegt. Eine L1L1L_1 -Norm ist die 'spärlichste' konvexe Norm (oder?). Ich verstehe, dass die euklidische Norm p=2p=2p=2 Wurzeln in der Geometrie hat und eine klare Interpretation hat, wenn Dimensionen die gleichen Einheiten haben. …

13 regression regularization sparse

1

Beeinträchtigt ein geringer Trainingsumfang eine SVM?

Ich versuche, Nachrichten mithilfe einer SVM in verschiedene Kategorien zu klassifizieren. Ich habe eine Liste der gewünschten Wörter / Symbole aus dem Trainingsset zusammengestellt. Für jeden Vektor, der eine Nachricht darstellt, setze ich die entsprechende Zeile auf, 1wenn das Wort vorhanden ist: "Corpus" ist: [Mary, Little, Lamm, Star, Twinkle] erste …

12 classification svm sparse

1

Was sind

Ich habe in letzter Zeit viele Artikel über spärliche Darstellungen gesehen, und die meisten von ihnen verwenden die ℓpℓp\ell_p Norm und führen einige Minimierungen durch. Meine Frage ist, was ist die ℓpℓp\ell_p Norm und die ℓp,qℓp,q\ell_{p, q} Mischnorm? Und wie sind sie für die Regularisierung relevant? Vielen Dank

12 machine-learning regularization sparse

1

Ist eine groß angelegte PCA überhaupt möglich?

Die klassische Methode der Hauptkomponentenanalyse (PCA) besteht darin, sie auf einer Eingabedatenmatrix durchzuführen, deren Spalten den Mittelwert Null haben (dann kann PCA die Varianz "maximieren"). Dies kann leicht durch Zentrieren der Säulen erreicht werden. Wenn jedoch die Eingabematrix dünn ist, ist die zentrierte Matrix jetzt länger dünn und passt - …

10 pca algorithms dimensionality-reduction large-data sparse

1

Wie baue ich einen innovativen Ausreißer bei Beobachtung 48 in mein ARIMA-Modell ein?

Ich arbeite an einem Datensatz. Nachdem ich einige Modellidentifikationstechniken angewendet hatte, kam ich mit einem ARIMA (0,2,1) -Modell heraus. Ich habe die detectIOFunktion im Paket TSAin R verwendet, um bei der 48. Beobachtung meines ursprünglichen Datensatzes einen innovativen Ausreißer (IO) zu erkennen . Wie kann ich diesen Ausreißer in mein …

10 r time-series arima outliers hypergeometric fishers-exact r time-series intraclass-correlation r logistic glmm clogit mixed-model spss repeated-measures ancova machine-learning python scikit-learn distributions data-transformation stochastic-processes web standard-deviation r machine-learning spatial similarities spatio-temporal binomial sparse poisson-process r regression nonparametric r regression logistic simulation power-analysis r svm random-forest anova repeated-measures manova regression statistical-significance cross-validation group-differences model-comparison r spatial model-evaluation parallel-computing generalized-least-squares r stata fitting mixture hypothesis-testing categorical-data hypothesis-testing anova statistical-significance repeated-measures likert wilcoxon-mann-whitney boxplot statistical-significance confidence-interval forecasting prediction-interval regression categorical-data stata least-squares experiment-design skewness reliability cronbachs-alpha r regression splines maximum-likelihood modeling likelihood-ratio profile-likelihood nested-models

4

Sparsity-induzierende Regularisierung für stochastische Matrizen

Es ist bekannt (z. B. auf dem Gebiet der Druckabtastung ), dass die Norm "sparsity-induzierend" ist, in dem Sinne, dass wenn wir die funktionale (für feste Matrix und Vektor ) minimieren für groß genug \ lambda> 0 , wir haben wahrscheinlich für viele Auswahlmöglichkeiten von A , \ vec {b} …

10 regression matrix normalization regularization sparse

2

Generieren Sie eine symmetrische positive definitive Matrix mit einem vorgegebenen Sparsity-Muster

Ich versuche, eine Korrelationsmatrix (symmetrisches psd) mit einer vorgegebenen Sparsity-Struktur (angegeben durch einen Graphen auf Knoten) zu erzeugen . Die Knoten, die im Diagramm verbunden sind, haben die Korrelation , alle sind 0 und die Diagonale ist alle 1.p ρ ∼ U ( 0 , 1 )p×pp×pp\times ppppρ∼U(0,1)ρ∼U(0,1)\rho \sim U(0,1) …

9 correlation matrix sparse correlation-matrix

1

Welche Richtlinien sollten für die Verwendung neuronaler Netze mit spärlichen Eingaben befolgt werden?

Ich habe extrem spärliche Eingaben, z. B. Positionen bestimmter Merkmale in einem Eingabebild. Darüber hinaus kann jedes Merkmal mehrere Erkennungen haben (nicht sicher, ob dies einen Einfluss auf das Design des Systems hat). Dies werde ich als k-Kanal-Binärbild mit EIN-Pixeln präsentieren, die das Vorhandensein dieses Merkmals darstellen, und umgekehrt. Wir …

9 neural-networks deep-learning sparse

2

Auswahl der Anzahl der Hauptkomponenten mit geringer Dichte, die in die Regression einbezogen werden sollen

Hat jemand Erfahrung mit Ansätzen zur Auswahl der Anzahl der Hauptkomponenten mit geringer Dichte, die in ein Regressionsmodell aufgenommen werden sollen?

9 pca sparse regression-strategies

1

Compressed Sensing-Beziehung zur L1-Regularisierung

Ich verstehe , dass die Drucksensor sparsamsten Lösung findet wobei x ∈ R D , A ∈ R k × D und y ∈ R k , k < < D .y=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k<<Dk<<Dk << D Auf diese Weise können wir xxx …

8 lasso sparse

Als «sparse» getaggte Fragen