Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Funktionsauswahl für Clustering-Probleme
Ich versuche, verschiedene Datensätze mit unbeaufsichtigten Algorithmen (Clustering) zu gruppieren. Das Problem ist, dass ich viele Funktionen (~ 500) und eine kleine Anzahl von Fällen (200-300) habe. Bisher habe ich nur Klassifizierungsprobleme gemacht, für die ich Daten immer als Trainingssätze gekennzeichnet hatte. Dort habe ich ein Kriterium (dh random.forest.importance oder …
3
Eine diskrete Zufallsvariable halbieren?
Sei eine diskrete Zufallsvariable, die ihre Werte in annimmt . Ich möchte diese Variable halbieren , dh eine Zufallsvariable wie zum Beispiel:X.X.XN.N.\mathbb{N}Y.Y.Y X.= Y.+ Y.∗X.=Y.+Y.∗X = Y + Y^* wobei eine unabhängige Kopie von .Y.∗Y.∗Y^*Y.Y.Y Ich bezeichne diesen Prozess als Halbierung ; Dies ist eine erfundene Terminologie. Gibt es in …
1
Original (?) Modellauswahl mit k-fachem Lebenslauf
Wenn ich einen k-fachen CV zur Auswahl unter Regressionsmodellen verwende, berechne ich normalerweise den CV-Fehler für jedes Modell separat zusammen mit seinem Standardfehler SE und wähle das einfachste Modell innerhalb von 1 SE des Modells mit dem niedrigsten CV-Fehler (der 1) aus Standardfehlerregel, siehe zum Beispiel hier ). Kürzlich wurde …
1
Dieses Autoencoder-Netzwerk kann nicht ordnungsgemäß funktionieren (mit Faltungs- und Maxpool-Schichten).
Autoencoder- Netzwerke scheinen viel schwieriger zu sein als normale Klassifikator-MLP-Netzwerke. Nach mehreren Versuchen mit Lasagne ist alles, was ich in der rekonstruierten Ausgabe bekomme, etwas, das im besten Fall einer verschwommenen Mittelung aller Bilder der MNIST- Datenbank ähnelt, ohne zu unterscheiden, was die eingegebene Ziffer tatsächlich ist. Die von mir …
1
Lineare Regression mit Laplace-Fehlern
Betrachten Sie ein lineares Regressionsmodell: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, wobei εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b) , das heißt , Laplace-Verteilung mit 000 Mittelwert und bbb Skalenparameter sind alle voneinander unabhängig. Betrachten Sie eine maximale Wahrscheinlichkeitsschätzung des unbekannten Parameters ββ\boldsymbol …
1
Warum können lineare und logistische Regressionskoeffizienten nicht mit derselben Methode geschätzt werden?
Ich habe in einem Buch über maschinelles Lernen gelesen, dass Parameter der linearen Regression (unter anderem) durch Gradientenabstieg geschätzt werden können, während Parameter der logistischen Regression normalerweise durch Schätzung der maximalen Wahrscheinlichkeit geschätzt werden. Ist es möglich, einem Neuling (mir) zu erklären, warum wir unterschiedliche Methoden für die lineare / …
3
Was ist dieser Bias-Varianz-Kompromiss für Regressionskoeffizienten und wie kann er abgeleitet werden?
In diesem ( Bayesianische Inferenz für Varianzkomponenten, die nur Fehlerkontraste verwenden , Harville, 1974) behauptet der Autor als "bekannt" Beziehung ", für eine lineare Regression wobei y = X β(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)ϵ ∼ N ( 0 , H ) .y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). Wie ist das bekannt? Was ist der einfachste Weg, dies zu …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.