Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Warum ist KL-Divergenz nicht negativ?
Warum ist die KL-Divergenz nicht negativ? Aus informationstheoretischer Sicht verstehe ich das so intuitiv: Angenommen, es gibt zwei Ensembles AAA und BBB die aus der gleichen Menge von Elementen bestehen, die mit xxx . p(x)p(x)p(x) und q(x)q(x)q(x) sind verschiedene Wahrscheinlichkeitsverteilungen über ensemble und jeweils.AAABBB Aus informationstheoretischer Sicht ist log2(P(x))log2⁡(P(x))\log_{2}(P(x)) die …
2
Merkmalsbedeutung bei Dummy-Variablen
Ich versuche zu verstehen, wie ich die Feature-Wichtigkeit einer kategorialen Variablen ermitteln kann, die in Dummy-Variablen zerlegt wurde. Ich benutze scikit-learn, das kategoriale Variablen für Sie nicht so behandelt, wie es R oder H2O tun. Wenn ich eine kategoriale Variable in Dummy-Variablen zerlege, erhalte ich separate Feature-Wichtigkeiten pro Klasse in …
2
Kolmogorov-Smirnov-Test in R verstehen
Ich versuche die Ausgabe der Kolmogorov-Smirnov-Testfunktion zu verstehen (zwei Beispiele, zweiseitig). Hier ist ein einfacher Test. x <- c(1,2,2,3,3,3,3,4,5,6) y <- c(2,3,4,5,5,6,6,6,6,7) z <- c(12,13,14,15,15,16,16,16,16,17) ks.test(x,y) # Two-sample Kolmogorov-Smirnov test # #data: x and y #D = 0.5, p-value = 0.1641 #alternative hypothesis: two-sided # #Warning message: #In ks.test(x, y) …
2
Klassifizierung mit Gradient Boosting: So behalten Sie die Vorhersage in [0,1] bei
Die Frage Ich habe Probleme zu verstehen, wie die Vorhersage im Intervall [0,1][0,1][0,1] wenn ich eine binäre Klassifizierung mit Gradient Boosting durchführe. Angenommen, wir arbeiten an einem binären Klassifizierungsproblem und unsere Zielfunktion ist der logarithmische Verlust , wobei ist die Zielvariable und ist unser aktuelles Modell.−∑yilog(Hm(xi))+(1−yi)log(1−Hm(xi))−∑yilog⁡(Hm(xi))+(1−yi)log⁡(1−Hm(xi))-\sum y_i \log(H_m(x_i)) + (1-y_i) …
1
Was sind die Vorteile von Kernel-PCA gegenüber Standard-PCA?
Ich möchte einen Algorithmus in einem Artikel implementieren, der Kernel-SVD zum Zerlegen einer Datenmatrix verwendet. Ich habe also Materialien über Kernelmethoden und Kernel-PCA usw. gelesen. Aber es ist für mich immer noch sehr dunkel, besonders wenn es um mathematische Details geht, und ich habe ein paar Fragen. Warum Kernelmethoden? Oder …
17 pca  svd  kernel-trick 
1
Wie man die Wahrscheinlichkeitsdichtefunktion aus der Dichtefunktion in R findet / schätzt
Angenommen, ich habe eine Variable Xmit unbekannter Verteilung. In Mathematica SmoothKernelDensitykönnen wir mithilfe der Funktion eine geschätzte Dichtefunktion haben. Diese geschätzte Dichtefunktion kann zusammen mit der PDFFunktion verwendet werden, um die Wahrscheinlichkeitsdichtefunktion eines Werts zu berechnen, etwa Xin der Form der PDF[density,X]Annahme, dass "Dichte" das Ergebnis von ist SmoothKernelDensity. Es …
17 r  pdf  cdf 
2
Wäre ein Random Forest mit mehreren Ausgängen möglich / sinnvoll?
Random Forests (RFs) ist eine wettbewerbsfähige Datenmodellierungs- / Miningmethode. Ein RF-Modell hat eine Ausgabe - die Ausgabe- / Vorhersagevariable. Der naive Ansatz zur Modellierung mehrerer Ausgänge mit RFs besteht darin, für jede Ausgangsvariable einen RF zu erstellen. Wir haben also N unabhängige Modelle, und wenn es eine Korrelation zwischen Ausgabevariablen …
2
Literaturübersicht zur nichtlinearen Regression
Kennt jemand einen guten Übersichtsartikel für die statistische Literatur zur nichtlinearen Regression? Ich interessiere mich hauptsächlich für Konsistenzergebnisse und Asymptotika. Von besonderem Interesse ist das Modell yich t= m ( xich t, θ ) + ϵich t,yicht=m(xicht,θ)+ϵicht,y_{it} = m(x_{it},\theta) + \epsilon_{it}, für Paneldaten. Weniger interessant sind nicht parametrische Methoden. Vorschläge …
4
Ist es möglich, Bilder variabler Größe als Eingabe für ein Faltungsnetzwerk zu geben?
Können wir Bilder mit variabler Größe als Eingabe für die Objekterkennung in ein Faltungsnetzwerk geben? Wenn möglich, wie können wir das tun? Wenn wir jedoch versuchen, das Bild zuzuschneiden, verlieren wir einen Teil des Bildes, und wenn wir versuchen, die Größe zu ändern, geht die Klarheit des Bildes verloren. Bedeutet …
4
Wenn ich ein interpretierbares Modell haben möchte, gibt es andere Methoden als die lineare Regression?
Ich bin auf einige Statistiker gestoßen, die niemals andere Modelle als die lineare Regression zur Vorhersage verwenden, weil sie der Meinung sind, dass "ML-Modelle" wie zufällige Gesamtstruktur- oder Gradientenerhöhungen schwer zu erklären oder "nicht interpretierbar" sind. In einer linearen Regression bieten die t-Tests eine Möglichkeit, die Signifikanz von Variablen zu …
3
Wie ist die Kausalität mathematisch definiert?
Was ist die mathematische Definition eines Kausalzusammenhangs zwischen zwei Zufallsvariablen? Wann würde man bei einer Stichprobe aus der gemeinsamen Verteilung zweier Zufallsvariablen und sagen, dass verursacht ?XXXYYYXXXYYY Zum Kontext lese ich dieses Papier über die kausale Entdeckung .
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.