Statistiken und Big Data

2

Finden Sie die Drehung zwischen Punktmengen

Ich habe zwei Sätze ( sourcund target) von Punkten (x,y), die ich ausrichten möchte. Was ich bisher gemacht habe ist: Finden Sie den Schwerpunkt jedes Punktesatzes Verwenden Sie den Unterschied zwischen den Zentroiden-Übersetzungen, den Punkt in xundy Ich möchte die beste Drehung (in Grad) finden, um die Punkte auszurichten . …

8 r data-transformation geometry rotation procrustes-analysis

2

Alternative Entfernungsmetriken für zwei Zeitreihen

Ich habe Zeitreihendaten von verschiedenen Häusern. Angenommen, es handelt sich um Stromverbrauchsdaten. Jetzt möchte ich die Häuser nach einem ähnlichen Stromverbrauchsmuster gruppieren. Zu den verschiedenen Entfernungsmetriken, die ich mir vorstellen kann, um die Ähnlichkeit zu messen, gehören: Euklidische Entfernung DTW- Entfernung Frechet Entfernung Mit euklidischer Distanz fand ich einen Ausreißer …

8 time-series clustering similarities smoothing

1

Fisher Informationen für

Ich habe viele Leute gesehen, die die Delta-Methode verwendeten, um die asymptotische Verteilung von zu finden rrr, der Probenkorrelationskoeffizient für bivariate Normaldaten. Diese Verteilung ist gegeben durch n- -- -√( r - ρ )- -→D.N.( 0 ,( 1 -ρ2)2)n(r- -ρ)→D.N.(0,(1- -ρ2)2)\sqrt{n} \left( r-\rho \right) \xrightarrow{D} \mathcal{N} \left(0, \left(1-\rho^2\right)^2 \right) und …

8 normal-distribution mathematical-statistics maximum-likelihood inference asymptotics

2

Grundlegendes zu Gefahrenfunktionswerten über 1

Ich habe immer wieder Probleme beim Verständnis der Gefährdungsraten. Ich weiß zum Beispiel, dass eine Gefährdungsrate im engeren Sinne keine Wahrscheinlichkeit ist, und es wird immer wieder erwähnt, dass die Gefährdungsrate aus diesem Grund keine Obergrenze hat. Habe ich Recht, wenn ich verstehe, dass Gefahrenfunktionswerte als sofortige Ausfallraten interpretiert werden …

8 survival hazard bounds

1

Warum sind alle Lasso-Koeffizienten in Modell 0.0?

Ich verwende from sklearn.linear_model import Lassoin Python 2.7.6 Ich habe ein Skript geschrieben, mit dem ich eine Lasso-Regression für meine Features (X) und meine Ziele (y) durchgeführt habe. Ich habe es schon einmal verwendet und es funktioniert. Ich verwende es für einen neuen Datensatz (völlig andere Art von Daten) und …

8 regression python lasso scikit-learn

2

Wie kann Unsicherheit in die Vorhersage eines neuronalen Netzwerks übertragen werden?

Ich habe Eingaben , die Unsicherheiten gekannt haben . Ich benutze sie, um die Ausgaben in einem trainierten neuronalen Netzwerk vorherzusagen . Wie kann ich 1 Unsicherheiten bei meinen Vorhersagen erhalten?x1…xnx1…xnx_1\ldots x_n1σ1σ1\sigmaϵ1…ϵnϵ1…ϵn\epsilon_1 \ldots \epsilon_ny1…ymy1…ymy_1 \ldots y_mσσ\sigma Meine Idee ist es, jeden Eingang zufällig mit normalem Rauschen mit dem Mittelwert 0 …

8 machine-learning neural-networks predictive-models prediction error-propagation

2

Zusammenfassung des GAM-Modells: Was versteht man unter „Bedeutung glatter Begriffe“?

Ich habe einen Datensatz, für den ich ein GAM-Modell erstelle, mit einer Reihe von Faktoren, die die abhängige Variable vorhersagen. Wenn ich eine Zusammenfassung des Modells mache, erhalte ich ein Diagramm, das die "Bedeutung von glatten Begriffen" angibt (was ziemlich bedeutsam ist). Was bedeutet das? Hier ist ein Beispiel einiger …

8 r dataset regression gam

2

Warum ist die von Breiman vorgeschlagene Metrik mit variabler Wichtigkeit nur für zufällige Wälder spezifisch?

Im Random Forest- Artikel beschreiben sie eine gute Möglichkeit, die Wichtigkeit einer Variablen zu messen: Nehmen Sie Ihre Validierungsdaten, messen Sie die Fehlerrate, permutieren Sie die Variable und messen Sie die Fehlerrate neu. Frage - warum ist diese Methode spezifisch für zufällige Wälder? Ich verstehe, dass wir in anderen Klassifikatoren …

8 machine-learning random-forest importance

2

Generieren Sie Zufallszahlen mit linearer Verteilung

Wie kann ich zufällige Gleitkommazahlen erzeugen, deren Wahrscheinlichkeitsfunktion linear ist? Angenommen, ich kann einheitliche Zufälle erzeugen. Die Darstellung ist ein Beispiel für eine lineare Verteilung. f - Wahrscheinlichkeitsdichte, x - Zufallswert.

8 r probability distributions

2

Wie interpretieren Sie die Bedingungsnummer einer Korrelationsmatrix?

Ich habe zwei Korrelationsmatrizen, eine mit einer Bedingungsnummer von 9 und die andere mit einer Bedingungsnummer von 70. Nach dem, was ich gelesen habe, scheint die erste Matrix allein aufgrund dieser Zahlen besser konditioniert zu sein als die andere, aber i Ich kämpfe darum, wirklich zu interpretieren, wie viel besser …

8 correlation conditioning condition-number

3

Interpretation der Ausgabe von ctree {partykit} in R.

Datengenauigkeiten: Zitat ist eine Dummy-Variable Minuten zählen alle Minuten innerhalb eines Tages Temperatur ist die Temperatur Hier ist mein Code: ctree <- ctree(quotation ~ minute + temp, data = visitquot) print(ctree) Fitted party: [1] root | [2] minute <= 600 | | [3] minute <= 227 | | | [4] …

8 r data-visualization cart

2

Entspricht der Mahalanobis-Abstand dem euklidischen Abstand in den PCA-gedrehten Daten?

Ich bin zu der Überzeugung gelangt (siehe hier und hier ), dass der Mahalanobis-Abstand dem euklidischen Abstand in den PCA-gedrehten Daten entspricht. Mit anderen Worten, multivariate normale DatenX.XX, die Mahalanobis Entfernung aller xxx's von einem bestimmten Punkt (sagen wir 00\mathbf{0}) sollte dem euklidischen Abstand der Einträge von entsprechen X.r o …

8 r pca distance multivariate-normal rotation

2

Wie werden Diagramme von k-nächsten Nachbarn erstellt? (zum Clustering)

Ich habe gesehen, dass es mehrere Clustering-Algorithmen gibt (zum Beispiel CHAMELEON oder sogar Spectral Clustering), die die Daten in einen gewichteten (oder manchmal ungewichteten) k-Nächsten-Nachbarn-Graphen konvertieren, basierend auf den Abständen zwischen Punkten / Beobachtungen / Zeilen und Ich habe mich gefragt, wie diese Grafiken generiert werden. Sind diese Grafiken gerichtet? …

8 clustering graph-theory

1

Anpassen einer Ebene an eine Reihe von Punkten in 3D mithilfe von PCA

Ich versuche, eine Mittelebene eines 3D-Modells unter Verwendung der Mittelpunkte gepaarter Landmarken zu schätzen, um fehlende Daten zu rekonstruieren (die Mittelebene bezieht sich hier auf die mittlere / saggitale Ebene des Schädels, die den Schädel in zwei symmetrische Hälften schneidet, links und rechts). . Ich muss daher eine Ebene aus …

8 r regression pca total-least-squares

5

Was ist Kalibrierung?

Was bedeutet es, Vermessungsgewichte zu kalibrieren? Was sind andere Definitionen der Kalibrierung in der Statistik? Ich habe gehört, dass es in verschiedenen Zusammenhängen verwendet wird, insbesondere bei der Risikoprognose (in Bezug darauf, ob die Gesamtzahl der vorhergesagten Ereignisse in einer Kohorte statistisch mit der beobachteten Anzahl von Ereignissen übereinstimmt). Gibt …

8 survey terminology calibration survey-weights