Statistiken und Big Data

1

Wann entspricht die LSQ-Linie (Least Square Regression) der LAD-Linie (Least Absolute Deviation)?

Ich habe die folgende Frage zur Hand. Angenommen, repräsentieren eine Reihe von bi-variablen Beobachtungen auf so dassUnter welchen Bedingungen ist die Regressionslinie für das kleinste Quadrat von auf identisch mit der Linie für die geringste absolute Abweichung?(x1,y1) , (x2,y2) , ⋯ , (x10,y10)(x1,y1),(x2,y2),⋯,(x10,y10)(x_1,y_1),(x_2,y_2),\cdots,(x_{10},y_{10})( X., Y.)(X.,Y.)(X,Y)x2=x3= ⋯ =x10≠x1.x2=x3=⋯=x10≠x1.x_2=x_3=\cdots =x_{10}\ne x_1.Y.Y.YX.X.X Ich …

8 regression self-study least-squares least-absolute-deviations

2

Die Score-Funktion von Fisher hat den Mittelwert Null - was bedeutet das überhaupt?

Ich versuche, der prinzipiellen Überprüfung der Wahrscheinlichkeitstheorie zu folgen . Sie definieren Fisher’s score functionals Die erste Ableitung der Log-Likelihood-Funktion und sie sagen, dass die Punktzahl ein Zufallsvektor ist. ZB für die geometrische Verteilung: u(π) = n(1π- -y¯1 - π)u(π)=n(1π- -y¯1- -π) u(\pi) = n\left(\frac{1}{\pi} - \frac{\bar{y}}{1-\pi} \right) Und ich …

8 likelihood geometric-distribution fisher-scoring

2

Multivariates Zeitreihen-Clustering

Ich sammle eine Gruppe multivariater Zeitsequenzen. Zum Beispiel gibt es 2000 Zeitreihen. Jede Zeitreihe hat 12 Dimensionen. Gibt es systematische Modelle / Algorithmen, die multivariate Zeitreihen gruppieren können? Zum Beispiel möchte ich einige Zeitreihen identifizieren, die sich stark von anderen unterscheiden. Darüber hinaus kann ich für die Online-Überwachung diesen Algorithmus …

8 machine-learning time-series clustering multivariate-analysis sequential-pattern-mining

2

Was ist die richtige Analyse für diese Art von Frage? (Bedingte logistische Regression?)

Was ist angesichts des folgenden Experiments die richtige statistische Methode, um die folgende Frage zu beantworten: Eine Teilnehmerin erhält nacheinander Bilder und muss nach jedem Bild antworten, ob sie ein Objekt oder ein Gesicht gesehen hat. In jedem Versuch (Bildpräsentation) wird das präsentierte Bild (entweder 1 von 210 einzelnen Gesichtern …

8 hypothesis-testing logistic multiple-comparisons paired-data

1

Vorhersage von ARIMA mit "Vorhersage" gegen "Vorhersage" in R [geschlossen]

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 3 Jahren . Daten, die aus 30 Werten bestehen, werden in einer Zeitreihe gespeichert time. Nachdem timeich die …

8 r time-series forecasting arima

2

Poisson xgboost mit Exposition

Ich habe versucht, eine zählabhängige Variable mit ungleichmäßiger Belichtung zu modellieren. Klassische glms würden log (Belichtung) als Offset verwenden, auch gbm, aber xgboost erlaubt bis jetzt keinen Offset ... Der Versuch, einen Nachteil in diesem Beispiel in crossvalidated ( Wohin geht der Offset in Poisson / negative binomiale Regression? ) …

8 r caret poisson-regression offset xgboost

1

Intuition zur t-SNE-Visualisierungstechnik

Ich erzeugte eine t-SNE-Visualisierung eines Datensatzes (ungefähr 10 standardisierte (Mittelwert = 0, sd = 1) numerische Merkmale) und kam zu einem folgenden zweidimensionalen Diagramm. Ich habe keine gute Vorstellung davon, warum die Punkte in bogenförmigen Gruppen ausgerichtet sind, siehe zum Beispiel den rechten unteren Teil des beigefügten Bildes (oder den …

8 data-visualization tsne

1

Verkürzte Normalverteilung über eine Vereinigung von Intervallen

Angenommen, ich möchte eine abgeschnittene Normalverteilung finden, aber anstatt sie in einem Intervall , wobei , ihre Definition in einem Intervall , wobei .( a , b )(ein,b)(a,b)- ∞ < a < b < ∞- -∞<ein<b<∞-\infty<a<b<\infty( a , b ) ∪ ( c , d)(ein,b)∪(c,d)(a,b)\cup(c,d)- ∞ < a < b …

8 probability distributions truncated-normal

1

War es genauso gültig, k-means auf einer Distanzmatrix durchzuführen wie auf einer Datenmatrix (Text Mining-Daten)?

(Dieser Beitrag ist ein Repost einer Frage, die ich gestern gestellt habe (jetzt gelöscht), aber ich habe versucht, die Anzahl der Wörter zu verringern und das, was ich stelle, zu vereinfachen.) Ich hoffe, Hilfe bei der Interpretation eines von mir erstellten kmeans-Skripts und einer Ausgabe zu erhalten. Dies steht im …

8 r clustering k-means text-mining

3

Varianz einer Verteilung von mehrstufigen kategorialen Daten

Ich analysiere derzeit große Datenmengen mit verschiedenen Merkmalen (z. B. Stadt). Ich wollte ein Maß finden, das im Wesentlichen sagt, wie viel oder wie wenig Abweichung zwischen den Daten besteht. Dies wäre viel nützlicher, als nur die Anzahl der verschiedenen Elemente zu ermitteln. Betrachten Sie beispielsweise die folgenden Daten: City …

8 distributions categorical-data variance ecology

2

Hypothesentest mit einer ungewöhnlichen alternativen Hypothese ( )

Normalerweise bin ich mit der Durchführung von Hypothesentests sehr vertraut, aber ich habe noch nie eine alternative Hypothese gesehen, bei der einem bestimmten Wert entspricht. Wie würde man in dieser Situation vorgehen? Dies ist ein Beispiel, auf das ich gestoßen bin:μμ\mu "Unter der Annahme einer Normalität mit der Varianz σ2=9σ2=9σ^2 …

8 hypothesis-testing self-study

1

Gibt es einen aussagekräftigen Ansatz für die Durchführung einer Netzwerk-Metaanalyse diagnostischer Testgenauigkeitsstudien?

Hintergrund: Ich arbeite an einer systematischen Überprüfung, die mehrere Bildgebungsmodalitäten für Erkrankungen der Herzkranzgefäße umfasst, aber das Evidenznetzwerk ist ziemlich groß, einschließlich verschiedener Modalitäten, die häufig in einem umfangreichen Netzwerk miteinander verglichen werden. Die Netzwerk-Metaanalyse ist ein etablierter Ansatz für randomisierte kontrollierte Studien. In WinBUGS, Stata, R und SAS stehen …

8 meta-analysis diagnostic network-meta-analysis systematic-review

1

Bootstrapping einer Stichprobe aus einer endlichen Population

Kann mich jemand auf eine theoretische Referenz zum Bootstrapping einer Stichprobe verweisen, die einer Population bekannter Größe entnommen wurde? Ich bin es gewohnt, Bootstrap zu verwenden, um Konfidenzintervalle einer Stichprobe zu berechnen, wenn die Populationsgröße als viel größer als die Stichprobe angesehen wird (daher sollte eine zufällige Auswahl mit Wiederholung …

8 confidence-interval sampling bootstrap finite-population

3

Schätzung des Parameters der Exponentialverteilung mit gruppierten Daten

Ich habe die folgenden Daten, die durch Exponentialverteilung modelliert werden können Time 0-20 20-40 40-60 60-90 90-120 120-inf Frequency 41 19 16 13 9 2 Um zu testen, ob die Daten der Exponentialverteilung folgen, verwende ich eine Chi-Quadrat-Teststatistik. Dafür muss ich aber auch Lambda berechnen ( ).MLE=1X¯MLE=1X¯MLE = \frac{1}{\bar X} …

8 estimation chi-squared mean exponential binning

2

k-means ++ Algorithmus und Ausreißer

Es ist bekannt, dass der k-means-Algorithmus bei Ausreißern leidet. k-means ++ ist eine effektive Methode zur Initalisierung von Clusterzentren. Ich habe die PPT von den Gründern der Methode, Sergei Vassilvitskii und David Arthur http://theory.stanford.edu/~sergei/slides/BATS-Means.pdf (Folie 28) , durchlaufen, was zeigt, dass die Cluster-Center-Initialisierung ist nicht vom Ausreißer betroffen, wie unten …

8 clustering k-means