Statistiken und Big Data

3

t-Verteilung mit schwererem Schwanz als Normalverteilung

In meinen Vorlesungsunterlagen heißt es: Die T-Verteilung sieht normal aus, allerdings mit etwas schwereren Schwänzen. Ich verstehe, warum es normal aussehen würde (aufgrund des zentralen Grenzwertsatzes). Es fällt mir jedoch schwer zu verstehen, wie ich mathematisch beweisen kann, dass es schwerere Schwänze als die Normalverteilung hat und ob es eine …

10 normal-distribution t-distribution heavy-tailed

2

Anzahl der Fächer bei der Berechnung der gegenseitigen Information

Ich möchte die Beziehung zwischen zwei Variablen, A und B, unter Verwendung gegenseitiger Informationen quantifizieren. Die Berechnung erfolgt durch Gruppieren der Beobachtungen (siehe Beispiel-Python-Code unten). Welche Faktoren bestimmen jedoch, welche Anzahl von Behältern angemessen ist? Ich brauche eine schnelle Berechnung, damit ich nicht einfach viele Behälter verwenden kann, um auf …

10 information-theory mutual-information binning

2

Wie geht Rs coxph () genau mit wiederholten Messungen um?

Kontext Ich versuche zu verstehen, wie Rs coxph () wiederholte Einträge für Probanden (oder Patienten / Kunden, wenn Sie dies bevorzugen) akzeptiert und verarbeitet. Einige nennen dieses Langformat, andere nennen es "wiederholte Maßnahmen". Siehe zum Beispiel den Datensatz, der die ID-Spalte im Abschnitt Antworten enthält, unter: Beste Pakete für Cox-Modelle …

10 r repeated-measures survival cox-model frailty

1

Verwendung des Medians zur Berechnung der Varianz

Ich habe eine 1-D-Zufallsvariable, die extrem verzerrt ist. Um diese Verteilung zu normalisieren, möchte ich eher den Median als den Mittelwert verwenden. Meine Frage lautet: Kann ich die Varianz der Verteilung anhand des Medians in der Formel anstelle des Mittelwerts berechnen? dh kann ich ersetzen V a r (X.) = …

10 variance mean median

1

Variational Bayes kombiniert mit Monte Carlo

Ich lese über Variations-Bayes nach, und so wie ich es verstehe, kommt es auf die Idee an, dass Sie approximieren (wobei die latenten Variablen Ihres Modells undp ( z∣ x )p(z∣x)p(z\mid x)zzzxxx die beobachteten Daten sind) mit einer Funktion approximieren , wobei angenommen wird, dass q als q i ( …

10 variational-bayes

1

Ableitung des Kreuzentropieverlusts in word2vec

Ich versuche, mich durch den ersten Problemsatz des cs224d Online-Kurskurses in Stanford zu arbeiten, und ich habe einige Probleme mit Problem 3A: Wenn wir das Skip-Gramm-word2vec-Modell mit der Softmax-Vorhersagefunktion und der Cross-Entropy-Loss-Funktion verwenden, haben wir wollen die Gradienten in Bezug auf die vorhergesagten Wortvektoren berechnen. Also gegeben die Softmax-Funktion: wi^=Pr(wordi∣r^,w)=exp(wTir^)∑|V|jexp(wTjr^)wi^=Pr(wordi∣r^,w)=exp⁡(wiTr^)∑j|V|exp(wjTr^) …

10 machine-learning self-study word2vec

2

Überlebensraten-Trends in Fall-Kontroll-Studien

Ich habe einen Artikel eingereicht, der aufgrund der unsachgemäßen Durchführung der Überlebensanalyse abgelehnt wurde. Der Schiedsrichter hinterließ keine anderen Details oder Erklärungen als: "Die Überlebensanalyse von Zeittrends erfordert differenziertere Zensurmethoden." Die Frage: Wurde das übermäßige Todesrisiko bei Rauchern in den letzten Jahrzehnten verringert? Daten: 25.000 Raucher in Deutschland. Sie wurden …

10 regression survival incidence-rate-ratio interval-censoring

1

Ist diese Interpretation der Sparsity korrekt?

Laut der Dokumentation der removeSparseTermsFunktion aus dem tmPaket bedeutet dies Sparsamkeit: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms with a sparse factor …

10 r text-mining natural-language

6

Wie wird die Notation gelesen?

Wie wird die Notation gelesen? Ist es folgt einer Normalverteilung? Oder ist eine Normalverteilung? Oder vielleicht ist ungefähr normal.X X X.X.∼ N.( μ , σ2)X∼N(μ,σ2)X\sim N(\mu,\sigma^2)X.XX X.XX X.XX Was ist, wenn mehrere Variablen derselben Verteilung folgen (oder was auch immer die Wörter sind)? Wie ist es geschrieben?

10 normal-distribution notation

3

Identifizieren gefilterter Features nach Feature-Auswahl mit scikit learn

Hier ist mein Code für die Feature-Auswahlmethode in Python: from sklearn.svm import LinearSVC from sklearn.datasets import load_iris iris = load_iris() X, y = iris.data, iris.target X.shape (150, 4) X_new = LinearSVC(C=0.01, penalty="l1", dual=False).fit_transform(X, y) X_new.shape (150, 3) Aber nachdem ich neues X (abhängige Variable - X_new) erhalten habe, woher weiß …

10 feature-selection python scikit-learn

3

Ein Beispiel, bei dem sich die Ausgabe des k-Medoid-Algorithmus von der Ausgabe des k-Mittelwert-Algorithmus unterscheidet

Ich verstehe den Unterschied zwischen k medoid und k means. Aber können Sie mir ein Beispiel mit einem kleinen Datensatz geben, bei dem sich die k-Medoid-Ausgabe von der k-Mittelwert-Ausgabe unterscheidet?

10 k-means k-medoids

3

Beziehung zwischen der einfachen Regression und der multiplen Regression

Eine sehr grundlegende Frage bezüglich des der OLS-RegressionenR2R2R^2 Führen Sie die OLS-Regression y ~ x1 aus, wir haben ein , sagen wir 0,3R2R2R^2 Führen Sie die OLS-Regression y ~ x2 aus. Wir haben ein weiteres , z. B. 0,4R2R2R^2 Jetzt führen wir eine Regression y ~ x1 + x2 durch. …

10 regression multiple-regression least-squares r-squared

1

Testen der Sharpe Ratio-Signifikanz

Was ist der richtige Weg, um die Bedeutung von Sharpe Ratios oder Information Ratios zu testen? Die Sharpe Ratios basieren auf verschiedenen Aktienindizes und können variable Rückblickperioden haben. Eine Lösung, die ich beschrieben habe, wendet einfach einen Student-T-Test an, wobei der df auf die Länge des Rückblickzeitraums eingestellt ist. Ich …

10 time-series statistical-significance mean finance ratio

2

Was ist Bucketization?

Ich habe ohne Erfolg eine klare Erklärung für "Bucketization" im maschinellen Lernen gefunden. Was ich bisher verstehe, ist, dass die Bucketisierung der Quantisierung in der digitalen Signalverarbeitung ähnelt, bei der ein Bereich kontinuierlicher Werte durch einen diskreten Wert ersetzt wird. Ist das richtig? Was sind die Vor- und Nachteile (abgesehen …

10 machine-learning dataset data-preprocessing

2

Verschachtelte Kreuzvalidierung - Wie unterscheidet sie sich von der Modellauswahl über kfold CV auf dem Trainingssatz?

Ich sehe oft Leute, die über 5x2-Kreuzvalidierung als Sonderfall der verschachtelten Kreuzvalidierung sprechen . Ich nehme an, die erste Zahl (hier: 5) bezieht sich auf die Anzahl der Falten in der inneren Schleife und die zweite Zahl (hier: 2) bezieht sich auf die Anzahl der Falten in der äußeren Schleife. …

10 machine-learning cross-validation hyperparameter