Statistiken und Big Data

2

Wann sind Regularisierungsmethoden für die Regression anzuwenden?

Unter welchen Umständen sollte man die Verwendung von Regularisierungsmethoden (Ridge, Lasso oder Least Angles Regression) anstelle von OLS in Betracht ziehen? Falls dies hilft, die Diskussion zu steuern, ist mein Hauptinteresse die Verbesserung der Vorhersagegenauigkeit.

83 regression least-squares lasso ridge-regression fused-lasso

7

Bias und Varianz in der Leave-One-Out- vs. K-Fold-Kreuzvalidierung

Wie vergleichen sich verschiedene Kreuzvalidierungsmethoden in Bezug auf Modellvarianz und Verzerrung? Meine Frage ist zum Teil durch diesen Thread motiviert: Optimale Anzahl von Falten bei der fachen Kreuzvalidierung: Ist ein ausschließlicher Lebenslauf immer die beste Wahl? KKK. Die dortige Antwort legt nahe, dass Modelle, die mit einer einmaligen Kreuzvalidierung erlernt …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

5

Perzentil gegen Quantil gegen Quartil

Was ist der Unterschied zwischen den drei Begriffen unten? Perzentil Quantil Quartil

83 descriptive-statistics quantiles median percentage

8

Die Linie der besten Passform sieht nicht nach einer guten Passform aus. Warum?

Schauen Sie sich dieses Excel-Diagramm an: Die Best-Fit-Linie für den gesunden Menschenverstand scheint eine fast vertikale Linie zu sein, die direkt durch die Mitte der Punkte verläuft (von Hand in Rot bearbeitet). Die von Excel festgelegte lineare Trendlinie ist jedoch die dargestellte diagonale schwarze Linie. Warum hat Excel etwas produziert, …

82 regression excel intuition

14

Warum haben robuste (und widerstandsfähige) Statistiken die klassischen Techniken nicht ersetzt?

Bei der Lösung von Geschäftsproblemen mithilfe von Daten wird häufig davon ausgegangen, dass mindestens eine der Annahmen, die die klassischen Statistiken untermauern, ungültig ist. Meistens stört sich niemand daran, diese Annahmen zu überprüfen, so dass Sie es nie wirklich wissen. Zum Beispiel ist die Tatsache, dass so viele der gängigen …

82 model-selection nonparametric outliers robust philosophical

2

tanh Aktivierungsfunktion vs Sigmoid Aktivierungsfunktion

Die Tanh-Aktivierungsfunktion ist: t a n h ( x ) = 2 ≤ σ( 2 x ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Wobei , die Sigmoidfunktion, definiert ist als: .σ ( x ) = e xσ( x )σ(x)\sigma(x) σ( x …

82 machine-learning neural-networks optimization cost-maximization

5

Was bedeutet eine geschlossene Lösung?

Ich bin ziemlich oft auf den Begriff "geschlossene Lösung" gestoßen. Was bedeutet eine geschlossene Lösung? Wie kann man feststellen, ob es für ein bestimmtes Problem eine formschlüssige Lösung gibt? Bei der Online-Suche habe ich einige Informationen gefunden, aber nichts im Zusammenhang mit der Entwicklung eines statistischen oder probabilistischen Modells / …

82 regression machine-learning probability terminology stochastic-processes

2

Der modifizierte Bayes-Satz von XKCD: eigentlich ein bisschen vernünftig?

Ich weiß, dass dies von einem Comic stammt, der dafür bekannt ist, bestimmte analytische Tendenzen auszunutzen , aber nach ein paar Minuten des Starrens sieht es tatsächlich vernünftig aus. Kann mir jemand erklären, was dieses " modifizierte Bayes-Theorem " tut?

81 bayesian hierarchical-bayesian

4

Was ist der Unterschied zwischen Null-Inflations- und Hürdenmodellen?

Ich frage mich, ob es einen deutlichen Unterschied zwischen den sogenannten Null-Inflations-Verteilungen (Modellen) und den sogenannten Hürden-bei-Null-Verteilungen (Modellen) gibt. Die Begriffe kommen in der Literatur häufig vor, und ich vermute, dass sie nicht gleich sind. Erklären Sie mir bitte den Unterschied in einfachen Begriffen.

81 zero-inflation

10

"Varianz" intuitiv verstehen

Was ist der sauberste und einfachste Weg, um jemandem das Konzept der Varianz zu erklären? Was bedeutet es intuitiv? Wenn man dies seinem Kind erklären soll, wie würde man dann vorgehen? Es ist ein Konzept, das ich nur schwer artikulieren kann - insbesondere, wenn ich Varianz mit Risiko in Beziehung …

81 distributions variance standard-deviation inference intuition

3

Was ist das Lasso in der Regressionsanalyse?

Ich suche eine nicht-technische Definition des Lassos und wofür es verwendet wird.

81 regression lasso regularization shrinkage

3

Kommt es bei der logistischen Regression auf eine unausgeglichene Stichprobe an?

Okay, ich denke, ich habe eine ausreichend gute Stichprobe, unter Berücksichtigung der 20: 1-Faustregel: eine ziemlich große Stichprobe (N = 374) für insgesamt 7 Kandidaten-Prädiktorvariablen. Mein Problem ist das Folgende: Unabhängig davon, welchen Satz von Prädiktorvariablen ich verwende, werden die Klassifikationen nie besser als eine Spezifität von 100% und eine …

81 regression logistic sample-size unbalanced-classes

6

Gibt es Beispiele, bei denen glaubwürdige Intervalle nach Bayes offenbar häufigen Konfidenzintervallen unterlegen sind?

Eine kürzlich gestellte Frage zum Unterschied zwischen Vertrauen und glaubwürdigen Intervallen veranlasste mich, den Artikel von Edwin Jaynes zu diesem Thema erneut zu lesen: Jaynes, ET, 1976. "Confidence Intervals vs Bayesian Intervals", in Grundlagen der Wahrscheinlichkeitstheorie, statistischen Inferenz und statistischen Theorien der Wissenschaft, WL Harper und CA Hooker (Hrsg.), D. …

81 bayesian confidence-interval

9

Warum 1% und 5% in Bezug auf p-Werte? Warum nicht 6% oder 10%?

In Bezug auf den p-Wert s frage ich mich, warum 111 % und % der Goldstandard zu sein scheinen . Warum nicht andere Werte wie 6 % oder 10 %?555"statistical significance"666101010 Gibt es einen fundamentalen mathematischen Grund dafür oder handelt es sich nur um eine weit verbreitete Konvention?

80 hypothesis-testing statistical-significance p-value history

6

Differenz zwischen Konfidenzintervallen und Vorhersageintervallen

Für ein Prognoseintervall in der linearen Regression verwenden Sie noch E [ Y | x ] = ^ β 0 + β 1 x das Intervall zu erzeugen. Sie verwenden dies auch, um ein Konfidenzintervall von E [ Y | zu generieren x 0 ] . Was ist der Unterschied …

80 regression confidence-interval predictive-models prediction-interval