Statistiken und Big Data

4

"-Iles" Terminologie für das obere halbe Prozent

Die oberen 25% sind das oberste Quartil. Die oberen 10% sind das oberste Dezil. Das oberste 1% ist das oberste Perzentil. Gibt es ein Äquivalent für die oberen 0,5%, dh 1 zu 200?

14 terminology quantiles

2

Welches Modell würde bei zwei linearen Regressionsmodellen eine bessere Leistung erbringen?

Ich habe an meinem College einen Maschinellen Lernkurs absolviert. In einem der Quiz wurde diese Frage gestellt. Modell 1: Modell 2:y=θx+ϵy=θx+ϵ y = \theta x + \epsilon y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon Welches der oben genannten Modelle passt besser zu Daten? (Angenommen, Daten können mit …

14 regression machine-learning self-study modeling model

4

Typisches Set-Konzept

Ich dachte, dass das Konzept einer typischen Menge ziemlich intuitiv ist: Eine Folge der Länge nnn würde zu der typischen Menge wenn die Wahrscheinlichkeit, dass die Folge herauskommt, hoch wäre. Jede mögliche Sequenz, die wahrscheinlich war, würde sich in . (Ich vermeide die formale Definition im Zusammenhang mit Entropie, weil …

14 entropy intuition information-theory

3

Modernster Ensemble-Lernalgorithmus für Mustererkennungsaufgaben?

Die Struktur dieser Frage ist wie folgt: Zuerst stelle ich das Konzept des Ensemble-Lernens vor , dann erstelle ich eine Liste der Mustererkennungsaufgaben , dann gebe ich Beispiele für Ensemble-Lernalgorithmen und stelle schließlich meine Frage vor. Diejenigen, die nicht alle ergänzenden Informationen benötigen, sehen sich möglicherweise nur die Überschriften an …

14 machine-learning neural-networks pattern-recognition ensemble ocr

1

Wie wenige Trainingsbeispiele sind zu wenig, wenn ein neuronales Netzwerk trainiert wird?

Ich bin ein Anfänger, der versucht, mein erstes Projekt zusammenzustellen. Ich hatte ein Songklassifizierungsprojekt im Sinn, aber da ich manuell beschriften würde, könnte ich nur 1000 Songs oder 60 Stunden Musik vernünftigerweise zusammenstellen. Ich würde mit mehreren Klassen klassifizieren, daher ist es möglich, dass eine Klasse nur 50-100 Songs im …

14 neural-networks

1

So etwas wie eine gewichtete Korrelation?

Ich habe einige interessante Daten über die populärsten gestreamten Musikkünstler, die nach Orten in ungefähr 200 Kongressbezirke unterteilt sind. Ich möchte sehen, ob es möglich ist, eine Person nach ihren musikalischen Vorlieben zu befragen und festzustellen, ob sie "wie ein Demokrat zuhört" oder "wie ein Republikaner zuhört". (Natürlich ist das …

14 correlation prediction pooling weighted-data

1

Ist der Probenkorrelationskoeffizient ein unverzerrter Schätzer des Populationskorrelationskoeffizienten?

Stimmt es, dass ein unvoreingenommener Schätzer für ? Das heißt, ρ X , Y E [ R X , Y ] = ρ X , Y ?RX,YRX,YR_{X,Y}ρX,YρX,Y\rho_{X,Y}E[RX,Y]=ρX,Y?E[RX,Y]=ρX,Y?\mathbf{E}\left[R_{X,Y}\right]=\rho_{X,Y}? Wenn nicht, was ist ein unvoreingenommener Schätzer für ? (Vielleicht gibt es einen standardmäßigen unverzerrten Schätzer, der verwendet wird. Ist er auch analog …

14 correlation

2

Können Sie bitte Simpsons Paradoxon mit Gleichungen anstelle von Kontingenztabellen erklären?

Ich habe wahrscheinlich kein klares Verständnis für das Simpson-Paradoxon . Informell weiß ich, dass der Durchschnitt der Antwort Y1, gruppiert über alle möglichen Niveaus von Faktor A, höher sein kann als der Durchschnitt der Antwort Y2 über alle Niveaus von A, selbst wenn der Durchschnitt von Y1 für jedes Niveau …

14 mathematical-statistics simpsons-paradox

2

Hamiltonian Monte Carlo

Kann jemand die Grundidee hinter den Hamilton-Monte-Carlo-Methoden erläutern und in welchen Fällen werden bessere Ergebnisse erzielt als mit den Markov-Chain-Monte-Carlo-Methoden?

14 bayesian mcmc hmc

1

Jeffreys Prior für mehrere Parameter

In bestimmten Fällen wird der Jeffreys-Prior für ein vollständiges mehrdimensionales Modell im Allgemeinen als unzureichend angesehen. Dies ist beispielsweise der Fall in: (wobei , mit und unbekannt) in dem vor dem folgenden (in vollen Jeffreys vor bevorzugt wird ): wobei der Jeffreys-Prior ist, der erhalten wird, wenn festgehalten wird (und …

14 distributions bayesian estimation prior jeffreys-prior

2

Leistungsbenchmarks für MCMC

Wurden groß angelegte Studien zu MCMC-Methoden durchgeführt, in denen die Leistung mehrerer verschiedener Algorithmen für eine Reihe von Testdichten verglichen wurde? Ich denke an etwas, das dem von Rios und Sahinidis (2013) entspricht und einen gründlichen Vergleich einer großen Anzahl derivatfreier Black-Box-Optimierer für verschiedene Klassen von Testfunktionen darstellt. Für MCMC …

14 machine-learning bayesian references mcmc

4

Warum ist

Anmerkung: SSTSSTSST = Summe der Quadrate insgesamt, SSESSESSE = Summe der quadrierten Fehler und SSRSSRSSR = Regressionssumme der Quadrate. Die Gleichung im Titel wird oft geschrieben als: ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 Ziemlich einfache Frage, aber ich suche nach einer intuitiven Erklärung. Intuitiv scheint es mir sinnvoller …

14 regression least-squares r-squared

2

2 Probe Kolmogorov-Smirnov gegen Anderson-Darling gegen Cramer-von-Mises

Ich habe mich gefragt, nach welchen Kriterien Kolmogorov-Smirnov, Cramer-von-Mises und Anderson-Darling beim Vergleich von 2 ECDFS verwendet werden sollen. Ich kenne die Mathematik der Unterschiede, aber wenn ich ECDF-Daten habe, wie würde ich wissen, welcher Test für die Verwendung geeignet ist?

14 kolmogorov-smirnov anderson-darling two-sample

1

Eingeschränkte maximale Wahrscheinlichkeit mit weniger als dem vollen Spaltenrang von

Diese Frage befasst sich mit der eingeschränkten Maximalwahrscheinlichkeitsschätzung (REML) in einer bestimmten Version des linearen Modells, nämlich: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), Wobei eine durch ; parametrisierte ( ) Matrix ist , wie auch . ist ein unbekannter Vektor von Störparametern; das Interesse liegt in …

14 mixed-model maximum-likelihood linear-model optimization reml

2

So glätten Sie Daten und erzwingen Monotonie

Ich habe einige Daten, die ich glätten möchte, damit die geglätteten Punkte monoton abnehmen. Meine Daten nehmen stark ab und beginnen dann ein Plateau. Hier ist ein Beispiel mit R df <- data.frame(x=1:10, y=c(100,41,22,10,6,7,2,1,3,1)) ggplot(df, aes(x=x, y=y))+geom_line() Was ist eine gute Glättungstechnik, die ich verwenden könnte? Außerdem wäre es schön, …

14 regression smoothing