Statistiken und Big Data

1

Wie gehe ich mit Faktoren mit seltenen Niveaus bei der Kreuzvalidierung um?

Angenommen, in einer Regressionsanalyse in R habe ich eine faktortypunabhängige Variable mit 3 Ebenen in meinem Zugdatensatz. Im Testdatensatz hat dieselbe Faktorvariable jedoch 5 Ebenen. Daher kann ich die Antwortwerte für den Testdatensatz nicht vorhersagen. Was ist in diesem Fall zu tun?

9 r regression categorical-data cross-validation rare-events

2

Was ist besser, Ersatz durch Mittelwert und Ersatz durch Median?

Ich mache ein Projekt, bei dem fehlende Werte in einem Datensatz ersetzt werden (dies geschieht zum ersten Mal). Dies beinhaltet die Verwendung von zwei Methoden replacement by meanund replacement by mediandas Ausfüllen der fehlenden Werte. Es gibt keinen großen Unterschied zwischen den Ergebnissen der minimalen, mittleren, maximalen, mittleren und Standardabweichung …

9 mean median data-imputation

2

Was ist der Nachweis der Varianz der Differenz zweier abhängiger Variablen?

Ich weiß, dass die Varianz der Differenz zweier unabhängiger Variablen die Summe der Varianzen ist, und ich kann es beweisen. Ich möchte wissen, wohin die Kovarianz im anderen Fall führt.

9 variance covariance independence non-independent

1

Simulieren Sie aus einer Normalverteilung einer abgeschnittenen Mischung

Ich möchte eine Probe aus einer Mischungsnormalverteilung so simulieren, dass p×N(μ1,σ21)+(1−p)×N(μ2,σ22)p×N(μ1,σ12)+(1−p)×N(μ2,σ22)p\times\mathcal{N}(\mu_1,\sigma_1^2) + (1-p)\times\mathcal{N}(\mu_2,\sigma_2^2) ist auf das Intervall anstelle von . Dies bedeutet, dass ich eine abgeschnittene Mischung von Normalverteilungen simulieren möchte.R.[0,1][0,1][0,1]RR\mathbb{R} Ich weiß, dass es einen Algorithmus gibt, um eine abgeschnittene Normalität (dh aus dieser Frage ) und ein entsprechendes …

9 simulation random-generation cdf mixture gaussian-mixture

1

Schätzungen zufälliger Effekte im Binomialmodell (lme4)

Ich simuliere Bernoulli-Versuche mit einem zufälligen zwischen Gruppen und passe dann das entsprechende Modell mit an das Paket:logitθ ∼ N.( logitθ0, 12)logitθ∼N(logitθ0,12)\text{logit}\, \theta \sim {\cal N}(\text{logit}\, \theta_0, 1^2)lme4 library(lme4) library(data.table) I <- 30 # number of groups J <- 10 # number of Bernoulli trials within each group logit <- …

9 mixed-model generalized-linear-model binomial random-effects-model lme4-nlme

2

Wie soll ich eine stetige abhängige Variable im Bereich

Ich habe eine abhängige Variable, die von 0 bis unendlich reichen kann, wobei Nullen tatsächlich korrekte Beobachtungen sind. Ich verstehe zensieren und Tobit Modelle gelten nur , wenn der tatsächliche Wert von ist teilweise unbekannt ist oder fehlt, wobei in diesem Fall Daten , die abgeschnitten werden. Weitere Informationen zu …

9 regression censoring truncation tobit-regression

2

Interpretation von ACF- und PACF-Plot

Meine Rohdaten bestehen aus einer 60-Tage-Zeitreihe mit einem Abwärtstrend. Die Daten sind wöchentlich, daher wird die Frequenz auf 7 eingestellt. Ich habe die Differenz der Daten berechnet, die so aussieht Wenn ich ACF- und PACF-Diagramme über den Unterschied durchführe, erhalte ich scheinbar widersprüchliche Ergebnisse? Der ACF zeigt einen positiven Einfluss …

9 r time-series autocorrelation

1

Umgang mit sich ändernden Eingangsvektorlängen mit neuronalen Netzen

Ich möchte ein neuronales Netzwerk mit einer Zeichenfolge als Eingabevektor trainieren. Lernbeispiele sind unterschiedlich lang und aus diesem Grund weiß ich nicht, wie ich sie darstellen soll. Angenommen, ich habe zwei Beispiele für Sequenzen, hier Namen: john doe maurice delanoe Das erste Beispiel hat die Länge 8, das zweite die …

9 machine-learning neural-networks feature-selection natural-language

2

Gibt es einen von Williams vorgeschlagenen Beispielcode für den REINFORCE-Algorithmus?

Kennt jemand ein Beispiel für einen Algorithmus, den Williams in Artikel "Eine Klasse von Gradientenschätzungsalgorithmen für das Verstärkungslernen in neuronalen Netzen" vorgeschlagen hat ? Http://incompleteideas.net/sutton/williams-92.pdf

9 reinforcement-learning

2

Warum wird es in der MAP-Schätzung als "Modus" bezeichnet?

Warum wird bei der Schätzung von Parametern mit MAP geschrieben, dass wir den "Modus" schätzen? Ich dachte, es wäre der Mittelwert der posterioren Verteilung?

9 bayesian posterior bayes

4

Wie überprüft man die Ursache?

Nachdem wir gezeigt haben, dass zwei Größen korreliert sind, wie schließen wir daraus, dass die Beziehung kausal ist? Und außerdem was verursacht was? Theoretisch kann man nun eine "zufällige Zuordnung" (was auch immer das richtige Wort ist) verwenden, um eventuelle Unfallbindungen zwischen zwei Variablen aufzubrechen. In einigen Fällen ist dies …

9 correlation causality

2

Knoten für ein GAM auswählen

Bei der Auswahl einer geeigneten Anzahl von Knoten für ein GAM sollte möglicherweise die Anzahl der Daten und Inkremente auf der x-Achse berücksichtigt werden. Was ist, wenn wir 100 Inkremente auf der x-Achse mit 1000 Datenpunkten bei jedem Inkrement haben? Die Info hier sagt: Wenn sie nicht geliefert werden, werden …

9 r gam splines

1

Gradienten- und Vektorableitungen: Zeilen- oder Spaltenvektor?

Viele Referenzen (einschließlich Wikipedia und http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf und http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) definieren das Derivat von a Funktion durch einen Vektor als partielle Ableitungen der in einer Reihe angeordneten Funktion (eine Ableitung einer skalarwertigen Funktion ist also ein Zeilenvektor). In dieser Konvention sind der Gradient und die Vektorableitung Transponierungen voneinander. Der Vorteil dieser …

9 linear-algebra derivative

4

Wie werden Daten im Bayes'schen Framework generiert und wie sieht der Parameter aus, der die Daten generiert?

Ich habe versucht, die Bayes'schen Statistiken neu zu lernen (jedes Mal, wenn ich dachte, ich hätte sie endlich bekommen, taucht etwas anderes auf, das ich vorher nicht in Betracht gezogen habe ...), aber es war (für mich) nicht klar, wie der Datengenerierungsprozess ablief im Bayesianischen Rahmen ist eigentlich. Der frequentistische …

9 bayesian modeling prior frequentist randomness

1

Granger-Kausalitätsinterpretation mit R.

Ich habe drei makroökonomische Variablen (IKS - Verbraucherstimmung, ER - Beschäftigungsquote, DGO - Bestellung langlebiger Güter) und habe Granger-Kausaltests in R durchgeführt. Ich weiß nicht wirklich, wie ich die Ergebnisse eines Granger-Tests interpretieren soll. Könnte mir jemand helfen, die Ergebnisse zu verstehen? Ich weiß, dass wir prüfen, ob eine Variable …

9 r granger-causality