Statistiken und Big Data

1

Seltsame Methode zur Berechnung des Chi-Quadrats in Excel vs R.

Ich schaue auf ein Excel-Blatt, das behauptet, das zu berechnen , aber ich erkenne diese Vorgehensweise nicht und habe mich gefragt, ob mir etwas fehlt.χ2χ2\chi^2 Hier sind die Daten, die analysiert werden: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | | …

9 r chi-squared excel

1

Kann Bootstrap-Resampling verwendet werden, um ein Konfidenzintervall für die Varianz eines Datensatzes zu berechnen?

Ich weiß, dass, wenn Sie mehrmals aus einem Datensatz eine neue Stichprobe erstellen und jedes Mal den Mittelwert berechnen, diese Mittelwerte einer Normalverteilung (durch die CLT) folgen. Auf diese Weise können Sie ein Konfidenzintervall für den Mittelwert des Datensatzes berechnen, ohne Annahmen über die Wahrscheinlichkeitsverteilung des Datensatzes zu treffen. Ich …

9 distributions confidence-interval bootstrap resampling

1

Anwenden der Gratregression für ein unterbestimmtes Gleichungssystem?

Wenn , kann das Problem der kleinsten Quadrate, das dem Wert von eine sphärische Beschränkung auferlegt , als für ein überbestimmtes System. \ | \ cdot \ | _2 ist die euklidische Norm eines Vektors.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 …

9 regression least-squares regularization ridge-regression underdetermined

3

Warum kann die lineare Regression das Ergebnis einer einfachen deterministischen Sequenz nicht vorhersagen?

Ein Kollege von mir hat mir dieses Problem geschickt und anscheinend im Internet die Runde gemacht: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? Die Antwort scheint 200 zu sein. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 …

9 r regression lm

1

Erwartung der Summe von K Zahlen ohne Ersatz

Gegeben sind Zahlen, bei denen der Wert jeder Zahl unterschiedlich ist, bezeichnet als , und die Wahrscheinlichkeit, jede Zahl auszuwählen, ist .nnnv1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_np1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n Wenn ich nun Zahlen basierend auf den gegebenen Wahrscheinlichkeiten auswähle , wobei , wie hoch ist die Erwartung der Summe dieser Zahlen? …

9 probability

2

Wie zeichnen Sie eine Wechselwirkung zwischen einem Faktor und einer kontinuierlichen Kovariate?

Ich möchte die Interaktion zwischen meinem kontinuierlichen Prädiktor und meinem kategorialen Moderator in demselben Diagramm darstellen. Ich weiß, wie man es macht, wenn beide kategorisch sind ( Faktorinteraktion ), aber ich weiß nicht wirklich, wie man es macht, wenn man kontinuierlich und man kategorisch ist.

9 data-visualization categorical-data interaction continuous-data

4

Was sind wichtige reine Mathematikkurse für einen angehenden Statistik-Doktoranden?

Ich weiß, dass lineare Algebra und Analyse (insbesondere Maßtheorie) wichtig sind. Ist es hilfreich, Kurse für Hochschulabsolventen in realer und komplexer Analyse zu belegen? Sollte ich Kurse in abstrakter Algebra über die Einführungskurse hinaus belegen, z. B. kommutative Algebra und algebraische Geometrie?

9 mathematical-statistics academia algebraic-statistics

1

Dateneinrichtung für Unterschiede

Welches Setup ist für einen Unterschied im Differenzregressionsmodell mit geeignet? Yist=α+γs∗T+λdt+δ∗(T∗dt)+ϵistYist=α+γs∗T+λdt+δ∗(T∗dt)+ϵistY_{ist} = \alpha +\gamma_s*T + \lambda d_t + \delta*(T*d_t)+ \epsilon_{ist} wobei T ein Dummy ist, der gleich 1 ist, wenn die Beobachtung aus der Behandlungsgruppe stammt, und d ein Dummy ist, der in dem Zeitraum nach dem Auftreten der Behandlung …

9 regression econometrics difference-in-difference

2

Welche Bedeutung hat die Darstellung des Simplex als Dreiecksfläche in der Dirichlet-Verteilung?

Ich lese aus einem Buch, in dem die Dirchilet-Distribution vorgestellt wird, und präsentiere dann Zahlen darüber. Aber ich konnte diese Zahlen nicht wirklich verstehen. Ich habe die Figur hier unten angehängt. Was ich nicht verstehe, sind die Bedeutungen der Dreiecke. Wenn Sie eine Funktion von 2 Variablen zeichnen möchten, nehmen …

9 distributions data-visualization dirichlet-distribution

1

Klassifizierungsschwelle in RandomForest-sklearn

1) Wie kann ich den Klassifizierungsschwellenwert (ich denke, er ist standardmäßig 0,5) in RandomForest in sklearn ändern? 2) Wie kann ich in sklearn eine Unterprobe machen? 3) Ich habe das folgende Ergebnis vom RandomForest-Klassifikator: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 …

9 classification random-forest precision-recall unbalanced-classes

2

Kopplung von Zeitreiheninformationen aus Quellen mit mehreren räumlichen Auflösungen / Skalen

Ich habe viele Satelliten-Rasterbilder von verschiedenen Sensoren zur Verfügung. Von diesen haben die gröberen eine sehr reichliche zeitliche Auflösung. Die Raster mit mittlerer Auflösung haben tendenziell weniger Erwerbsdaten, es sind jedoch noch einige Informationen verfügbar. Die feineren Auflösungen haben eine sehr niedrige zeitliche Auflösung und umfassen 2 bis 6 beobachtete …

9 time-series machine-learning predictive-models multivariate-regression

1

Testen Sie, ob zwei Stichproben von Binomialverteilungen mit demselben p übereinstimmen

Angenommen, ich habe getan: p 1 k 1n1n1n_1 unabhängige Versuche mit einer unbekannten Erfolgsrate und beobachteten Erfolgen.p1p1p_1k1k1k_1 n2n2n_2 unabhängige Versuche mit unbekannter Erfolgsrate und beobachteten Erfolgen.k 2p2p2p_2k2k2k_2 Wenn jetzt aber immer noch unbekannt, ist die Wahrscheinlichkeit , für ein gegebenes (oder umgekehrt zu beobachten, proportional zu \ int_0 ^ 1 …

9 hypothesis-testing binomial references

1

Korrelationskoeffizienten für geordnete Daten: Kendalls Tau gegen Polychoric gegen Spearmans Rho

Es scheint, als würden sich Forscher bei der Verwaltung geordneter Messungen normalerweise mit der polychromen Korrelation befassen . (Zum Beispiel zum Erstellen einer Matrix vor der Faktoranalyse.) Warum? Der Kendall Tau- Rangkorrelationskoeffizient und der Spearman-Rangkorrelationskoeffizient eignen sich auch für geordnete Daten. Alle Punkte 'pro' und 'contra' für diese Korrelationskoeffizienten sind …

9 correlation ordinal-data spearman-rho kendall-tau polychoric

2

Bevölkerungsstabilitätsindex - Division durch Null

Der Populationsstabilitätsindex quantifiziert die Änderung einer Verteilung einer Variablen durch Vergleichen von Datenstichproben in zwei Zeiträumen. Es wird sehr häufig verwendet, um Verschiebungen in Punktzahlen zu messen. Es wird wie folgt berechnet: 1) Die Probe aus der Basisperiode wird diskretisiert. Normalerweise wird es in Dezile unterteilt. 2) Die Stichprobe aus …

9 distributions kullback-leibler

1

Können zufällige Wälder viel besser abschneiden als der Testfehler von 2,8% bei MNIST?

Ich habe keine Literatur zur Anwendung von Random Forests auf MNIST, CIFAR, STL-10 usw. gefunden, daher dachte ich, ich würde sie selbst mit dem permutationsinvarianten MNIST ausprobieren. In R habe ich versucht: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Dies lief 2 Stunden und ergab einen Testfehler von 2,8%. Ich habe auch …

9 r machine-learning classification random-forest scikit-learn