Statistiken und Big Data

4

Entwickeln Sie einen statistischen Test, um zwei Produkte zu unterscheiden

Ich habe einen Datensatz aus einer Kundenumfrage und möchte einen statistischen Test durchführen, um festzustellen, ob zwischen Produkt 1 und Produkt 2 ein Signifikanzunterschied besteht. Hier ist ein Datensatz mit Kundenbewertungen. Die Rate ist von sehr schlecht, schlecht, okay, gut bis sehr gut. customer product1 product2 1 very good very …

9 statistical-significance categorical-data repeated-measures ordinal-data

1

Frage zur Normalitätsannahme des t-Tests

Bei T-Tests wird nach den meisten Texten davon ausgegangen, dass die Bevölkerungsdaten normal verteilt sind. Ich verstehe nicht, warum das so ist. Erfordert ein T-Test nicht nur, dass die Stichprobenverteilung der Stichprobenmittel normal verteilt ist und nicht die Population? Wenn der T-Test letztendlich nur eine Normalität in der Stichprobenverteilung erfordert, …

9 hypothesis-testing t-test assumptions normality-assumption central-limit-theorem

3

R saisonale Zeitreihen

Ich benutze die decomposeFunktion in Rund überlege mir die 3 Komponenten meiner monatlichen Zeitreihen (Trend, Saison und Zufall). Wenn ich das Diagramm zeichne oder auf die Tabelle schaue, kann ich deutlich sehen, dass die Zeitreihe von der Saisonalität beeinflusst wird. Wenn ich jedoch die Zeitreihen auf die 11 saisonalen Dummy-Variablen …

9 r regression time-series

1

Was sind die Unterschiede zwischen Filtern, die im Autoencoder und im Faltungsnetzwerk gelernt wurden?

In CNN lernen wir Filter, um eine Feature-Map in einer Faltungsschicht zu erstellen. In Autoencoder kann die einzelne verborgene Einheit jeder Ebene als Filter betrachtet werden. Was ist der Unterschied zwischen den Filtern, die in diesen beiden Netzwerken gelernt wurden?

9 machine-learning neural-networks conv-neural-network autoencoders

2

Wie normalisiert das Protokoll (p (x, y)) die punktuelle gegenseitige Information?

Ich versuche, die normalisierte Form der punktuellen gegenseitigen Information zu verstehen. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Warum normalisiert die logarithmische Gelenkwahrscheinlichkeit die punktweise gegenseitige Information auf [-1, 1]? Die punktuelle gegenseitige Information ist: p m i = l o g( p ( x , y)p ( x ) p ( y))pmi=log(p(x,y)p(x)p(y))pmi = …

9 entropy information-theory mutual-information

1

Entspricht eine Bayes'sche Schätzung mit einem „Flat Prior“ einer Maximum-Likelihood-Schätzung?

In der Phylogenetik werden phylogenetische Bäume häufig mithilfe von MLE- oder Bayes'schen Analysen konstruiert. In der Bayes'schen Schätzung wird häufig ein flacher Prior verwendet. Nach meinem Verständnis ist eine Bayes'sche Schätzung eine Wahrscheinlichkeitsschätzung, die einen Prior enthält. Meine Frage ist, wenn Sie eine Wohnung vor verwenden, unterscheidet sie sich von …

9 bayesian confidence-interval maximum-likelihood likelihood phylogeny

1

Was ist der Unterschied zwischen einem statistischen Nullhypothesentest und einem anderen Test?

Ein aktuelles heißes Diskussionsthema betrifft eine Zeitschrift, die die Verwendung von "statistischen Nullhypothesen-Testverfahren (NHSTPs)" aus Artikeln verbietet, die an die Zeitschrift übermittelt wurden. Ich sehe diesen Begriff von einigen Schriftstellern verwendet, aber ich verstehe nicht, welchen Unterschied sie machen wollen. Unterscheidet sich ein NHSTP von einem "Hypothesentest" oder einem "Signifikanztest"?

9 hypothesis-testing statistical-significance terminology

2

Trimmmittelwert gegen Median

Ich habe einen Datensatz mit allen Anrufen bei einem Rettungsdienst und den Reaktionszeiten der Krankenwagenabteilung. Sie gaben zu, dass es einige Fehler bei den Antwortzeiten gibt, da es Fälle gibt, in denen sie nicht mit der Aufnahme begonnen haben (der Wert ist also 0) oder in denen sie die Uhr …

9 mean outliers median trimmed-mean

1

Auswahl eines k-Werts für die LOF-Erkennungsanalyse (Local Outlier Factor)

Ich habe eine Reihe dreidimensionaler Daten und versuche, mithilfe der lokalen Ausreißerfaktoranalyse die eindeutigsten oder seltsamsten Werte zu identifizieren. Wie entscheidet man den k-Wert für die LOF-Analyse? Ich verstehe, was der k-Wert bestimmt, und bin daher nicht überrascht, dass ich mit unterschiedlichen k leicht unterschiedliche Ergebnisse sehe, aber ich bin …

9 data-mining outliers

1

Was sind die Unterschiede zwischen verschiedenen quadratischen R-Programmierlösern?

Ich suche nach einem Paket, das mir hilft, einige quadratische Optimierungsprobleme zu lösen, und ich sehe, dass es mindestens ein halbes Dutzend verschiedene Pakete gibt. Laut dieser Seite: QP (Quadratic Programming, 90C20): cplexAPI , Kernlab , limSolve , LowRankQP , Quadprog , Rcplex , Rmosek Einige davon (Rmosek und cplexAPI) …

9 r optimization

6

Vorbereiten / Erstellen von Funktionen für die Erkennung von Anomalien (Netzwerksicherheitsdaten)

Mein Ziel ist es, Netzwerkprotokolle (z. B. Apache, Syslog, Active Directory-Sicherheitsüberwachung usw.) mithilfe von Clustering / Anomalieerkennung für Intrusion Detection-Zwecke zu analysieren. Aus den Protokollen habe ich viele Textfelder wie IP-Adresse, Benutzername, Hostname, Zielport, Quellport usw. (insgesamt 15-20 Felder). Ich weiß nicht, ob es einige Angriffe in den Protokollen gibt, …

9 feature-selection outliers unsupervised-learning feature-construction

3

Modellierung von Zähldaten, bei denen die Versatzvariable für einige Beobachtungen 0 ist

Ich versuche einem Studenten eines Kollegen zu helfen. Der Student beobachtete und zählte das Verhalten der Vögel (Anzahl der Anrufe) in einem Versuchsaufbau. Die Anzahl der Anrufe, die einem bestimmten beobachteten Vogel während jedes Experiments zugeordnet werden konnten, konnte nicht bestimmt werden, aber es war möglich, die Anzahl der Vögel …

9 generalized-linear-model count-data offset

1

Wendet Monte Carlo == einen zufälligen Prozess an?

Ich hatte nie einen formalen Statistikkurs, aber aufgrund meiner Forschungsrichtung stoße ich ständig auf Artikel, die verschiedene statistische Konzepte anwenden. Oft sehe ich eine Beschreibung eines Monte-Carlo- Prozesses, der auf eine bestimmte Situation angewendet wird, und für das, was ich 9 von 10 Mal erfassen kann, kommt es auf eine …

9 monte-carlo random-generation

1

Berechnen Sie das Quantil der Summe der Verteilungen aus bestimmten Quantilen

Nehmen wir unabhängige Zufallsvariablen für die die Quantile auf einer bestimmten Ebene \ alpha durch Schätzung aus Daten bekannt sind: \ alpha = P (X_1 <q_1) , ..., \ alpha = P (X_N <q_N) . Definieren wir nun die Zufallsvariable Z als die Summe Z = \ sum_ {i = …

9 quantiles

1

Wie fair ist es, das Wort „Vorhersagen“ für (logistische) Regression zu verwenden?

Mein Verständnis ist, dass selbst Regression keine Kausalität gibt. Es kann nur eine Assoziation zwischen y-Variablen und x-Variablen und möglicherweise eine Richtung geben. Hab ich recht? Ich habe oft Sätze gefunden, die "x sagt y voraus" ähneln, selbst in den meisten Lehrbüchern und auf verschiedenen Kursseiten online. Und Sie nennen …

9 regression logistic predictive-models terminology causality