Statistiken und Big Data

1

Wie passt man ein ungefähres PDF (dh: Dichteschätzung) unter Verwendung der ersten k (empirischen) Momente an?

Ich habe eine Situation, in der ich (die ersten) Momente eines Datensatzes schätzen kann und daraus eine Schätzung der Dichtefunktion erstellen möchte.kkk Ich bin bereits auf die Pearson-Distribution gestoßen , habe jedoch festgestellt, dass sie nur auf den ersten vier Momenten beruht (mit einigen Einschränkungen hinsichtlich der möglichen Kombinationen von …

11 pdf kernel-smoothing moments

1

Nichtparametrische Bootstrap-p-Werte gegenüber Konfidenzintervallen

Kontext Dies ist dieser Frage etwas ähnlich , aber ich denke nicht, dass es sich um ein genaues Duplikat handelt. Wenn Sie nach Anweisungen zum Durchführen eines Bootstrap-Hypothesentests suchen, wird normalerweise angegeben, dass es in Ordnung ist, die empirische Verteilung für Konfidenzintervalle zu verwenden, dass Sie jedoch korrekt von der …

11 confidence-interval p-value bootstrap

1

Algorithmen zum Einbetten von Wörtern in Bezug auf die Leistung

Ich versuche, ungefähr 60 Millionen Phrasen in einen Vektorraum einzubetten und dann die Kosinusähnlichkeit zwischen ihnen zu berechnen . Ich habe sklearns CountVectorizermit einer speziell entwickelten Tokenizer-Funktion verwendet, die Unigramme und Bigramme erzeugt. Es stellt sich heraus, dass ich eine enorme Anzahl von Spalten berücksichtigen muss, die linear in der …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

1

Warum ist die Merkmalsauswahl für Klassifizierungsaufgaben wichtig?

Ich lerne etwas über die Auswahl von Funktionen. Ich kann sehen, warum es für den Modellbau wichtig und nützlich wäre. Aber konzentrieren wir uns auf überwachte Lernaufgaben (Klassifizierungsaufgaben). Warum ist die Merkmalsauswahl für Klassifizierungsaufgaben wichtig? Ich sehe viel Literatur über die Auswahl von Funktionen und deren Verwendung für überwachtes Lernen, …

11 feature-selection accuracy regression-strategies

3

Was sind die Vorzüge verschiedener Ansätze zur Erkennung von Kollinearität?

Ich möchte feststellen, ob Kollinearität ein Problem in meiner OLS-Regression ist. Ich verstehe, dass Varianzinflationsfaktoren und der Zustandsindex zwei häufig verwendete Messgrößen sind, finde es jedoch schwierig, etwas Bestimmtes in Bezug auf die Vorzüge jedes Ansatzes oder die Höhe der Bewertungen zu finden. Eine prominente Quelle, die angibt, welcher Ansatz …

11 multiple-regression references least-squares multicollinearity vif

1

Wie lässt sich die Schätzung der Kerneldichte anhand der geografischen Koordinaten richtig berechnen?

Ich muss die 2d-Kernel-Dichteschätzung (kde) aus einer Liste von Breiten- und Längenkoordinaten berechnen. Ein Breitengrad ist jedoch nicht derselbe Abstand wie ein Längengrad. Dies bedeutet, dass die einzelnen Kerne oval sind, insbesondere je weiter der Punkt vom Äquator entfernt ist. In meinem Fall sind die Punkte alle nahe genug beieinander, …

11 spatial kernel-smoothing geostatistics geography

2

Klassifizierung mit teilweise „unbekannten“ Daten

Angenommen, ich möchte einen Klassifizierer lernen, der einen Vektor von Zahlen als Eingabe verwendet und eine Klassenbezeichnung als Ausgabe gibt. Meine Trainingsdaten bestehen aus einer großen Anzahl von Eingabe-Ausgabe-Paaren. Wenn ich jedoch einige neue Daten teste, sind diese Daten normalerweise nur teilweise vollständig. Wenn der Eingabevektor beispielsweise die Länge 100 …

11 machine-learning classification neural-networks deep-learning

2

Warum wird MCMC benötigt, wenn ein Parameter mithilfe von MAP geschätzt wird?

Angesichts der Formel für die MAP-Schätzung eines Parameters Warum ist ein MCMC-Ansatz (oder ein ähnlicher Ansatz) erforderlich? Könnte ich nicht einfach die Ableitung nehmen, auf Null setzen und dann nach dem Parameter auflösen?

11 bayesian estimation mcmc

1

Was sind die "wünschenswerten" statistischen Eigenschaften des Likelihood-Ratio-Tests?

Ich lese einen Artikel, dessen Methode vollständig auf dem Likelihood-Ratio-Test basiert. Der Autor sagt, dass der LR-Test gegen einseitige Alternativen UMP ist. Er fährt fort, indem er das behauptet "... selbst wenn nicht gezeigt werden kann, dass es [der LR-Test] einheitlich am leistungsstärksten ist, hat der LR-Test oft wünschenswerte statistische …

11 hypothesis-testing power-analysis power likelihood-ratio neyman-pearson-lemma

4

Wie kann man mit Hilfe der Wahrscheinlichkeitstheorie entscheiden, ob man die Buswarteschlange verlässt oder dort bleibt?

Ich habe schon seit einiger Zeit über etwas nachgedacht, und da ich die Wahrscheinlichkeitstheorie nicht sehr gut beherrsche, dachte ich, dies könnte ein guter Ort sein, um diese Frage zu stellen. Das ist mir in den langen Schlangen der öffentlichen Verkehrsmittel aufgefallen. Angenommen, Sie befinden sich an einer Bushaltestelle und …

11 probability

2

Zusammenführen von Beobachtungen im Gaußschen Prozess

Ich verwende den Gaußschen Prozess (GP) für die Regression. In meinem Problem ist es durchaus üblich, dass zwei oder mehr Datenpunkte relativ zu den Längenskalen des Problems nahe beieinander liegen. Beobachtungen können auch extrem laut sein. Um die Berechnungen zu beschleunigen und die Messgenauigkeit zu verbessern , erscheint es naheliegend, …

11 regression machine-learning gaussian-process

1

Verwenden Statistiker den Prior von Jeffreys in der tatsächlich angewandten Arbeit?

Als ich in meinem Abschlusskurs für statistische Inferenz etwas über die Jeffreys erfuhr, ließen meine Professoren es so klingen, als wäre es hauptsächlich aus historischen Gründen interessant, anstatt weil irgendjemand es jemals benutzen würde. Als ich dann eine Bayes'sche Datenanalyse durchführte, wurden wir nie gebeten, Jeffreys 'Prioritäten zu verwenden. Verwendet …

11 bayesian prior jeffreys-prior

2

Familienbezogene Fehlergrenze: Führt die Wiederverwendung von Datensätzen zu verschiedenen Studien unabhängiger Fragen zu mehreren Testproblemen?

Wenn ein Forscherteam mehrere (Hypothesen-) Tests an einem bestimmten Datensatz durchführt, gibt es eine Menge Literatur, in der behauptet wird, dass für mehrere Tests (Bonferroni usw.) eine Korrektur verwendet werden sollte, auch wenn die Tests unabhängig sind. Meine Frage lautet: Gilt dieselbe Logik für mehrere Teams, die Hypothesen mit demselben …

11 hypothesis-testing multiple-comparisons

1

Schätzen Sie die Varianz einer Population, wenn der Populationsmittelwert bekannt ist

1n - 1∑ich( xich- x¯)21n- -1∑ich(xich- -x¯)2\frac1{n-1}\sum\limits_i(x_i - \bar{x})^2xich- x¯xich- -x¯x_i - \bar{x}n - 1n- -1n-1nnnμμ\mux¯x¯\bar{x} . Also würde ich schätzen1n∑i(xi−μ)21n∑i(xi−μ)2\frac1{n}\sum\limits_i(x_i - \mu)^2 But I can't find it anymore. Is it true? Can someone give me a pointer?

11 variance sample

2

Bayesianisches Logit-Modell - intuitive Erklärung?

Ich muss gestehen, dass ich in keiner meiner Klassen, Studenten oder Absolventen, von diesem Begriff gehört habe. Was bedeutet es für eine logistische Regression, Bayesianisch zu sein? Ich suche nach einer Erklärung mit einem Übergang von der regulären Logistik zur Bayes'schen Logistik, ähnlich der folgenden: Dies ist die Gleichung im …

11 regression logistic bayesian multiple-regression generalized-linear-model