Statistiken und Big Data

27

Die Situation Einige Forscher möchten Sie einschlafen lassen. Abhängig vom geheimen Wurf einer schönen Münze wecken sie Sie kurz entweder einmal (Köpfe) oder zweimal (Schwänze). Nach jedem Aufwachen werden Sie mit einer Droge wieder in den Schlaf versetzt, die Sie dieses Erwachen vergessen lässt. Inwieweit sollten Sie nach dem Aufwachen …

133 decision-theory paradox

8

Warum ist Newtons Methode beim maschinellen Lernen nicht weit verbreitet?

Das nervt mich schon seit einiger Zeit und ich konnte online keine zufriedenstellenden Antworten finden. Nach einer Reihe von Vorlesungen zur konvexen Optimierung scheint die Newton-Methode ein weitaus überlegener Algorithmus zu sein als die Gradientenabsenkung, um global optimale Lösungen zu finden, da die Newton-Methode eine Garantie für ihre Lösung, ihre …

132 machine-learning optimization gradient-descent hessian

4

Cohens Kappa in einfachem Englisch

Ich lese gerade ein Data-Mining-Buch, in dem die Kappa-Statistik als Mittel zur Bewertung der Prognoseleistung von Klassifikatoren erwähnt wurde. Das kann ich aber einfach nicht verstehen. Ich habe auch Wikipedia überprüft, aber es hat auch nicht geholfen: https://en.wikipedia.org/wiki/Cohen's_kappa . Wie hilft Cohens Kappa bei der Bewertung der Vorhersageleistung von Klassifikatoren? …

131 classification data-mining cohens-kappa

14

Sind große Datenmengen für Hypothesentests ungeeignet?

In einem kürzlich erschienenen Artikel von Amstat News erklärten die Autoren (Mark van der Laan und Sherri Rose): "Wir wissen, dass für ausreichend große Stichproben jede Studie - auch solche, bei denen die Nullhypothese ohne Wirkung wahr ist - a deklariert statistisch signifikanter Effekt. " Naja, das wusste ich jedenfalls …

129 hypothesis-testing sample-size dataset large-data

6

Was ist der Unterschied zwischen Varianz und Standardabweichung?

Ich habe mich gefragt, was der Unterschied zwischen der Varianz und der Standardabweichung ist. Wenn Sie die beiden Werte berechnen, ist es klar, dass Sie die Standardabweichung aus der Varianz erhalten, aber was bedeutet das für die Verteilung, die Sie beobachten? Warum brauchen Sie eigentlich eine Standardabweichung?

127 variance mathematical-statistics standard-deviation

9

Erklärung der Mahalanobis-Distanz von unten nach oben?

Ich studiere Mustererkennung und Statistik und fast jedes Buch, das ich zu dem Thema aufschlage, stoße ich auf das Konzept der Mahalanobis-Distanz . Die Bücher geben eine Art intuitive Erklärungen, aber sie sind immer noch nicht gut genug, um wirklich zu verstehen, was los ist. Wenn mich jemand fragen würde: …

127 normal-distribution mathematical-statistics distance pattern-recognition intuition

9

Wissen aus einer zufälligen Gesamtstruktur abrufen

Zufällige Wälder gelten als Black Boxes, aber in letzter Zeit habe ich darüber nachgedacht, welches Wissen aus einem zufälligen Wald gewonnen werden kann. Das offensichtlichste ist die Wichtigkeit der Variablen. In der einfachsten Variante kann dies einfach durch Berechnen der Anzahl der Vorkommen einer Variablen erfolgen. Das zweite, woran ich …

127 machine-learning data-mining interaction random-forest cart

3

Was ist der Unterschied zwischen einem konsistenten und einem unvoreingenommenen Schätzer?

Ich bin wirklich überrascht, dass das anscheinend noch niemand gefragt hat ... Bei der Diskussion von Schätzern werden häufig die Begriffe "konsistent" und "unvoreingenommen" verwendet. Meine Frage ist einfach: Was ist der Unterschied? Die genauen technischen Definitionen dieser Begriffe sind ziemlich kompliziert und es ist schwierig, ein intuitives Gefühl dafür …

125 unbiased-estimator estimators consistency

3

Helfen Sie mir, die Bayes'schen Prior- und Posteriorverteilungen zu verstehen

In einer Gruppe von Studenten sind 2 von 18 Linkshändern. Finden Sie die posteriore Verteilung der Linkshänder in der Bevölkerung unter der Annahme, dass sie zuvor nicht informativ waren. Fassen Sie die Ergebnisse zusammen. Laut Literatur sind 5-20% der Menschen Linkshänder. Berücksichtigen Sie diese Informationen in Ihrem vorherigen und berechnen …

125 distributions bayesian prior posterior

4

Was ist der Unterschied zwischen neuronalen Faltungsnetzen, eingeschränkten Boltzmann-Maschinen und Autocodierern?

Kürzlich habe ich über tiefes Lernen gelesen und ich bin verwirrt über die Begriffe (oder sagen wir Technologien). Was ist der Unterschied zwischen Faltungsneurale Netze (CNN), Eingeschränkte Boltzmann-Maschinen (RBM) und Auto-Encoder?

123 neural-networks deep-learning conv-neural-network autoencoders rbm

6

Korrelationen mit ungeordneten kategorialen Variablen

Ich habe einen Datenrahmen mit vielen Beobachtungen und vielen Variablen. Einige von ihnen sind kategorisch (ungeordnet) und die anderen sind numerisch. Ich suche nach Assoziationen zwischen diesen Variablen. Ich konnte die Korrelation für numerische Variablen berechnen (Spearman-Korrelation), aber: Ich weiß nicht, wie ich die Korrelation zwischen ungeordneten kategorialen Variablen messen …

123 r correlation categorical-data continuous-data mixed-type-data

3

Was ist der Unterschied zwischen linearer und logistischer Regression?

Was ist der Unterschied zwischen linearer und logistischer Regression? Wann würden Sie jeweils verwenden?

122 regression logistic linear-model

3

Warum brauchen wir Sigma-Algebren, um Wahrscheinlichkeitsräume zu definieren?

Wir haben ein zufälliges Experiment mit verschiedenen Ergebnissen, die den Probenraum auf dem wir uns mit Interesse bestimmte Muster ansehen, die als eventsSigma-Algebren (oder Sigma-Felder) bestehen aus Ereignissen, denen ein Wahrscheinlichkeitsmaß zugeordnet werden kann. Bestimmte Eigenschaften werden erfüllt, einschließlich der Einbeziehung der Nullmenge und des gesamten Probenraums sowie einer Algebra, …

122 probability intuition measure-theory sigma-algebra

21

Legen Sie bei jedem Schritt eines limitierenden unendlichen Prozesses 10 Kugeln in eine Urne und entfernen Sie eine nach dem Zufallsprinzip. Wie viele Bälle sind noch übrig?

Die Frage (leicht modifiziert) lautet wie folgt und falls Sie sie noch nie zuvor gestellt haben, können Sie sie in Beispiel 6a, Kapitel 2, von Sheldon Ross ' A First Course in Probability überprüfen : Angenommen, wir besitzen eine unendlich große Urne und eine unendliche Sammlung von Kugeln, die mit …

121 probability paradox

5

Wie wählt man zwischen Pearson- und Spearman-Korrelation?

Woher weiß ich, wann ich zwischen Spearman's und Pearson's wählen soll ? Meine Variable beinhaltet Zufriedenheit und die Bewertungen wurden unter Verwendung der Summe der Bewertungen interpretiert. Diese Punktzahlen könnten jedoch auch eingestuft werden.ρρ\rhorrr

119 correlation pearson-r spearman-rho