Statistiken und Big Data algorithms

3

Wer hat die erste Standardtabelle erstellt?

Ich bin dabei, die normale Standardtabelle in meiner Einführungsstatistikklasse einzuführen, und das hat mich gefragt: Wer hat die erste normale Standardtabelle erstellt? Wie haben sie es gemacht, bevor Computer kamen? Ich schaudere, wenn ich an jemanden denke, der tausend Riemann-Summen von Hand berechnet.

61 normal-distribution algorithms history tables

7

Bester PCA-Algorithmus für eine Vielzahl von Funktionen (> 10K)?

Ich habe dies zuvor bei StackOverflow gefragt, aber es scheint, als wäre es hier angemessener, da es auf SO keine Antworten gab. Es ist eine Art Schnittstelle zwischen Statistik und Programmierung. Ich muss Code schreiben, um PCA (Principal Component Analysis) durchzuführen. Ich habe die bekannten Algorithmen durchgesehen und diese implementiert …

54 pca algorithms model-evaluation high-dimensional

6

Effiziente lineare Online-Regression

Ich analysiere einige Daten, bei denen ich eine normale lineare Regression durchführen möchte. Dies ist jedoch nicht möglich, da ich es mit einer Online-Einstellung mit einem kontinuierlichen Strom von Eingabedaten zu tun habe (die schnell zu groß für Speicher werden) und benötigt um Parameterschätzungen zu aktualisieren, während diese verbraucht werden. …

53 time-series regression algorithms real-time

9

Messung von Entropie / Information / Mustern einer 2d-Binärmatrix

Ich möchte die Entropie / Informationsdichte / Musterähnlichkeit einer zweidimensionalen binären Matrix messen. Lassen Sie mich zur Verdeutlichung einige Bilder zeigen: Diese Anzeige sollte eine ziemlich hohe Entropie haben: EIN) Dies sollte eine mittlere Entropie haben: B) Diese Bilder sollten schließlich alle eine Entropie nahe Null haben: C) D) E) …

53 algorithms binary-data entropy pattern-recognition information

7

Periodenerkennung einer generischen Zeitreihe

Dieser Beitrag ist die Fortsetzung eines anderen Beitrags, der sich auf eine allgemeine Methode zur Erkennung von Ausreißern in Zeitreihen bezieht . Grundsätzlich bin ich an dieser Stelle an einer robusten Methode interessiert, um die Periodizität / Saisonalität einer allgemeinen Zeitreihe zu ermitteln, die von vielen Störungen betroffen ist. Aus …

53 time-series algorithms frequency real-time

10

Was ist ein guter Algorithmus zum Schätzen des Medians eines riesigen Datensatzes mit einmaligem Lesen?

Ich suche einen guten Algorithmus (dh minimale Berechnung, minimale Speicheranforderungen), um den Median eines Datensatzes zu schätzen, der zu groß zum Speichern ist, sodass jeder Wert nur einmal gelesen werden kann (es sei denn, Sie speichern diesen Wert explizit). Es gibt keine Grenzen für die Daten, die angenommen werden können. …

48 algorithms median large-data

5

Optimierte Implementierungen des Random Forest-Algorithmus

Mir ist aufgefallen, dass es einige Implementierungen von Random Forest wie ALGLIB, Waffles und einige R-Pakete gibt randomForest. Kann mir jemand sagen, ob diese Bibliotheken hoch optimiert sind? Entsprechen sie im Wesentlichen den Zufallsforsten, wie in den Elementen des statistischen Lernens beschrieben, oder wurden viele zusätzliche Tricks hinzugefügt? Ich hoffe, …

44 random-forest algorithms model-evaluation

5

Was ist der Unterschied zwischen dem Vorwärts-Rückwärts- und dem Viterbi-Algorithmus?

Ich möchte wissen, was die Unterschiede zwischen dem Vorwärts-Rückwärts-Algorithmus und dem Viterbi-Algorithmus für die Inferenz in Hidden-Markov-Modellen (HMM) sind.

44 algorithms hidden-markov-model viterbi-algorithm forward-backward

6

Welcher Algorithmus wird bei der linearen Regression verwendet?

Normalerweise höre ich von "gewöhnlichen kleinsten Quadraten". Ist das der am häufigsten verwendete Algorithmus für die lineare Regression? Gibt es Gründe, einen anderen zu verwenden?

42 regression least-squares algorithms computational-statistics numerics

3

Was sind die Unterschiede zwischen Hidden-Markov-Modellen und neuronalen Netzen?

Ich mache mich in Statistiken nur nass, also tut es mir leid, wenn diese Frage keinen Sinn ergibt. Ich habe Markov-Modelle verwendet, um versteckte Zustände (unfaire Casinos, Würfelwürfe usw.) und neuronale Netze vorherzusagen und die Klicks der Benutzer auf eine Suchmaschine zu untersuchen. Beide hatten verborgene Zustände, die wir mithilfe …

40 data-mining algorithms neural-networks markov-process

6

Ungefähre mit Hilfe von Monte - Carlo - Simulation

Ich habe mir kürzlich die Monte-Carlo-Simulation angesehen und sie verwendet, um Konstanten wie (Kreis in einem Rechteck, proportionale Fläche) anzunähern.ππ\pi Ich kann mir jedoch keine entsprechende Methode vorstellen, um den Wert von [Eulers Zahl] mithilfe der Monte-Carlo-Integration zu approximieren .eee Haben Sie Hinweise, wie dies getan werden kann?

35 simulation monte-carlo algorithms random-generation numerical-integration

6

Data Mining: Wie soll ich vorgehen, um das funktionale Formular zu finden?

Ich bin gespannt auf wiederholbare Verfahren , die verwendet werden können , die funktionale Form der Funktion zu entdecken , y = f(A, B, C) + error_termwo meine einzige Eingabe eine Reihe von Beobachtungen ist ( y, A, Bund C). Bitte beachten Sie, dass die Funktionsform funbekannt ist. Betrachten Sie …

34 regression machine-learning algorithms model-selection data-mining

1

Unterschied zwischen Standard- und sphärischen k-Means-Algorithmen

Ich würde gerne verstehen, was der Hauptunterschied in der Implementierung zwischen Standard- und sphärischen K-Mittel-Clustering-Algorithmen ist. In jedem Schritt berechnet k-means die Abstände zwischen Elementvektoren und Cluster-Schwerpunkten und ordnet das Dokument diesem Cluster zu, dessen Schwerpunkt der nächste ist. Dann werden alle Zentroide neu berechnet. Im sphärischen k-Mittel sind alle …

28 clustering data-mining algorithms k-means

3

Bester Banditenalgorithmus?

Der bekannteste Algorithmus für Banditen ist der Upper Confidence Bound (UCB), der diese Klasse von Algorithmen bekannt gemacht hat. Seitdem gehe ich davon aus, dass es jetzt bessere Algorithmen gibt. Was ist der derzeit beste Algorithmus (in Bezug auf empirische Leistung oder theoretische Grenzen)? Ist dieser Algorithmus in gewissem Sinne …

27 machine-learning algorithms theory reinforcement-learning multiarmed-bandit

1

Wie definiere ich die Abbruchbedingung für den Gradientenabstieg?

Eigentlich wollte ich Sie fragen, wie ich die Abschlussbedingung für den Gefälleabstieg definieren kann. Kann ich es basierend auf der Anzahl der Iterationen stoppen, dh Parameterwerte für beispielsweise 100 Iterationen berücksichtigen? Oder sollte ich so warten, dass die unterschiedlichen Werte für die beiden Parameter 'new' und 'old' in der Größenordnung …

24 algorithms optimization gradient-descent

Als «algorithms» getaggte Fragen