Statistiken und Big Data machine-learning

1

Können zufällige Wälder viel besser abschneiden als der Testfehler von 2,8% bei MNIST?

Ich habe keine Literatur zur Anwendung von Random Forests auf MNIST, CIFAR, STL-10 usw. gefunden, daher dachte ich, ich würde sie selbst mit dem permutationsinvarianten MNIST ausprobieren. In R habe ich versucht: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Dies lief 2 Stunden und ergab einen Testfehler von 2,8%. Ich habe auch …

9 r machine-learning classification random-forest scikit-learn

1

Verstecktes Markov-Modell zur Ereignisvorhersage

Frage : Ist der Aufbau unten eine sinnvolle Implementierung eines Hidden Markov-Modells? Ich habe einen Datensatz von 108,000Beobachtungen (über einen Zeitraum von 100 Tagen) und ungefähr 2000Ereignisse während der gesamten Beobachtungszeitspanne. Die Daten sehen wie in der folgenden Abbildung aus, in der die beobachtete Variable 3 diskrete Werte annehmen kann …

9 time-series machine-learning predictive-models markov-chain hidden-markov-model

6

Welche Algorithmen für maschinelles Lernen können mit Hadoop / Map-Reduce skaliert werden?

Skalierbare Algorithmen für maschinelles Lernen scheinen heutzutage die Begeisterung zu sein. Jedes Unternehmen verarbeitet nur Big Data . Gibt es ein Lehrbuch, in dem erläutert wird, welche Algorithmen für maschinelles Lernen mit parallelen Architekturen wie Map-Reduce skaliert werden können und welche nicht? Oder einige relevante Papiere?

9 machine-learning large-data

1

R / Caret: Zug- und Testsätze vs. Kreuzvalidierung?

Dies mag vielleicht eine dumme Frage sein, aber wenn Sie ein Modell mit Caret erstellen und so etwas wie LOOCVoder (noch genauer) verwenden LGOCV, was ist der Vorteil der Aufteilung von Daten in Zug- und Testsätze, wenn dies im Wesentlichen der Kreuzvalidierungsschritt ist macht sowieso? Ich habe einige der zugehörigen …

9 r machine-learning cross-validation caret

3

LDA vs. Perzeptron

Ich versuche ein Gefühl dafür zu bekommen, wie LDA in andere überwachte Lerntechniken passt. Ich habe hier bereits einige der LDA-ähnlichen Beiträge über LDA gelesen. Ich bin bereits mit dem Perzeptron vertraut, lerne aber gerade LDA. Wie passt LDA in die Familie der überwachten Lernalgorithmen? Was könnten seine Nachteile gegenüber …

9 machine-learning classification discriminant-analysis supervised-learning

2

Wie führt ein einheitlicher Prior zu denselben Schätzungen hinsichtlich der maximalen Wahrscheinlichkeit und der Art des Seitenzahns?

Ich studiere verschiedene Punktschätzungsmethoden und lese, dass bei Verwendung von MAP- und ML-Schätzungen, wenn wir einen "einheitlichen Prior" verwenden, die Schätzungen identisch sind. Kann jemand erklären, was ein "einheitlicher" Prior ist, und einige (einfache) Beispiele dafür geben, wann die MAP- und ML-Schätzer gleich wären?

9 machine-learning probability bayesian estimation maximum-likelihood

1

Statistische Lerntheorie VS rechnergestützte Lerntheorie?

Welche Beziehungen und Unterschiede bestehen zwischen der statistischen Lerntheorie und der rechnergestützten Lerntheorie ? Geht es ihnen um das gleiche Thema? Die gleichen Probleme lösen und die gleichen Methoden anwenden? Ersteres sagt zum Beispiel, es sei die Theorie der Vorhersage (Regression, Klassifikation, ...).

9 machine-learning statistical-learning artificial-intelligence

1

Verwendung von Text Mining / Tools zur Verarbeitung natürlicher Sprache für die Ökonometrie

Ich bin mir nicht sicher, ob diese Frage hier völlig angemessen ist. Wenn nicht, bitte löschen. Ich bin ein Student der Wirtschaftswissenschaften. Für ein Projekt, das Probleme in der Sozialversicherung untersucht, habe ich Zugang zu einer großen Anzahl von administrativen Fallberichten (> 200.000), die sich mit Eignungsbewertungen befassen. Diese Berichte …

9 machine-learning data-mining econometrics text-mining natural-language

2

Verwenden des EM-Algorithmus für die Datensatzverknüpfung

Ich bin daran interessiert, Datensätze über 2 Datensätze nach Vorname, Nachname und Geburtsjahr zu verknüpfen. Könnte dies mit dem EM-Algorithmus machbar sein, und wenn ja, wie? Betrachten Sie die folgende Aufzeichnung im 1. als Beispiel: Carl McCarthy, 1967. Ich werde alle Datensätze im 2. Datensatz durchsuchen und einen Jaro-Winkler-Abstand zwischen …

9 machine-learning stata expectation-maximization record-linkage perl

2

Bestimmen Sie die optimale Lernrate für den Gradientenabstieg in der linearen Regression

Wie kann man die optimale Lernrate für den Gradientenabstieg bestimmen? Ich denke, ich könnte es automatisch anpassen, wenn die Kostenfunktion einen größeren Wert als in der vorherigen Iteration zurückgibt (der Algorithmus konvergiert nicht), aber ich bin mir nicht sicher, welchen neuen Wert er annehmen soll.

9 regression machine-learning gradient-descent

1

Verwirrung in Bezug auf lineare dynamische Systeme

Ich habe dieses Buch Mustererkennung und maschinelles Lernen von Bishop gelesen. Ich hatte eine Verwirrung in Bezug auf eine Ableitung des linearen dynamischen Systems. In LDS nehmen wir an, dass die latenten Variablen kontinuierlich sind. Wenn Z die latenten Variablen und X die beobachteten Variablen bezeichnet p(zn|zn−1)=N(zn|Azn−1,τ)p(zn|zn−1)=N(zn|Azn−1,τ)p(z_n|z_{n-1}) = N(z_n|Az_{n-1},\tau) p(xn|zn)=N(xn,Czn,Σ)p(xn|zn)=N(xn,Czn,Σ)p(x_n|z_n) …

9 machine-learning linear-model kalman-filter pattern-recognition graphical-model

2

Kollaboratives Filtern durch Matrixfaktorisierung mit logistischer Verlustfunktion

Betrachten Sie das Problem der kollaborativen Filterung. Wir haben Matrix der Größe #users * #items. wenn Benutzer i Element j mag, wenn Benutzer i Element j nicht mag, undwenn es keine Daten über (i, j) Paar gibt. Wir wollen für zukünftige Benutzer-Artikel-Paare vorhersagen .MMMMi,j=1Mi,j=1M_{i,j} = 1Mi,j=0Mi,j=0M_{i,j} = 0Mi,j=?Mi,j=?M_{i,j}=?Mi,jMi,jM_{i,j} Der Standardansatz …

9 machine-learning recommender-system matrix-decomposition

2

Aus relationalen Daten lernen

Einstellungen Viele Algorithmen arbeiten mit einer einzelnen Beziehung oder Tabelle, während viele reale Datenbanken Informationen in mehreren Tabellen speichern (Domingos, 2003). Frage Welche Arten von Algorithmen lernen gut aus mehreren (relationalen) Tabellen. Insbesondere interessieren mich die Algorithmen, die für die Regressions- und Klassifizierungsaufgaben anwendbar sind (nicht die netzwerkanalyseorientierten, z. B. …

9 regression machine-learning classification dataset

1

Eine Parallele zwischen LSA und pLSA

In der Originalarbeit von pLSA zeichnet der Autor Thomas Hoffman eine Parallele zwischen pLSA- und LSA-Datenstrukturen, die ich mit Ihnen diskutieren möchte. Hintergrund: Nehmen wir an, wir haben eine Sammlung von Dokumenten und ein Vokabular von BegriffenNNND={d1,d2,....,dN}D={d1,d2,....,dN}D = \lbrace d_1, d_2, ...., d_N \rbraceMMMΩ={ω1,ω2,...,ωM}Ω={ω1,ω2,...,ωM}\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M …

9 machine-learning conditional-probability svd information-retrieval lsa

5

Hilft Preclustering dabei, ein besseres Vorhersagemodell zu erstellen?

Für die Aufgabe der Abwanderungsmodellierung habe ich Folgendes in Betracht gezogen: Berechnen Sie k Cluster für die Daten Erstellen Sie k Modelle für jeden Cluster einzeln. Der Grund dafür ist, dass es nichts zu beweisen gibt, dass die Population der Abonnenten homogen ist, so dass es vernünftig ist anzunehmen, dass …

9 machine-learning clustering data-mining predictive-models

Als «machine-learning» getaggte Fragen