Statistiken und Big Data feature-construction

6

Prinzipieller Weg, kategoriale Variablen mit vielen Ebenen zu kollabieren?

Welche Techniken stehen zur Verfügung, um viele Kategorien zu einigen zu reduzieren (oder zu bündeln), um sie als Eingabe (Prädiktor) in einem statistischen Modell zu verwenden? Stellen Sie sich eine Variable wie den Hauptfachstudenten vor (Fachbereich, den ein Student im Grundstudium auswählt). Es ist ungeordnet und kategorisch, kann aber möglicherweise …

58 regression categorical-data dimensionality-reduction feature-construction many-categories

2

Autoencoder können keine sinnvollen Funktionen lernen

Ich habe 50.000 Bilder wie diese beiden: Sie zeigen Diagramme von Daten. Ich wollte Funktionen aus diesen Bildern extrahieren, also verwendete ich den von Theano (deeplearning.net) bereitgestellten Autoencoder-Code. Das Problem ist, dass diese Autoencoder anscheinend keine Funktionen kennen. Ich habe RBM ausprobiert und es ist das gleiche. MNIST-Dataset bietet nette …

24 machine-learning neural-networks feature-construction rbm autoencoders

7

Wie kann man Geografie oder Postleitzahl im Modell des maschinellen Lernens oder im Empfehlungssystem darstellen?

Ich baue ein Modell auf und denke, dass der geografische Standort meine Zielvariable wahrscheinlich sehr gut vorhersagen kann. Ich habe die Postleitzahl von jedem meiner Benutzer. Ich bin mir nicht ganz sicher, wie ich Postleitzahl als Vorhersagefunktion in mein Modell integrieren kann. Obwohl die Postleitzahl eine Zahl ist, hat sie …

24 machine-learning feature-construction many-categories

2

Wie initialisiere ich die Elemente der Filtermatrix?

Ich versuche, Faltungs-Neuronale Netze besser zu verstehen, indem ich Python-Code schreibe, der nicht von Bibliotheken (wie Convnet oder TensorFlow) abhängt Durchführen einer Faltung an einem Bild. Ich versuche, die Implementierungsdetails im Schritt zwischen Feature-Maps in der folgenden Abbildung zu verstehen, in der die Layer eines CNN dargestellt sind. Nach diesem …

24 machine-learning neural-networks deep-learning feature-construction conv-neural-network

2

Wann sollten wir kontinuierliche unabhängige Variablen / Features diskretisieren / binieren und wann nicht?

Wann sollten wir unabhängige Variablen / Features diskretisieren / binieren und wann nicht? Meine Versuche, die Frage zu beantworten: Im Allgemeinen sollten wir nicht binieren, da Binning Informationen verlieren wird. Binning erhöht tatsächlich den Freiheitsgrad des Modells, sodass es nach dem Binning zu einer Überanpassung kommen kann. Wenn wir ein …

21 machine-learning continuous-data feature-construction binning

5

Warum funktioniert Feature Engineering?

Kürzlich habe ich erfahren, dass eine Möglichkeit, bessere Lösungen für ML-Probleme zu finden, in der Erstellung von Features besteht. Man kann das zum Beispiel durch Summieren von zwei Merkmalen tun. Zum Beispiel besitzen wir zwei Funktionen "Angriff" und "Verteidigung" einer Art Held. Wir erstellen dann ein zusätzliches Feature namens "total", …

20 machine-learning feature-construction

2

Tutorials für das Feature Engineering

Wie jeder weiß, ist Feature Engineering für das maschinelle Lernen extrem wichtig, aber ich habe nur wenige Materialien gefunden, die mit diesem Bereich zusammenhängen. Ich habe an mehreren Wettbewerben in Kaggle teilgenommen und glaube, dass gute Eigenschaften in manchen Fällen sogar wichtiger sind als ein guter Klassifikator. Kennt jemand Tutorials …

19 machine-learning references feature-construction

1

Optimale Konstruktion von Tagesmerkmalen in neuronalen Netzen

Während ich an einem Regressionsproblem arbeitete, begann ich über die Darstellung des Merkmals "Wochentag" nachzudenken. Ich frage mich, welcher Ansatz besser abschneiden würde: ein Merkmal; Wert 1/7 für Montag; 2/7 für Dienstag ... 7 Funktionen: (1, 0, 0, 0, 0, 0, 0) für Montag; (0, 1, 0, 0, 0, 0, …

18 machine-learning neural-networks feature-construction

1

Was ist "Feature Space"?

Was ist die Definition von "Feature Space"? Wenn ich zum Beispiel über SVMs lese, lese ich über "Zuordnung zu Feature-Space". Wenn ich über CART lese, lese ich über "Partitionierung, um Raum zu kennzeichnen". Ich verstehe, was gerade im WARENKORB vor sich geht, aber ich denke, dass es eine Definition gibt, …

17 machine-learning svm feature-selection cart feature-construction

2

Kontinuierliche und binäre Daten mit linearer SVM mischen?

Also habe ich mit SVMs rumgespielt und ich frage mich, ob das eine gute Sache ist: Ich habe eine Reihe von fortlaufenden Features (0 bis 1) und eine Reihe von kategorialen Features, die ich in Dummy-Variablen konvertiert habe. In diesem speziellen Fall codiere ich das Datum der Messung in eine …

15 categorical-data svm feature-selection linear-model feature-construction

5

Ist es besser, eine explorative Datenanalyse nur für den Trainingsdatensatz durchzuführen?

Ich mache eine explorative Datenanalyse (EDA) für einen Datensatz. Dann werde ich einige Features auswählen, um eine abhängige Variable vorherzusagen. Die Frage ist: Soll ich die EDA nur für meinen Trainingsdatensatz durchführen? Oder sollte ich die Trainings- und Testdatensätze zusammenfügen und dann die EDA auf beiden durchführen und die Funktionen …

14 dataset feature-selection feature-construction eda

1

Feature-Konstruktion und Normalisierung beim maschinellen Lernen

Nehmen wir an, ich möchte einen logistischen Klassifikator für einen Film M erstellen. Meine Merkmale wären etwa das Alter der Person, das Geschlecht, der Beruf oder der Ort. Das Trainingsset würde also ungefähr so aussehen: Alter Geschlecht Beruf Standort Gefällt mir (1) / Gefällt mir nicht (0) 23 M Software …

13 machine-learning feature-construction

2

Maximale mittlere Diskrepanz (Entfernungsverteilung)

Ich habe zwei Datensätze (Quell- und Zieldaten), die der unterschiedlichen Verteilung folgen. Ich verwende MMD - das ist eine nicht parametrische Entfernungsverteilung -, um die Randverteilung zwischen den Quell- und Zieldaten zu berechnen. Quelldaten, Xs Zieldaten, Xt Anpassungsmatrix A. * Projizierte Daten, Zs = A '* Xs und Zt = …

13 machine-learning distributions distance feature-construction domain-adaptation

1

Automatische Keyword-Extraktion: Verwenden von Cosinus-Ähnlichkeiten als Features

Ich habe eine Dokument-Term-Matrix und möchte jetzt mit einer überwachten Lernmethode (SVM, Naive Bayes, ...) Schlüsselwörter für jedes Dokument extrahieren. In diesem Modell verwende ich bereits Tf-idf, Pos-Tag, ...MMM Aber jetzt wundere ich mich über die Zusammenhänge. Ich habe eine Matrix mit den Kosinusähnlichkeiten zwischen den Begriffen.CCC Gibt es eine …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

2

Domain-Agnostic Feature Engineering, das semantische Bedeutung behält?

Feature Engineering ist oft ein wichtiger Bestandteil des maschinellen Lernens (es wurde stark genutzt, um den KDD Cup 2010 zu gewinnen ). Ich finde jedoch, dass die meisten Feature-Engineering-Techniken entweder Zerstören Sie jede intuitive Bedeutung der zugrunde liegenden Funktionen oder sind sehr spezifisch für eine bestimmte Domäne oder sogar bestimmte …

12 predictive-models feature-selection feature-construction

Als «feature-construction» getaggte Fragen