Statistiken und Big Data data-preprocessing

1

One-Hot vs Dummy-Codierung in Scikit-Learn

Es gibt zwei verschiedene Möglichkeiten, kategoriale Variablen zu codieren. Angenommen, eine kategoriale Variable hat n Werte. One-Hot-Codierung konvertiert es in n Variablen, während Dummy-Codierung es in n-1 Variablen konvertiert . Wenn wir k kategoriale Variablen haben, von denen jede n Werte hat. Eine heiße Codierung endet mit kn- Variablen, während …

50 regression categorical-data data-transformation scikit-learn data-preprocessing

2

Benötigt eine zufällige Gesamtstruktur Eingabevariablen, die skaliert oder zentriert werden sollen?

Meine Eingabevariablen haben unterschiedliche Dimensionen. Einige Variablen sind dezimal, andere hunderte. Müssen diese Eingabevariablen unbedingt zentriert (subtrahiert den Mittelwert) oder skaliert (dividiert durch die Standardabweichung) werden, damit die Daten bei Verwendung einer Zufallsgesamtstruktur dimensionslos werden?

16 random-forest standardization data-preprocessing centering

2

Neuronale Netze: One-Hot-Variable überwältigend kontinuierlich?

Ich habe Rohdaten mit etwa 20 Spalten (20 Features). Zehn von ihnen sind kontinuierliche Daten und zehn von ihnen sind kategorisch. Einige der kategorialen Daten können bis zu 50 verschiedene Werte haben (US-Bundesstaaten). Nachdem ich die Daten vorverarbeitet habe, werden die 10 fortlaufenden Spalten zu 10 vorbereiteten Spalten, und die …

13 machine-learning neural-networks tensorflow data-preprocessing theano

3

Welche Algorithmen erfordern eine One-Hot-Codierung?

Ich bin mir nie sicher, wann ich eine One-Hot-Codierung für nicht geordnete kategoriale Variablen verwenden soll und wann nicht. Ich benutze es immer dann, wenn der Algorithmus eine Distanzmetrik verwendet, um Ähnlichkeit zu berechnen. Kann jemand eine allgemeine Faustregel geben, welche Arten von Algorithmen erfordern würden, dass nicht geordnete kategoriale …

12 machine-learning categorical-data categorical-encoding data-preprocessing

1

Frage zum Subtrahieren des Mittelwerts im Zug / gültig / Testsatz

Ich mache eine Datenvorverarbeitung und werde danach ein Convonets auf meinen Daten erstellen. Meine Frage lautet: Angenommen, ich habe einen Gesamtdatensatz mit 100 Bildern. Ich habe den Mittelwert für jedes der 100 Bilder berechnet und ihn dann von jedem der Bilder subtrahiert, dann in Zug- und Validierungssatz aufgeteilt und das …

11 machine-learning cross-validation data-preprocessing

2

Was ist Bucketization?

Ich habe ohne Erfolg eine klare Erklärung für "Bucketization" im maschinellen Lernen gefunden. Was ich bisher verstehe, ist, dass die Bucketisierung der Quantisierung in der digitalen Signalverarbeitung ähnelt, bei der ein Bereich kontinuierlicher Werte durch einen diskreten Wert ersetzt wird. Ist das richtig? Was sind die Vor- und Nachteile (abgesehen …

10 machine-learning dataset data-preprocessing

2

Warum möchten viele Menschen verzerrte Daten in normalverteilte Daten für maschinelle Lernanwendungen umwandeln?

Bei Bild- und Tabellendaten wandeln viele Personen die verzerrten Daten während der Vorverarbeitung in normalverteilte Daten um. Was bedeutet die Normalverteilung beim maschinellen Lernen? Ist es eine wesentliche Annahme von Algorithmen für maschinelles Lernen? Sogar bei den Bilddaten habe ich eine Quantiltransformation gesehen, die die gesamten Pixel eines Bildes transformiert, …

8 machine-learning normal-distribution data-preprocessing

1

So bereiten Sie Daten für die Eingabe in ein spärliches kategoriales Cross-Entropy-Multiklassifizierungsmodell vor [geschlossen]

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 2 Jahren . Ich habe also eine Reihe von Tweets mit ein paar Spalten wie Datum und Tweet …

7 classification python data-preprocessing keras

Als «data-preprocessing» getaggte Fragen