Im Falle einer Kombination von kategorialen und numerischen Attributen konvertiere ich die kategorialen Attribute normalerweise in einen heißen Vektor. Meine Frage ist, lasse ich diese Vektoren unverändert und skaliere die numerischen Attribute durch Standardisierung / Normalisierung, oder sollte ich die einen heißen Vektoren zusammen mit den numerischen Attributen skalieren?
Antworten:
Einmal in numerische Form konvertiert, reagieren Modelle nicht anders auf Spalten mit One-Hot-Codierung als auf andere numerische Daten. Es gibt also einen eindeutigen Präzedenzfall für die Normalisierung der {0,1} -Werte, wenn Sie dies aus irgendeinem Grund tun, um andere Spalten vorzubereiten.
Die Auswirkung hängt von der Modellklasse und der Art der angewendeten Normalisierung ab, aber ich habe einige (kleine) Verbesserungen festgestellt, wenn ich beim Training von neuronalen Netzen die Skalierung auf 0, std 1 für One-Hot-Coded-Kategoriedaten vorgenommen habe.
Auch für Modellklassen, die auf Distanzmetriken basieren, kann dies einen Unterschied bedeuten.
Leider müssen Sie, wie bei den meisten dieser Entscheidungen, häufig beide Ansätze ausprobieren und den Ansatz mit der besten Metrik wählen.