Statistiken und Big Data normalization

6

Ich bin in der Normalisierung verloren, könnte mich jemand bitte führen. Ich habe einen minimalen und einen maximalen Wert, sagen wir -23,89 bzw. 7,54990767. Wenn ich einen Wert von 5,6878 erhalte, wie kann ich diesen Wert auf einer Skala von 0 bis 1 skalieren?

265 normalization

5

Was ist der Unterschied zwischen Normalisierung und Standardisierung?

Bei der Arbeit haben wir darüber gesprochen, da mein Chef noch nie von Normalisierung gehört hat. In der linearen Algebra scheint sich Normalisierung auf die Teilung eines Vektors durch seine Länge zu beziehen. Und in der Statistik scheint sich Standardisierung auf die Subtraktion eines Mittels zu beziehen, das dann durch …

118 descriptive-statistics normalization standardization

6

Was sind gute Anfangsgewichte in einem neuronalen Netzwerk?

Ich habe gerade gehört, dass es eine gute Idee ist, die Anfangsgewichte eines neuronalen Netzes aus dem Bereich zu wählen , wobei ist Anzahl der Eingaben in ein bestimmtes Neuron. Es wird angenommen, dass die Mengen normalisiert sind - Mittelwert 0, Varianz 1 (weiß nicht, ob dies wichtig ist).d( - …

68 neural-networks normalization

9

Wie und warum funktionieren Normalisierung und Feature-Skalierung?

Ich sehe, dass viele Algorithmen für maschinelles Lernen mit mittlerer Auslöschung und Kovarianzausgleich besser funktionieren. Beispielsweise konvergieren neuronale Netze tendenziell schneller, und K-Means bietet im Allgemeinen eine bessere Clusterbildung mit vorverarbeiteten Features. Ich sehe nicht, dass die Intuition hinter diesen Vorverarbeitungsschritten zu einer Leistungssteigerung führt. Kann mir das jemand erklären?

61 machine-learning neural-networks covariance normalization

3

Feature-Normalisierung vor oder innerhalb der Modellvalidierung durchführen?

Eine gängige Vorgehensweise beim maschinellen Lernen ist die Merkmalsnormalisierung oder Datenstandardisierung der Prädiktorvariablen. Das ist es, die Daten zu zentrieren, wobei der Mittelwert abgezogen wird, und die Division durch die Varianz (oder auch die Standardabweichung) zu normalisieren. Aus Gründen der Selbstbeherrschung und meines Verständnisses tun wir dies, um zwei Hauptziele …

52 machine-learning normalization standardization multidimensional-scaling

1

Wie wende ich Standardisierung / Normalisierung auf Trainings- und Testsets an, wenn Vorhersage das Ziel ist?

Wandle ich alle meine Daten oder Falze (wenn der Lebenslauf angewendet wird) gleichzeitig um? z.B (allData - mean(allData)) / sd(allData) Wandle ich Zugset und Testset getrennt um? z.B (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Oder transformiere ich Triebzüge und verwende Berechnungen auf dem Testsatz? z.B (trainData …

47 r cross-validation data-transformation normalization standardization

4

Normalisierung vs. Skalierung

Was ist der Unterschied zwischen Daten "Normalisierung" und Daten "Skalierung"? Bis jetzt dachte ich, beide Begriffe beziehen sich auf denselben Prozess, aber jetzt stelle ich fest, dass es noch etwas gibt, das ich nicht kenne / verstehe. Auch wenn es einen Unterschied zwischen Normalisierung und Skalierung gibt, wann sollten wir …

45 data-transformation scales normality-assumption normalization

2

Sind eine mittlere Normalisierung und Merkmalsskalierung für k-Means-Clustering erforderlich?

Was sind die besten (empfohlenen) Vorverarbeitungsschritte vor der Durchführung von k-means?

44 clustering normalization k-means

2

Wie normalisiere ich Daten zwischen -1 und 1?

Ich habe die Min-Max-Normalisierungsformel gesehen, die jedoch Werte zwischen 0 und 1 normalisiert. Wie würde ich meine Daten zwischen -1 und 1 normalisieren? Ich habe sowohl negative als auch positive Werte in meiner Datenmatrix.

36 dataset normalization

2

Ist es wichtig, eine Normalisierung für SVM und Random Forest durchzuführen?

Jede Dimension meiner Features hat einen anderen Wertebereich. Ich möchte wissen, ob es wichtig ist, diesen Datensatz zu normalisieren.

29 machine-learning svm random-forest normalization

8

So stellen Sie eine unbegrenzte Variable als Zahl zwischen 0 und 1 dar

Ich möchte eine Variable als Zahl zwischen 0 und 1 darstellen. Die Variable ist eine nicht negative Ganzzahl ohne inhärente Grenze. Ich ordne 0 zu 0 zu, aber was kann ich 1 oder Zahlen zwischen 0 und 1 zuordnen? Ich könnte den Verlauf dieser Variablen verwenden, um die Grenzen anzugeben. …

28 normalization

2

Ist eine Standardisierung vor Lasso wirklich notwendig?

Ich habe vor etwas wie LassoRegression drei Hauptgründe für die Standardisierung von Variablen gelesen : 1) Interpretierbarkeit von Koeffizienten. 2) Fähigkeit, die Wichtigkeit des Koeffizienten nach der relativen Größe der Schätzungen des Nachschrumpfungskoeffizienten zu ordnen. 3) Keine Notwendigkeit zum Abfangen. Aber ich wundere mich über den wichtigsten Punkt. Haben wir …

28 normalization lasso standardization regularization shrinkage

2

Ist die Kosinusähnlichkeit identisch mit dem 12-normalisierten euklidischen Abstand?

Gleichbedeutend damit , dass es für eine Ähnlichkeitsrangfolge zwischen einem Vektor u und einer Menge von Vektoren V zu gleichen Ergebnissen kommt . Ich habe ein Vektorraummodell, dessen Parameter Distanzmessung (euklidische Distanz, Kosinusähnlichkeit) und Normalisierungstechnik (keine, l1, l2) sind. Nach meinem Verständnis sollten die Ergebnisse der Einstellungen [cosine, none] identisch …

27 normalization natural-language euclidean cosine-distance cosine-similarity

5

Sollten Sie jemals binäre Variablen standardisieren?

Ich habe einen Datensatz mit einer Reihe von Funktionen. Einige von ihnen sind binär aktiv oder abgefeuert, 0 = inaktiv oder ruhend), und der Rest ist ein reeller Wert, z . B. 4564.342 .(1=(1=(1=0=0=0=4564.3424564.3424564.342 Ich möchte diese Daten einem maschinellen Lernalgorithmus zuführen , damit ich alle wirklich wertvollen Funktionen -bewerten …

25 machine-learning normalization binary-data

1

Zufällige Matrizen mit Einschränkungen für die Zeilen- und Spaltenlänge

Ich muss zufällige, nicht quadratische Matrizen mit Zeilen und C Spalten erzeugen , Elemente, die zufällig mit dem Mittelwert = 0 verteilt sind und so beschränkt sind, dass die Länge (L2-Norm) jeder Zeile 1 und die Länge jeder Spalte √ beträgtRRRCCC111 . Entsprechend ist die Summe der Quadratwerte 1 für …

25 random-generation normalization markov-process random-matrix

Als «normalization» getaggte Fragen