Statistiken und Big Data

1

Daten in gewünschten Mittelwert und Standardabweichung umwandeln

Ich suche nach einer Methode, um meinen Datensatz von seinem aktuellen Mittelwert und seiner Standardabweichung in einen Zielmittelwert und eine Zielstandardabweichung umzuwandeln. Grundsätzlich möchte ich die Streuung verkleinern / vergrößern und alle Zahlen auf einen Mittelwert skalieren. Es funktioniert nicht, zwei separate lineare Transformationen durchzuführen, eine für die Standardabweichung und …

14 data-transformation standard-deviation mean

3

Was sollten die optimalen Parameter für den Random Forest-Klassifikator sein?

Derzeit verwende ich RF-Toolbox auf MATLAB für eine binäre Klassifizierung Problem Datensatz: 50000 Stichproben und mehr als 250 Funktionen Wie viele Bäume und zufällig ausgewählte Merkmale sollten bei jeder Teilung vorhanden sein, um die Bäume wachsen zu lassen? Kann ein anderer Parameter die Ergebnisse stark beeinflussen?

14 machine-learning classification random-forest

5

Clustering (k-means oder anders) mit einer minimalen Einschränkung der Clustergröße

Ich muss Einheiten in Cluster gruppieren, um die Summe der Quadrate innerhalb der Gruppe (WSS) zu minimieren, aber ich muss sicherstellen, dass die Cluster jeweils mindestens m Einheiten enthalten. Gibt es eine Idee, ob eine der Clustering-Funktionen von R das Clustering in k Cluster unter Einhaltung einer Mindestbeschränkung für die …

14 r clustering

2

Was ist der Unterschied zwischen der Ausgabe von "coef" und "(exp) coef" von coxph in R?

Ich habe versucht zu erkennen, was genau die Ausgabe von "coef" und "(exp) coef" von coxph bedeutet. Es scheint, dass die "(exp) coef" Vergleiche der ersten Variablen im Modell gemäß der im Befehl zugewiesenen Gruppe sind. Wie kommt die Coxph-Funktion zu den Werten für "coef" und "(exp) coef"? Wie ermittelt …

14 r survival interpretation

2

Umgang mit Singular Fit in gemischten Modellen

Nehmen wir an, wir haben ein Modell mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects …

14 mixed-model lme4-nlme overfitting singular

1

logloss vs gini / auc

Ich habe zwei Modelle trainiert (binäre Klassifikatoren mit h2o AutoML) und möchte eines zur Verwendung auswählen. Ich habe folgende Ergebnisse: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 Die Spalten aucund loglosssind die Kreuzvalidierungsmetriken (bei der Kreuzvalidierung …

14 model-selection validation auc gini log-loss

3

Wie sollten Feature-Auswahl und Hyperparameter-Optimierung in der Pipeline für maschinelles Lernen angeordnet werden?

Mein Ziel ist es, Sensorsignale zu klassifizieren. Das bisherige Konzept meiner Lösung lautet: i) Konstruieren von Features aus dem Rohsignal ii) Auswählen relevanter Features mit ReliefF und einem Clustering-Ansatz iii) Anwenden von NN, Random Forest und SVM Ich bin jedoch in einem Dilemma gefangen. In ii) und iii) gibt es …

14 feature-selection hyperparameter optimization

1

Was bedeutet eine Engpassschicht in neuronalen Netzen?

Ich habe das FaceNet- Papier gelesen und im dritten Absatz der Einleitung heißt es: Frühere Gesichtserkennungsansätze, die auf tiefen Netzwerken basieren, verwenden eine Klassifizierungsschicht, die über einen Satz bekannter Gesichtsidentitäten trainiert wurde, und verwenden dann eine Zwischenengpassschicht als Darstellung, um die Erkennung über den im Training verwendeten Satz von Identitäten …

14 neural-networks image-processing

1

Was ist der Unterschied zwischen Episode und Epoche beim Deep-Q-Lernen?

Ich versuche die berühmte Zeitung "Atari spielen mit Deep Reinforcement Learning" ( pdf ) zu verstehen . Mir ist der Unterschied zwischen einer Epoche und einer Episode unklar . In Algorithmus befindet sich die äußere Schleife über Episoden , während in Abbildung 2 die x-Achse als Epoche bezeichnet ist . …

14 neural-networks terminology reinforcement-learning q-learning

2

Wie passt die k-fache Kreuzvalidierung in den Kontext von Trainings- / Validierungs- / Testsätzen?

Meine Hauptfrage betrifft den Versuch zu verstehen, wie die k-fache Kreuzvalidierung in den Kontext von Trainings- / Validierungs- / Testsätzen passt (wenn sie überhaupt in einen solchen Kontext passt). Normalerweise wird davon gesprochen, die Daten in einen Trainings-, Validierungs- und Testsatz aufzuteilen - beispielsweise in einem Verhältnis von 60/20/20 pro …

14 cross-validation dataset overfitting

2

Wie arbeitet Naive Bayes mit kontinuierlichen Variablen?

Nach meinem (sehr grundlegenden) Verständnis schätzt Naive Bayes die Wahrscheinlichkeiten basierend auf den Klassenhäufigkeiten der einzelnen Merkmale in den Trainingsdaten. Aber wie berechnet es die Häufigkeit kontinuierlicher Variablen? Und wie klassifiziert es bei der Vorhersage eine neue Beobachtung, die möglicherweise nicht die gleichen Werte wie eine Beobachtung im Trainingssatz aufweist? …

14 machine-learning classification bayesian naive-bayes

2

Ist es üblich, den mittleren Verlust über die Chargen anstelle der Summe zu minimieren?

Tensorflow enthält ein Beispiel-Tutorial zur Klassifizierung von CIFAR-10 . Im Tutorial wird der durchschnittliche Kreuzentropieverlust über die Charge minimiert. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). 1-D tensor of …

14 neural-networks loss-functions tensorflow

1

Ist die Gradientenverstärkung für Daten mit niedrigen Ereignisraten wie 1% geeignet?

Ich versuche, den Gradienten für ein Dataset mit einer Ereignisrate von etwa 1% mithilfe von Enterprise Miner zu erhöhen, aber es wird keine Ausgabe erzeugt. Meine Frage ist, ob es sich um einen auf Entscheidungsbäumen basierenden Ansatz handelt, ob es überhaupt richtig ist, die Gradientenverstärkung bei einem so niedrigen Ereignis …

14 boosting unbalanced-classes rare-events gradient

2

CNN Xavier Gewichtsinitialisierung

In einigen Tutorials wurde festgestellt, dass die "Xavier" -Gewichtsinitialisierung (Artikel: Verständnis der Schwierigkeit, tiefe Feedforward-Neuronale Netze zu trainieren ) ein effizienter Weg ist, um die Gewichte von Neuronalen Netzen zu initialisieren. Für vollständig verbundene Ebenen gab es in diesen Tutorials eine Faustregel: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad …

14 normal-distribution variance neural-networks conv-neural-network

3

Wie lässt sich die probabilistische Interpretation der AUC ableiten?

Warum ist der Bereich unter der ROC-Kurve die Wahrscheinlichkeit, dass ein Klassifizierer eine zufällig ausgewählte "positive" Instanz (aus den abgerufenen Vorhersagen) höher einstuft als eine zufällig ausgewählte "positive" Instanz (aus der ursprünglichen positiven Klasse)? Wie kann man diese Aussage mathematisch unter Verwendung von Integralen beweisen und die CDFs und PDFs …

14 probability roc auc