Statistiken und Big Data machine-learning

2

Varianzschätzungen in der k-fachen Kreuzvalidierung

Die K-fache Kreuzvalidierung kann verwendet werden, um die Verallgemeinerungsfähigkeit eines gegebenen Klassifikators abzuschätzen. Kann (oder sollte) ich aus allen Validierungsläufen auch eine gepoolte Varianz berechnen, um eine bessere Schätzung der Varianz zu erhalten? Wenn nein, warum? Ich habe Papiere gefunden, die die gepoolte Standardabweichung über Kreuzvalidierungsläufe verwenden . Ich habe …

27 machine-learning cross-validation

3

Wie kann man beurteilen, ob ein überwachtes Modell für maschinelles Lernen überpassend ist oder nicht?

Kann mir jemand sagen, wie ich beurteilen soll, ob ein überwachtes Modell für maschinelles Lernen überpassend ist oder nicht? Wenn ich keinen externen Validierungsdatensatz habe, möchte ich wissen, ob ich die 10-fache Kreuzvalidierung verwenden kann, um die Überanpassung zu erklären. Was soll ich als Nächstes tun, wenn ich einen externen …

27 machine-learning

5

Kann sich ein tiefes neuronales Netzwerk der Multiplikationsfunktion ohne Normalisierung annähern?

Nehmen wir an, wir möchten eine Regression für einfache f = x * yVerwendung eines standardmäßigen tiefen neuronalen Netzwerks durchführen. Ich erinnere mich, dass es Forschungsergebnisse gibt, die besagen, dass NN mit einer Hiden-Schicht jede Funktion approximieren kann, aber ich habe es versucht und ohne Normalisierung konnte NN nicht einmal …

27 regression machine-learning neural-networks deep-learning

4

Wie bestimme ich den optimalen Schwellenwert für einen Klassifikator und generiere eine ROC-Kurve?

Angenommen, wir haben einen SVM-Klassifikator. Wie generieren wir eine ROC-Kurve? (Wie theoretisch) (weil wir TPR und FPR mit jedem der Schwellenwerte generieren). Und wie ermitteln wir den optimalen Schwellenwert für diesen SVM-Klassifikator?

27 machine-learning svm

1

Warum ist PCA für Ausreißer empfindlich?

Es gibt viele Beiträge zu dieser SE, in denen robuste Ansätze für die Hauptkomponentenanalyse (PCA) erörtert werden, aber ich kann keine gute Erklärung dafür finden, warum PCA überhaupt empfindlich gegenüber Ausreißern ist.

26 machine-learning pca outliers

1

Was sind die klassischen Notationen in Statistik, linearer Algebra und maschinellem Lernen? Und wie hängen diese Notationen zusammen?

Wenn wir ein Buch lesen, spielt das Verstehen der Notationen eine sehr wichtige Rolle für das Verständnis des Inhalts. Leider haben verschiedene Communities unterschiedliche Notationskonventionen für die Formulierung des Modells und das Optimierungsproblem. Könnte jemand hier einige Formulierungsnotationen zusammenfassen und mögliche Gründe nennen? Ich werde hier ein Beispiel geben: In …

26 machine-learning probability self-study optimization

6

Wie wählt man zwischen ROC AUC und F1 Score?

Ich habe kürzlich einen Kaggle-Wettbewerb abgeschlossen, bei dem der ROC AUC-Score gemäß den Wettbewerbsanforderungen verwendet wurde. Vor diesem Projekt habe ich normalerweise den Wert f1 als Metrik zur Messung der Modellleistung verwendet. In Zukunft frage ich mich, wie ich zwischen diesen beiden Metriken wählen soll. Wann welche verwenden und welche …

26 machine-learning modeling roc scoring-rules

1

One-vs-All und One-vs-One in SVM?

Was ist der Unterschied zwischen einem Eins-gegen-Alles- und einem Eins-gegen-Eins-SVM-Klassifikator? Bedeutet "Eins gegen Alles", dass ein Klassifizierer alle Typen / Kategorien des neuen Bildes klassifiziert, und "Eins gegen Eins", dass jeder Typ / jede Kategorie eines neuen Bildes mit einem anderen Klassifizierer klassifiziert wird (jede Kategorie wird von einem speziellen …

26 machine-learning classification svm

4

Der Unterschied der Kernel in SVM?

Kann mir bitte jemand den Unterschied zwischen den Kerneln in SVM erklären: Linear Polynom Gaußscher (RBF) Sigmoid Denn wie wir wissen, wird der Kernel verwendet, um unseren Eingaberaum in einen hochdimensionalen Merkmalsraum abzubilden. Und in diesem Merkmalsraum finden wir die linear trennbare Grenze. Wann und warum werden sie verwendet (unter …

26 machine-learning svm pattern-recognition kernel-trick

3

Themenmodelle und Methoden zum gemeinsamen Auftreten von Wörtern

Beliebte Themenmodelle wie LDA bilden in der Regel Clusterwörter, die in der Regel zusammen in einem Thema (Cluster) vorkommen. Was ist der Hauptunterschied zwischen solchen Themenmodellen und anderen einfachen Clustering-Ansätzen auf der Basis von Koexistenz wie PMI? (PMI steht für Pointwise Mutual Information und wird verwendet, um die Wörter zu …

26 machine-learning text-mining natural-language topic-models

2

Neuronales Netzwerk: Verwenden Sie für die binäre Klassifizierung 1 oder 2 Ausgangsneuronen?

Angenommen, ich möchte eine binäre Klassifizierung durchführen (etwas gehört zu Klasse A oder Klasse B). Es gibt einige Möglichkeiten, dies in der Ausgabeschicht eines neuronalen Netzwerks zu tun: Verwenden Sie 1 Ausgangsknoten. Ausgang 0 (<0,5) gilt als Klasse A und 1 (> = 0,5) gilt als Klasse B (bei Sigmoid) …

26 machine-learning classification neural-networks

1

Der Trainingsverlust steigt und fällt. Was ist los?

Mein Trainingsverlust geht runter und dann wieder rauf. Es ist sehr komisch. Der Kreuzvalidierungsverlust verfolgt den Trainingsverlust. Was ist los? Ich habe zwei gestapelte LSTMS wie folgt (auf Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Ich trainiere es für 100 Epochen: …

26 machine-learning neural-networks loss-functions lstm

4

Warum sollte jemand KNN für die Regression verwenden?

Nach meinem Verständnis können wir nur eine Regressionsfunktion aufbauen, die innerhalb des Intervalls der Trainingsdaten liegt. Zum Beispiel (nur eines der Panels ist erforderlich): Wie würde ich mit einem KNN-Regressor die Zukunft vorhersagen? Auch hier scheint es sich nur um eine Funktion zu handeln, die innerhalb des Intervalls der Trainingsdaten …

26 regression machine-learning k-nearest-neighbour

2

Was ist der wahre Unterschied zwischen cv und repeatcv?

Dies ähnelt den Caret-Methoden für die erneute Stichprobe , obwohl dieser Teil der Frage dadurch nie auf eine vereinbarte Weise beantwortet wurde. caret's zug funktion bietet cvund repeatedcv. Was ist der Unterschied, wenn man sagt: MyTrainControl=trainControl( method = "cv", number=5, repeats=5 ) vs MyTrainControl=trainControl( method = "repeatedcv", number=5, repeats=5 ) …

26 r machine-learning caret

9

Was können Statistiker nicht automatisieren?

Wird Software Statistiker irgendwann überflüssig machen? Was kann nicht in einen Computer programmiert werden?

26 machine-learning dataset careers

Als «machine-learning» getaggte Fragen