Statistiken und Big Data machine-learning

1

Die kleinste Winkelregression hält die Korrelationen monoton abnehmend und gebunden?

Ich versuche, ein Problem für die kleinste Winkelregression (LAR) zu lösen. Dies ist ein Problem 3.23 auf Seite 97 von Hastie et al., Elements of Statistical Learning, 2nd. ed. (5. Druck) . Betrachten Sie ein Regressionsproblem mit allen Variablen und Antworten mit dem Mittelwert Null und der Standardabweichung Eins. Angenommen, …

9 regression machine-learning correlation self-study

2

Berechnen Sie die ROC-Kurve für Daten

Ich habe also 16 Studien, in denen ich versuche, eine Person anhand eines biometrischen Merkmals mithilfe von Hamming Distance zu authentifizieren. Mein Schwellenwert ist auf 3,5 eingestellt. Meine Daten sind unten und nur Versuch 1 ist ein wahres Positiv: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

1

Lernen der Struktur einer hierarchischen Verstärkungsaufgabe

Ich habe hierachiale Verstärkungslernprobleme untersucht, und während viele Artikel Algorithmen zum Erlernen einer Richtlinie vorschlagen, scheinen alle davon auszugehen, dass sie im Voraus eine Diagrammstruktur kennen, die die Hierarchie der Aktionen in der Domäne beschreibt. Beispielsweise beschreibt die MAXQ-Methode für das Lernen der hierarchischen Verstärkung von Dietterich ein Diagramm mit …

9 machine-learning

4

Berechnung des Verhältnisses der für die Modellanpassung / Schulung und Validierung verwendeten Probendaten

Bereitstellung einer Stichprobengröße "N", die ich zur Vorhersage von Daten verwenden möchte. Wie kann ich die Daten so unterteilen, dass ich einige davon zum Erstellen eines Modells und die restlichen Daten zum Validieren des Modells verwende? Ich weiß, dass es keine Schwarz-Weiß-Antwort darauf gibt, aber es wäre interessant, einige "Faustregeln" …

9 machine-learning modeling sample validation

2

Beeinflusst die Implementierung der Kreuzvalidierung die Ergebnisse?

Wie Sie wissen, gibt es zwei beliebte Arten der Kreuzvalidierung: K-fach und zufällige Unterabtastung (wie in Wikipedia beschrieben ). Trotzdem weiß ich, dass einige Forscher Artikel erstellen und veröffentlichen, in denen etwas, das als K-facher Lebenslauf bezeichnet wird, tatsächlich eine zufällige Unterabtastung ist. In der Praxis wissen Sie also nie, …

9 machine-learning cross-validation

2

Hat KNN eine Verlustfunktion?

Ich habe im Kontext des maschinellen Lernens keine Definition der Verlustfunktion im Wiki gefunden. Dieser ist jedoch weniger formal, es ist klar genug. Im Kern ist eine Verlustfunktion unglaublich einfach: Sie bewertet, wie gut Ihr Algorithmus Ihren Datensatz modelliert. Wenn Ihre Vorhersagen völlig falsch sind, gibt Ihre Verlustfunktion eine höhere …

9 machine-learning

3

Wie man die zufälligen Waldbäume dazu bringt, Dezimalstellen zu stimmen, aber nicht binär

Meine Frage betrifft die binäre Klassifizierung, beispielsweise die Trennung von guten und schlechten Kunden, aber nicht die Regression oder nicht-binäre Klassifizierung. In diesem Zusammenhang ist ein zufälliger Wald ein Ensemble von Klassifizierungsbäumen. Für jede Beobachtung stimmt jeder Baum mit "Ja" oder "Nein", und die durchschnittliche Stimme aller Bäume ist die …

9 r machine-learning classification random-forest

1

harte Abstimmung, weiche Abstimmung in ensemblebasierten Methoden

Ich lese praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow: Konzepte, Tools und Techniken zum Aufbau intelligenter Systeme . Dann bin ich nicht in der Lage, den Unterschied zwischen hartem und weichem Voting im Zusammenhang mit ensemblebasierten Methoden herauszufinden. Ich zitiere Beschreibungen von ihnen aus dem Buch. Die ersten beiden Bilder …

9 machine-learning ensemble

1

Protokollwahrscheinlichkeiten in Bezug auf den Softmax-Klassifikator

In diesem https://cs231n.github.io/neural-networks-case-study/ wird erwähnt, warum "der Softmax-Klassifizierer jedes Element von ff so interpretiert, dass es die (nicht normalisierten) Protokollwahrscheinlichkeiten der drei Klassen enthält". Ich verstehe, warum es nicht normalisiert ist, aber nicht, warum es protokolliert wird. Was bedeutet eine Log-Wahrscheinlichkeit? Warum nicht einfach nicht normalisierte Wahrscheinlichkeiten sagen?

9 machine-learning neural-networks information-theory softmax

2

Optimieren Sie SVM, um falsch negative Ergebnisse bei der binären Klassifizierung zu vermeiden

Ich trainiere einen binären SVM-Klassifikator mit Scikit Learn. Aufgrund der Art meines Problems muss ich falsche Negative vermeiden. Da nichts umsonst ist, kann ich eine höhere Rate an falsch positiven Ergebnissen erzielen, um die Anzahl der falsch negativen Ergebnisse zu verringern. Wie können wir das machen (idealerweise mit Scikit lernen)? …

9 machine-learning cross-validation svm python scikit-learn

1

Differenzierung der Kreuzentropie

Ich habe versucht, ein Programm zum Trainieren neuronaler Netze auf meinem Computer zu erstellen. Für das betreffende Netzwerk habe ich mich für die Funktion Cross Entropy Error entschieden: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Wobei die für das Neuron ist und die Ausgabe dieses Neurons ist, das versucht, vorherzusagen . j o …

9 machine-learning neural-networks derivative cross-entropy differential-equations

2

Ist der Zufallszustand ein zu stimmender Parameter?

Ein Problem, das in meinen Experimenten häufig auftritt, ist die unterschiedliche Leistung des Modells, wenn der Zufallsstatus für den Algorithmus geändert wird. Die Frage ist also einfach: Soll ich den Zufallszustand als Hyperparameter verwenden? Warum ist das so? Wenn mein Modell andere Modelle mit unterschiedlichen Zufallszuständen übertrifft, sollte ich das …

9 machine-learning scikit-learn

2

Trainingsdaten sind unausgewogen - aber sollte mein Validierungssatz auch sein?

Ich habe Daten beschriftet, die aus 10000 positiven und 50000 negativen Beispielen bestehen, was insgesamt 60000 Beispiele ergibt. Offensichtlich sind diese Daten unausgewogen. Nehmen wir nun an, ich möchte meinen Validierungssatz erstellen und dazu 10% meiner Daten verwenden. Meine Frage lautet wie folgt: Sollte ich sicherstellen, dass mein Validierungssatz AUCH …

9 machine-learning neural-networks cross-validation dataset unbalanced-classes

2

Artikel-Artikel-Kollaborative Filterung vs. Warenkorbanalyse

Was ist der grundlegende Unterschied zwischen artikelbasierter kollaborativer Filterung und marktbasierter Analyse? Ist das letztere ein Spezialfall des ersteren?

9 machine-learning recommender-system

1

bezüglich des Ausgabeformats für die semantische Segmentierung

Beim Lesen der semantischen Segmentierungspapiere sowie der entsprechenden Implementierungen stellte ich fest, dass einige Ansätze Softmax verwenden, während andere Sigmoid für die Beschriftung auf Pixelebene verwenden. In Bezug auf U-Net-Papier ist die Ausgabe beispielsweise eine Feature-Map mit zwei Kanälen. Ich habe einige Implementierungen mit Softmax über diese beiden Kanalausgänge gesehen. …

9 machine-learning deep-learning computer-vision tensorflow

Als «machine-learning» getaggte Fragen