Data Science

4

Woher wissen Sie, dass das Modell überpasst hat?

Ich hoffe, die folgenden Auszüge geben einen Einblick in meine Frage. Diese stammen von http://neuralnetworksanddeeplearning.com/chap3.html Das Lernen verlangsamt sich dann allmählich. Schließlich hört die Klassifizierungsgenauigkeit gegen Epoche 280 so gut wie auf, sich zu verbessern. In späteren Epochen treten lediglich kleine stochastische Schwankungen in der Nähe des Genauigkeitswerts in Epoche …

12 neural-network overfitting

3

Massenkonvertierung kategorialer Spalten in Pandas (keine One-Hot-Codierung)

Ich habe einen Pandas-Datenrahmen mit Tonnen von kategorialen Spalten, die ich im Entscheidungsbaum mit Scikit-Learn verwenden möchte. Ich muss sie in numerische Werte konvertieren (nicht einen heißen Vektor). Ich kann es mit LabelEncoder von scikit-learn machen. Das Problem ist, dass es zu viele davon gibt und ich sie nicht manuell …

12 scikit-learn pandas categorical-data labels

2

Validierungsverlust und Genauigkeit bleiben konstant

Ich versuche, dieses Papier auf einer Reihe von medizinischen Bildern umzusetzen . Ich mache es in Keras. Das Netzwerk besteht im Wesentlichen aus 4 Conv- und Max-Pool-Schichten, gefolgt von einer vollständig verbundenen Schicht und einem Soft-Max-Klassifikator. Soweit ich weiß, bin ich der in der Zeitung erwähnten Architektur gefolgt. Der Validierungsverlust …

12 machine-learning python deep-learning keras

3

Tensorflow-Anpassung der Kostenfunktion für unausgeglichene Daten

Ich habe ein Klassifizierungsproblem mit stark unausgeglichenen Daten. Ich habe gelesen, dass Über- und Unterabtastung sowie die Änderung der Kosten für unterrepräsentierte kategoriale Ausgaben zu einer besseren Anpassung führen. Bevor dies durchgeführt wurde, kategorisierte Tensorflow jede Eingabe als Mehrheitsgruppe (und gewann eine Genauigkeit von über 90%, so bedeutungslos das auch …

12 tensorflow loss-function

3

Benötigen Sie Hilfe beim Verständnis des ungefähren Split-Points-Vorschlags von xgboost

Hintergrund: in xgboost der Iteration versucht , einen Baum zu passen f t über alle n Beispiele , die die folgende objektiv minimieren:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] wobei sind erste Ordnung und zweite Ordnung Derivate über unsere frühere beste Schätzung y (von Iteration t - 1 ):gi,higi,hig_i, h_iy^y^\hat{y}t−1t−1t-1 gi=dy^l(yi,y^)gi=dy^l(yi,y^)g_i=d_{\hat{y}}l(y_i, \hat{y}) hi=d2y^l(yi,y^)hi=dy^2l(yi,y^)h_i=d^2_{\hat{y}}l(y_i, …

12 xgboost gbm

2

Deep Learning mit Spektrogrammen zur Schallerkennung

Ich habe die Möglichkeit untersucht, Geräusche (zum Beispiel Tiergeräusche) mithilfe von Spektrogrammen zu klassifizieren. Die Idee ist, ein tiefes Faltungs-Neuronales Netz zu verwenden, um Segmente im Spektrogramm zu erkennen und eine (oder mehrere) Klassenbezeichnungen auszugeben. Dies ist keine neue Idee (siehe zum Beispiel die Klangklassifizierung von Walen oder die Erkennung …

12 deep-learning multilabel-classification audio-recognition

3

Wie kann ich dynamisch zwischen kategorialen und numerischen Daten unterscheiden?

Ich kenne jemanden, der an einem Projekt arbeitet, bei dem Datendateien unabhängig von den Spalten oder Datentypen aufgenommen werden. Die Aufgabe besteht darin, eine Datei mit einer beliebigen Anzahl von Spalten und verschiedenen Datentypen zu erstellen und zusammenfassende Statistiken zu den numerischen Daten auszugeben. Er ist sich jedoch nicht sicher, …

12 categorical-data numerical

1

Feature-Auswahl mithilfe von Feature-Wichtigkeiten in zufälligen Gesamtstrukturen mit Scikit-Learn

Ich habe die Feature-Wichtigkeiten in zufälligen Wäldern mit Scikit-Learn aufgezeichnet . Wie kann ich die Plotinformationen zum Entfernen von Features verwenden, um die Vorhersage mithilfe zufälliger Gesamtstrukturen zu verbessern? Dh wie kann man anhand der Plotinformationen erkennen, ob ein Feature nutzlos ist oder die Leistung der zufälligen Gesamtstrukturen noch schlimmer …

12 feature-selection random-forest scikit-learn

4

Herunterladen eines großen Datensatzes im Web direkt in AWS S3

Weiß jemand, ob es möglich ist, ein großes Dataset von einer URL in Amazon S3 zu importieren? Grundsätzlich möchte ich vermeiden, dass eine große Datei heruntergeladen und dann über das Webportal erneut in S3 hochgeladen wird. Ich möchte nur die Download-URL für S3 bereitstellen und darauf warten, dass sie sie …

12 dataset aws

3

Hilfe zu NER in NLTK

Ich arbeite seit einiger Zeit in NLTK mit Python. Das Problem, mit dem ich konfrontiert bin, ist, dass beim Training von NER in NLTK mit meinen benutzerdefinierten Daten keine Hilfe verfügbar ist. Sie haben MaxEnt verwendet und es auf ACE-Korpus trainiert. Ich habe viel im Internet gesucht, aber ich konnte …

12 machine-learning python nlp

2

Modellierung ungleichmäßig verteilter Zeitreihen

Ich habe eine kontinuierliche Variable, die über einen Zeitraum von einem Jahr in unregelmäßigen Abständen abgetastet wird. Einige Tage haben mehr als eine Beobachtung pro Stunde, während andere Perioden tagelang nichts haben. Dies macht es besonders schwierig, Muster in der Zeitreihe zu erkennen, da einige Monate (z. B. Oktober) stark …

12 neural-network time-series regression

2

OpenSource-Tools für die Unterstützung beim Mining von Streams von Ranglistenwerten

Stellen Sie sich einen Stream mit Tupeln vor, (user, new_score) die die Punktzahlen der Benutzer in einem Online-Spiel darstellen. Der Stream könnte 100-1.000 neue Elemente pro Sekunde enthalten. Das Spiel hat 200K bis 300K einzigartige Spieler. Ich hätte gerne ständige Fragen wie: Welche Spieler haben mehr als x Punkte in …

12 tools data-stream-mining

3

Wie kehrt eine Abfrage in eine riesige Datenbank mit vernachlässigbarer Latenz zurück?

Wenn Sie beispielsweise in Google nach etwas suchen, werden die Ergebnisse nahezu sofort zurückgegeben. Ich verstehe, dass Google Seiten mit Algorithmen usw. sortiert und indiziert, aber ich stelle mir vor, dass die Ergebnisse jeder einzelnen möglichen Abfrage nicht indiziert werden können (und die Ergebnisse personalisiert sind, was dies noch unmöglicher …

12 bigdata google search

3

Was bedeutet es, wenn wir sagen, dass die meisten Punkte in einem Hyperwürfel an der Grenze liegen?

Wenn ich einen 50-dimensionalen Hyperwürfel habe. Und ich definiere seine Grenze durch oder wobei die Dimension des Hyperwürfels ist. Die Berechnung des Punktanteils an der Grenze des Hyperwürfels dann . Was bedeutet es? Bedeutet das, dass der Rest des Raums leer ist? Wenn der Punkte an der Grenze liegen, dürfen …

12 machine-learning math

2

Gibt es eine Möglichkeit, die vom Early Stopping-Rückruf in Keras verwendete Metrik zu ändern?

Bei Verwendung des Rückrufs zum frühen Stoppen in Keras wird das Training beendet, wenn eine Metrik (normalerweise Validierungsverlust) nicht zunimmt. Gibt es eine Möglichkeit, eine andere Metrik (wie Präzision, Rückruf, f-Maß) anstelle des Validierungsverlusts zu verwenden? Alle Beispiele, die ich bisher gesehen habe, ähneln diesem: callbacks.EarlyStopping (monitor = 'val_loss', geduld …

12 machine-learning neural-network deep-learning keras