Data Science machine-learning

5

Hochladen des Bilderordners von meinem System in Google Colab

Ich möchte ein Deep-Learning-Modell auf einem Datensatz trainieren, der ungefähr 3000 Bilder enthält. Da der Datensatz sehr groß ist, möchte ich Google Colab verwenden, da es von der GPU unterstützt wird. Wie lade ich diesen vollständigen Bildordner in mein Notizbuch hoch und verwende ihn?

14 machine-learning neural-network deep-learning dataset colab

4

Ist Gradient Descent für jeden Optimierer von zentraler Bedeutung?

Ich möchte wissen, ob Gradient Descent der Hauptalgorithmus ist, der in Optimierern wie Adam, Adagrad, RMSProp und mehreren anderen Optimierern verwendet wird.

13 machine-learning neural-network deep-learning optimization gradient-descent

1

XGBRegressor vs. xgboost.train großer Geschwindigkeitsunterschied?

Wenn ich mein Modell mit dem folgenden Code trainiere: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) es endet in ungefähr 1 Minute. Wenn ich mein Modell mit der …

13 machine-learning python decision-trees xgboost efficiency

1

Rückausbreitung durch max. Pooling-Schichten

Ich habe eine kleine Unterfrage zu dieser Frage . Ich verstehe, dass bei der Rückübertragung durch eine Max-Pooling-Schicht der Gradient so zurückgeleitet wird, dass das Neuron in der vorherigen Schicht, das als Max ausgewählt wurde, den gesamten Gradienten erhält. Was ich nicht 100% sicher bin, ist, wie der Gradient in …

13 machine-learning neural-network convnet backpropagation

2

Lineare Regression mit unsymmetrischer Kostenfunktion?

Ich möchte einen Wert vorhersagen und ich versuche, eine Vorhersage zu erhalten, bei der so niedrig wie möglich ist, aber immer noch größer als . Mit anderen Worten: Y ( x ) , Y ( x ) Kosten { Y ( x ) ≳ Y ( x ) } > …

13 machine-learning logistic-regression

3

Muss ich bei einer unsymmetrischen Klasse eine Stichprobe für meine Validierungs- / Testdatensätze verwenden?

Ich bin ein Anfänger im maschinellen Lernen und stehe vor einer Situation. Ich arbeite an einem Real Time Bidding-Problem mit dem IPinYou-Dataset und versuche, eine Klickvorhersage zu erstellen. Die Sache ist, wie Sie vielleicht wissen, dass der Datensatz sehr unausgeglichen ist: Rund 1300 negative Beispiele (ohne Klick) für 1 positives …

13 machine-learning dataset sampling

1

Was ist der Unterschied zwischen Feature-Generierung und Feature-Extraktion?

Kann mir jemand sagen, was der Zweck der Feature-Generierung ist? und warum muss der Merkmalsraum angereichert werden, bevor ein Bild klassifiziert wird? Ist es ein notwendiger Schritt? Gibt es eine Methode, um den Funktionsbereich zu erweitern?

13 machine-learning classification

2

Visualisierung des Deep Neural Network Trainings

Ich versuche, ein Äquivalent zu Hinton-Diagrammen für mehrschichtige Netzwerke zu finden, um die Gewichte während des Trainings zu zeichnen. Das trainierte Netzwerk ähnelt in gewisser Weise einem Deep SRN, dh es hat eine hohe Anzahl von Mehrfachgewichtungsmatrizen, was die gleichzeitige Darstellung mehrerer Hinton-Diagramme visuell verwirrend machen würde. Kennt jemand eine …

13 machine-learning neural-network visualization deep-learning

2

Welche Funktionen werden im Allgemeinen von Parse-Bäumen beim Klassifizierungsprozess in NLP verwendet?

Ich untersuche verschiedene Arten von Analysebaumstrukturen. Die beiden weit verbreiteten Analysebaumstrukturen sind a) Wahlkreisbasierter Analysebaum und b) Abhängigkeitsbasierte Analysebaumstrukturen. Ich kann beide Arten von Analysebaumstrukturen mit dem Stanford NLP-Paket generieren. Ich bin mir jedoch nicht sicher, wie ich diese Baumstrukturen für meine Klassifizierungsaufgabe verwenden soll. Zum Beispiel: Wenn ich eine …

13 machine-learning nlp feature-selection feature-extraction

4

Studieren von Algorithmen für maschinelles Lernen: Tiefe des Verständnisses vs. Anzahl der Algorithmen

Vor kurzem wurde ich in das Gebiet der Data Science eingeführt (es sind ungefähr 6 Monate vergangen), und ich begann die Reise mit einem Kurs zum maschinellen Lernen von Andrew Ng und einer Stelle, die mit der Arbeit an der Data Science-Spezialisierung von JHU begann. In der praktischen Anwendung habe …

13 machine-learning

3

Bildgrößenänderung und -auffüllung für CNN

Ich möchte eine CNN für die Bilderkennung trainieren. Bilder für das Training haben keine feste Größe. Ich möchte, dass die Eingabegröße für die CNN beispielsweise 50 x 100 (Höhe x Breite) beträgt. Wenn ich einige kleine Bilder (zum Beispiel 32x32) auf die Eingabegröße verkleinere, wird der Inhalt des Bildes horizontal …

13 machine-learning image-classification preprocessing image-recognition

1

Was ist der Unterschied zwischen einer heißen Codierung und einer ausgelassenen Codierung?

Ich lese eine Präsentation und empfehle, keine Kodierung wegzulassen, aber mit einer heißen Kodierung ist es in Ordnung. Ich dachte, sie wären beide gleich. Kann jemand beschreiben, was die Unterschiede zwischen ihnen sind?

13 machine-learning data-mining feature-selection feature-extraction feature-engineering

4

Entscheidungsbaum vs. KNN

In welchen Fällen ist es besser, einen Entscheidungsbaum und in anderen Fällen einen KNN zu verwenden? Warum in bestimmten Fällen einen von ihnen verwenden? Und der andere in verschiedenen Fällen? (Betrachtet man die Funktionalität, nicht den Algorithmus) Hat jemand Erklärungen oder Hinweise dazu?

13 machine-learning data-mining decision-trees

4

Können wir die Vorteile des Transfer-Lernens beim Training von word2vec-Modellen nutzen?

Ich suche nach vorab trainierten Gewichten für bereits trainierte Modelle wie Google News-Daten usw. Es fiel mir schwer, ein neues Modell mit einer ausreichenden Datenmenge (10 GB usw.) für mich selbst zu trainieren. Ich möchte also vom Transferlernen profitieren, bei dem ich vorab trainierte Ebenengewichte erhalten und diese Gewichte für …

13 machine-learning bigdata word2vec

3

Beste Methode zum Klassifizieren von Datasets mit gemischten Attributtypen

Ich würde gerne wissen, wie man einen Datensatz, der aus gemischten Attributtypen besteht, am besten klassifiziert, z. B. in Textform und numerisch. Ich weiß, dass ich Text in Boolean konvertieren kann, aber der Wortschatz ist vielfältig und die Daten werden zu spärlich. Ich habe auch versucht, die Attributtypen separat zu …

13 machine-learning classification

Als «machine-learning» getaggte Fragen