Data Science

1

Unausgeglichene Daten, die zu einer Fehlklassifizierung des Datensatzes mit mehreren Klassen führen

Ich arbeite an einer Textklassifizierung mit 39 Kategorien / Klassen und 8,5 Millionen Datensätzen. (In Zukunft werden Daten und Kategorien zunehmen). Struktur oder Format meiner Daten ist wie folgt. ---------------------------------------------------------------------------------------- | product_title | Key_value_pairs | taxonomy_id | ---------------------------------------------------------------------------------------- Samsung S7 Edge | Color:black,Display Size:5.5 inch,Internal | 211 Storage:128 GB, RAM:4 …

9 machine-learning python classification scikit-learn multiclass-classification

1

Wie implementiere ich die Sigmoid-Funktion in Octave? [geschlossen]

Geschlossen . Diese Frage erfordert Details oder Klarheit . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Fügen Sie Details hinzu und klären Sie das Problem, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 2 Jahren . Wie kann ich diese Funktion in Oktave implementieren, wenn g = …

9 regression logistic-regression octave

2

Welcher Algorithmus zur Auswahl des richtigen Punktes angewendet werden soll

Das Bild unten zeigt 7 Punkte um den Ursprung. Einer von ihnen wurde von einem Menschen aufgrund von Regeln und Erfahrungen ausgewählt und ist rot gefärbt (der im unteren linken Quadranten). Jetzt haben wir über 1000 dieser Punktmengen und für jede Menge hat ein Mensch einen einzelnen Punkt ausgewählt. Diese …

9 machine-learning

1

Kann HDF5 durch separate Python-Prozesse zuverlässig gleichzeitig beschrieben und gelesen werden?

Ich schreibe ein Skript, um Live-Daten im Laufe der Zeit in einer einzigen HDF5-Datei aufzuzeichnen, die meinen gesamten Datensatz für dieses Projekt enthält. Ich arbeite mit Python 3.6 und habe beschlossen, ein Befehlszeilentool clickzum Sammeln der Daten zu erstellen . Ich mache mir Sorgen, was passiert, wenn das Datenerfassungsskript in …

9 python dataset

1

Wie gehe ich mit einem Klassifizierungsproblem um, bei dem eine der Klassen durch "keine der anderen" definiert ist?

Angenommen, ich interessiere mich für drei Klassen , , . Mein Datensatz enthält jedoch tatsächlich mehrere weitere reale Klassen .c 2 c 3 ( c j ) n j = 4c1c1c_1c2c2c_2c3c3c_3( cj)nj = 4(cj)j=4n(c_j)_{j=4}^n Die offensichtliche Antwort besteht darin, eine neue Klasse zu definieren , die sich auf alle Klassen …

9 machine-learning classification

2

„Theorem von Deep Noether“: Aufbau von Symmetrieeinschränkungen

Wenn ich ein Lernproblem habe, das eine inhärente Symmetrie haben sollte, gibt es eine Möglichkeit, mein Lernproblem einer Symmetrieeinschränkung zu unterwerfen, um das Lernen zu verbessern? Wenn ich beispielsweise eine Bilderkennung durchführe, möchte ich möglicherweise eine 2D-Rotationssymmetrie. Dies bedeutet, dass die gedrehte Version eines Bildes das gleiche Ergebnis wie das …

9 machine-learning

4

Klassifizieren Sie multivariate Zeitreihen

Ich habe einen Datensatz, der aus Zeitreihen (8 Punkte) mit ungefähr 40 Dimensionen besteht (also ist jede Zeitreihe 8 mal 40). Die entsprechende Ausgabe (die möglichen Ergebnisse für die Kategorien) ist entweder 0 oder 1. Was wäre der beste Ansatz, um einen Klassifikator für Zeitreihen mit mehreren Dimensionen zu entwerfen? …

9 classification time-series pca

1

t-SNE: Warum sind gleiche Datenwerte visuell nicht nahe beieinander?

Ich habe 200 Datenpunkte, die für alle Funktionen die gleichen Werte haben. Nach der Reduzierung der t-SNE-Dimension sehen sie nicht mehr so gleich aus: Warum befinden sie sich nicht an derselben Stelle in der Visualisierung und scheinen sogar in zwei verschiedenen Clustern verteilt zu sein?

9 visualization dimensionality-reduction tsne

2

Ist es sinnvoll, einen CNN als Autoencoder auszubilden?

Ich arbeite mit der Analyse von EEG-Daten, die eventuell klassifiziert werden müssen. Das Erhalten von Etiketten für die Aufnahmen ist jedoch etwas teuer, was mich dazu veranlasst hat, unbeaufsichtigte Ansätze in Betracht zu ziehen, um unsere ziemlich großen Mengen an unbeschrifteten Daten besser zu nutzen. Dies führt natürlich dazu, dass …

9 deep-learning convnet unsupervised-learning autoencoder

3

Warum nicht das endgültige Modell auf die gesamten Daten trainieren, nachdem Hyper-Paramaeter-Tuning-Basis-Testdaten und Modellauswahl-Basis-Validierungsdaten durchgeführt wurden?

Mit ganzen Daten meine ich Zug + Test + Validierung Wenn ich meinen Hyperparameter anhand der Validierungsdaten festgelegt und das Modell anhand der Testdaten ausgewählt habe, ist es nicht besser, ein Modell für die gesamten Daten zu trainieren, damit die Parameter besser trainiert werden, als das Modell nur für die …

9 machine-learning

3

Warum Faltungs-NNs für eine visuelle Inspektionsaufgabe über den klassischen CV-Vorlagenabgleich verwenden?

Ich hatte eine interessante Diskussion über ein Projekt, an dem wir arbeiteten: Warum ein visuelles CNN-Inspektionssystem über einem Template-Matching-Algorithmus verwenden? Hintergrund: Ich hatte eine Demo eines einfachen CNN-Bildverarbeitungssystems (Webcam + Laptop) gezeigt, das feststellte, ob ein bestimmter Objekttyp "defekt" / defekt war oder nicht - in diesem Fall eine Leiterplatte. …

9 machine-learning convnet image-classification

1

Anzahl der Parameter für Faltungsschichten

In diesem häufig zitierten Artikel diskutieren die Autoren die Anzahl der Gewichtsparameter wie folgt. Ich bin mir nicht ganz sicher, warum es Parameter hat. Ich denke, es sollte da jeder der Eingangskanäle den gleichen Filter hat, der Parameter hat. 49 C C 4949 C.249C249C^249 C.49C49CC.CC494949

9 machine-learning deep-learning computer-vision

4

Interpretieren des Entscheidungsbaums im Kontext von Feature-Wichtigkeiten

Ich versuche zu verstehen, wie man den Entscheidungsprozess eines mit sklearn erstellten Entscheidungsbaum-Klassifizierungsmodells vollständig versteht. Die beiden Hauptaspekte, die ich betrachte, sind eine grafische Darstellung des Baums und die Liste der Funktionsbedeutungen. Was ich nicht verstehe, ist, wie die Merkmalsbedeutung im Kontext des Baums bestimmt wird. Hier ist zum Beispiel …

9 machine-learning visualization scikit-learn data decision-trees

1

Wie unterscheidet sich eine Faltungslage von einem gewöhnlichen Faltungsnetzwerk?

Ich arbeite derzeit daran, die Ergebnisse dieses Papiers neu zu erstellen . In der Arbeit beschreiben sie eine Methode zur Verwendung von CNN zur Merkmalsextraktion und haben ein akustisches Modell, das Dnn-hmm ist und mit RBM vorab trainiert wurde. Abschnitt III Unterabschnitt A gibt verschiedene Möglichkeiten an, wie die Eingabedaten …

9 neural-network convnet feature-extraction audio-recognition

3

Wie kann ich große Verwirrungsmatrizen leichter lesbar machen?

Ich habe kürzlich einen Datensatz ( Link ) mit 369 Klassen veröffentlicht. Ich habe ein paar Experimente mit ihnen durchgeführt, um ein Gefühl dafür zu bekommen, wie schwierig die Klassifizierungsaufgabe ist. Normalerweise gefällt es mir, wenn es Verwirrungsmatrizen gibt, um zu sehen, welche Art von Fehler gemacht wird. Eine Matrix …

9 visualization confusion-matrix