Data Science

5

Machen moderne R- und / oder Python-Bibliotheken SQL überflüssig?

Ich arbeite in einem Büro, in dem SQL Server das Rückgrat von allem ist, was wir tun, von der Datenverarbeitung über die Reinigung bis hin zum Mungieren. Mein Kollege hat sich darauf spezialisiert, komplexe Funktionen und gespeicherte Prozeduren zu schreiben, um eingehende Daten methodisch so zu verarbeiten, dass sie standardisiert …

14 python r data-cleaning data sql

2

Hochdimensionale Daten: Was sind nützliche Techniken?

Aufgrund verschiedener Flüche der Dimensionalität verschlechtern sich Genauigkeit und Geschwindigkeit vieler gängiger Vorhersagetechniken bei hochdimensionalen Daten. Welche der nützlichsten Techniken / Tricks / Heuristiken helfen dabei, hochdimensionale Daten effektiv zu verarbeiten? Beispielsweise, Funktionieren bestimmte statistische / Modellierungsmethoden bei hochdimensionalen Datensätzen gut? Können wir die Leistung unserer Vorhersagemodelle für hochdimensionale Daten …

14 machine-learning statistics dimensionality-reduction

3

Wann täuschen p-Werte?

Auf welche Datenbedingungen sollten wir achten, wenn p-Werte möglicherweise nicht die beste Methode zur Bestimmung der statistischen Signifikanz sind? Gibt es bestimmte Problemtypen, die in diese Kategorie fallen?

14 bigdata statistics

5

Merkmalsauswahl vs Merkmalsextraktion. Welche wann verwenden?

Die Merkmalsextraktion und Merkmalsauswahl verringern im Wesentlichen die Dimensionalität der Daten, aber die Merkmalsextraktion macht die Daten auch trennbarer, wenn ich recht habe. Welche Technik wäre der anderen vorzuziehen und wann? Ich dachte, da die Featureauswahl die ursprünglichen Daten und deren Eigenschaften nicht ändert, gehe ich davon aus, dass Sie …

14 feature-selection feature-extraction dimensionality-reduction

3

Vorteile des Stapelns von LSTMs?

Ich frage mich, in welchen Situationen es vorteilhaft ist, LSTMs zu stapeln?

14 machine-learning neural-network deep-learning lstm

6

Keras - Transferlernen - Eingabe-Tensor-Form ändern

Dieser Beitrag scheint darauf hinzudeuten, dass das, was ich erreichen möchte, nicht möglich ist. Davon bin ich jedoch nicht überzeugt - angesichts dessen, was ich bereits getan habe, verstehe ich nicht, warum das, was ich tun möchte, nicht erreicht werden kann ... Ich habe zwei Bilddatensätze, von denen einer Bilder …

14 keras

1

RandomForestClassifier OOB-Bewertungsmethode

Wird die zufällige Gesamtstrukturimplementierung in scikit-learn unter Verwendung der mittleren Genauigkeit als Bewertungsmethode zum Schätzen des Generalisierungsfehlers mit Out-of-Bag-Stichproben verwendet? Dies wird in der Dokumentation nicht erwähnt, aber die score () -Methode gibt die mittlere Genauigkeit an. Ich habe einen stark unausgeglichenen Datensatz und verwende AUC of ROC als Scoring-Metrik …

14 random-forest scikit-learn

2

Wie funktioniert SelectKBest?

Ich schaue mir dieses Tutorial an: https://www.dataquest.io/mission/75/improving-your-submission In Abschnitt 8, in dem die besten Funktionen gefunden werden, wird der folgende Code angezeigt. import numpy as np from sklearn.feature_selection import SelectKBest, f_classif predictors = ["Pclass", "Sex", "Age", "SibSp", "Parch", "Fare", "Embarked", "FamilySize", "Title", "FamilyId"] # Perform feature selection selector = SelectKBest(f_classif, …

14 python scikit-learn

4

Anzahl der Epochen in der Implementierung von Gensim Word2Vec

Es gibt einen iterParameter in der gensimWord2Vec-Implementierung Klasse gensim.models.word2vec.Word2Vec (Sätze = Keine, Größe = 100, Alpha = 0,025, Fenster = 5, min_count = 5, max_vocab_size = Keine, Stichprobe = 0, Startwert = 1, Arbeiter = 1, min_alpha = 0,0001, sg = 1, hs = 1, negativ = 0, cbow_mean = …

14 gensim word2vec convergence

3

Wie verwende ich LeakyRelu als Aktivierungsfunktion in der Sequenz DNN in Keras? Wenn es besser funktioniert als Relu?

Wie verwendet man LeakyRelu als Aktivierungsfunktion in der Sequenz DNN in Keras? Wenn ich etwas Ähnliches schreiben möchte wie: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) Was ist die Lösung? Setzen Sie LeakyRelu ähnlich wie Relu? Die zweite Frage lautet: Was ist die beste allgemeine Einstellung zum Einstellen der Parameter von LeakyRelu? …

14 deep-learning keras activation-function

5

Hochladen des Bilderordners von meinem System in Google Colab

Ich möchte ein Deep-Learning-Modell auf einem Datensatz trainieren, der ungefähr 3000 Bilder enthält. Da der Datensatz sehr groß ist, möchte ich Google Colab verwenden, da es von der GPU unterstützt wird. Wie lade ich diesen vollständigen Bildordner in mein Notizbuch hoch und verwende ihn?

14 machine-learning neural-network deep-learning dataset colab

2

Warum werden genetische Algorithmen nicht zur Optimierung neuronaler Netze verwendet?

Nach meinem Verständnis sind genetische Algorithmen leistungsstarke Werkzeuge für die Optimierung mehrerer Ziele. Darüber hinaus ist das Trainieren neuronaler Netze (besonders tiefer Netze) schwierig und mit vielen Problemen verbunden (nicht konvexe Kostenfunktionen - lokale Minima, verschwinden- de und explodierende Gradienten usw.). Ich bin auch der Meinung, dass konzeptionelles Training eines …

13 neural-network optimization genetic-algorithms

4

Ist Gradient Descent für jeden Optimierer von zentraler Bedeutung?

Ich möchte wissen, ob Gradient Descent der Hauptalgorithmus ist, der in Optimierern wie Adam, Adagrad, RMSProp und mehreren anderen Optimierern verwendet wird.

13 machine-learning neural-network deep-learning optimization gradient-descent

2

Warum nicht immer die ADAM-Optimierungstechnik verwenden?

Es scheint, dass der Optimierer für die adaptive Momentschätzung (Adam) fast immer besser funktioniert (schneller und zuverlässiger, wenn ein globales Minimum erreicht wird), wenn die Kostenfunktion beim Trainieren neuronaler Netze minimiert wird. Warum nicht immer Adam benutzen? Warum sollte man sich überhaupt die Mühe machen, RMSProp oder Impulsoptimierer zu verwenden?

13 neural-network optimization

1

Wie viele Features sollen mit Random Forests getestet werden?

Auf der Wikipedia-Seite, die "Die Elemente des statistischen Lernens" zitiert, heißt es: Für ein Klassifizierungsproblem mit Merkmalen gilt in der Regel ⌊ √ppp -Funktionen werden in jeder Aufteilung verwendet.⌊ p-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Ich verstehe, dass dies eine ziemlich gut fundierte Vermutung ist und wahrscheinlich durch empirische Beweise bestätigt wurde, aber gibt …

13 statistics random-forest optimization evaluation sampling