Data Science

1

Wie kann man die Komplexität eines englischen Satzes bestimmen?

Ich arbeite an einer App, mit der Menschen Englisch als Zweitsprache lernen können. Ich habe bestätigt, dass Sätze beim Erlernen einer Sprache helfen, indem sie zusätzlichen Kontext bereitstellen. Ich habe das getan, indem ich eine kleine Recherche in einem Klassenzimmer mit 60 Schülern durchgeführt habe. Ich habe über hunderttausend Sätze …

10 machine-learning classification nlp text-mining

1

Gradient Boosting Tree: „Je variabler desto besser“?

Aus dem Tutorial des XGBoost geht hervor, dass, wenn jeder Baum wächst, alle Variablen gescannt werden, um ausgewählt zu werden, um Knoten zu teilen, und die mit der maximalen Verstärkungsaufteilung ausgewählt wird. Meine Frage ist also, was wäre, wenn ich dem Datensatz einige Rauschvariablen hinzufügen würde, würden diese Rauschvariablen die …

10 xgboost self-study

3

Wie verwende ich GAN für die unbeaufsichtigte Merkmalsextraktion aus Bildern?

Ich habe verstanden, wie GAN funktioniert, während zwei Netzwerke (generativ und diskriminativ) miteinander konkurrieren. Ich habe ein DCGAN (GAN mit Faltungsdiskriminator und Entfaltungsgenerator) erstellt, das jetzt erfolgreich handschriftliche Ziffern generiert, die denen im MNIST-Datensatz ähneln. Ich habe viel über GANs Anwendungen zum Extrahieren von Funktionen aus Bildern gelesen. Wie kann …

10 feature-extraction unsupervised-learning gan

1

Vermeiden Sie das erneute Laden von DataFrame zwischen verschiedenen Python-Kerneln

Gibt es eine Möglichkeit, eine Variable (große Tabelle / Datenrahmen) im Speicher zu behalten und für mehrere Ipython-Notizbücher freizugeben? Ich würde nach etwas suchen, das konzeptionell den persistenten Variablen von MATLAB ähnlich ist. Dort ist es möglich, eine benutzerdefinierte Funktion / Bibliothek von mehreren einzelnen Editoren (Notizbüchern) aufzurufen und diese …

10 python bigdata matlab jupyter ipython

1

Warum kann TensorFlow kein einfaches lineares Modell anpassen, wenn ich den absoluten mittleren Fehler anstelle des mittleren quadratischen Fehlers minimiere?

In der Einführung habe ich mich gerade geändert loss = tf.reduce_mean(tf.square(y - y_data)) zu loss = tf.reduce_mean(tf.abs(y - y_data)) und das Modell kann nicht lernen, dass der Verlust mit der Zeit immer größer wurde. Warum?

10 neural-network deep-learning tensorflow

3

Wie exportiere ich eine Zelle eines Jupyter-Notebooks?

Ich arbeite gerade an einem Jupyter- Notebook. Ich möchte einen Teil meines Codes auf einer eigenständigen iPython- Shell ausführen . Im Moment exportiere ich meinen iPython- Code (Datei -> Download als) und führe ihn dann in meinem iPython aus (mit% run). Es funktioniert, aber ich möchte nur eine Zelle oder …

10 ipython jupyter

2

So normalisieren Sie Daten für das neuronale Netz und den Entscheidungswald

Ich habe einen Datensatz mit 20000 Proben, jede hat 12 verschiedene Funktionen. Jede Stichprobe gehört entweder zur Kategorie 0 oder 1. Ich möchte ein neuronales Netzwerk und einen Entscheidungswald trainieren, um die Stichproben zu kategorisieren, damit ich die Ergebnisse und beide Techniken vergleichen kann. Das erste, worauf ich gestoßen bin, …

10 neural-network decision-trees normalization

2

Relu hat per Definition einen Gradienten von 0, warum ist das Verschwinden des Gradienten dann kein Problem für x <0?

Per Definition ist Relu max(0,f(x)). Dann ist sein Gradient definiert als : 1 if x > 0 and 0 if x < 0. Würde dies nicht bedeuten, dass der Gradient immer 0 ist (verschwindet), wenn x <0 ist? Warum sagen wir dann, dass Relu nicht unter dem Problem des Verschwindens …

10 deep-learning

3

Wie gruppiere ich identische Werte und zähle ihre Häufigkeit in Python?

Neuling in der Analytik mit Python, seien Sie also bitte vorsichtig :-) Ich konnte keine Antwort auf diese Frage finden - entschuldige mich, wenn sie bereits an anderer Stelle in einem anderen Format beantwortet wurde. Ich habe einen Datensatz mit Transaktionsdaten für ein Einzelhandelsgeschäft. Variablen zusammen mit Erklärung sind: Abschnitt: …

10 python statistics pandas ipython

1

SO WIRD'S GEMACHT: Deep Initialisierung des neuronalen Netzwerks

Angesichts schwieriger Lernaufgaben (z. B. hohe Dimensionalität, inhärente Datenkomplexität) sind tiefe neuronale Netze schwer zu trainieren. Um viele der Probleme zu lösen, könnte man: Normalisieren Sie && Handpick- Qualitätsdaten Wählen Sie einen anderen Trainingsalgorithmus (z. B. RMSprop anstelle von Gradient Descent). Wählen Sie einen steileren Gradienten Kostenfunktion (z. B. Cross …

10 machine-learning neural-network deep-learning randomized-algorithms

3

Aufbau eines maschinellen Lernmodells zur Vorhersage der Ernteerträge auf der Grundlage von Umweltdaten

Ich habe einen Datensatz mit Daten zu Temperatur, Niederschlag und Sojabohnenerträgen für einen Betrieb für 10 Jahre (2005 - 2014). Basierend auf diesen Daten möchte ich die Renditen für 2015 vorhersagen. Bitte beachten Sie, dass der Datensatz TÄGLICHE Werte für Temperatur und Niederschlag enthält, jedoch nur 1 Wert pro Jahr …

10 python scikit-learn pandas

1

XGBoost Linear Regression Ausgabe falsch

Ich bin ein Neuling bei XGBoost, also verzeihen Sie meine Unwissenheit. Hier ist der Python-Code: import pandas as pd import xgboost as xgb df = pd.DataFrame({'x':[1,2,3], 'y':[10,20,30]}) X_train = df.drop('y',axis=1) Y_train = df['y'] T_train_xgb = xgb.DMatrix(X_train, Y_train) params = {"objective": "reg:linear"} gbm = xgb.train(dtrain=T_train_xgb,params=params) Y_pred = gbm.predict(xgb.DMatrix(pd.DataFrame({'x':[4,5]}))) print Y_pred Ausgabe …

10 python linear-regression xgboost

2

Was tun, wenn das Testen von Daten weniger Funktionen als die Trainingsdaten hat?

Angenommen, wir prognostizieren den Verkauf eines Geschäfts und meine Trainingsdaten weisen zwei Funktionen auf: Eine über den Ladenverkauf mit den Daten (das Feld "Laden" ist nicht eindeutig) Eine über die Geschäftstypen (das Feld "Geschäft" ist hier eindeutig) Die Matrix würde also ungefähr so aussehen: +-------+-----------+------------+---------+-----------+------+-------+--------------+ | Store | DayOfWeek | …

10 machine-learning regression feature-selection feature-construction missing-data

2

Wie kommen Wissenschaftler auf die richtigen Parameter und Topologien des Hidden Markov-Modells?

Ich verstehe, wie ein Hidden-Markov-Modell in genomischen Sequenzen verwendet wird, beispielsweise beim Auffinden eines Gens. Aber ich verstehe nicht, wie ich ein bestimmtes Markov-Modell entwickeln soll. Ich meine, wie viele Staaten sollte das Modell haben? Wie viele mögliche Übergänge? Sollte das Modell eine Schleife haben? Wie würden sie wissen, dass …

10 machine-learning model-selection hyperparameter markov

1

Benutzerprodukt positiv (Klickdaten) verfügbar. Wie generiere ich negative (No-Click-Daten)?

Es ist sehr häufig, dass wir Benutzerproduktdaten haben, die als "Klick" gekennzeichnet sind. Um das Modell zu lernen, benötige ich Klick- und No-Click-Daten. Der einfachste Ansatz zum Generieren besteht darin, Benutzer-Produkt-Paare zu verwenden, die nicht in Klickdaten enthalten sind. Dies kann jedoch irreführend sein. Beispiel: user1, product1 (click) user2, product2 …

10 machine-learning data-mining