Als «performance» getaggte Fragen

12
Wie groß ist Big Data?
Viele Menschen verwenden den Begriff Big Data eher kommerziell , um darauf hinzuweisen, dass große Datenmengen in die Berechnung einbezogen sind und daher potenzielle Lösungen eine gute Leistung aufweisen müssen. Natürlich sind Big Data immer mit Begriffen wie Skalierbarkeit und Effizienz verbunden, aber was genau definiert ein Problem als Big …
4
Gibt es eine einfache Möglichkeit, pandas.DataFrame.isin parallel auszuführen?
Ich habe ein Modellierungs- und Bewertungsprogramm, das die DataFrame.isinFunktion von Pandas stark nutzt und Listen von Facebook-Like-Einträgen einzelner Benutzer für jede von mehreren tausend spezifischen Seiten durchsucht. Dies ist der zeitaufwändigste Teil des Programms, mehr als das Modellieren oder Bewerten von Stücken, einfach weil es nur auf einem Kern läuft, …
3
Wie gehen Sie mit den Erwartungen bei der Arbeit um?
Angesichts der großen Nachfrage nach Data Science, maschinellem Lernen und all den Erfolgsgeschichten gibt es viele berechtigte und überhöhte Erwartungen von Data Scientists und ihren Vorhersagemodellen. Meine Frage an praktizierende Statistiker, Experten für maschinelles Lernen und Data Scientists lautet: Wie gehen Sie mit den Erwartungen der Geschäftsleute in Ihrem Unternehmen …
3
Messung der Leistung verschiedener Klassifikatoren mit unterschiedlichen Stichprobengrößen
Ich verwende derzeit mehrere verschiedene Klassifizierer für verschiedene Entitäten, die aus Text extrahiert wurden, und verwende Präzision / Rückruf als Zusammenfassung der Leistung jedes einzelnen Klassifizierers für ein bestimmtes Dataset. Ich frage mich, ob es eine sinnvolle Möglichkeit gibt, die Leistung dieser Klassifizierer auf ähnliche Weise zu vergleichen, die aber …
4
Leistungsmaß: Warum heißt es Rückruf?
Die Genauigkeit ist der Bruchteil der abgerufenen Instanzen, die relevant sind, während der Rückruf (auch als Empfindlichkeit bezeichnet) der Bruchteil der relevanten Instanzen ist, die abgerufen werden. Ich kenne ihre Bedeutung, aber ich weiß nicht, warum es Rückruf heißt ? Ich bin kein englischer Muttersprachler. Ich weiß, dass Rückruf bedeutet, …
3
Beste Sprachen für wissenschaftliches Rechnen [geschlossen]
Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 5 Jahren . Es scheint, als ob in den meisten Sprachen …
10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 
4
Wie kann man die Leistung von Feature-Auswahlmethoden vergleichen?
Es gibt verschiedene Ansätze zur Merkmalsauswahl / Variablenauswahl (siehe zum Beispiel Guyon & Elisseeff, 2003 ; Liu et al., 2010 ): Filtermethoden (z. B. korrelationsbasiert, entropiebasiert, zufällige Waldbedeutung basierend), Wrapper-Methoden (z. B. Vorwärtssuche, Bergsteigensuche) und eingebettete Methoden, bei denen die Merkmalsauswahl Teil des Modelllernens ist. Viele veröffentlichte Algorithmen sind auch …
3
Verbessern Sie die Filtergeschwindigkeit des Pandas-Datenrahmens
Ich habe einen Datensatz mit 19 Spalten und ungefähr 250.000 Zeilen. Ich habe mit größeren Datensätzen gearbeitet, aber dieses Mal entschied sich Pandas, mit meinen Nerven zu spielen. Ich habe versucht, den ursprünglichen Datensatz anhand einiger einfacher Regeln in drei Unterdatenrahmen aufzuteilen. Die Ausführung des Codes dauert jedoch lange. Etwa …
1
Was ist die beste Leistungsmetrik, die beim Ausgleichen von Datensätzen mithilfe der SMOTE-Technik verwendet wird?
Ich habe die Smote-Technik verwendet, um meinen Datensatz zu überabtasten, und jetzt habe ich einen ausgeglichenen Datensatz. Das Problem, mit dem ich konfrontiert war, ist, dass die Leistungsmetriken; Präzision, Rückruf, f1-Messung und Genauigkeit im unausgeglichenen Datensatz werden besser ausgeführt als bei einem ausgeglichenen Datensatz. Mit welcher Messung kann ich zeigen, …
1
Warum verwenden Trainings-RNNs nicht 100% der GPU?
Ich frage mich, warum das Training von RNNs normalerweise nicht 100% der GPU verwendet. Wenn ich diesen RNN-Benchmark beispielsweise auf einem Maxwell Titan X unter Ubuntu 14.04.4 LTS x64 ausführe, liegt die GPU-Auslastung unter 90%: Der Benchmark wurde mit dem folgenden Befehl gestartet: python rnn.py -n 'fastlstm' -l 1024 -s …
3
Vergleich von Experimenten, die über verschiedene Infrastrukturen laufen
Ich entwickle einen verteilten Algorithmus. Um die Effizienz zu verbessern, hängt er sowohl von der Anzahl der Festplatten (eine pro Maschine) als auch von einer effizienten Lastausgleichsstrategie ab. Mit mehr Festplatten können wir den Zeitaufwand für E / A reduzieren. Mit einer effizienten Lastausgleichsrichtlinie können wir Aufgaben ohne großen Aufwand …
2
Was macht Sie zuversichtlich in Ihre Ergebnisse? Ab wann können Sie Ihre Arbeit Ihrer Meinung nach technischen Analphabeten vorstellen?
Ich verstehe, dass die Modelle nur so gut sind wie die Daten, die Sie erhalten, und schlechtes Design kann wirklich schlechte Daten erzeugen. Nicht zufällige Stichproben, unausgeglichene / unvollständige Designs, verwirrende Daten können die Datenanalyse sehr schwierig machen. Ab wann sollte man sicher sein, dass sie ein nützliches Modell haben? …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.