Unix & Linux performance

5

Millionen (kleiner) Textdateien in einem Ordner

Wir möchten Millionen von Textdateien in einem Linux-Dateisystem speichern, um eine beliebige Sammlung als Service komprimieren und bereitstellen zu können. Wir haben andere Lösungen ausprobiert, beispielsweise eine Schlüssel- / Wertedatenbank, aber unsere Anforderungen an Parallelität und Parallelität machen die Verwendung des nativen Dateisystems zur besten Wahl. Am einfachsten ist es, …

15 files filesystems performance ext4

2

Der schnellste Weg, um Duplikate in einer großen Wortliste zu löschen?

Ich muss eine große Wortliste deduplizieren. Ich habe mehrere Befehle ausprobiert und hier und hier Nachforschungen angestellt , in denen erklärt wurde, dass der schnellste Weg zum Deduplizieren einer Wortliste awk zu verwenden scheint. awk -> O (n)? sortieren -> O (n log n)? Ich fand jedoch, dass dies nicht …

14 bash awk performance sort

1

Funktioniert ionice mit dem Deadline Scheduler?

Meine Debian Wheezy-Systeme verwenden den deadlineScheduler. Ich bin es gewohnt, ionicedie E / A-Priorität von festplattenintensiven Jobs zu Stoßzeiten neu zu planen, und dies scheint anekdotisch zu helfen (aber ich habe keine konkreten Beweise). Die ioniceManpage , die Kerneldokumentation und dieses OpenSUSE-Dokument weisen darauf hin, dass nur der cfqScheduler ioniceEingriffe …

13 linux performance

2

Paralleles Ausführen von Tausenden von Curl-Hintergrundprozessen im Bash-Skript

Ich führe im folgenden Bash-Skript Tausende von Curl- Hintergrundprozessen parallel aus START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Ich habe 49 GB Corei7-920 dedizierten Server (nicht virtuell). Ich verfolge Speicherverbrauch und CPU …

13 linux performance bash curl wget

6

Kann ich sortieren parallelisieren?

Zum Beispiel bzipgibt es pbzip , eine parallele Version von bzip. Gibt es solche Tools für sortdie Parallelisierung , um die Leistung zu verbessern?

13 performance sort

4

Grep in paar tausend Dateien

Ich habe ein Verzeichnis mit ca. 26.000 Dateien und muss alle diese Dateien einlesen. Das Problem ist, dass ich es so schnell wie möglich brauche, daher ist es nicht ideal, ein Skript zu erstellen, in dem grep den Namen einer Datei aus dem Befehl find entnimmt und Übereinstimmungen in die …

13 files grep performance

1

Ist das Deaktivieren von Barrieren für ext4 bei einem Laptop mit Akku sicher?

Die Handbuchseite gibt Auskunft über die barrierOption für ext4: Schreibbarrieren erzwingen die ordnungsgemäße Anordnung von Journal-Commits auf der Festplatte, wodurch Schreibcaches für flüchtige Datenträger bei gewissen Leistungseinbußen sicher verwendet werden können. Wenn Ihre Festplatten auf die eine oder andere Weise batteriegepuffert sind , kann das Deaktivieren von Barrieren die Leistung …

13 hard-disk performance ext4 laptop cache

3

Starke Schreibaktivitäten auf der SSD beeinträchtigen die Systemleistung

Mir ist aufgefallen, dass bei umfangreichen Schreibanwendungen das gesamte System langsamer wird. Um dies weiter zu testen, habe ich dies ausgeführt, um eine (relativ) CPU-arme, hohe Festplattenaktivität durchzuführen: john -incremental > file_on_SSD Dadurch werden zehntausende Zeichenfolgen pro Sekunde in eine Datei auf meiner Systemfestplatte gepumpt. Wenn dies geschieht, bleibt die …

13 kernel performance io ssd

1

Verwenden von Linux-Gruppen, um die CPU-Leistung auszugleichen

Ich habe zwei Dual-Core-Linux-Systeme installiert, die Linux-Cgroups mit relativ neuen Kerneln verwenden. Auf dem einen läuft Debian Squeeze, auf dem anderen Ubuntu 11.04 Natty Narwhal. Ich habe einen CPU-Lastausgleich erhalten, bei dem cgroups auf dem Debian-System trotz des älteren Kernels etwas besser funktionieren. Aber es ist nicht für alles richtig, …

13 linux performance cgroups

1

Wie berechnet iotop die relative E / A-Aktivität?

Ich führe einige schwere E / A-Prozesse auf meiner Workstation aus und habe sie kürzlich installiert iotop, um sie zu überwachen. Hier ist ein aktueller Screenshot: Ich bin etwas verwirrt über die Messwerte in der IO>Spalte. Es zeigt an, dass meine Festplatte mit einer E / A-Aktivität von ca. 1500% …

13 performance io disk top

2

Wie kann man verhindern, dass Cron-Jobs zu bestimmten Zeiten in Debian ausgeführt werden? (ein "Gaming" / "Performance-Modus")

Es sieht aus wie ich logcheck oben als cron - Job eingestellt haben und wann immer es laufen Prozess ist grepdurch logcheckaufgreift um ¼ meiner CPU. Jetzt habe ich bestimmte Zeiten, in denen ich meine volle CPU-Kapazität benötige und mein System so wenig Ressourcen wie möglich beanspruchen muss, außer für …

12 debian cron performance cpu laptop

1

Warum Prozess CPU% Auslastung größer als die gesamte CPU-Zeit

Wenn ich den TOP-Befehl ausführe, zeigt ein Prozess eine CPU-Auslastung von 1208% an und die Gesamt-CPU-Auslastung beträgt 81,7%, wenn der IRIX-Modus aktiviert ist. Wenn ich in den ausgeschalteten IRIX-Modus wechsle, zeigt der Prozess eine CPU-Auslastung von 99% und die Gesamt-CPU-Zeit des Benutzers beträgt 43%. Irgendwelche Ideen, was los sein könnte? …

12 performance cpu top

1

Warum zeigt "strace" nicht, dass dieser Prozess auf etwas wartet?

Der Mächtige stracehat mich im Stich gelassen. Wie ist das möglich? time foozeigt, dass foodie Ausführung einige Sekunden dauert ("real"), aber eine vernachlässigbare CPU-Zeit verwendet, sowohl im Userspace ("user") als auch im Kernel ("sys"). Für die Neugierigen foowird unten definiert. Daher verbringt es die meiste Zeit damit, auf etwas anderes …

11 performance time strace

3

Wie konfiguriere ich Swappiness in Linux Memory Management?

Der Parameter swappiness steuert die Tendenz des Kernels, Prozesse aus dem physischen Speicher auf die Auslagerungsdiskette zu verschieben. Was ist die Standardeinstellung und wie konfiguriert man diese, um die Gesamtleistung zu verbessern ?

11 linux performance swap

2

Massiver, unvorhersehbarer E / A-Leistungsabfall unter Linux

Ich verwende Debian-Tests seit ~ 6 Jahren ohne Probleme (ich aktualisiere sie nur regelmäßig), aber seit kurzem zeigt es ein zufälliges Verhalten, das als "Niedrige E / A-Leistung, die bis zum Neustart bestehen bleibt" zusammengefasst werden kann. Das Problem ist, dass plötzlich alle Lese- und Schreibvorgänge auf ~ 5 MB …

11 linux performance io

Als «performance» getaggte Fragen