Ich habe zwei Server. Eine von ihnen hat 15 Millionen Textdateien (ca. 40 GB). Ich versuche, sie auf einen anderen Server zu übertragen. Ich überlegte, sie zu komprimieren und das Archiv zu übertragen, erkannte jedoch, dass dies keine gute Idee ist. Also habe ich den folgenden Befehl verwendet: scp...
Wir möchten Millionen von Textdateien in einem Linux-Dateisystem speichern, um eine beliebige Sammlung als Service komprimieren und bereitstellen zu können. Wir haben andere Lösungen ausprobiert, beispielsweise eine Schlüssel- / Wertedatenbank, aber unsere Anforderungen an Parallelität und...
Gelegentlich hämmert etwas auf meinem System auf die Festplatte. Ich möchte Daten protokollieren, die mich über die E / A-Nutzung pro Prozess informieren. Dann kann ich später darauf zurückgreifen und sehen, was dies weiterhin tut. Wie soll ich dieses Problem lösen? Bonuspunkte für die Lösung...
Ich muss eine große Wortliste deduplizieren. Ich habe mehrere Befehle ausprobiert und hier und hier Nachforschungen angestellt , in denen erklärt wurde, dass der schnellste Weg zum Deduplizieren einer Wortliste awk zu verwenden scheint. awk -> O (n)? sortieren -> O (n log n)? Ich fand jedoch,...
Ich führe im folgenden Bash-Skript Tausende von Curl- Hintergrundprozessen parallel aus START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Ich habe 49 GB Corei7-920 dedizierten...
Zum Beispiel bzipgibt es pbzip , eine parallele Version von bzip. Gibt es solche Tools für sortdie Parallelisierung , um die Leistung zu
Ich habe ein Verzeichnis mit ca. 26.000 Dateien und muss alle diese Dateien einlesen. Das Problem ist, dass ich es so schnell wie möglich brauche, daher ist es nicht ideal, ein Skript zu erstellen, in dem grep den Namen einer Datei aus dem Befehl find entnimmt und Übereinstimmungen in die Datei...
Meine Debian Wheezy-Systeme verwenden den deadlineScheduler. Ich bin es gewohnt, ionicedie E / A-Priorität von festplattenintensiven Jobs zu Stoßzeiten neu zu planen, und dies scheint anekdotisch zu helfen (aber ich habe keine konkreten Beweise). Die ioniceManpage , die Kerneldokumentation und...
Mir ist aufgefallen, dass bei umfangreichen Schreibanwendungen das gesamte System langsamer wird. Um dies weiter zu testen, habe ich dies ausgeführt, um eine (relativ) CPU-arme, hohe Festplattenaktivität durchzuführen: john -incremental > file_on_SSD Dadurch werden zehntausende Zeichenfolgen pro...
Ich führe einige schwere E / A-Prozesse auf meiner Workstation aus und habe sie kürzlich installiert iotop, um sie zu überwachen. Hier ist ein aktueller Screenshot: Ich bin etwas verwirrt über die Messwerte in der IO>Spalte. Es zeigt an, dass meine Festplatte mit einer E / A-Aktivität von ca....
Die Handbuchseite gibt Auskunft über die barrierOption für ext4: Schreibbarrieren erzwingen die ordnungsgemäße Anordnung von Journal-Commits auf der Festplatte, wodurch Schreibcaches für flüchtige Datenträger bei gewissen Leistungseinbußen sicher verwendet werden können. Wenn Ihre Festplatten auf...
Ich habe zwei Dual-Core-Linux-Systeme installiert, die Linux-Cgroups mit relativ neuen Kerneln verwenden. Auf dem einen läuft Debian Squeeze, auf dem anderen Ubuntu 11.04 Natty Narwhal. Ich habe einen CPU-Lastausgleich erhalten, bei dem cgroups auf dem Debian-System trotz des älteren Kernels etwas...
Wenn ich den TOP-Befehl ausführe, zeigt ein Prozess eine CPU-Auslastung von 1208% an und die Gesamt-CPU-Auslastung beträgt 81,7%, wenn der IRIX-Modus aktiviert ist. Wenn ich in den ausgeschalteten IRIX-Modus wechsle, zeigt der Prozess eine CPU-Auslastung von 99% und die Gesamt-CPU-Zeit des...
Es sieht aus wie ich logcheck oben als cron - Job eingestellt haben und wann immer es laufen Prozess ist grepdurch logcheckaufgreift um ¼ meiner CPU. Jetzt habe ich bestimmte Zeiten, in denen ich meine volle CPU-Kapazität benötige und mein System so wenig Ressourcen wie möglich beanspruchen muss,...
Ich habe einige Probleme mit der Geschwindigkeit der Netzwerkleistung auf einem Linux-Server mit Ubuntu 9.10. Die Übertragungsgeschwindigkeit für alle Arten von Verkehr liegt bei einer kabelgebundenen Ethernet-Verbindung mit 1000 MBit / s bei etwa 1,5 MB / s. Dieser Server hat in der jüngeren...
Der Mächtige stracehat mich im Stich gelassen. Wie ist das möglich? time foozeigt, dass foodie Ausführung einige Sekunden dauert ("real"), aber eine vernachlässigbare CPU-Zeit verwendet, sowohl im Userspace ("user") als auch im Kernel ("sys"). Für die Neugierigen foowird unten definiert. Daher...
Früher gab es eine Kernel-Konfigurationsoption namens sched_user oder ähnliches unter cgroups. Dies ermöglichte (meines Wissens) allen Benutzern, Systemressourcen fair zu teilen. In 2.6.35 ist es nicht verfügbar. Gibt es eine Möglichkeit, mein System so zu konfigurieren, dass io / cpu /...
Ich habe einen Debian-Computer in meinem LAN, der als Backup-Server für die anderen dient. Es verfügt über vier Festplatten, die zu einem Software-RAID-5-md-Gerät kombiniert sind, auf einem LVM und auf diesem btrfs. Backups werden mit rsync erstellt und dauern für ein großes Dateisystem über eine...
Auf der Suche nach dem, was man unter perf_eventsLinux überwachen kann , kann ich nicht finden, was Kernel PMU eventes ist? Nämlich mit perf version 3.13.11-ckt39den perf listShows Events wie: branch-instructions OR cpu/branch-instructions/ [Kernel PMU event] Insgesamt gibt es: Tracepoint event...
Ich verwende Debian-Tests seit ~ 6 Jahren ohne Probleme (ich aktualisiere sie nur regelmäßig), aber seit kurzem zeigt es ein zufälliges Verhalten, das als "Niedrige E / A-Leistung, die bis zum Neustart bestehen bleibt" zusammengefasst werden kann. Das Problem ist, dass plötzlich alle Lese- und...