Wie kann ich die Funktion node_save () von drupal beschleunigen?

Ich habe große Probleme mit der Ineffizienz von node_save (). Aber ist Node Save mein Problem? Das versuche ich letztendlich herauszufinden.

Ich habe eine Schleife mit 100.000 Iterationen erstellt. Ich habe das absolute Minimum für das Knotenobjekt erstellt, damit es gültig ist und korrekt gespeichert wird. Hier ist der Knotenspeichercode:

$node = new stdClass();
        $node->type = "test_page";

        node_object_prepare($node);

        $node->uid = 1;
        $node->title = $node_title;
        $node->status = 1;
        $node->language = LANGUAGE_NONE;
        if($node = node_submit($node)){
            node_save($node);
}

Hier sind die Ergebnisse:

100.000 Knoten wurden jeweils mit node_save () gespeichert. Die Fertigstellung dauerte 5196,22 Sekunden. Das sind NUR 19 spart eine Sekunde.

Zumindest ist dies nicht akzeptabel, insbesondere wenn diese Person ungefähr 1200 einzelne Einfügeabfragen pro Sekunde erhält und diese Person 25.000 Einfügungen pro Sekunde erhält .

Also, was ist hier los? Wo ist der Engpass? Ist es die mit der Funktion node_save () und wie ist sie aufgebaut?

Könnte es meine Hardware sein? Meine Hardware ist ein Entwicklungsserver, niemand außer mir - Intel Dual Core, 3 GHz, Ubuntu 12.04 mit 16 GB RAM.

Während die Schleife ausgeführt wird, ist meine Ressourcennutzung: MySQL 27% CPU, 6 MB RAM; PHP 22% CPU 2M RAM.

Meine MySQL-Konfiguration wurde vom Percona-Assistenten durchgeführt .

MySQL sagt, dass mein Problem festplattengebunden ist , wenn meine CPU-Auslastung unter 70% liegt . Zugegeben, ich habe nur eine WD Caviar 7200 U / min, aber ich hoffe, ich sollte mehr als 19 Einsätze pro Sekunde damit bekommen!

Vor nicht allzu langer Zeit habe ich über das Speichern von 30.000 Knoten an einem Tag geschrieben . Um klar zu sein, hat dieser Knoten jedoch nichts mit externen Kräften zu tun. Es ist lediglich ein Benchmark, um zu erfahren, wie Sie die Geschwindigkeit von Aufrufen von node_save () erhöhen können.

Realistisch gesehen muss ich mit node_save jede Minute 30.000 Elemente in die Datenbank aufnehmen. Wenn das Speichern von Knoten keine Option ist, frage ich mich, ob ich meine eigene Drupal-API-Funktion "node_batch_save ()" schreiben kann oder etwas, das die Fähigkeit von mysql nutzt, Masseneinfügungen mit der INSERT-Abfrage durchzuführen . Gedanken darüber, wie man das angeht?

Mit node_save erhalten Sie niemals 30.000 Einfügungen pro Minute. Auf keinen Fall.

Ein INSERT ist schnell, weil das alles ist, was es tut. Das Speichern von Knoten führt mehrere Einfügungen durch (Haupttabelle, Revisionstabelle, eine Tabelle für jedes Feld), löscht alle Entitätscaches und löst Hooks aus. Die Haken sind der schwierige Teil. Wenn Sie viele Contrib-Module haben (oder sogar eines, das sich schlecht verhält), die die Leistung wirklich beeinträchtigen können, insbesondere wenn der Autor den Anwendungsfall "Ich speichere eine Menge Knoten auf einmal" nicht berücksichtigt hat. Zum Beispiel musste ich dies meiner Migrate-Klasse hinzufügen:

  public function processImport(array $options = array()) {
    parent::processImport($options = array());
    // Do not force menu rebuilding. Otherwise pathauto will try to rebuild
    // in each node_save() invocation.
    variable_set('menu_rebuild_needed', FALSE);
  }

Wenn Sie dagegen eine benutzerdefinierte Speicherfunktion schreiben, die keine Hooks aufruft, besteht eindeutig die Gefahr, dass inkonsistente Daten in einem vom System unerwarteten Zustand abgerufen werden. Ich würde das niemals empfehlen. Starten Sie xhprof und sehen Sie, was passiert.

Installieren Sie zunächst XCache / APC (für PHP <5.5) und konfigurieren Sie memcached für Drupal.

Anschließend können Sie Ihre MySQL-Konfiguration für umfangreiche Abfragen optimieren, indem Sie das Skript mysqltuner verwenden, das unter folgender Adresse verfügbar ist: http://mysqltuner.pl

Z.B

# performance tweaks (adjusted based on mysqltuner.pl)
query_cache_size = 32M
query_cache_limit = 256M
join_buffer_size = 32M
key_buffer = 8M
max_allowed_packet = 32M
table_cache = 512
sort_buffer_size = 1M
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 1M
myisam_sort_buffer_size = 8M

# When making adjustments, make tmp_table_size/max_heap_table_size equal
tmp_table_size = 16M
max_heap_table_size = 16M

thread_cache_size = 4

Weitere Vorschläge:

• Deaktivieren Sie Module, die Sie nicht benötigen (z. B. Devel , Core Database Logging-Modul usw.).
• Aktualisieren Sie Ihr PHP auf den neuesten oder höheren Zweig.
• Kompilieren Sie Ihr PHP für eine 64-Bit- oder höhere Architektur neu, abhängig von Ihrer CPU.
• Verwenden Sie das schnellere Speichergerät für Ihre Datenbankdateien oder die gesamte LAMP-Umgebung (z. B. SSD oder speicherbasiertes Dateisystem ).
• Verwenden Sie den PHP-Debugger oder -Profiler, um einen Leistungsengpass herauszufinden (z. B. XDebug Profiler , DTrace oder NuSphere PhpED PHP Profiler ).
• Führen Sie einen zeitaufwändigen Drush-Befehl unter dem gprof- Profiling-Tool aus, damit Sie auch einen Leistungsengpass feststellen können

Verwenden Sie das Mongodb-Modul, um die Felder https://drupal.org/project/mongodb zu speichern. Ergebnisse hier: gemäß http://cyrve.com/mongodb