Ich habe diesen riesigen 32 GB SQL-Speicherauszug, den ich in MySQL importieren muss. Ich musste noch nie einen so großen SQL-Dump importieren. Ich habe das übliche gemacht:

mysql -uroot dbname < dbname.sql

Es dauert zu lange. Es gibt eine Tabelle mit ungefähr 300 Millionen Zeilen, die in ungefähr 3 Stunden auf 1,5 Millionen angestiegen ist. Es scheint also, dass das Ganze 600 Stunden dauern würde (das sind 24 Tage) und unpraktisch ist. Meine Frage ist also, gibt es einen schnelleren Weg, dies zu tun?

Weitere Infos / Befunde

1. Die Tabellen sind alle InnoDB und es sind keine Fremdschlüssel definiert. Es gibt jedoch viele Indizes.
2. Ich habe keinen Zugriff auf den ursprünglichen Server und die ursprüngliche Datenbank, daher kann ich keine neue Sicherung erstellen oder eine "heiße" Kopie usw. erstellen.
3. Die hierinnodb_flush_log_at_trx_commit = 2 vorgeschlagene Einstellung scheint keine (deutlich sichtbare / exponentielle) Verbesserung zu bewirken.
4. Serverstatistiken während des Imports (von MySQL Workbench): https://imgflip.com/gif/ed0c8 .
5. MySQL-Version ist 5.6.20 Community.
6. innodb_buffer_pool_size = 16M und innodb_log_buffer_size = 8M. Muss ich diese erhöhen?

Perconas Vadim Tkachenko hat diese schöne bildliche Darstellung von InnoDB gemacht

Sie müssen auf jeden Fall Folgendes ändern

innodb_buffer_pool_size = 4G
innodb_log_buffer_size = 256M
innodb_log_file_size = 1G
innodb_write_io_threads = 16
innodb_flush_log_at_trx_commit = 0

Warum diese Einstellungen?

• Mit innodb_buffer_pool_size werden häufig gelesene Daten zwischengespeichert
• innodb_log_buffer_size : Ein größerer Puffer reduziert Schreib-E / A in Transaktionsprotokolle
• innodb_log_file_size : Eine größere Protokolldatei reduziert das Checkpointing und das Schreiben von E / A
• innodb_write_io_threads : Service-Schreibvorgänge in .ibdDateien. Gemäß der MySQL-DokumentationConfiguring the Number of Background InnoDB I/O Threads kann jeder Thread bis zu 256 ausstehende E / A-Anforderungen verarbeiten. Standard für MySQL ist 4, 8 für Percona Server. Max ist 64.
• innodb_flush_log_at_trx_commit
  • Im Falle eines Absturzes können sowohl 0 als auch 2 eine Sekunde Daten verlieren.
  • Der Nachteil ist, dass sowohl 0 als auch 2 die Schreibleistung erhöhen.
  • Ich wähle 0 statt 2, weil 0 den InnoDB-Protokollpuffer einmal pro Sekunde mit oder ohne Festschreibung in die Transaktionsprotokolle (ib_logfile0, ib_logfile1) schreibt. Bei Einstellung 2 wird der InnoDB-Protokollpuffer nur beim Festschreiben gelöscht. Das Setzen von 0, das von @jynus, einem ehemaligen Percona-Ausbilder, erwähnt wurde, hat noch weitere Vorteile .

Starten Sie mysql so neu

service mysql restart --innodb-doublewrite=0

Dies deaktiviert den InnoDB Double Write Buffer

Importieren Sie Ihre Daten. Wenn Sie fertig sind, starten Sie mysql normal neu

service mysql restart

Dadurch wird der InnoDB Double Write Buffer wieder aktiviert

Versuche es !!!

SEITLICHER HINWEIS : Sie sollten ein Upgrade auf 5.6.21 durchführen, um die neuesten Sicherheitspatches zu erhalten .

Müssen Sie wirklich die gesamte Datenbank wiederherstellen? Wenn nicht, mein 2c:

Sie können bestimmte Tabellen extrahieren, um die Wiederherstellung für "Chunks" durchzuführen. Etwas wie das:

zcat your-dump.gz.sql | sed -n -e '/DROP TABLE.*`TABLE_NAME`/,/UNLOCK TABLES/p' > table_name-dump.sql

Ich habe es einmal gemacht und es dauerte ungefähr 10 Minuten, um die benötigte Tabelle zu extrahieren - meine vollständige Wiederherstellung dauerte 13 bis 14 Stunden, mit einem 35-GB-Speicherauszug (gziped).

Die /pattern/,/pattern/pmit dem -nParameter macht eine Scheibe „zwischen den Mustern“ - auch sie.

Wie auch immer, um die 35 GB wiederherzustellen, habe ich eine AWS EC2-Maschine (c3.8xlarge) verwendet, Percona über yum (Centos) installiert und gerade die folgenden Zeilen hinzugefügt / geändert my.cnf:

max_allowed_packet=256M
wait_timeout=30000

Ich denke, die Zahlen sind viel zu hoch, aber für mein Setup funktioniert.

Der schnellste Weg, Ihre Datenbank zu importieren, besteht darin, die Dateien (.frm, .MYD, .MYI) unter MyISAM direkt in das Verzeichnis / var / lib / mysql / "database name" zu kopieren.

Ansonsten können Sie versuchen: mysql > use database_name; \. /path/to/file.sql

Das ist eine andere Möglichkeit, Ihre Daten zu importieren.

Eine Möglichkeit, den Import zu beschleunigen, besteht darin, die Tabelle beim Import zu sperren. Verwenden Sie die Option --add-locks für mysqldump.

mysqldump --add-drop-table --add-locks --database db > db.sql

Oder Sie können einige nützliche Parameter mit --opt aktivieren. Dies aktiviert eine Reihe nützlicher Dinge für den Dump.

mysqldump --opt --database db > db.sql

Wenn Sie ein anderes Speichergerät auf dem Server haben, verwenden Sie dieses. Durch Kopieren von einem Gerät auf ein anderes können Sie die Übertragung beschleunigen.

Sie können mit --ignore-table auch Tabellen herausfiltern, die nicht benötigt werden