MySQL-Transaktionsgröße - wie groß ist zu groß?

Ich habe einen Importprozess, der von Zeit zu Zeit ausgeführt wird, und ich möchte, dass es sich um eine Art "Alles oder Nichts" handelt, auch bekannt als: eine Transaktion.

Es gibt viele Aspekte, und die Importe können irgendwo zwischen 100k-1mil + Aufzeichnungen ergeben. Dies entspricht einer Nutzlast von mehreren MB bis zu einigen hundert MB Daten.

Ich weiß, dass temporäre Tabellen eine weitere Option sind - aber diese Methode scheint so praktisch zu sein.

Gibt es irgendwelche Vorbehalte bezüglich dieser Art von Praktiken mit einer großen Menge an Datenmanipulation zwischen Commits? (Außerhalb des typischen Bursts für Schreib- / Indexladevorgänge nach dem Festschreiben)

Ein zu beachtender Engpass ist der InnoDB-Protokollpuffer. Die Größe wird durch innodb_log_buffer_size festgelegt . Folgendes steht in der MySQL-Dokumentation dazu:

Die Größe des Puffers in Byte, den InnoDB zum Schreiben in die Protokolldateien auf der Festplatte verwendet. Der Standardwert ist 8 MB. Ein großer Protokollpuffer ermöglicht die Ausführung großer Transaktionen, ohne dass das Protokoll vor dem Festschreiben der Transaktionen auf die Festplatte geschrieben werden muss. Wenn Sie also große Transaktionen ausführen, können Sie durch Vergrößern des Protokollpuffers Festplatten-E / A sparen.

Der InnoDB-Protokollpuffer darf nicht mit dem InnoDB-Pufferpool verwechselt werden. Der Hauptunterschied zwischen ihnen ist ihr Zweck. Der InnoDB-Protokollpuffer zeichnet grundsätzlich kurzfristige Änderungen auf, die in die Redo-Protokolle (ib_logfile0, ib_logfile1) geschrieben werden. Der InnoDB- Pufferpool (Größe nach innodb_buffer_pool_size ) speichert Daten und Indexseiten, die festgeschrieben werden sollen (wenn die Seiten verschmutzt sind) und schließlich auf die Festplatte geschrieben werden sollen. Nach dem Festschreiben verbleiben die Änderungsseiten im RAM, bis sie über LRU-Regeln entfernt werden.

Große Transaktionen müssen über den Protokollpuffer geleitet werden. Wie bereits erwähnt, verringert ein größerer Protokollpuffer die Festplatten-E / A. Nur ein großes Commit würde einen Engpass darstellen.

Möglicherweise möchten Sie sich andere InnoDB-Optionen ansehen, um sie zu konfigurieren.

• innodb_flush_method : Dies bestimmt, wie mit dem Flush umgegangen wird und ob das Betriebssystem Schreibvorgänge in InnoDB zwischenspeichern darf oder nicht ( Sie müssen zwischen O_DSYNC und O_DIRECT experimentieren ).
• innodb_read_io_threads (Verwenden Sie das Maximum: 64)
• innodb_write_io_threads (Verwenden Sie das Maximum: 64)
• innodb_io_capacity (verwenden Sie höhere Werte wie 5000 oder 10000, aber die Hardware wird es für Sie toppen. Mit anderen Worten, lassen Sie die Hardware die E / A-Kapazität bestimmen, sobald Sie eine große Anzahl zuweisen)
• innodb_thread_concurrency : Der Standardwert ist 0. Ich lernte aus erster Hand von Ronald Bradford in Percona NYC 2011 diese Zahl auf 0 verlassen Es läßt InnoDB entscheiden , die beste Anzahl der Gleichzeitigkeit Ticket könnten damit umgehen)

Ich habe andere Posts über die Optimierung von InnoDB für die weitere Forschung

• Optimieren der InnoDB-Standardeinstellungen
• Wie können Sie MySQL für eine hohe Auslastung von InnoDB optimieren?
• Die einfügelastige InnoDB-Tabelle belegt nicht meine gesamte CPU
• Wie kann die Leistung von InnoDB DELETE verbessert werden?
• MySQL - Bereinigen Sie ibdata1