Einer der stillen Killer von MySQL Connections ist das MySQL-Paket. Sogar der I / O-Thread von MySQL Replication kann davon betroffen sein.
Nach der MySQL-Dokumentation
Sie können diese Fehler auch erhalten, wenn Sie eine falsche oder zu große Abfrage an den Server senden. Wenn mysqld ein zu großes oder nicht ordnungsgemäßes Paket empfängt, wird davon ausgegangen, dass beim Client ein Fehler aufgetreten ist, und die Verbindung wird geschlossen. Wenn Sie große Abfragen benötigen (z. B. wenn Sie mit großen BLOB-Spalten arbeiten), können Sie das Abfragelimit erhöhen, indem Sie die Variable max_allowed_packet des Servers mit einem Standardwert von 1 MB festlegen. Möglicherweise müssen Sie auch die maximale Paketgröße auf der Client-Seite erhöhen. Weitere Informationen zum Einstellen der Paketgröße finden Sie in Abschnitt C.5.2.10, „Paket zu groß“.
Eine INSERT- oder REPLACE-Anweisung, die sehr viele Zeilen einfügt, kann ebenfalls diese Art von Fehlern verursachen. Eine dieser Anweisungen sendet unabhängig von der Anzahl der einzufügenden Zeilen eine einzelne Anforderung an den Server. Daher können Sie den Fehler häufig vermeiden, indem Sie die Anzahl der pro INSERT oder REPLACE gesendeten Zeilen verringern.
Zumindest müssen Sie sicherstellen, dass die Paketgrößen sowohl für den Computer, von dem Sie mysqldump erstellt haben, als auch für den Computer, den Sie laden, identisch sind.
Es kann zwei (2) Ansätze geben:
ANSATZ 1: Führen Sie den mysqldump mit --skip-extended-insert aus
Dadurch wird sichergestellt, dass das MySQL-Paket nicht mit mehreren BLOBs und TEXT-Feldern überschwemmt wird. Auf diese Weise werden SQL INSERTs einzeln ausgeführt. Die Hauptnachteile sind
- der mysqldump ist viel größer
- Das Neuladen eines solchen Dumps dauert viel länger.
ANSATZ 2: Erhöhen Sie max_allowed_packet
Dies kann der bevorzugte Ansatz sein, da die Implementierung nur einen Neustart von MySQL entfernt ist. Das Verstehen, was das MySQL-Paket ist, kann dies verdeutlichen.
In den folgenden Abschnitten wird dies auf Seite 99 von "Grundlegendes zu MySQL-Interna" (ISBN 0-596-00957-7) erläutert:
Der MySQL-Netzwerkkommunikationscode wurde unter der Annahme geschrieben, dass Abfragen immer relativ kurz sind und daher in einem Block, der in der MySQL-Terminologie als Paket bezeichnet wird, an den Server gesendet und von diesem verarbeitet werden können . Der Server weist den Speicher für einen temporären Puffer zum Speichern des Pakets zu und fordert genug an, um es vollständig zu passen. Diese Architektur erfordert eine Vorsichtsmaßnahme, um zu vermeiden, dass dem Server der Speicher ausgeht - eine Obergrenze für die Größe des Pakets, die mit dieser Option erreicht wird.
Der Code von Interesse in Bezug auf diese Option befindet sich in
sql / net_serv.cc . Schauen Sie sich my_net_read () an , folgen Sie dann dem Aufruf von my_real_read () und achten Sie besonders auf
net_realloc () .
Diese Variable begrenzt auch die Länge eines Ergebnisses vieler Zeichenkettenfunktionen. Weitere Informationen finden Sie in sql / field.cc und
sql / intem_strfunc.cc .
Angesichts dieser Erklärung wird ein MySQL-Paket durch Bulk-INSERTs ziemlich schnell geladen / entladen. Dies gilt insbesondere dann, wenn max_allowed_packet für die angegebene Datenmenge zu klein ist.
FAZIT
Bei den meisten Installationen von MySQL stelle ich normalerweise 256M oder 512M ein. Sie sollten mit größeren Werten experimentieren, wenn beim Laden von Daten "MySQL ist weg" -Fehler auftreten.
max_allowed_packetauf 900M einzustellen, und ich habe verwendet--skip-extended-insert(und Sie haben Recht - das sorgt für riesige Db-Dumps), aber es schlägt immer noch fehl. Ich vermute jetzt eine bestimmte Zeile im Dump, die ich wahrscheinlich umgehen kann. Aber es ist immer noch seltsam - der Dump kann problemlos auf meinen CentOS-Server importiert werden.