MySQL lädt NULL-Werte aus CSV-Daten

Ich habe eine Datei, die 3 bis 4 Spalten mit numerischen Werten enthalten kann, die durch Komma getrennt sind. Leere Felder werden mit der Ausnahme definiert, wenn sie sich am Ende der Zeile befinden:

1,2,3,4,5
1,2,3,,5
1,2,3

Die folgende Tabelle wurde in MySQL erstellt:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Feld | Geben Sie | ein Null | Schlüssel | Standard | Extra |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| eins | int (1) | JA | | NULL | |
| zwei | int (1) | JA | | NULL | |
| drei | int (1) | JA | | NULL | |
| vier | int (1) | JA | | NULL | |
| fünf | int (1) | JA | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

Ich versuche, die Daten mit dem Befehl MySQL LOAD zu laden:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

Die resultierende Tabelle:

+ ------ + ------ + ------- + ------ + ------ +
| eins | zwei | drei | vier | fünf |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Das Problem liegt in der Tatsache, dass MySQL aus irgendeinem Grund nicht den Standardwert der Spalte (NULL) verwendet und Null verwendet, wenn ein Feld in den Rohdaten leer und nicht definiert ist. NULL wird korrekt verwendet, wenn das Feld insgesamt fehlt.

Leider muss ich zu diesem Zeitpunkt in der Lage sein, zwischen NULL und 0 zu unterscheiden, daher wäre jede Hilfe willkommen.

Danke S.

bearbeiten

Die Ausgabe von SHOW WARNINGS:

+ --------- + ------ + -------------------------------- ------------------------ +
| Level | Code | Nachricht |
+ --------- + ------ + -------------------------------- ------------------------ +
| Warnung | 1366 | Falscher ganzzahliger Wert: '' für Spalte 'vier' in Zeile 2 |
| Warnung | 1261 | Zeile 3 enthält nicht für alle Spalten Daten
| Warnung | 1261 | Zeile 3 enthält nicht für alle Spalten Daten
+ --------- + ------ + -------------------------------- ------------------------ +

Dies wird tun, was Sie wollen. Es liest das vierte Feld in eine lokale Variable und setzt dann den tatsächlichen Feldwert auf NULL, wenn die lokale Variable eine leere Zeichenfolge enthält:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

Wenn sie möglicherweise alle leer sind, lesen Sie sie alle in Variablen und haben mehrere SET-Anweisungen wie folgt:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Das MySQL-Handbuch sagt:

Beim Lesen von Daten mit LOAD DATA INFILE werden leere oder fehlende Spalten mit '' aktualisiert. Wenn Sie einen NULL-Wert in einer Spalte möchten, sollten Sie \ N in der Datendatei verwenden. Unter bestimmten Umständen kann auch das wörtliche Wort "NULL" verwendet werden.

Sie müssen also die Leerzeichen wie folgt durch \ N ersetzen:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Das Verhalten ist je nach Datenbankkonfiguration unterschiedlich. Im strengen Modus würde dies einen Fehler auslösen, sonst eine Warnung. Die folgende Abfrage kann zum Identifizieren der Datenbankkonfiguration verwendet werden.

mysql> show variables like 'sql_mode';

Verarbeiten Sie Ihre Eingabe-CSV vor, um leere Einträge durch \ N zu ersetzen.

Versuch einer Regex: s / ,, /, \ n, / g und s /, $ /, \ N / g

Viel Glück.

(Variable1, @ Variable2, ..) SET Variable2 = nullif (@ Variable2, '' oder '') >> Sie können eine beliebige Bedingung setzen

Variablen anzeigen

Show variables like "`secure_file_priv`";

Hinweis: Bewahren Sie Ihre CSV-Datei an dem mit dem obigen Befehl angegebenen Speicherort auf.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Hinweis: Hier enthält die dateSpalte ' ' einige leere Werte in der CSV-Datei.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);