MySQL загружает значения NULL из данных CSV

У меня есть файл, который может содержать от 3 до 4 столбцов числовых значений, разделенных запятой. Пустые поля определяются за исключением того, что они находятся в конце строки:

1,2,3,4,5
1,2,3,,5
1,2,3

Следующая таблица была создана в MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Поле | Тип | Null | Ключ | По умолчанию | Extra |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| один | int (1) | ДА | | NULL | |
| два | int (1) | ДА | | NULL | |
| три | int (1) | ДА | | NULL | |
| четыре | int (1) | ДА | | NULL | |
| пять | int (1) | ДА | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

Я пытаюсь загрузить данные с помощью команды MySQL LOAD:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

Полученная таблица:

+ ------ + ------ + ------- + ------ + ------ +
| один | два | три | четыре | пять |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Проблема заключается в том, что когда поле в необработанных данных пусто и не определено, MySQL по какой-то причине не использует значение по умолчанию для столбцов (которое равно NULL) и использует ноль. NULL используется правильно, когда поле полностью отсутствует.

К сожалению, я должен уметь различать NULL и 0 на этом этапе, поэтому любая помощь будет оценена.

Спасибо С.

редактировать

Вывод ШОУ ПРЕДУПРЕЖДЕНИЙ:

+ --------- + ------ + -------------------------------- ------------------------ +
| Уровень | Код | Сообщение |
+ --------- + ------ + -------------------------------- ------------------------ +
| Предупреждение 1366 | Неверное целочисленное значение: '' для столбца 'четыре' в строке 2 |
| Предупреждение 1261 | Строка 3 не содержит данных для всех столбцов |
| Предупреждение 1261 | Строка 3 не содержит данных для всех столбцов |
+ --------- + ------ + -------------------------------- ------------------------ +

Это будет делать то, что вы хотите. Он считывает четвертое поле в локальную переменную, а затем устанавливает фактическое значение поля в NULL, если локальная переменная заканчивается пустой строкой:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

Если они все, возможно, пустые, то вы бы прочитали их все в переменные и имели бы несколько операторов SET, например:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Руководство MySQL гласит:

При чтении данных с помощью LOAD DATA INFILE пустые или отсутствующие столбцы обновляются с помощью ''. Если вы хотите получить значение NULL в столбце, вы должны использовать \ N в файле данных. Буквальное слово «NULL» также может использоваться при некоторых обстоятельствах.

Таким образом, вам нужно заменить заготовки на \ N, как это:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Поведение отличается в зависимости от конфигурации базы данных. В строгом режиме это выдаст ошибку, иначе предупреждение. Следующий запрос может быть использован для определения конфигурации базы данных.

mysql> show variables like 'sql_mode';

Предварительно обработайте введенный CSV, чтобы заменить пустые записи на \ N.

Попытка в регулярном выражении: s / ,, /, \ n, / g и s /, $ /, \ N / g

Удачи.

(variable1, @ variable2, ..) SET variable2 = nullif (@ variable2, '' или '') >> вы можете поставить любое условие

показать переменные

Show variables like "`secure_file_priv`";

Примечание. Храните CSV-файл в месте, указанном вышеупомянутой командой.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Примечание: здесь dateстолбец ' ' имеет некоторые пустые значения в файле csv.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);