fix: исправлена обработка nullable полей и форматов дат при импорте CSV
- Исправлено определение nullable полей (IS_NULLABLE как boolean) - Добавлена автоматическая конвертация форматов дат (DD.MM.YYYY → YYYY-MM-DD) - Улучшена обработка пустых значений в CSV - Добавлена поддержка различных форматов дат (DD.MM.YYYY, DD/MM/YYYY, DD-MM-YYYY) - Исправлена логика проверки обязательных полей
This commit is contained in:
@@ -129,13 +129,11 @@ class DataService
|
||||
}
|
||||
}
|
||||
|
||||
// ✅ Метод для форматирования ошибок
|
||||
private function formatPDOError(\PDOException $e, string $schema, string $table, array $params = []): string
|
||||
{
|
||||
$code = $e->getCode();
|
||||
$message = $e->getMessage();
|
||||
|
||||
// Foreign Key constraint
|
||||
if ($code === '23000' && str_contains($message, 'foreign key constraint')) {
|
||||
if (preg_match('/FOREIGN KEY $$`([^`]+)`$$/', $message, $matches)) {
|
||||
$field = $matches[1];
|
||||
@@ -144,7 +142,6 @@ class DataService
|
||||
return "Ошибка: нарушена связь с другой таблицей. Проверьте правильность заполнения полей-ссылок.";
|
||||
}
|
||||
|
||||
// Duplicate key
|
||||
if ($code === '23000' && str_contains($message, 'Duplicate entry')) {
|
||||
if (preg_match('/Duplicate entry \'([^\']+)\' for key \'([^\']+)\'/', $message, $matches)) {
|
||||
$value = $matches[1];
|
||||
@@ -154,7 +151,6 @@ class DataService
|
||||
return "Ошибка: запись с таким значением уже существует.";
|
||||
}
|
||||
|
||||
// NOT NULL constraint
|
||||
if (str_contains($message, "cannot be null") || str_contains($message, "doesn't have a default value")) {
|
||||
if (preg_match('/Column \'([^\']+)\'/', $message, $matches)) {
|
||||
$field = $matches[1];
|
||||
@@ -244,7 +240,6 @@ public function insertMultipleRows(string $schema, string $table, array $rows, a
|
||||
error_log("=== НАЧАЛО ИМПОРТА CSV ===");
|
||||
error_log("Schema: $schema, Table: $table");
|
||||
error_log("Количество строк для импорта: " . count($rows));
|
||||
error_log("Структура первой строки: " . json_encode($rows[0] ?? []));
|
||||
|
||||
if (empty($rows)) {
|
||||
return ['inserted' => 0, 'errors' => 0, 'message' => 'No rows provided'];
|
||||
@@ -259,15 +254,20 @@ public function insertMultipleRows(string $schema, string $table, array $rows, a
|
||||
foreach ($columns as $c) {
|
||||
$name = $c['COLUMN_NAME'];
|
||||
$extra = $c['EXTRA'] ?? '';
|
||||
$dataType = strtolower($c['DATA_TYPE'] ?? '');
|
||||
|
||||
error_log("Столбец: $name, Extra: $extra, Nullable: " . ($c['IS_NULLABLE'] ? 'YES' : 'NO') . ", Default: " . ($c['COLUMN_DEFAULT'] ?? 'NULL'));
|
||||
// ✅ Правильная проверка IS_NULLABLE
|
||||
$isNullable = ($c['IS_NULLABLE'] === true || $c['IS_NULLABLE'] === 'YES');
|
||||
|
||||
error_log("Столбец: $name, Type: $dataType, Extra: $extra, Nullable: " . ($isNullable ? 'YES' : 'NO') . ", Default: " . ($c['COLUMN_DEFAULT'] ?? 'NULL'));
|
||||
|
||||
// Пропускаем только auto_increment поля
|
||||
if (!str_contains($extra, 'auto_increment')) {
|
||||
$validColumns[$name] = [
|
||||
'nullable' => $c['IS_NULLABLE'] ?? false,
|
||||
'nullable' => $isNullable,
|
||||
'has_default' => !empty($c['COLUMN_DEFAULT']) || $c['COLUMN_DEFAULT'] === '0',
|
||||
'default' => $c['COLUMN_DEFAULT'] ?? null
|
||||
'default' => $c['COLUMN_DEFAULT'] ?? null,
|
||||
'data_type' => $dataType
|
||||
];
|
||||
} else {
|
||||
error_log("Пропускаем auto_increment столбец: $name");
|
||||
@@ -295,12 +295,18 @@ public function insertMultipleRows(string $schema, string $table, array $rows, a
|
||||
// Если столбец есть в CSV строке
|
||||
if (array_key_exists($name, $row)) {
|
||||
$value = $row[$name];
|
||||
error_log(" Столбец '$name' найден в CSV: '$value'");
|
||||
error_log(" Столбец '$name' найден в CSV: '" . var_export($value, true) . "'");
|
||||
|
||||
// ✅ Обрабатываем "NULL" как NULL
|
||||
if (in_array($value, ['NULL', 'null', ''], true)) {
|
||||
// ✅ Обрабатываем пустые значения как NULL
|
||||
if ($value === null || $value === '' || in_array($value, ['NULL', 'null'], true)) {
|
||||
error_log(" Преобразуем '$value' в NULL");
|
||||
$value = null;
|
||||
} else {
|
||||
// ✅ Конвертируем форматы дат для date/datetime полей
|
||||
if (in_array($info['data_type'], ['date', 'datetime', 'timestamp'])) {
|
||||
$value = $this->convertDateFormat($value);
|
||||
error_log(" Конвертация даты: результат = '$value'");
|
||||
}
|
||||
}
|
||||
} else {
|
||||
error_log(" Столбец '$name' НЕ найден в CSV");
|
||||
@@ -316,7 +322,7 @@ public function insertMultipleRows(string $schema, string $table, array $rows, a
|
||||
$value = null;
|
||||
} else {
|
||||
// Поле обязательное и нет дефолта - ошибка
|
||||
error_log(" ОШИБКА: обязательное поле без значения");
|
||||
error_log(" ОШИБКА: обязательное поле без значения (nullable={$info['nullable']})");
|
||||
throw new \PDOException("Missing required field: $name");
|
||||
}
|
||||
}
|
||||
@@ -351,7 +357,6 @@ public function insertMultipleRows(string $schema, string $table, array $rows, a
|
||||
$errorMsg = "Строка " . ($index + 1) . ": " . $this->formatPDOError($e, $schema, $table);
|
||||
error_log("✗ ОШИБКА при вставке строки " . ($index + 1) . ": " . $e->getMessage());
|
||||
error_log(" SQL Code: " . $e->getCode());
|
||||
error_log(" SQL State: " . ($e->errorInfo[0] ?? 'unknown'));
|
||||
$errorMessages[] = $errorMsg;
|
||||
}
|
||||
}
|
||||
@@ -371,6 +376,35 @@ public function insertMultipleRows(string $schema, string $table, array $rows, a
|
||||
];
|
||||
}
|
||||
|
||||
/**
|
||||
* Конвертирует различные форматы дат в формат MySQL (YYYY-MM-DD)
|
||||
*/
|
||||
private function convertDateFormat(string $date): string
|
||||
{
|
||||
$date = trim($date);
|
||||
|
||||
// Уже в нужном формате YYYY-MM-DD
|
||||
if (preg_match('/^\d{4}-\d{2}-\d{2}/', $date)) {
|
||||
return substr($date, 0, 10);
|
||||
}
|
||||
|
||||
// Формат DD.MM.YYYY или DD/MM/YYYY или DD-MM-YYYY
|
||||
if (preg_match('/^(\d{1,2})[\.\/-](\d{1,2})[\.\/-](\d{4})/', $date, $matches)) {
|
||||
$day = str_pad($matches[1], 2, '0', STR_PAD_LEFT);
|
||||
$month = str_pad($matches[2], 2, '0', STR_PAD_LEFT);
|
||||
$year = $matches[3];
|
||||
return "$year-$month-$day";
|
||||
}
|
||||
|
||||
// Пробуем распарсить через strtotime
|
||||
$timestamp = strtotime($date);
|
||||
if ($timestamp !== false) {
|
||||
return date('Y-m-d', $timestamp);
|
||||
}
|
||||
|
||||
// Если не удалось распарсить - возвращаем как есть (будет ошибка от БД)
|
||||
return $date;
|
||||
}
|
||||
|
||||
public function exportCSV(
|
||||
string $schema,
|
||||
|
||||
@@ -79,25 +79,32 @@ class MetaService
|
||||
$enrichedCols = array_map(function($c) use ($fkMap) {
|
||||
$name = $c['COLUMN_NAME'];
|
||||
|
||||
// ✅ Явно конвертируем IS_NULLABLE в boolean
|
||||
$isNullable = ($c['IS_NULLABLE'] === 'YES');
|
||||
|
||||
// ✅ Проверка наличия дефолтного значения
|
||||
$hasDefault = ($c['COLUMN_DEFAULT'] !== null) ||
|
||||
str_contains(strtoupper($c['EXTRA'] ?? ''), 'DEFAULT_GENERATED');
|
||||
|
||||
return [
|
||||
'COLUMN_NAME' => $name,
|
||||
'DATA_TYPE' => $c['DATA_TYPE'],
|
||||
'COLUMN_TYPE' => $c['COLUMN_TYPE'],
|
||||
'COLUMN_KEY' => $c['COLUMN_KEY'],
|
||||
'IS_NULLABLE' => $c['IS_NULLABLE'] === 'YES',
|
||||
'IS_NULLABLE' => $isNullable, // ✅ Boolean, не строка
|
||||
'COLUMN_DEFAULT' => $c['COLUMN_DEFAULT'],
|
||||
'HAS_DEFAULT' => !empty($c['COLUMN_DEFAULT']),
|
||||
'HAS_DEFAULT' => $hasDefault,
|
||||
'EXTRA' => $c['EXTRA'],
|
||||
'IS_AUTO_INCREMENT' => str_contains($c['EXTRA'] ?? '', 'auto_increment'),
|
||||
'ORDINAL_POSITION' => (int)$c['ORDINAL_POSITION'],
|
||||
'IS_REQUIRED' => $c['IS_NULLABLE'] === 'NO' && empty($c['COLUMN_DEFAULT']),
|
||||
'IS_REQUIRED' => !$isNullable && !$hasDefault && !str_contains($c['EXTRA'] ?? '', 'auto_increment'), // ✅ Правильная логика
|
||||
'EDITOR_TYPE' => $this->getEditorType($c),
|
||||
// ✅ Добавляем информацию о FK
|
||||
'IS_FOREIGN_KEY' => isset($fkMap[$name]),
|
||||
'FOREIGN_KEY' => $fkMap[$name] ?? null
|
||||
];
|
||||
}, $cols);
|
||||
|
||||
|
||||
return [
|
||||
'columns' => $enrichedCols,
|
||||
'primaryKey' => $pk,
|
||||
|
||||
Reference in New Issue
Block a user