Как быстрее записать в базу PosgresQl?

Question

kaxa3201 @kaxa3201

Как быстрее записать в базу PosgresQl?

Имеется 700 000 записей. есть скрипт который парсит csv файл и записывает данные в базу.
Запись идет очень долго примерно 200 записей в секунду. Подскажите можно ли как то это дело ускорить?

foreach ($ipPool as $ip) {
                    $date = new \DateTime($csv[5]);
                     Resource::updateOrCreate([
                        'ip'           => trim($ip),
                        'domain'       => $csv[1],
                        'url'          => $csv[2],
                        'organization' => $csv[3],
                        'number'       => $csv[4],
                        'date'         => $date,
                    ], [
                        'ip'           => trim($ip),
                        'domain'       => $csv[1],
                        'url'          => $csv[2],
                        'organization' => $csv[3],
                        'number'       => $csv[4],
                        'date'         => $date,
                        'version_date' => $updatedDate
                    ]);
                }

Вопрос задан более трёх лет назад
209 просмотров

5 комментариев

Подписаться 2 Простой 5 комментариев

JhaoDa @JhaoDa

Не хочешь показать, как ты это делаешь сейчас, чтобы нам не гадать на кофейной гуще?

Написано более трёх лет назад

kaxa3201 @kaxa3201 Автор вопроса

JhaoDa,

foreach ($ipPool as $ip) {
                    $date = new \DateTime($csv[5]);
                     Resource::updateOrCreate([
                        'ip'           => trim($ip),
                        'domain'       => $csv[1],
                        'url'          => $csv[2],
                        'organization' => $csv[3],
                        'number'       => $csv[4],
                        'date'         => $date,
                    ], [
                        'ip'           => trim($ip),
                        'domain'       => $csv[1],
                        'url'          => $csv[2],
                        'organization' => $csv[3],
                        'number'       => $csv[4],
                        'date'         => $date,
                        'version_date' => $updatedDate
                    ]);
                }

Написано более трёх лет назад

JhaoDa @JhaoDa

kaxa3201, тебе не пришла в голову простая мысль добавить это в вопрос, чтобы все видели, а не персонально мне в каментах показывать?

Написано более трёх лет назад
kaxa3201 @kaxa3201 Автор вопроса

JhaoDa, у тебя есть варианты ответа на мой вопрос?

Написано более трёх лет назад
JhaoDa @JhaoDa

kaxa3201, тебе уже дали два абсолютно правильных ответа.

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 2

Комментировать

5 комментариев

kaxa3201 @kaxa3201 Автор вопроса

Konata Izumi подскажите как правильно

foreach ($ipPool as $ip) {
                    $date = new \DateTime($csv[5]);
                     Resource::updateOrCreate([
                        'ip'           => trim($ip),
                        'domain'       => $csv[1],
                        'url'          => $csv[2],
                        'organization' => $csv[3],
                        'number'       => $csv[4],
                        'date'         => $date,
                    ], [
                        'ip'           => trim($ip),
                        'domain'       => $csv[1],
                        'url'          => $csv[2],
                        'organization' => $csv[3],
                        'number'       => $csv[4],
                        'date'         => $date,
                        'version_date' => $updatedDate
                    ]);
                }

Написано более трёх лет назад

Konata Izumi @Konata69lol

kaxa3201, То, о чем я говорил:
По одной записи это будет происходить очень долго.
Гуглите batch insert.

Написано более трёх лет назад
kaxa3201 @kaxa3201 Автор вопроса

Konata Izumi, с insert все понятно, а как быть с updateOrCreate ?

Написано более трёх лет назад
Konata Izumi @Konata69lol

kaxa3201, работу с batch update в postgres не трогал - тут смотрите сами в доку/примеры.
В целом план тот же: за каждый запрос к бд обновлять как можно больше данных (слишком большие запросы тоже не хорошо - будут тормозить). А как эти данные подготовить - зависит от реализации.
Как минимум разделить update и create в приведенном коде. Всё, что create - в batch insert. Всё, что update - в batch update.

В этом коде вы обновляете только дату - такое можно и через sql методы реализовать (там есть метод получения текущего времени).

Написано более трёх лет назад
Melkij @Melkij

insert into ... values (...),... on conflict ... do update set field1 = excluded.field1
https://www.postgresql.org/docs/current/sql-insert.html
Если вы на 9.4 или вовсе на EOL чём-то - обновляйтесь до поддерживаемых версий. Последняя версия postgresql не умеющая on conflict (т.е. 9.4) снимается с поддержки чуть больше чем через полгода.

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Laravel

+2 ещё

Средний
Не удается подключиться к ClickHouse container?
- 1 подписчик
- 15 часов назад
- 39 просмотров
1

ответ
Laravel

Простой
Как в модели Belongsto обратиться по нескольким полям?
- 1 подписчик
- 23 часа назад
- 53 просмотра
1

ответ
Laravel

Простой
Как локально работать stevebauman/location для определения геопозиции в Laravel?
- 1 подписчик
- вчера
- 24 просмотра
0

ответов
HTML

+2 ещё

Простой
Как подкрасить 2 блока в разные цвета по всей ширине в дочернем Blade-шаблоне?
- 1 подписчик
- вчера
- 58 просмотров
2

ответа
PostgreSQL

+1 ещё

Простой
Как исправить неправильное отображение данных в csv после экспорта?
- 1 подписчик
- 17 апр.
- 90 просмотров
1

ответ
Java

+3 ещё

Средний
Пытаюсь подключиться к postgresql 16 через docker-compose, использую spring-boot 3.2.4, что не так?
- 1 подписчик
- 17 апр.
- 164 просмотра
3

ответа
PostgreSQL

+2 ещё

Простой
Где искать рекомендуемые настройки SSL-аутентификации для Docker-образа Posgres?
- 1 подписчик
- 17 апр.
- 60 просмотров
3

ответа
PostgreSQL

+1 ещё

Простой
Как поправить язык в SQL Shell (psql)?
- 1 подписчик
- 14 апр.
- 91 просмотр
1

ответ
PHP

+1 ещё

Простой
Переписать грамотнее и с помощью Laravel реально ли и каким лучше образом?
- 1 подписчик
- 13 апр.
- 189 просмотров
3

ответа
Python

+1 ещё

Простой
Как оптимизировать запрос?
- 1 подписчик
- 13 апр.
- 134 просмотра
2

ответа
Показать ещё Загружается…

Бэкенд-разработчик на Laravel (Middle Level)

StreamHunt.tv

от 150 000 до 250 000 ₽

PHP Developer / Laravel

АэроТур • Санкт-Петербург

от 170 000 до 190 000 ₽

PHP / Laravel разработчик

DIGITAL SECTOR • Краснодар

от 100 000 до 150 000 ₽

Тестовое приложение для коннекта по SIP

20 апр. 2024, в 09:15

8000 руб./за проект

Сканер коэффициентов в букмекерских конторах

20 апр. 2024, в 08:39

100000 руб./за проект

Доработать бота

20 апр. 2024, в 08:24

1500 руб./за проект

Не хочешь показать, как ты это делаешь сейчас, чтобы нам не гадать на кофейной гуще?
JhaoDa,
foreach ($ipPool as $ip) { $date = new \DateTime($csv[5]); Resource::updateOrCreate([ 'ip' => trim($ip), 'domain' => $csv[1], 'url' => $csv[2], 'organization' => $csv[3], 'number' => $csv[4], 'date' => $date, ], [ 'ip' => trim($ip), 'domain' => $csv[1], 'url' => $csv[2], 'organization' => $csv[3], 'number' => $csv[4], 'date' => $date, 'version_date' => $updatedDate ]); }
kaxa3201, тебе не пришла в голову простая мысль добавить это в вопрос, чтобы все видели, а не персонально мне в каментах показывать?
JhaoDa, у тебя есть варианты ответа на мой вопрос?
kaxa3201, тебе уже дали два абсолютно правильных ответа.

Answer 1 · 2019-06-05 13:31:32

Быстрее всего - COPY запросом.
При том, сразу из csv файла, локального к СУБД.

Через приложение - сильно лучше тоже COPY. В PDO интерфейс для COPY, впрочем, ужасен.
Хуже - относительно большими insert
ещё хуже - кучей запросов в транзакции
кучей запросов вне общей общей транзакции - очевидно будет очень медленно.

Answer 2 · 2019-06-05 13:00:06

Надеюсь, не циклом по одной модели за раз пишется.
Делайте batch insert штук по 1000-10000 (оптимальное кол-во подбирается опытным путем).

Как быстрее записать в базу PosgresQl?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт