@andrepavlov

Как ускорить executemany в Python при INSERT IGNORE (mysql)?

Python 3, mysql 5.7, mysql.connector. Вставляю в базу большое количество значений (~5 млн строк, пакетами по 5000 строк) через executemany. Некоторые значения не уникальны. В этом случае требуется просто пропустить эту вставку/обновить/заменить ее. Если использовать INSERT - при хоть одной ошибке в пакете на 5000 строк, при наличии дубликата не вставляется весь пакет. Скорость вставки высокая. Для решения проблемы попробовал INSERT IGNORE, скорость падает в разы, впечатление что запросы выполняются по отдельности, а не пакетом. Как можно решить данную проблему, без ущерба в скорости?
  • Вопрос задан
  • 217 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы