@FNY3PM

Нормальная ли скорость записи?

Здравствуйте. Есть файл с массивом тестовых данных (1 миллион элементов: логин, пароль, дата регистрации). Python считывает файл и записывает его в БД за 23 секунды. Нормальный ли это результат? Какие хорошие показатели есть при записи подобного в БД? Возможно, есть какие-то фичи, которые помогут ускорить процесс?
  • Вопрос задан
  • 129 просмотров
Пригласить эксперта
Ответы на вопрос 3
longclaps
@longclaps
Отличный результат.
А что, к вам часто приходит по миллиону новых пользователей? Тогда, пожалуй, надо чуть-чуть подкрутить производительность: серверок выделенный, ядра хотя бы 24 и памяти побольше, и RAID из SSD.
Ответ написан
jcmvbkbc
@jcmvbkbc
http://dilbert.com/strip/1998-08-24
Возможно, есть какие-то фичи, которые помогут ускорить процесс

Запись всех данных в БД одной транзакцией, вместо отдельной транзакции на запись каждой строки данных.
Ответ написан
inoise
@inoise
Solution Architect
Потоковое чтение файла и распределенная запись в базу разве что быстрее) но тут надо либо четко делить файл по частям, либо же иметь message broker. Но для разовой операции это излишнее усложнение
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы