Задать вопрос
@Ayk72
php

Как хранить столько данных?

Добрый день!

Дали задание загрузить из 25 архивов, где в каждом по 14.000 файлов xml, данные аккаунтов ВК. Каждый xml файл весит 310кб.
При загрузке в MySQL это 80гб, а хостинг позволяет только БД в максимум 20гб.

Скажите, пожалуйста, как мне это решить?

Что если в MySQL грузить не данные профилей, а ссылку на xml файл и id? И брать данные при запросе не с MySQL, а с XML прямо. Это плохой метод? Тупить будет? Как бы поступили вы?

Спасибо!
  • Вопрос задан
  • 293 просмотра
Комментировать
Подписаться 2 Оценить Комментировать
Пригласить эксперта
Ответы на вопрос 3
MaxDukov
@MaxDukov
впишусь в проект как SRE/DevOps.
что-то мне интуиция подсказывает, что грузится до дури всякого мусора. И что если грузить с умом, то размер уменьшится в разы.
можно пример XMLя глянуть? без ПДн, конечно.
Ответ написан
Комментировать
Комментировать
2ord
@2ord
Можно уменьшить размер БД
  1. путём уменьшения количества вносимых данных (прореживание), если это возможно
  2. путём подбора подходящих типов данных для колонок таблиц, занимающих меньше места: размер строки, размер целых в битах, объединением группы булевых значений в один integer при хранении в БД
  3. путём оптимизации повторяющихся данных и нормализацией БД
  4. путём сохранения в колонках сжатых данных в BLOB - обработкой алгоритмами сжатия


Можно также попробовать хранить ещё данные в MongoDB, если хостинг позволяет.
Считывать данные с XML тоже можно, но нужно каждый раз десериализацию данных - делать разбор синтаксиса XML библиотечными средствами. Зависит от предполагаемой нагрузки на сервер.
Ответ написан
Комментировать
Комментировать
@WarStyle
Купить ВДС нужным кл-вом дискового пространства, поставить ламп и заливать)
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
PHP Developer
YCLIENTS • Москва
от 200 000 до 350 000 ₽
PHP разработчик
Ведисофт • Екатеринбург
от 25 000 ₽
Midlle PHP developer (backend)
ИТЦ Аусферр • Магнитогорск
от 100 000 до 160 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Собрать семантическое ядро + ТЗ копирайтеру для крупного сайта
23 апр. 2024, в 21:40
20000 руб./за проект
Реализовать редирект запросов в Chrome Extension Manifest v3
23 апр. 2024, в 21:14
1000 руб./за проект
Переместить сайт написанный на HTML, на python flask
23 апр. 2024, в 21:03
3000 руб./за проект
Ещё заказы