@Wexter

Почему память забивается buff/cache и oomkiller убивает виртуалки?

Суть такая, есть сервер с таким конфигом 2хE5-2630v3/8x4Gb RDIMM DDR4/LSI 9261-8i/8x4Tb SAS (диски выдернуты из полки HP MSA 2040 и брендированы HP), стоит ОС Ubuntu Server 16.04, массив разбит на 2 раздела, 2Tb / и 20Tb /home под архив, оба раздела ext4.
Собран массив raid 50 из 8 дисков, деградировавших дисков контроллер не показывает, BBU нет но включен кеш контроллера. Если погасить все сервисы и протестировать dd то в линейной записи выдаёт ~700мб/с, в чтении 1.4гб/с.

На севере крутится flussonic с архивом на ~300 потоков, нода кластера MariaDB (~3k rqps) с репликой на резервный сервер, нода GlusterFS (2 тома, пока без реплики, в одном две мелких виртуалки для миграции на другой сервер, во втором слои картографии для GeoServer'а) и несколько других виртуалок в KVM.
В последнее время на этом сервере OOM Killer стал убивать нужную виртуалку, т.к. она больше всего занимает памяти, при этом free показывает used только 16гб памяти, остальное забивается buff/cache. Т.к нужная виртуалка интенсивно грузит диск - думал дело в кешировании диска, отключил его - всё-равно через полчаса-час buff/cache занимает 10гб. Пока закинул в крон sync && echo 1 > /proc/sys/vm/drop_caches каждые 15 минут, что вылилось в загрузку массива на 100% во время выполнения задачи.
Пробовал тюнить vm.swappiness=10, vm.vfs_cache_pressure=1000, но не помогает, нагрузка на массив в iostat держится на уровне 30%, память всё-равно так-же быстро уходит. Ставил vm.min_free_kbytes на 8гб, в итоге buff/cache заняло 8гб и сервер полностью завис.
В какую сторону ещё можно покопать? Или тут я упираюсь в производительность дискового массива и остаётся только мигрировать часть сервисов на другие сервера?
  • Вопрос задан
  • 1442 просмотра
Пригласить эксперта
Ответы на вопрос 1
jcmvbkbc
@jcmvbkbc
"I'm here to consult you" © Dogbert
остальное забивается buff/cache.

www.linuxatemyram.com
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы