@wtfowned

Новый HDD уходит в read-only под нагрузкой сайтов, что делать?

Добрый день!

40 дней назад взял сервер на с процессором Ryzen и дисками 2x500 SSD (sda+sdb) + 1x4TB HDD (sdc), сервер зависал раз в 12 часов. После переписки с суппортом выяснилось что проблема в HDD и диск заменили на новый (как они сказали).

Прошло 40 дней, на сервере появилась небольшая нагрузка, и вот уже 2ой день подряд вебсервер перестает работать после того как HDD на котором лежат файлы сайта (базы, и сама система - на SSD). Все это совпало с почти минимальной нагрузкой, до этого ее не было почти совсем

Вдобавок ко всему, при попытке записать файл кэша на диск Апач создает до 100 процессов которые подвисают, и как результат вебсервер вообще перестает работать на обработку запросов, процессы апача просто висят. Решил временно перезагрузкой раз в 5 минут апача.
-Iqps54XT9uRcnOr_yaFKQ.pngRzLo9k9CRkWFHVsjm_CY5g.pngl5E1CQj5T-qaNUGX4sstNQ.png

Вчера я сделал fsck -f -y /dev/sdc
Проверка прошла довольно быстро, после чего перезагрузил сервер полностью и диск стал опять RW.
Вот данные /var/log/syslog
pastebin.com/PtFjWpzk

Сегодня сделал тоже, проверка шла дольше и ошибок больше, решил запустить SMART - жду пока отработает проверка, вот скрин до проверки текущей. 5baa980234961512783907.jpeg
Спустя пол часа работы сервера после перезагрузки уже появилось 96 Bad Sectors, до этого было и 200... :
bDkbrSK8SHCtuNyS-q-zCQ.png

Контент на диске - 2 ТБ из 4 ТБ , 1ТБ - архивы и дампы , 1 ТБ - файлы по большей части мелкие (файлы кеша html страниц, картинки). Проверял iostat - утилизация была на уровне 5-10%, не больше, это уже когда диск только в Read Only.
Q9vXUAlrSxuyfEo-ie43DA.png

Вот как выглядит нагрузка после перезагрузки и диск в RW находится, до того как опять посыпались ошибки.
TIAloaXXS5yCWTvLpHI_ag.png

Вопросы:
1. Отчего может уходить диск в Read-only и связано ли это с нагрузкой?
2. Может ли за месяц придти диск в негодность и какие "вредные советы" для этого?
3. Что делать дальше?

Лог syslog / dmesg pastebin.com/PtFjWpzk
Лог fsck pastebin.com/eSqeuFJc
  • Вопрос задан
  • 440 просмотров
Пригласить эксперта
Ответы на вопрос 3
opium
@opium
Просто люблю качественно работать
Видимо диск опять умирает, если он в начале был хороший то есть вероятность что ваши проблемы с диском связаны либо с шлейфом либо с контроллером либо с питанием
Ответ написан
jcmvbkbc
@jcmvbkbc
"I'm here to consult you" © Dogbert
# fsck -f -y /dev/sdc
...
Warning! /dev/sdc is mounted.
...

Не нужно чекать примонтированный диск, лучше ему от этого не станет.
Если приспичило почекать -- сначала отмонтируй.
Ответ написан
Jump
@Jump
Системный администратор со стажем.
Все эти графики ничего полезного не говорят.
Очередь диска надо смотреть.
iostat
atop
С большой вероятностью он просто не справляется с нагрузкой.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы