Перезагружется хост Proxmox, как найти причину?

Question

comper @comper

Перезагружется хост Proxmox, как найти причину?

Перезагружется хост Proxmox примерно раз в сутки, по ночам.

last reboot
reboot system boot 4.4.19-1-pve Wed Jul 12 06:09 - 14:56 (08:47)
reboot system boot 4.4.19-1-pve Tue Jul 11 02:15 - 14:56 (1+12:40)
reboot system boot 4.4.19-1-pve Mon Jul 10 05:39 - 14:56 (2+09:16)
reboot system boot 4.4.19-1-pve Sun Jul 9 06:04 - 14:56 (3+08:51)
reboot system boot 4.4.19-1-pve Sat Jul 8 05:12 - 14:56 (4+09:43)
reboot system boot 4.4.19-1-pve Fri Jul 7 06:13 - 14:56 (5+08:42)
reboot system boot 4.4.19-1-pve Thu Jul 6 04:53 - 14:56 (6+10:02)

Самостоятельно в логах ничего не нашел. Грешил на железо. Поменял все кроме дисков. Диски судя по smart в порядке.

Linux 4.4.19-1-pve #1 SMP x86_64 GNU/Linux
ZFS raid1

Вопрос задан более трёх лет назад
2036 просмотров

5 комментариев

Подписаться 5 Оценить 5 комментариев

Sanes @Sanes

Вы какие логи смотрели?

Написано более трёх лет назад
comper @comper Автор вопроса

Примерно так, но мог и просмотреть или не понять что-то важное
journalctl -p err -b
journalctl -k
journalctl -b
dmesg
cat /var/log/* | grep error

Написано более трёх лет назад
Vladimir Zhurkin @icCE

что за сервер, установлены ли все Update, хотелось бы увидеть логи.
dmesg.

Сколько у вас памяти + сколько памяти отведено под машины + сколько памяти отведено под zfs ?
Какой объем у вас swap.

cat /proc/spl/kstat/zfs/arcstats | grep c_

Написано более трёх лет назад
comper @comper Автор вопроса

Сервер в hetzner px61

Intel® Xeon® E3-1275 v5
64 GB DDR4 ECC RAM
2 x 4 TB SATA 6 Gb/s 7200 rpm HDD

cat /proc/spl/kstat/zfs/arcstats | grep c_
c_min 4 33554432
c_max 4 33672136704
arc_no_grow 4 0
arc_tempreserve 4 0
arc_loaned_bytes 4 0
arc_prune 4 0
arc_meta_used 4 1293603992
arc_meta_limit 4 25254102528
arc_meta_max 4 1293602280
arc_meta_min 4 16777216
arc_need_free 4 0
arc_sys_free 4 1052254208

вывод dmesg
https://pastebin.com/618xzi77

Предположение по поводу zfs очень похоже на правду. По ночам идет большая нагрузка на диски, делается резервное копирование внутри VM и в этот момент хост перезагружается.

Написано более трёх лет назад
comper @comper Автор вопроса

У меня в системе нет /etc/modprobe.d/zfs.conf, его нужно создать?

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 4

1 комментарий

Комментировать

12 комментариев

Vitaliy @muzon

Вам по моему точно надо сделать всё как в выше указа ной инструкции и будет всё ок!!
Удачи!!

Написано более трёх лет назад
comper @comper Автор вопроса

Спасибо, выключил hyper-threading. Посмотрю поможет ли.

Написано более трёх лет назад
comper @comper Автор вопроса

hetzner ответил, что биос обновлял и эта проблема не должна проявляться.

Написано более трёх лет назад
Vitaliy @muzon

Проверьте сами версию биоса и посмотрите на сайте производителя
(если "фуджитсу" то это печальная история)
Я из этого отказался от проксмокса!!

Написано более трёх лет назад
comper @comper Автор вопроса

не подскажите как посмотреть версию биоса из системы? ОС Debian.

Написано более трёх лет назад
comper @comper Автор вопроса

нашел
# dmidecode -s baseboard-manufacturer
FUJITSU
# dmidecode -s baseboard-product-name
D3417-B2
# dmidecode -s bios-version
V5.0.0.12 R1.8.0.SR.1 for D3417-B2x
# dmidecode -s bios-release-date
05/16/2017

вроде последняя версия
Что с футжитсу не так?

Написано более трёх лет назад
Vitaliy @muzon

на "фуджитсу" нет нового биоса!!
https://lists.debian.org/debian-devel/2017/06/msg0...
смотрели сюда ???

Написано более трёх лет назад
Vitaliy @muzon

А что у Вас в проксмоксе крутиться??

Написано более трёх лет назад
comper @comper Автор вопроса

Вроде на ftp лежат
ftp://ftp.ts.fujitsu.com/pub/Mainboard-OEM-Sales/P...

В проксмоксе пара win- серверов, и по ночам архивы на него сливаю. В моменты большой дисковой нагрузки ребутится.

Написано более трёх лет назад
Vitaliy @muzon

disk ssd или hdd ??
рейд есть??

Написано более трёх лет назад
comper @comper Автор вопроса

hdd.
zfs программный рейд.
Похоже, как в первом посте писали, на ZFS и его L2ARC.
Я уже поменял эту настройку. Сейчас буду наблюдать...

Написано более трёх лет назад
Vitaliy @muzon

zfs в линукс не даст такой производительности и стабильности как в BSD. https://ru.wikipedia.org/wiki/ZFS#Linux

У меня на hetzner EX41-SSD там стоял проксмокс стабильно раз в 3-5 дней сервак как из розетки вырубали (зависал) в логаг пусто!!! Я перешел на centos 7 настроил kvm перетянул туда свои виртуалки и сейчас все норм уже 45 сукток аптайм.
В ядре самого проксмокса могла быть проблема. (они туда втолкнули всё что надо и не надо)
Хотя до этого момента у меня с proxmox не было проблем и много где он работает стабильно.
Рекомендую перейти на что-то типа centos, opensuse там можно будет поднять BSD и прикрутить туда ZFS
если надумаешь могу дать мануал как я все делал.
Удачи!!!

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Linux

+1 ещё

Простой
Повысит ли вынос ОС на отдельный SSD диск скорость работы стриминга на сервере?
- 1 подписчик
- час назад
- 39 просмотров
2

ответа
Linux

+1 ещё

Простой
Хочу поставить 11 Винду вместо своего текущего linux mint, но при выборе загрузочной флешки Линукс просто запускается как обычно, что делать?
- 1 подписчик
- час назад
- 44 просмотра
1

ответ
Linux

+1 ещё

Простой
Как отправить письмо через mutt из терминала одной строкой?
- 1 подписчик
- 5 часов назад
- 50 просмотров
1

ответ
Linux

+1 ещё

Простой
Как проверить ошибки при копировании rsync?
- 2 подписчика
- 10 часов назад
- 131 просмотр
2

ответа
Debian

+1 ещё

Простой
Как автоматически расшифровывать root раздел через usb ключ?
- 1 подписчик
- 23 часа назад
- 38 просмотров
0

ответов
Windows

+1 ещё

Средний
Как открыть экранную клавиатуру в режиме киоска?
- 1 подписчик
- вчера
- 100 просмотров
1

ответ
Linux

Простой
Что интересного можно сделать из промышленного ПК?
- 3 подписчика
- вчера
- 419 просмотров
7

ответов
Системное администрирование

+1 ещё

Простой
Какое можно использовать клиент-серверное приложение видеоконференции p2p?
- 1 подписчик
- вчера
- 55 просмотров
1

ответ
Linux

+2 ещё

Простой
Какой редактор подсвечивает синтаксис вывода GDB?
- 1 подписчик
- вчера
- 60 просмотров
1

ответ
Системное администрирование

+1 ещё

Простой
На каком виртуальном сервере процессор мощнее?
- 1 подписчик
- 14 апр.
- 170 просмотров
2

ответа
Показать ещё Загружается…

Программист C для Embedded Linux

Radiofid • Санкт-Петербург

от 120 000 до 180 000 ₽

Linux Администратор DevOps

ИМАГ • Москва

от 150 000 до 170 000 ₽

Системный администратор Linux (SysOps)

Sipuni

от 180 000 ₽

Автоматизировать работу ноумен с Инстаграмом

16 апр. 2024, в 19:33

1000 руб./за проект

Разработать расширение для конфигурации "1С:Управление торговлей 11.5"

16 апр. 2024, в 19:32

5000 руб./за проект

Разработать рекламные креативы/баннеры для РСЯ

16 апр. 2024, в 18:59

1000 руб./за проект

Примерно так, но мог и просмотреть или не понять что-то важное
journalctl -p err -b
journalctl -k
journalctl -b
dmesg
cat /var/log/* | grep error
что за сервер, установлены ли все Update, хотелось бы увидеть логи.
dmesg.

Сколько у вас памяти + сколько памяти отведено под машины + сколько памяти отведено под zfs ?
Какой объем у вас swap.

cat /proc/spl/kstat/zfs/arcstats | grep c_
Сервер в hetzner px61

Intel® Xeon® E3-1275 v5
64 GB DDR4 ECC RAM
2 x 4 TB SATA 6 Gb/s 7200 rpm HDD

cat /proc/spl/kstat/zfs/arcstats | grep c_
c_min 4 33554432
c_max 4 33672136704
arc_no_grow 4 0
arc_tempreserve 4 0
arc_loaned_bytes 4 0
arc_prune 4 0
arc_meta_used 4 1293603992
arc_meta_limit 4 25254102528
arc_meta_max 4 1293602280
arc_meta_min 4 16777216
arc_need_free 4 0
arc_sys_free 4 1052254208

вывод dmesg
https://pastebin.com/618xzi77

Предположение по поводу zfs очень похоже на правду. По ночам идет большая нагрузка на диски, делается резервное копирование внутри VM и в этот момент хост перезагружается.
У меня в системе нет /etc/modprobe.d/zfs.conf, его нужно создать?

Answer 1 · 2017-07-13 02:43:12

Скорее всего у вас проблема в том, что ZFS и его L2ARC кеш съедает всю память.
Тогда надо значение кеша поставить минимально возможное, например в 2gb.

https://www.solaris-cookbook.eu/linux/linux-ubuntu...

Другой момент,что если у вас сервер HP может отрабатывать wachdog в определенный момент.
Отключить можно GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0
Если поможет, надо разбираться дальше почему он отрабатывает.

https://forum.proxmox.com/threads/random-restartin...

Answer 2 · 2017-07-14 11:58:07

При выключенном Cron проблема повторяется? В других логах еще есть что-то?
Я бы посоветовал вам отсылать dmesg по сети, чтобы увидеть. что было "при жизни" за секунду до падения.

Answer 3 · 2017-07-14 12:06:24

имел подобную проблему в проксмокс с ядром опенвз на сендибридже , помог только переезд на другой сервер не сендибридж
увы нет консоле или какие то другие вещи ничего не показали, очень похоже на такой же случай

Answer 4 · 2017-08-16 11:40:11

Vitaliy @muzon

Привет
Если CPU Intel 6 или 7 поколения то посмотрите сюда
https://lists.debian.org/debian-devel/2017/06/msg0...

Ответ написан более трёх лет назад

12 комментариев

Перезагружется хост Proxmox, как найти причину?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт