Как посмотреть сколько дисков в RAID5?

Question

grabbee @grabbee

Как посмотреть сколько дисков в RAID5?

Есть сервер, по паспорту должно быть 3 диска в RAID5 - как посмотреть, сколько реально дисков на этой машине?

Предыстория. Лёг сервер, вот незадача. С горем пополам поднял. Были ошибки на диске и наверное рассыпался RAID. Попробовал собрать, заработало, но как-то хз..

Делаю fdisk -l - показывает что у меня только 2 диска sda и sdb - но третьего не видно в упор.
sdc только на словах. Вот что саппорт ответил

you have 3 disk but actualy you are on RAID5. you see 2 disk and 1 disk is for the mirroring

dev/sda1 RAID 1 /boot EXT4 300 Mo
/dev/sdb1 RAID 1 /boot EXT4 300 Mo
/dev/sdc1 RAID 1 /boot EXT4 300 Mo
/dev/md1
/dev/sda2 RAID 5 / EXT4 20 Go
/dev/sdb2 RAID 5 / EXT4 20 Go
/dev/sdc2 RAID 5 / EXT4 20 Go
/dev/md2
/dev/sda3 RAID 5 /data EXT4 219 Go
/dev/sdb3 RAID 5 /data EXT4 219 Go
/dev/sdc3 RAID 5 /data EXT4 219 Go

If you want the another RAID you have to launch a new installation a choose the RAID or No RAID

То есть их три, но вижу я только 2, а третий is for the mirroring - и мне его видеть не обязательно! Мне кажется.. или меня "обманывают"?

~# more /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md125 : active raid5 sdb3[1] sda3[0]
      460208128 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      bitmap: 2/2 pages [8KB], 65536KB chunk

md126 : active raid5 sdb2[1] sda2[0]
      39028736 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      
md127 : active raid1 sdb1[1] sda1[0]
      291520 blocks super 1.2 [3/2] [UU_]

Disk /dev/sda: 238,5 GiB, 256060514304 bytes, 500118192 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xa1a87c2a

Device     Boot    Start       End   Sectors   Size Id Type
/dev/sda1  *        2048    585727    583680   285M fd Linux raid autodetect
/dev/sda2         585728  39647231  39061504  18,6G fd Linux raid autodetect
/dev/sda3       39647232 500117503 460470272 219,6G fd Linux raid autodetect


Disk /dev/sdb: 238,5 GiB, 256060514304 bytes, 500118192 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xbf06c875

Device     Boot    Start       End   Sectors   Size Id Type
/dev/sdb1  *        2048    585727    583680   285M fd Linux raid autodetect
/dev/sdb2         585728  39647231  39061504  18,6G fd Linux raid autodetect
/dev/sdb3       39647232 500117503 460470272 219,6G fd Linux raid autodetect


Disk /dev/md0: 284,7 MiB, 298516480 bytes, 583040 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/md2: 438,9 GiB, 471253123072 bytes, 920416256 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 524288 bytes / 1048576 bytes


Disk /dev/md1: 37,2 GiB, 39965425664 bytes, 78057472 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 524288 bytes / 1048576 bytes

Number   Major   Minor   RaidDevice State
       0       8        3        0      active sync   /dev/sda3
       1       8       19        1      active sync   /dev/sdb3
       4       0        0        4      removed

Вопрос задан более трёх лет назад
1664 просмотра

6 комментариев

Подписаться 1 Оценить 6 комментариев

grabbee @grabbee Автор вопроса

на втором диске смарт показал ошибки, вероятно послужившие сбою

---
Error 15 occurred at disk power-on lifetime: 2510 hours (104 days + 14 hours)
When the command that caused the error occurred, the device was active or idle.

After command completion occurred, registers were:
ER ST SC SN CL CH DH
-- -- -- -- -- -- --
40 51 88 70 a6 2a 40 Error: UNC at LBA = 0x002aa670 = 2795120

Commands leading to the command that caused the error were:
CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name
-- -- -- -- -- -- -- -- ---------------- --------------------
60 00 88 70 a6 2a 40 11 02:18:06.124 READ FPDMA QUEUED
60 18 50 f8 a5 be 40 0a 02:18:06.124 READ FPDMA QUEUED
60 80 38 78 a5 be 40 07 02:18:06.124 READ FPDMA QUEUED
60 08 18 68 7d 64 40 03 02:18:06.124 READ FPDMA QUEUED
60 18 10 f8 e1 8a 40 02 02:18:06.124 READ FPDMA QUEUED

Error 14 occurred at disk power-on lifetime: 2510 hours (104 days + 14 hours)
When the command that caused the error occurred, the device was active or idle.

After command completion occurred, registers were:
ER ST SC SN CL CH DH
-- -- -- -- -- -- --
40 51 68 80 d9 66 40 Error: UNC at LBA = 0x0066d980 = 6740352

Commands leading to the command that caused the error were:
CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name
-- -- -- -- -- -- -- -- ---------------- --------------------
60 20 68 80 d9 66 40 0d 02:18:06.124 READ FPDMA QUEUED
60 18 60 f8 e1 8a 40 0c 02:18:06.124 READ FPDMA QUEUED
60 08 58 68 7d 64 40 0b 02:18:06.124 READ FPDMA QUEUED
60 00 50 10 a5 be 40 0a 02:18:06.124 READ FPDMA QUEUED
60 08 48 88 2e be 40 09 02:18:06.124 READ FPDMA QUEUED

Error 13 occurred at disk power-on lifetime: 2104 hours (87 days + 16 hours)
When the command that caused the error occurred, the device was active or idle.

After command completion occurred, registers were:
ER ST SC SN CL CH DH
-- -- -- -- -- -- --
40 51 08 50 63 56 e3 Error: UNC 8 sectors at LBA = 0x03566350 = 55993168

Commands leading to the command that caused the error were:
CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name
-- -- -- -- -- -- -- -- ---------------- --------------------
c8 00 08 50 63 56 e3 0e 01:53:46.136 READ DMA
ca 00 10 d0 76 87 e3 0e 01:53:46.136 WRITE DMA
c8 00 18 e8 f8 85 e3 0e 01:53:46.136 READ DMA
47 00 01 30 08 00 e3 0e 01:53:46.136 READ LOG DMA EXT
47 00 01 13 00 00 e3 0e 01:53:46.136 READ LOG DMA EXT

Error 12 occurred at disk power-on lifetime: 2104 hours (87 days + 16 hours)
When the command that caused the error occurred, the device was active or idle.

After command completion occurred, registers were:
ER ST SC SN CL CH DH
-- -- -- -- -- -- --
40 51 08 50 63 56 e3 Error: UNC 8 sectors at LBA = 0x03566350 = 55993168

Commands leading to the command that caused the error were:
CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name
-- -- -- -- -- -- -- -- ---------------- --------------------
c8 00 08 50 63 56 e3 0e 01:53:46.136 READ DMA
c8 00 08 48 63 56 e3 0e 01:53:46.136 READ DMA
c8 00 08 40 63 56 e3 0e 01:53:46.136 READ DMA
c8 00 08 e0 f8 85 e3 0e 01:53:46.136 READ DMA
c8 00 08 38 63 56 e3 0e 01:53:46.136 READ DMA

Error 11 occurred at disk power-on lifetime: 1614 hours (67 days + 6 hours)
When the command that caused the error occurred, the device was active or idle.

After command completion occurred, registers were:
ER ST SC SN CL CH DH
-- -- -- -- -- -- --
40 51 08 68 ff 04 e6 Error: UNC 8 sectors at LBA = 0x0604ff68 = 100990824

Commands leading to the command that caused the error were:
CR FR SC SN CL CH DH DC Powered_Up_Time Command/Feature_Name
-- -- -- -- -- -- -- -- ---------------- --------------------
c8 00 08 68 ff 04 e6 0e 01:24:21.038 READ DMA
47 00 01 30 08 00 e6 0e 01:24:21.038 READ LOG DMA EXT
47 00 01 13 00 00 e6 0e 01:24:21.038 READ LOG DMA EXT
ef 10 02 00 00 00 e6 0e 01:24:21.038 SET FEATURES [Enable SATA feature]
27 00 00 00 00 00 e6 0e 01:24:21.038 READ NATIVE MAX ADDRESS EXT [OBS-ACS-3]

SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Short offline Completed without error 00% 19 -

SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
255 0 65535 Read_scanning was never started
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Написано более трёх лет назад
Дмитрий @plin2s

grabbee: а покажите, пожалуйста сами параметры smart для всех дисков, когда доступ будет. Я имею в виду строки с данными под строкой "ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE"
Так, чисто из любопытства.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Дмитрий: SSD - диск B (на первом почти также, мне показалось нормальным)

SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
5 Reallocated_Sector_Ct 0x0033 098 098 010 Pre-fail Always - 18
9 Power_On_Hours 0x0032 099 099 000 Old_age Always - 2515
12 Power_Cycle_Count 0x0032 099 099 000 Old_age Always - 5
170 Unknown_Attribute 0x0032 097 097 010 Old_age Always - 18
171 Unknown_Attribute 0x0032 100 100 010 Old_age Always - 0
172 Unknown_Attribute 0x0032 100 100 010 Old_age Always - 0
173 Unknown_Attribute 0x0033 032 032 005 Pre-fail Always - 858
174 Unknown_Attribute 0x0032 099 099 000 Old_age Always - 2
178 Used_Rsvd_Blk_Cnt_Chip 0x0013 097 097 010 Pre-fail Always - 18
180 Unused_Rsvd_Blk_Cnt_Tot 0x0013 097 097 010 Pre-fail Always - 747
184 End-to-End_Error 0x0033 100 100 097 Pre-fail Always - 0
187 Reported_Uncorrect 0x0032 099 099 000 Old_age Always - 15
194 Temperature_Celsius 0x0032 065 055 000 Old_age Always - 35
199 UDMA_CRC_Error_Count 0x003e 099 099 000 Old_age Always - 1
233 Media_Wearout_Indicator 0x0013 029 029 000 Pre-fail Always - 4781506
241 Total_LBAs_Written 0x0032 099 099 000 Old_age Always - 16774
242 Total_LBAs_Read 0x0032 099 099 000 Old_age Always - 8046
249 Unknown_Attribute 0x0032 099 099 000 Old_age Always - 219872

SMART Error Log Version: 1

=====

=== START OF INFORMATION SECTION ===
Device Model: SAMSUNG MZ7LN256HMJP-00000
Serial Number: S2MJNX0H414276
LU WWN Device Id: 5 002538 d40d550b4
Firmware Version: MAV0100Q
User Capacity: 256 060 514 304 bytes [256 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Form Factor: 2.5 inches
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-2, ATA8-ACS T13/1699-D revision 4c
SATA Version is: SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Mon Nov 28 22:21:01 2016 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Написано более трёх лет назад
Дмитрий @plin2s

Ну, вообще Reallocated_Sector_Ct = 18 и Reported_Uncorrect = 15 - это уже не очень хорошо. Реаллокейты для ssd не такой повод для беспокойства как на hdd, но все же... И все это за каких-то 2.5 тыс часов.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Дмитрий: а в сервера часто бытовые SSD ставят? (Device Model: SAMSUNG MZ7LN256HMJP)

Написано более трёх лет назад
Дмитрий @plin2s

grabbee: Я бы не сказал, что десктопные диски в серверах это редкость. Особенно когда речь идет low-price решениях под аренду. Тут все упирается в стоимость эксплуатации. Дорогое брендовое железо с оригинальными расходниками будет стоить либо не по карману клиенту, либо никогда не окупится.

Написано более трёх лет назад

Решения вопроса 1

1 комментарий

grabbee @grabbee Автор вопроса

Есть основания полагать, что третьего диска не было изначально. Я не системный администратор. Я приобрел у них сервер, где в характеристиках 3 диска в рэйде. Далее, я установил ОС через их веб консоль - там отображалась настройка разделов с тремя физическими дисками. Всё установилось и заработало как обычно. Не было оснований им не доверять и что-то перепроверять, тем более я не умел ни в rescue ни в iKVM - и даже опасался этих "настроек".

Благополучно поднял виртуалки на этом сервере в ОС Убунту 16.04.1 - всё работает. Использовал виртуалку1 для БД MySQL - 15GB. Прошло около недели, мускуль неожиданно отвалися. Полез выяснять - краш нескольких таблиц. Исправил, мускуль заработал. Так и не понял, что произошло, так как к серверу не притрагивался. Ещё неделя, снова падение, снова мускуль и опять краш тех же таблиц и одна-две новые.

Подумал, что проблема в софте(но знал, что проблема в файлах мускуля на диске, то есть чувствовал чем пахнет). Ещё неделя, мускуль снова прилег, но уже навечно(!) и в этот раз отказывался подавать признаков жизни совсем. Вот и славненько, подумал я. Перенес БД на соседний сервер. Сделал вывод(1) - виртуалка криво встала, я где-то накосячил, ведь физический сервер работает.

Поднимаю новую виртуалку2 на проблемном сервере - работает. Ставлю мускуль, реплику с мастера на другом сервере - всё работает как часы. Вывод - вывод1 был правильный, но сейчас я дартаньян и всех перехитрил. Проходит 2 недели и реплика ложится спать! Не мускуль уже, а вся виртуалка прилегла..

В этот раз, когда настраивал эту виртуалку, я включил nobdrier и noatime в fstab - вывод3 - я опять накосячил, и о чем я думал когда настраивал эти опции. В надежде перезапустить виртуалку2 открываю вирт манагер - и чет не понимаю. Я её не могу рестартануть и не могу с ней что либо сделать, по той причине, что VM не может законнектиться к хосту! По ssh я на дедик зайти могу, а VM не может. Попытавшись выяснить причину 5 минут и не найдя внятного объяснения, пишу в консоли дедика reboot ...

Вот же радость, после этого пинг с дедиком пропал... Иду в веб консоль, делаю ребут оттуда - сервер On, пинга нет. Пишу в саппорт, говорю, что сервер перестал загружаться - подозреваю жесткий Диск. В ответ - сервер (ОС) в аварийном режиме, разберитесь сами. Но я не администратор... Ок...

Пытаюсь зайти в Rescue - не открывается... Здравствуйте, пишу в саппорт - не могу входить в реску, я думаю проблема с железом сервера. Ответ - но я же вошел, вот, смотри [текст из консоли в подтверждение]. Ну ок. Теперь зашел и я. Титаническим трудом для меня, запустил проверку дисков, восстановил Рэйд - или наоборот, я уже не помню, но всё заработало. Узнал, что существует iKVM - было интересно, но появилась проблемка - в КВМ я наблюдал иногда alert - "pei -- intel reference code execution 02"...

И при всём этом сервер таки заработал.. Смотрю диски, вижу 2 - смотрю RAID - [3/2] [UU_] - читаю интернет - пишут, это не нормально. Пишу в саппорт - вот, смотрите, только два, а покупал три! Ответ - всё нормально, так и должно быть. Так, где мои лыжи... .... Пишу вопрос в тостер, ведь мои лыжи по асфальту ехать не хотят. Советуют искать третий диск. Пишу в саппорт - где?. Ответ - я уже говорил, он есть, ты его просто не видишь.

Good. Запускаю реинстал OS в RAID1 - там же всё прозрачно, думаю я. В крайнем случае переинсталю в рэйд0 - не тут то было, интсаляция зависает(!). Пишу в саппорт - исталяция нот ворк, я думаю диск плохой. В ответ - сам ты плохой, ставь настройки по умолчанию! - Я говорю, ты сам сказал ставить другой рэйд. Он в ответ - какая разница, я должен проверить, что ты не олень(что проблема не в разметке). Повинуюсь - инсталяция всё равно не идёт. И как бы третий день уже... И как бы меня четыре раза в путешествия направляли.. Пишу менеджеру. Саппорт слегка ускорился, и предложил таки что сам мне всё установит. Но у него это сейчас, как я вижу, не получается - установка зависает...

Я вот думаю, попкорна что-ли пожарить... Ну не смешно же нифига. Продали мне сервер с ДВУМЯ дисками в RAID5 - сервер успешно сдох в течении месяца, так я ещё и крайним буду наверное.

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 2

13 комментариев

grabbee @grabbee Автор вопроса

хз, я снова им написал - "You have 3 disk - you don't see it because you are on RAID5" и всё.. Есть же доступ iKVM - но я не знаю как там смотреть диски

Написано более трёх лет назад
Дмитрий @plin2s

grabbee: У вас софтверный raid, а значит вы должны видеть все диски. Если в системе в ответ на "ls -la /dev/sd*" показывается только два диска, значит третьего нет. То же самое вы можете проверить в выводе dmesg (или логе /var/log/messages или где-нибудь еще в зависимости от дистрибутива). Если там его нет, то система его не видит.
Есть ipKVM? Перезагружайтесь, входите в биос и смотрите что там видно. Со скриншотами и выводами логов к саппорту.
Пусть аргументируют чем-нибудь свою позицию. Будет здорово в переписку с сапортом включить еще кого-нибудь из их начальства, если есть контакты.

Вот вам пример рассыпавшегося рейда

plin2s@home-debian:~$ cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdb2[0]
3905472 blocks super 1.2 [2/1] [U_]

md0 : active raid1 sdb1[0]
11319168 blocks super 1.2 [2/1] [U_]
unused devices:

На место второй флешки вставил предыдущую, которая умерла смертью храбрых пару месяцев назад. Определяться она кое-как определяется, но вот в массиве ее нет.
[U_] говори о том, что одного диска из зеркала нет.

plin2s@home-debian:~$ ls -la /dev/sd*
brw-rw---T 1 root disk 8, 0 Ноя 29 01:38 /dev/sda
brw-rw---T 1 root disk 8, 1 Ноя 29 01:38 /dev/sda1
brw-rw---T 1 root floppy 8, 16 Ноя 29 01:38 /dev/sdb
brw-rw---T 1 root floppy 8, 17 Ноя 29 01:38 /dev/sdb1
brw-rw---T 1 root floppy 8, 18 Ноя 29 01:38 /dev/sdb2
brw-rw---T 1 root floppy 8, 32 Ноя 29 01:39 /dev/sdc

Кое-как видна, но вот вывод dmesg

[ 386.126971] usb 2-2: USB disconnect, device number 26
[ 386.130926] sd 28:0:0:0: Device offlined - not ready after error recovery
[ 386.134876] sd 28:0:0:0: [sdc] Unhandled error code
[ 386.134882] sd 28:0:0:0: [sdc] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
[ 386.134887] sd 28:0:0:0: [sdc] CDB: Read(10): 28 00 00 00 00 00 00 00 08 00
[ 386.134898] end_request: I/O error, dev sdc, sector 0
[ 386.136888] quiet_error: 7 callbacks suppressed

Если вставить живую, то получится вот так

plin2s@home-debian:~$ cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdb2[0] sdc2[1](F)
3905472 blocks super 1.2 [2/1] [U_]

md0 : active raid1 sdb1[0] sdc1[1](F)
11319168 blocks super 1.2 [2/1] [U_]

Осталось только отребилдить массив.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

может у них Raid50 или Raid05 ... как это проверить тогда... (mdadm --detail - Raid Level : raid5)

Написано более трёх лет назад
Дмитрий @plin2s

grabbee: повторюсь, это софтовый raid. Диски пробрасываются "как есть" и системой определяются в тот или иной массив. raid05 - в первый раз слышу, хотя наверное фостово и не такое извращение создать можно. raid50 - это зеркало из двух raid5, а значит и дисков должно быть еще столько же.

Выполните тогда уж
mdadm --detail /dev/md*
раз сами эту команду копипастите.

Написано более трёх лет назад
Дмитрий @plin2s

То ли вы дополнили вопрос, то ли я проглядел, у вас в самом последнем куске даже написано "removed". Нет там третьего диска.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Дмитрий: дополнил. Саппорт дичайше игнорит, говорит - так и должно быть... online.net

Написано более трёх лет назад
Дмитрий @plin2s

Erelecano Oioraen хорошо написал про smartctl (пакет smartmontools). Это железный аргумент. Для sdc оно вам либо вообще ничего не выведет, либо покажет только основные данные по диску. Таким образом можно будет им написать что диски с такими-то серийниками нормальные, а вот третий плохой.
grabbee: Спасибо что написали хостера ) Другим будет полезно знать о таком отношении к клиентам.
Мой вам совет - бегите от туда, если данные и доступность ресурсов важнее цены.
На данный момент вы переплачиваете за один диск, как минимум. Плюс деградировавший raid5 сильно увеличивает нагрузку на систему и оставшиеся диски. Он может развалиться в любой момент и данные уже не вернете.

Написано более трёх лет назад
Erelecano Oioraen @Erelecano

Дмитрий: ну так да, надежней smart'а нет аргумента, в данном случае. Либо он покажет, ошибку, что диска нет в системе, либо что диск мертвый, но еще о себе что-то говорит. В любом случае этим можно тыкать саппорт.
А смарт по двум живым хардам сделать, что бы саппорту показать, что два других диска отвечают по смарту и значит косяк в третьем.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Ну так его нет (surprize!)

~# smartctl -a /dev/sdc
smartctl 6.5 2016-01-24 r4214 [x86_64-linux-4.4.0-34-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

Smartctl open device: /dev/sdc failed: No such device

Написано более трёх лет назад
Erelecano Oioraen @Erelecano

grabbee: вообще, исходя из

[ 386.130926] sd 28:0:0:0: Device offlined - not ready after error recovery
[ 386.134876] sd 28:0:0:0: [sdc] Unhandled error code
[ 386.134882] sd 28:0:0:0: [sdc] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
[ 386.134887] sd 28:0:0:0: [sdc] CDB: Read(10): 28 00 00 00 00 00 00 00 08 00
[ 386.134898] end_request: I/O error, dev sdc, sector 0
[ 386.136888] quiet_error: 7 callbacks suppressed

Он таки был, но отвалился.

Кидайте это дело в саппорт, тут против лома нет приема уже. Им придется что-то делать.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Erelecano Oioraen: извините - это не моё :) это Дмитрий: "Вот вам пример рассыпавшегося рейда" - у меня dmesg - девственно чист (ну там написано одной строкой, что всё хорошо)

Написано более трёх лет назад
Erelecano Oioraen @Erelecano

grabbee: а, сорри, не заметил :)
Ну таки да, тогда у вас его просто нет(либо таки помер от слова совсем)
Бутите, заходите через IP-KVM, смотрите в BIOS, делайте скрин и бейте саппорт скрином по голове.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

сейчас саппорт пытается переустановить мне ОС - у него это не получается, мои сообщения не читает.

Написано более трёх лет назад

11 комментариев

grabbee @grabbee Автор вопроса

На новом сервере в стандартной установке (как и на проблемном сервере) "fdisk -l" показывает все ТРИ диска - это ли не пи*дец? Трахали мне мозг три дня, ни разу не зашли на сервер и не посмотрели его состояние! В самом первом обращении высказал им предположение, что проблема с диском - они это оставили без внимания.

Написано более трёх лет назад
Erelecano Oioraen @Erelecano

grabbee: настройте, как я упомянул, smartmontools на мониторинг состояния дисков, что бы вам письма шли если будут с ними проблемы. Кстати, спасибо за предупреждение о таком саппорте online.net, у меня один из клиентов там сервер недавно взял, буду знать, что с саппортом там надо ругаться и бодаться, если что.

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Erelecano Oioraen: попросил их комментарии в тикете с темой "Support ignoring my problem" - ответа пока нет))

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Erelecano Oioraen: Спасибо за совет, я конечно настрою так как вы говорите. У меня есть статистика munin по всем параметрам сервера, включая диски. Диска [C] не было изначально, просто я даже не думал, что такое возможно. На других серверах у меня по два диска в рейде, наверное поэтому не обратил внимания. Есть графики за всё время, диска sdc нет нигде, только sda и sdb. Я думаю инцидент единичный, и это просто случайность. Я про диск, а не общение с саппортом)

Написано более трёх лет назад
Erelecano Oioraen @Erelecano

grabbee: ну так вы же написали, что игнорирует :-D

Написано более трёх лет назад
Erelecano Oioraen @Erelecano

grabbee: ну да, если в мунине нет, то значит изначально не было. Но за S.M.A.R.T'ом и состоянием рейда все равно следить нужно, благо что это умеют делать штатные утилиты :_

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

"I'm sorry but we we don't have GTR for the basic support level only GTI" - как это правильно истолковать? Они исправляют только проблемы с железом, никакие другие мои проблемы, включая потерю данных в следствие неисправности железа, их не касаются?

Написано более трёх лет назад
Дмитрий @plin2s

grabbee: Вы действительно собираетесь продолжить с ними работать после этой истории?

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

Дмитрий: альтернатива есть?)

Написано более трёх лет назад
Дмитрий @plin2s

grabbee: Хостингов сотни. Все упирается в цену и локацию (ну еще изредка в доступное для заказа железо).

Написано более трёх лет назад
grabbee @grabbee Автор вопроса

После смены сервера, вылезла старая статистика в графиках munin - диск C был в начале(!) что было дальше, могу догадываться, потому что диск пробыл на сервере ровно месяц (чет падазрительна) - и тут у меня два варианта: 1 - он помер, 2 - его достали из сервера, чтобы поставить в другой :)

Картину восстановил - сервер стабильно работал около месяца. Потом случился первый пиздец, оказывается у меня исчез один диск из рэйда - потеря потерь для RAID5 на трех дисках. Но я о глобальной проблеме даже не догадывался.

Так как на сервере работала БД (по мне так нормально таки нагруженная) диск был busy на 60-80% + массив дисков стал крайне нестабильным. На втором диске посыпались ошибки - что проявилось в регулярном падении сервисов в виртуалке, затем самой виртуалки, затем ласты склеил сам дедик.

Печаль.. Возвращать туда мастер БД как-то сцыкотно. Закину две реплики, понаблюдаю..

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Жёсткие диски

+4 ещё

Средний
Можно ли используя Acronis True Image развернуть копию с диска с аппаратным шифрованием AES 256 на другой такой же диск?
- 1 подписчик
- 27 минут назад
- 16 просмотров
0

ответов
Linux

+2 ещё

Простой
Linux (Ubuntu, Gnome) необходимо небольшое окошко поверх всех остальных окон?
- 1 подписчик
- 5 часов назад
- 113 просмотров
2

ответа
Linux

+3 ещё

Средний
Как исправить раздел LVM — отсутствует верная таблица разделов?
- 1 подписчик
- 7 часов назад
- 51 просмотр
1

ответ
Linux

+1 ещё

Простой
Как правильно передать значения к переменную внутри команды curl?
- 1 подписчик
- 13 часов назад
- 72 просмотра
4

ответа
Linux

+1 ещё

Средний
Как исправить ошибку «Meego grubby fatal error: unable to find a suitable template»?
- 1 подписчик
- 20 часов назад
- 38 просмотров
1

ответ
Железо

Простой
Аналог контроллеру подсветки?
- 1 подписчик
- 21 час назад
- 64 просмотра
0

ответов
Linux

Простой
Как грепнуть по двум строкам вместе?
- 1 подписчик
- вчера
- 114 просмотров
1

ответ
Системное администрирование

+3 ещё

Простой
Есть работающий сервер с ProxMox, но как решить проблему с работой жестких дисков?
- 1 подписчик
- вчера
- 118 просмотров
2

ответа
Linux

+2 ещё

Средний
Не вижу вводимые символы в консоли Debian 10?
- 2 подписчика
- вчера
- 204 просмотра
0

ответов
Linux

+1 ещё

Простой
Как создать свой образ Linux для размноживания на других АРМ?
- 1 подписчик
- вчера
- 162 просмотра
4

ответа
Показать ещё Загружается…

Программист C для Embedded Linux

Radiofid • Санкт-Петербург

от 120 000 до 180 000 ₽

Linux Администратор DevOps

ИМАГ • Москва

от 150 000 до 170 000 ₽

Программист C/C++ embedded Linux

РТК Автоматика • Москва

от 170 000 до 250 000 ₽

Мобильное приложение на Flutter

24 апр. 2024, в 14:37

400000 руб./за проект

Доработка проекта на Laravel + JS

24 апр. 2024, в 14:35

1300 руб./в час

Консультация по улучшению качества рендера

24 апр. 2024, в 14:24

5000 руб./за проект

grabbee: а покажите, пожалуйста сами параметры smart для всех дисков, когда доступ будет. Я имею в виду строки с данными под строкой "ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE"
Так, чисто из любопытства.
Ну, вообще Reallocated_Sector_Ct = 18 и Reported_Uncorrect = 15 - это уже не очень хорошо. Реаллокейты для ssd не такой повод для беспокойства как на hdd, но все же... И все это за каких-то 2.5 тыс часов.
Дмитрий: а в сервера часто бытовые SSD ставят? (Device Model: SAMSUNG MZ7LN256HMJP)
grabbee: Я бы не сказал, что десктопные диски в серверах это редкость. Особенно когда речь идет low-price решениях под аренду. Тут все упирается в стоимость эксплуатации. Дорогое брендовое железо с оригинальными расходниками будет стоить либо не по карману клиенту, либо никогда не окупится.

Answer 1 · 2016-11-29 03:06:48

Коллега выше правильно сказал, что [3/2] [UU_] говорит о том, что третьего таки нет в рейде.
smartctl -a /dev/sda
smartctl -a /dev/sdb
smartctl -a /dev/sdc
И это дело в саппорт. Ибо оно покажет, что по третьему(судя по всему) данные прочитать не сможет.

На будущее. Можно не мониторить нагрузку и память, можно не мониторить сервисы, но есть две вещи обязательные к мониторингу:
1. S.M.A.R.T
2. Состояние raid

Даже если у вас нет системы мониторинга(хотя я не могу представить сервер без мониторинга за ним следящего) есть /etc/mdadm/mdadm.conf в котором можно указать e-mail на который истерить при проблемах с рейдом и есть /etc/smartd.conf в котором можно настроить отправку сообщений о проблемах с дисками. Если вы это дело настроите, то у вас больше не будет таких неожиданностей, вы сразу получите извещение, как проблема начнется(когда смарт начнет видеть проблему с хардом).

Answer 2 · 2016-11-29 00:25:52

Подчеркивание после UU какбы намекает, что одного тома нет. Массив развален. Диск, видимо, помер и вылетел. Погрепайте sdc в dmesg.
Ответ про то, что третий диск для мирроринга - бред и отмазки. Raid5 чередует данные и контрольные суммы.
Первым делом бежать делать бекап, если его нет, а уже потом выводить суппорт на чистую воду.

Answer 3 · 2016-11-29 16:28:44

Дают новый сервер, со словами - тот сервер прекрасно работал, но раз вы так настаиваете, вот вам новый...

Hello Mr,

On our side we did not detect any issue on your server, but we allow you to change it from your console,

You will have new server, new IP and new dedibackup space

Regards, Jonathan

Так что ребят, вы них*ра не понимаете! Диск sdc - он есть, его просто не видно, потому как is for the mirroring - и вы никто не шарите в структуре RAID5 ! [3/2] [UU_] - это НОРМА, то что дэвайс removed - так и должно быть. Дисков три. Мне даже написали это три раза в саппорте. И это подтверждают их тесты! Идите все торговать кортошкой!..

Получу новый сервер и отпишу что там с дисками изначально. Покручу разные RAID чтобы сделать выводы. Напишу им претензию в том, что продали дефектный сервер тогда.

Как посмотреть сколько дисков в RAID5?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт