Softer
@Softer

Почему может не собираться iSCSI+LVM2 на Proxmox?

Доброго времени суток, коллеги.

Дано:
  • 3 ноды Proxmox (5.2-10). Бездисковые (ОС грузиться с NFS), диски виртуалок - LVM2 over iSCSI
  • Самодельный сторадж: Ubuntu Server 18.04, stgt. На нем 4 HDD и 1 SSD: 2хRAID1, на одном из рейдов - bcache с SSD. Сервер презентует 2 iSCSI (по числу рейдов).


Действия ДО:
  • Пропал один HDD (из рейда что без bcache). Система живет, но рейд на одном крыле.
  • "Под шумок" обновил все ноды, сменилась минорка PM (если правильно запомнил - со 2-й на 10-ю). Все работает, один рейд по прежнему на одном крыле (перезагрузки были, все поднималось как всегда).
  • Погасил виртуалки
  • Выключил сторадж, сменил шлейф питания винта (окись), включил, рейд собрался и восстановился.
  • Проверил iSCSI локально на сторадже - все ОК:
    # iscsiadm -m discovery -t st -p 127.0.0.1 -t st
    127.0.0.1:3260,1 iqn.2018-06.pz:fast
    127.0.0.1:3260,1 iqn.2018-06.pz:slow

  • Пробую запустить виртуалки - не взлетают, аргументируют отсутствием винта. Не подключается тот LVM (over iSCSI) что указывает на рейд с bcache (напомню: отпадал винт на другом рейде)


Далее были попытки понять что не так:
На ноде PM (127.0.0.1 - адрес стораджа):
# iscsiadm -m node -R
Rescanning session [sid: 1, target: iqn.2018-06.pz:fast, portal: 127.0.0.1,3260]
Rescanning session [sid: 2, target: iqn.2018-06.pz:slow, portal: 127.0.0.1,3260]

# vgs
  VG      #PV #LV #SN Attr   VSize   VFree  
  vg_slow   1   0   0 wz--n- 803,75g 803,75g

# vgscan 
  Reading all physical volumes.  This may take a while...
  Found volume group "vg_slow" using metadata type lvm2

## Вырезал все лишние NFS и SMB хранилки, с ними все ОК
# pvesm status
Name           Type     Status           Total            Used       Available        %
Fast            lvm   inactive               0               0               0    0.00%
Slow            lvm     active       842792960               0       842792960    0.00%
iFast         iscsi     active               0               0               0    0.00%
iSlow         iscsi     active               0               0               0    0.00%

На сторадже:
# vgs
  VG      #PV #LV #SN Attr   VSize   VFree  
  vg_fast   1  22   0 wz--n-  <1,82t  <1,17t
  vg_slow   1   0   0 wz--n- 803,75g 803,75g
## Выхлоп ниже сокращен, суть - диски виртуалок видит.
# lvs
  LV              VG      Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  vm-101-disk-1   vg_fast -wi-a-----   5,00g                                                    
  vm-101-disk-2   vg_fast -wi-a-----  30,00g                                                    
  vm-1200-disk-1  vg_fast -wi-a-----  30,00g                                                    
  vm-1200-disk-2  vg_fast -wi-a-----   5,00g

Куда можно копнуть? Может кто сталкивался с подобным?
  • Вопрос задан
  • 299 просмотров
Решения вопроса 1
Softer
@Softer Автор вопроса
Сам себе и отвечу:

Оказалось что пропал LUN на таргете:
# tgt-admin -s
.Target 1: iqn.2018-06.pz:fast
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
        I_T nexus: 1
            Initiator: iqn.1993-08.org.debian:01:6b28041b594 alias: n0
            Connection: 0
                IP Address: 127.0.0.1
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB, Block size: 1
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            SWP: No
            Thin-provisioning: No
            Backing store type: null
            Backing store path: None
            Backing store flags: 
    Account information:
    ACL information:
        ALL
Target 2: iqn.2018-06.pz:slow
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
        I_T nexus: 2
            Initiator: iqn.1993-08.org.debian:01:6b28041b594 alias: n0
            Connection: 0
                IP Address: 127.0.0.1
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00020000
            SCSI SN: beaf20
            Size: 0 MB, Block size: 1
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            SWP: No
            Thin-provisioning: No
            Backing store type: null
            Backing store path: None
            Backing store flags: 
        LUN: 1
            Type: disk
            SCSI ID: IET     00020001
            SCSI SN: beaf21
            Size: 863023 MB, Block size: 512
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            SWP: No
            Thin-provisioning: No
            Backing store type: rdwr
            Backing store path: /dev/md0p4
            Backing store flags: 
    Account information:
    ACL information:
        ALL



Добавил LUN - ноды увидели LVM и подключили его.
# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/bcache0
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
opium
@opium
Просто люблю качественно работать
Посмотрите фдиском партиции на быстром айскази
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы