Wiederherstellung eines PV und VG auf UX 500P nach Neukonfiguration des NAS möglich?

Ich habe eine Erweiterungsbox UX-500P an einem TS-563 hängen. Das TS-563 musste ich neu aufsetzen. Auf beiden existiert(e) ein RAID 5 mit 5 HDs. Es gab vor dem neu Aufsetzen des TS einen Speicherpool mit zwei Volumes (eines auf dem TS, eines auf dem UX). Unmittelbar vor der neu Aufsetzen wurden Daten vom Volume 1 (TS) auf Volume 2 (UX) verschoben. Die Verzeichnisse waren Freigabeverzeichnisse.

Leider konnte ich vorab nicht die Box "sicher trennen".

Nach dem neu Aufsetzen des TS gibt es logischerweise einen neuen Speicherpool und ein Volume... wie schaffe ich es, das UX möglichst unter Erhalt der Daten einzubinden?

Ich habe hier schon gesucht und auch die Dinge aus dem Thread ([gelöst] SingleDisk mounten auf selbem NAS) mit den Tipps von Dr_Mike versucht... das RAID existiert ("md2") und wird mit lvmdiskscan als "LVM physical volume" angezeigt. Ein pvscan liefert allerdings nur das neu angelegte Volume auf der TS zurück. Gibt es eine Möglichkeit, das PV wieder herzustellen? Werden mit "pvcreate" alle Daten gelöscht?

In einem Artikel des Linux Journal ("Recovery of RAID and LVM2 Volumes") wird beschrieben, wie man ein ehemaliges Volume Group Configuration File, aus dem LVM2 header auf der HD auslesen kann. Dies funktioniert auch, sodass die alte PV-ID und auch die restlichen Daten der ehemaligen VG vorhanden sind. Hilft das?

Vielen Dank im Voraus

Christoph

Ich habe "ein wenig" weitergearbeitet und einen Zwischenerfolg!

Allerdings bin ich noch nicht am Ziel...

Nochmals die Ausgangslage

(ich hoffe, dass ich alle erforderlichen Daten liefere... sonst bitte melden!)

TS-563 mit UX-500P; QTS 4.3.4.0695

A)

Ausgangslage vor den "Schwierigkeiten":

- ein Speicherpool, 2 Volumes

- 1. Volume auf TS-563 (Thick)

- 2. Volume auf UX-500P (Thick)

Das TS-563 musste ich auf Werkseinstellungen zurücksetzen. Das UX-500P wurde vorher jedoch nicht entladen, sondern die Verbindung getrennt.

B)

nach dem Zurücksetzen auf Werkseinstellung:

- ein Speicherpool, 1 Volume (Thick) leer

- UX-500P erkannt, jedoch in der QTS-Oberlfäche als "Frei" gekennzeichnet

C)

was ich zwischenzeitlich gemacht habe:

1. cat /proc/mdstat => gesehen, dass kein RAID vorhanden, also...
2. mdadm /dev/md2 -AfR /dev/sdg3 /dev/sdh3 /dev/sdi3 /dev/sdj3 /dev/sdk3 => RAID 5 wieder erstellt
3. unter /mnt/HDA_ROOT/.config/lvm/archive eine alte lvm Definition von vor der Wiederherstellung herausgesucht
4. weiterhin mir mit pvdisplay, vgdisplay, lvdisplay, pvscan, vgscan, lvscan und lvmdiskscan einen Überblick über das lvm-System verschafft
5. aus der alten Konfigurationsdatei die Daten des zweiten Volumes (alte UUID etc) rausgelesen und mit den aktuellen Daten aus  /mnt/HDA_ROOT/.config/lvm/backup/vg1 "gemischt" und in "vg1_mix" abgespeichert
6. zwischenzeitlich mit der drbd-Definition gekämpft, da in der alten Konfigurationsdatei ein physical volume "drbd2" mit gleicher UUID wie das RAID md2 war (so, wie es auch für das zurückgesetzte RAID auf der TS-563 existiert)
7. mit "vgcfgrestore -f vg1_mix --force vg1" die volume group mit dem physical volume "drbd2" und dem locigal volume "lv2" wieder hergestellt
8. ... ich glaube da waren noch einige Zwischenschritte, die ich im Moment aber nicht mehr im Detail nachvollziehen kann - sorry!

Ergebnis:

1. in der GUI taucht das UX-500P als Thick-Volume im Speicherpool mit Daten auf:
   GUI01.PNG
   
   GUI02.PNG
2. allerdings befindet sich der Status auf "Entladen"

Mein Lösungsansatz, mittels

lvchange - a y /dev/mapper/vg1-lv2

liefert:

#lvchange - a y /dev/mapper/vg1-lv2

  device-mapper: reload ioctl on (252:9) failed: No data available

ein "dmesg | tail" liefert:

#dmesg | tail

[ 2892.227852] device-mapper: table: 252:9: thick: Couldn't open thin internal device
[ 2892.235424] device-mapper: ioctl: error adding target to table

aktuelle Checks liefern:

#pvscan

  PV /dev/drbd1   VG vg1             lvm2 [21.80 TiB / 0    free]
  PV /dev/drbd2   VG vg1             lvm2 [29.07 TiB / 5.21 GiB free]
  Total: 2 [50.87 TiB] / in use: 2 [50.87 TiB] / in no VG: 0 [0   ]

#vgscan

  Reading all physical volumes.  This may take a while...
  Found volume group "vg1" using metadata type lvm2

#lvscan

  ACTIVE            '/dev/vg1/lv544' [144.00 GiB] inherit
  ACTIVE            '/dev/vg1/tp1' [50.66 TiB] inherit
  inactive          '/dev/vg1/lv2' [30.00 TiB] inherit
  ACTIVE            '/dev/vg1/lv1' [21.59 TiB] inherit

#lvmdiskscan

  /dev/md256 [     517.69 MiB] 
  /dev/md1   [      21.80 TiB] LVM physical volume
  Found duplicate PV ectVyPAiriZbrVoBbWSaL8bCaAdnv7lI: using /dev/drbd1 not /dev/md1
  Using duplicate PV /dev/drbd1 from subsystem DRBD, replacing /dev/md1
  /dev/drbd1 [      21.80 TiB] LVM physical volume
  /dev/md2   [      29.07 TiB] LVM physical volume
  Found duplicate PV fi13OtWwGLPbG2TUdvlsauRMfHScZtmr: using /dev/drbd2 not /dev/md2
  Using duplicate PV /dev/drbd2 from subsystem DRBD, replacing /dev/md2
  /dev/drbd2 [      29.07 TiB] LVM physical volume
  /dev/md9   [     517.62 MiB] 
  /dev/md13  [     448.12 MiB] 
  /dev/md322 [       6.90 GiB] 
  0 disks
  4 partitions
  0 LVM physical volume whole disks
  4 LVM physical volumes

#ls -la /dev/mapper

total 0
drwxr-xr-x  2 admin administrators      240 2018-10-14 12:45 ./
drwxr-xr-x 13 admin administrators    21220 2018-10-14 14:47 ../
brw-------  1 admin administrators 252,   0 2018-10-14 12:29 cachedev1
crw-------  1 admin administrators  10, 236 2018-10-14 14:29 control
brw-------  1 admin administrators 252,   7 2018-10-14 12:29 vg1-lv1
brw-------  1 admin administrators 252,   8 2018-10-14 12:45 vg1-lv544
brw-------  1 admin administrators 252,   6 2018-10-14 12:29 vg1-tp1
brw-------  1 admin administrators 252,   2 2018-10-14 12:29 vg1-tp1_tierdata_0
brw-------  1 admin administrators 252,   3 2018-10-14 12:29 vg1-tp1_tierdata_1
brw-------  1 admin administrators 252,   4 2018-10-14 12:29 vg1-tp1_tierdata_2
brw-------  1 admin administrators 252,   1 2018-10-14 12:29 vg1-tp1_tmeta
brw-------  1 admin administrators 252,   5 2018-10-14 12:29 vg1-tp1-tpool

#cat /etc/config/ssdcache.conf

[Global]
ssdCacheBitmap = 0x6
cgBitmap = 0x1

[SSDCache_1]
ssdCacheId = 1
ssdCacheName = /dev/mapper/cachedev1
qdmId = 1
lvId = 1
groupId = 0
uuid = 37536010-a36d-4dc9-92d6-e297389e0d1a
flag = 0x1
enabled = 0
reserved = 0
sysCache = 1

[CG_0]
groupId = 0
groupName = CG0
lvId = -12
mode = 2
replaceAlgorithm = LRU
bypass_threshold = 1024
flag = 0x0
enabled = 0
member_0 = 1
memberBitmap = 0x3
member_1 = 2

[SSDCache_2]
ssdCacheId = 2
ssdCacheName = /dev/mapper/cachedev2
qdmId = 2
lvId = 2
groupId = 0
uuid = 0
flag = 0x1
enabled = 0
reserved = 0
sysCache = 1

#cat /etc/config/raid.conf

[Global]
raidBitmap = 0x6
pd_50014EE20CEF3854_Raid_Bitmap = 0x2
pd_50014EE26244BE81_Raid_Bitmap = 0x2
pd_50014EE20D05E780_Raid_Bitmap = 0x2
pd_50014EE2625B2965_Raid_Bitmap = 0x2
pd_50014EE2625B5052_Raid_Bitmap = 0x2
pd_5000CCA099C384C9_Raid_Bitmap = 0x4
pd_5000CCA099C39103_Raid_Bitmap = 0x4
pd_5000CCA099C0E871_Raid_Bitmap = 0x4
pd_5000CCA099C37E59_Raid_Bitmap = 0x4
pd_5000CCA099C390D1_Raid_Bitmap = 0x4

[RAID_1]
uuid = 08d7d775:3a940e2f:a7355b03:c6ceb5a8
id = 1
partNo = 3
aggreMember = no
readonly = no
legacy = no
version2 = yes
deviceName = /dev/md1
raidLevel = 5
internal = 1
mdBitmap = 0
chunkSize = 512
readAhead = 0
stripeCacheSize = 0
speedLimitMax = 0
speedLimitMin = 0
data_0 = 1, 50014EE20CEF3854
data_1 = 2, 50014EE26244BE81
data_2 = 3, 50014EE20D05E780
data_3 = 4, 50014EE2625B2965
data_4 = 5, 50014EE2625B5052
dataBitmap = 1F
scrubStatus = 1

[RAID_2]
uuid = c4512797:6d60d871:c2945c64:e707a0aa
id = 2
partNo = 3
aggreMember = no
readonly = no
legacy = no
version2 = yes
deviceName = /dev/md2
raidLevel = 5
internal = 1
mdBitmap = 0
chunkSize = 512
readAhead = 0
stripeCacheSize = 0
speedLimitMax = 0
speedLimitMin = 0
data_0 = 10001, 5000CCA099C384C9
data_1 = 10002, 5000CCA099C39103
data_2 = 10003, 5000CCA099C0E871
data_3 = 10004, 5000CCA099C37E59
data_4 = 10005, 5000CCA099C390D1
dataBitmap = 1F
scrubStatus = 1

cat /etc/config/qlvm.conf

[Global]
poolIdBitmap = 0x2
member_1_Pool = 1
memberIdBitmap = 0x6
member_2_Pool = 1
tpIdBitmap = 0x2
lvIdBitmap = 0x10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000006
member_1_LV_Bitmap = 0x10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000006
member_2_LV_Bitmap = 0x6

[POOL_1]
poolId = 1
tpId = 1
poolName = vg1
flag = 0x40010
threshold = 0
uuid = VL1yKk-Yafs-c4eX-gBci-ToP6-dyA3-75PKSl
overThreshold = no
member_0 = 1
member_1 = 2
memberBitmap = 3
snapshot_reserved_bytes = 0
snapshot_reserved = 0
snapshot_reserved_enable = 0

[MEMBER_1]
memberId = 1
memberName = /dev/drbd1
uuid = 08d7d775:3a940e2f:a7355b03:c6ceb5a8
stripe = 0
stripe_member_id = 
memberUuid = ectVyP-Airi-ZbrV-oBbW-SaL8-bCaA-dnv7lI

[MEMBER_2]
memberId = 2
memberName = /dev/drbd2
uuid = c4512797:6d60d871:c2945c64:e707a0aa
stripe = 0
stripe_member_id = 
memberUuid = fi13Ot-WwGL-PbG2-TUdv-lsau-RMfH-ScZtmr

[TP_1]
tpId = 1
tpName = /dev/mapper/vg1-tp1
uuid = PrWeTY-TF0G-aI54-2dV9-E8gP-FiDG-KztIQE
tpSize = 108786663424
metaSize = 134217728
metaSpareSize = 0

[LV_1]
lvId = 1
poolId = 1
layout = 0
flag = 0x10000
threshold = 0
lvName = /dev/mapper/vg1-lv1
uuid = DY2VIA-VJAS-pHgA-3sB2-Kdah-TANU-mxpU5q
completeFsResize = yes
FsResizeFail = no
completeTypeConvert = yes
overThreshold = no
lvSize = 46362787840
member_0 = 1
member_1 = 2
memberBitmap = 3
volName = DataVol1

[LV_2]
lvId = 2
poolId = 1
layout = 0
flag = 0x10000
threshold = 0
lvName = /dev/mapper/vg1-lv2
uuid = qfCiCT-eZKQ-aHGx-CmYy-ye0w-8lRL-YFLdJk
completeFsResize = yes
FsResizeFail = no
completeTypeConvert = yes
overThreshold = no
lvSize = 64424509440
member_0 = 1
member_1 = 2
memberBitmap = 3
volName = DataVol2

[LV_544]
lvId = 544
poolId = 1
layout = 0
flag = 0x200000
threshold = 0
lvName = /dev/mapper/vg1-lv544
uuid = 8WVSCB-gMk2-rKSf-Tpel-j3sU-qYlJ-u78V6V
completeFsResize = yes
FsResizeFail = no
completeTypeConvert = yes
overThreshold = no
lvSize = 301989888
member_0 = 1
memberBitmap = 1
volName = 

Vor dem Erstellen der obigen Dokumentation hatte es ich sowohl ein "/etc/init.d/init_lvm.sh" als auch mit einem Neustart versucht.

Eine sich anschließende Frage wird nach dem Beheben des obigen Problems kommen:

• unter "/share" gibt es ein Verzeichnis "CACHEDEV1_DATA"
• dort befinden sich die Verzeichnisses des TS-563
• die des UX-500P lagen und "CACHEDEV2_DATA" (es gibt noch die nun ins Leere laufenden links im share-Verzeichnis
• es müsste doch somit das lv2 auf dieses Verzeichnis gemapped werden... richtig?

Ich danke schon mal im Voraus für die Unterstützung und hoffe, dass meinen bisherigen Bemühungen (die ja von einem gewissen Erfolg gekrönt sind) nicht umsonst waren und sich das Volumen "aktivieren" lässt.

Gruß

Christoph

GUI01.PNGGUI02.PNG

Ergänzend zur Liste oben habe ich Folgendes ausgeführt:

9. vgmknodes -vvv vg1
10. /etc/init.d/init_lvm.sh

Ergebnis:

• die oben dargestellte Situation mit der Auflistung des Volumes in der GUI mit dem Status "Entladen"
• unter /dev/mapper/ taucht kein cachedev2" auf und auch kein /dev/mapper/vg1-lv2...

Ich glaube mittelerweile verstanden zu haben, dass es im Moment am fehlenden /dev/mapper/cachedev2 etc. liegt...

dmsetup ist wohl die Lösung... nur mit welchen Parametern? create ist klar, aber dann? Es sollte ja zur "alten" Konfiguration passen... wo finde ich die Werte für tables oder ähnliches?

Mit Dank im Voraus
Christoph

PS: Ist mein Problem zu trivial oder zu komplex oder schreibe ich zu viel oder zu wenig oder "falsch", dass ich keine Reaktion erhalten?
Ich habe versucht (versuche noch) mein Problem mit Recherche hier und überhaupt zu lösen... bin ja auch schon weiter gekommen, merke aber, dass der eine oder andere Tipp an richtiger Stelle helfen würde.

Und aktuell bin ich echt am Ende des Verstehens angekommen...

Hallo dr_mike,

danke für die Antwort.

Die Funktion war von Anfang an ausgegraut... wahrscheinlich durch das neu Aufsetzen des NAS, da ja dann der Speicherpool neu war. Zu Beginn wurde auf der Box weder ein RAID noch ein Volume angezeigt... die Platten waren in der GUI (Übersicht - Speicher) in dunkelrot (Frei) angezeigt!

Gibt es keine Möglichkeit, mit einem dmsetup mit "richtigen" Parametern, die beispielsweise den vorhandenen conf-Dateien entnommen werden können, das device-mapping herzustellen? Ich denke es liegt daran.

Dass die Daten noch vorliegen, kann man m.E. an der richtigen Kapazität des RAID und des belegten Speichers erkennen.

Wenn ich an die Daten komme (irgendwie), könnte ich sie umkopieren und die Box neu aufsetzen... so der Plan.

Vielen Dank für den Lösungsansatz. Deine Hilfe im Beitrag hat schon sehr geholfen... zumindest Hoffnung gemacht. Dort war jedoch das mapping vorhanden, auch wenn ich anhand der posts nicht nachvollziehen kann warum.

Gruß

Christoph