Hilfe: Raid 6 (8 Festplatten a 2TB) - 2 Broken disks - Volume offline und Raid lässt sich nicht recovern

abuhlmann · 22. April 2017

Hi @ all,

über Ostern ging mein NAS Storage mit Raid 6 (8 Disks) kaputt. 2 Defekte Festplatten wurden gemeldet. Daraufhin hab ich es remote ausgeschaltet und 2 Festplatten bestellt. Als ich es jetzt recovern wollte lief zwar ein recover an aber leider nicht die wichtige Datenpartition sondern md8, md13, md9 und nicht md0.

Ich hab schon recht viel versucht, komme aber nicht weiter. Kann mir jemand helfen, ich hab zwar von einigen Daten Backups aber nicht von allem und ich würde gerne alles versuchen bevor ich die Flinte ins Korn werfe.
2 Neue Platten liegen hier (hatte sie jetzt erstmal wieder ausgebaut und geschaut ob ich mit den alten Disks noch was retten kann, aber bisher leider nein).
Kann man hier mit mdadm und missing parameter arbeiter oder ähnliches?

# BIN FÜR EURE HILFE AUF JEDEN FALL SCHON MAL SEHR DANKBAR

Hier ein paar CLI Outputs:

Bash

cat /etc/mdadm.conf
ARRAY /dev/md0 devices=/dev/sda3,/dev/sdb3,/dev/sdc3,/dev/sdd3,/dev/sde3,/dev/sdf3,/dev/sdg3,/dev/sdh3


mdadm assemble geht leider nicht ... auch --force hilft nichts (sind ihm zu wenig platten, da er von sdb und sdd die superblocks nicht lesen kann)


mdadm -S /dev/md0
mdadm: stopped /dev/md0


umount /dev/md0
umount: /dev/md0: not mounted
mdadm --assemble /dev/md0 /dev/sda3 /dev/sdb3 /dev/sdc3 /dev/sdd3 /dev/sde3 /dev/sdf3 /dev/sdg3 /dev/sdh3
mdadm: cannot open device /dev/sdb3: No such device or address
mdadm: /dev/sdb3 has no superblock - assembly aborted


mdadm --assemble /dev/md0 /dev/sda3 /dev/sdb3 /dev/sdc3 /dev/sdd3 /dev/sde3 /dev/sdf3 /dev/sdg3 /dev/sdh3
mdadm: cannot open device /dev/sdd3: No such device or address
mdadm: /dev/sdd3 has no superblock - assembly aborted


mdadm --assemble /dev/md0 /dev/sda3 /dev/sdc3 /dev/sdd3 /dev/sde3 /dev/sdf3 /dev/sdg3 /dev/sdh3
mdadm: /dev/md0 assembled from 5 drives and 1 spare - not enough to start the array.


mdadm -S /dev/md0
mdadm: stopped /dev/md0


umount /dev/md0
umount: /dev/md0: not mounted


mdadm --detail /dev/md0
mdadm: md device /dev/md0 does not appear to be active.


fdisk -l /dev/sda
Disk /dev/sda: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Device Boot Start End Blocks Id System
/dev/sda1 1 66 530125 83 Linux
/dev/sda2 67 132 530142 83 Linux
/dev/sda3 133 243138 1951945693 83 Linux
/dev/sda4 243139 243200 498012 83 Linux
fdisk -l /dev/sdab


fdisk -l /dev/sdbc




Disk /dev/sdc: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Device Boot Start End Blocks Id System
/dev/sdc1 1 66 530125 83 Linux
/dev/sdc2 67 132 530142 83 Linux
/dev/sdc3 133 243138 1951945693 83 Linux
/dev/sdc4 243139 243200 498012 83 Linux


fdisk -l /dev/sdcd
fdisk -l /dev/sdde




Disk /dev/sde: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Device Boot Start End Blocks Id System
/dev/sde1 1 66 530125 83 Linux
/dev/sde2 67 132 530142 83 Linux
/dev/sde3 133 243138 1951945693 83 Linux
/dev/sde4 243139 243200 498012 83 Linux


fdisk -l /dev/sdef


Disk /dev/sdf: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Device Boot Start End Blocks Id System
/dev/sdf1 1 66 530125 83 Linux
/dev/sdf2 67 132 530142 83 Linux
/dev/sdf3 133 243138 1951945693 83 Linux
/dev/sdf4 243139 243200 498012 83 Linux


fdisk -l /dev/sdfg




Disk /dev/sdg: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Device Boot Start End Blocks Id System
/dev/sdg1 1 66 530125 83 Linux
/dev/sdg2 67 132 530142 83 Linux
/dev/sdg3 133 243138 1951945693 83 Linux
/dev/sdg4 243139 243200 498012 83 Linux


fdisk -l /dev/sdgh




Disk /dev/sdh: 2000.3 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Device Boot Start End Blocks Id System
/dev/sdh1 1 66 530125 83 Linux
/dev/sdh2 67 132 530142 83 Linux
/dev/sdh3 133 243138 1951945693 83 Linux
/dev/sdh4 243139 243200 498012 83 Linux


fdisk -l /dev/sdh


cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath]
md8 : active raid1 sdh2[6](S) sdg2[5](S) sdf2[4](S) sde2[3](S) sdc2[2] sda2[0]
530128 blocks super 1.0 [2/2] [UU]


md13 : active raid1 sdh4[1] sdg4[2] sdf4[4] sde4[5] sdc4[0] sda4[3]
458880 blocks [8/6] [UUUUUU__]
bitmap: 48/57 pages [192KB], 4KB chunk




md9 : active raid1 sdh1[5] sdg1[4] sdf1[3] sde1[2] sdc1[1] sda1[0]
530048 blocks [8/6] [UUUUUU__]
bitmap: 31/65 pages [124KB], 4KB chunk




fdisk -dl /dev/sda3




Disk /dev/sda3: 1998.7 GB, 1998792389632 bytes
255 heads, 63 sectors/track, 243005 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Disk /dev/sda3 doesn't contain a valid partition table
fdisk -l /dev/sda34b3


fdisk -l /dev/sdb33c3




Disk /dev/sdc3: 1998.7 GB, 1998792389632 bytes
255 heads, 63 sectors/track, 243005 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Disk /dev/sdc3 doesn't contain a valid partition table


fdisk -l /dev/sdc33d3


fdisk -l /dev/sdd33e3




Disk /dev/sde3: 1998.7 GB, 1998792389632 bytes
255 heads, 63 sectors/track, 243005 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Disk /dev/sde3 doesn't contain a valid partition table


fdisk -l /dev/sde33f3




Disk /dev/sdf3: 1998.7 GB, 1998792389632 bytes
255 heads, 63 sectors/track, 243005 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Disk /dev/sdf3 doesn't contain a valid partition table


fdisk -l /dev/sdf33g3




Disk /dev/sdg3: 1998.7 GB, 1998792389632 bytes
255 heads, 63 sectors/track, 243005 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Disk /dev/sdg3 doesn't contain a valid partition table


fdisk -l /dev/sdg33h3




Disk /dev/sdh3: 1998.7 GB, 1998792389632 bytes
255 heads, 63 sectors/track, 243005 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes




Disk /dev/sdh3 doesn't contain a valid partition table


mdadm --examE /dev/sda3
/dev/sda3:
Magic : a92b4efc
Version : 00.90.00
UUID : 22132737:6837bc4e:e7cdf684:91fe2f04
Creation Time : Wed Sep 21 00:54:37 2011
Raid Level : raid6
Used Dev Size : 1951945600 (1861.52 GiB 1998.79 GB)
Array Size : 11711673600 (11169.12 GiB 11992.75 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 0




Update Time : Fri Apr 21 21:00:47 2017
State : clean
Active Devices : 5
Working Devices : 7
Failed Devices : 3
Spare Devices : 2
Checksum : ca4dfce7 - correct
Events : 0.10448573




Chunk Size : 64K




Number Major Minor RaidDevice State
this 0 8 3 0 active sync /dev/sda3




0 0 8 3 0 active sync /dev/sda3
1 1 8 83 1 active sync /dev/sdf3
2 2 8 35 2 active sync /dev/sdc3
3 3 0 0 3 faulty removed
4 4 8 67 4 active sync /dev/sde3
5 5 0 0 5 faulty removed
6 6 8 99 6 active sync /dev/sdg3
7 7 0 0 7 faulty removed
8 8 8 51 8 spare /dev/sdd3
9 9 8 115 9 spare /dev/sdh3


mdadm -E /dev/sda3b3
mdadm: cannot open /dev/sdb3: No such device or address


mdadm -E /dev/sdb33c3
/dev/sdc3:
Magic : a92b4efc
Version : 00.90.00
UUID : 22132737:6837bc4e:e7cdf684:91fe2f04
Creation Time : Wed Sep 21 00:54:37 2011
Raid Level : raid6
Used Dev Size : 1951945600 (1861.52 GiB 1998.79 GB)
Array Size : 11711673600 (11169.12 GiB 11992.75 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 0




Update Time : Fri Apr 21 21:00:47 2017
State : clean
Active Devices : 5
Working Devices : 7
Failed Devices : 3
Spare Devices : 2
Checksum : ca4dfd0b - correct
Events : 0.10448573




Chunk Size : 64K




Number Major Minor RaidDevice State
this 2 8 35 2 active sync /dev/sdc3




0 0 8 3 0 active sync /dev/sda3
1 1 8 83 1 active sync /dev/sdf3
2 2 8 35 2 active sync /dev/sdc3
3 3 0 0 3 faulty removed
4 4 8 67 4 active sync /dev/sde3
5 5 0 0 5 faulty removed
6 6 8 99 6 active sync /dev/sdg3
7 7 0 0 7 faulty removed
8 8 8 51 8 spare /dev/sdd3
9 9 8 115 9 spare /dev/sdh3


mdadm -E /dev/sdc33d3
mdadm: cannot open /dev/sdd3: No such device or address


mdadm -E /dev/sdd33e3
/dev/sde3:
Magic : a92b4efc
Version : 00.90.00
UUID : 22132737:6837bc4e:e7cdf684:91fe2f04
Creation Time : Wed Sep 21 00:54:37 2011
Raid Level : raid6
Used Dev Size : 1951945600 (1861.52 GiB 1998.79 GB)
Array Size : 11711673600 (11169.12 GiB 11992.75 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 0




Update Time : Fri Apr 21 21:00:47 2017
State : clean
Active Devices : 5
Working Devices : 7
Failed Devices : 3
Spare Devices : 2
Checksum : ca4dfd2f - correct
Events : 0.10448573




Chunk Size : 64K




Number Major Minor RaidDevice State
this 4 8 67 4 active sync /dev/sde3




0 0 8 3 0 active sync /dev/sda3
1 1 8 83 1 active sync /dev/sdf3
2 2 8 35 2 active sync /dev/sdc3
3 3 0 0 3 faulty removed
4 4 8 67 4 active sync /dev/sde3
5 5 0 0 5 faulty removed
6 6 8 99 6 active sync /dev/sdg3
7 7 0 0 7 faulty removed
8 8 8 51 8 spare /dev/sdd3
9 9 8 115 9 spare /dev/sdh3


mdadm -E /dev/sde33f3
/dev/sdf3:
Magic : a92b4efc
Version : 00.90.00
UUID : 22132737:6837bc4e:e7cdf684:91fe2f04
Creation Time : Wed Sep 21 00:54:37 2011
Raid Level : raid6
Used Dev Size : 1951945600 (1861.52 GiB 1998.79 GB)
Array Size : 11711673600 (11169.12 GiB 11992.75 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 0




Update Time : Fri Apr 21 21:00:47 2017
State : clean
Active Devices : 5
Working Devices : 7
Failed Devices : 3
Spare Devices : 2
Checksum : ca4dfd39 - correct
Events : 0.10448573




Chunk Size : 64K




Number Major Minor RaidDevice State
this 1 8 83 1 active sync /dev/sdf3




0 0 8 3 0 active sync /dev/sda3
1 1 8 83 1 active sync /dev/sdf3
2 2 8 35 2 active sync /dev/sdc3
3 3 0 0 3 faulty removed
4 4 8 67 4 active sync /dev/sde3
5 5 0 0 5 faulty removed
6 6 8 99 6 active sync /dev/sdg3
7 7 0 0 7 faulty removed
8 8 8 51 8 spare /dev/sdd3
9 9 8 115 9 spare /dev/sdh3


mdadm -E /dev/sdf33g3
/dev/sdg3:
Magic : a92b4efc
Version : 00.90.00
UUID : 22132737:6837bc4e:e7cdf684:91fe2f04
Creation Time : Wed Sep 21 00:54:37 2011
Raid Level : raid6
Used Dev Size : 1951945600 (1861.52 GiB 1998.79 GB)
Array Size : 11711673600 (11169.12 GiB 11992.75 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 0




Update Time : Fri Apr 21 21:00:47 2017
State : clean
Active Devices : 5
Working Devices : 7
Failed Devices : 3
Spare Devices : 2
Checksum : ca4dfd53 - correct
Events : 0.10448573




Chunk Size : 64K




Number Major Minor RaidDevice State
this 6 8 99 6 active sync /dev/sdg3




0 0 8 3 0 active sync /dev/sda3
1 1 8 83 1 active sync /dev/sdf3
2 2 8 35 2 active sync /dev/sdc3
3 3 0 0 3 faulty removed
4 4 8 67 4 active sync /dev/sde3
5 5 0 0 5 faulty removed
6 6 8 99 6 active sync /dev/sdg3
7 7 0 0 7 faulty removed
8 8 8 51 8 spare /dev/sdd3
9 9 8 115 9 spare /dev/sdh3


mdadm -E /dev/sdg33h3
/dev/sdh3:
Magic : a92b4efc
Version : 00.90.00
UUID : 22132737:6837bc4e:e7cdf684:91fe2f04
Creation Time : Wed Sep 21 00:54:37 2011
Raid Level : raid6
Used Dev Size : 1951945600 (1861.52 GiB 1998.79 GB)
Array Size : 11711673600 (11169.12 GiB 11992.75 GB)
Raid Devices : 8
Total Devices : 8
Preferred Minor : 0




Update Time : Fri Apr 21 21:00:47 2017
State : clean
Active Devices : 5
Working Devices : 7
Failed Devices : 3
Spare Devices : 2
Checksum : ca4dfd63 - correct
Events : 0.10448573




Chunk Size : 64K




Number Major Minor RaidDevice State
this 9 8 115 9 spare /dev/sdh3




0 0 8 3 0 active sync /dev/sda3
1 1 8 83 1 active sync /dev/sdf3
2 2 8 35 2 active sync /dev/sdc3
3 3 0 0 3 faulty removed
4 4 8 67 4 active sync /dev/sde3
5 5 0 0 5 faulty removed
6 6 8 99 6 active sync /dev/sdg3
7 7 0 0 7 faulty removed
8 8 8 51 8 spare /dev/sdd3
9 9 8 115 9 spare /dev/sdh3




mount
/proc on /proc type proc (rw)
none on /dev/pts type devpts (rw,gid=5,mode=620)
sysfs on /sys type sysfs (rw)
tmpfs on /tmp type tmpfs (rw,size=64M)
tmpfs on /dev/shm type tmpfs (rw)
none on /proc/bus/usb type usbfs (rw)
/dev/sda4 on /mnt/ext type ext3 (rw)
/dev/md9 on /mnt/HDA_ROOT type ext3 (rw,data=ordered)


df -h
Filesystem Size Used Available Use% Mounted on
/dev/ramdisk 139.5M 117.0M 22.5M 84% /
tmpfs 64.0M 196.0k 63.8M 0% /tmp
tmpfs 494.5M 0 494.5M 0% /dev/shm
/dev/sda4 371.0M 265.6M 105.4M 72% /mnt/ext
/dev/md9 509.5M 120.2M 389.3M 24% /mnt/HDA_ROOT

Alles anzeigen

christian · 22. April 2017

Hallo Andreas,

hier fehlen einige wichtige Angaben. Wie frage ich richtig ? Welche Infos sollte ich geben ? und dann wird @dr_mike vielleicht der bessere Ansprechpartner sein. Ich kann da nur sehr eingeschränkt helfen.

LG
Christian

Ezekiel666 · 22. April 2017

Ok, ich kenne mich auf der Konsole nicht aus, aber da steht was von 3 ausgestiegenen Festplatten. Welches NAS? Welche Firmware? Welche Festplatten? Mach ein Ticket auf und vielleicht kann @dr_mike deinen Auszug besser übersetzen.

christian · 22. April 2017

Generell wäre ein Dump.log hilfreich und wenn @dr_mike nicht helfen kann, dann bitte den Support kontaktieren (habe eben dazu mit ihm geschrieben, ... "bitte nichts mehr daran machen" ... war die Aussage!)

dr_mike · 22. April 2017

Zitat von Ezekiel666

da steht was von 3 ausgestiegenen Festplatten.

Korrekt. Das ist damit eine Platte zuviel für RAID6.

abuhlmann · 22. April 2017

aber anzeigen tut er nur hdd2 und 4 als failed...

ich versuch dann mal 2 und 4 mit drrescue zu retten und dann wieder reinzunehmen, oder gibt es sonst noch alternativen?

christian · 23. April 2017

Zitat von abuhlmann

oder gibt es sonst noch alternativen?

Ja, aber vielleicht hast du meinen Beitrag überlesen.

Zitat von christian

Generell wäre ein Dump.log hilfreich

Zitat von christian

dann bitte den Support kontaktieren (habe eben dazu mit ihm geschrieben, ... "bitte nichts mehr daran machen" ... war die Aussage!)

Grüße
Christian

abuhlmann · 23. April 2017

wo finde ich das dump.log?

christian · 23. April 2017

Eingeloggt als Admin gehst du ins AppCenter>>QNAP Diagnostic Tool>>Dump-Protokoll>>Dumpen

Grüße
Christian

abuhlmann · 23. April 2017

und per cli?

christian · 23. April 2017

Hi Andreas,

ich verstehe deinen Halbsatz nicht ;), was bitte ist ein "Cli" für dich? Generell muss du dich für den Dump auf dem NAS anmelden.

Grüße
Christian

abuhlmann · 23. April 2017

Cli = Command line Interface
also über putty (ssh)

die webgui zickt extrem seit die disks kaputt sind.

Die Frage ist also ob man den dump auch über ssh abrufen kann, bzw. wo er liegt.

gruß
andreas

christian · 23. April 2017

Hallo Andreas,

so kannst du den Log erstellen:
get_log `get_hwsn`
und dann in /tmp/ nach einer xxxxxxx.zip Datei suchen

Grüße
Christian

Hilfe: Raid 6 (8 Festplatten a 2TB) - 2 Broken disks - Volume offline und Raid lässt sich nicht recovern

QTS 5.1.6.2722 Build 20240402

Vulnerability in XZ Utils

Vulnerability in Network ＆ Virtual Switch

Multiple Vulnerabilities in jackson-databind

Statisches Volume entnehmen?

"Downgrade" auf alte/kleinere Platten nach missglückter RAID5-Erweiterung möglich?

NAS neu aufsetzen TS-453

Raid5 über mehrere Gehäuse

Raid 1 dauerhaft als "degraded" laufen lassen?

Screenshots erstellen und im Forum einbinden (Windows)

(Betriebs)- System vs. Systemvolume - Hinweise zum Verständnis

QuDedup: Backup Job neu verlinken - Ein Ritt ins Verderben

VPN - ganz allgemein

[QUICK HOW-TO] Apps manuell auf ein anderes Volume verschieben

Kodi-Headless Server als Docker-Container

Hardware Praxis – „Hör mal wer da surrt“: Ein Erfahrungsbericht aus dem IT-Alltag

Hardware Praxis – Tipps zum Einbau einer neuen Festplatte: Ergänzung

Foren Update im Juli / August geplant

IT-Geschichten – Die verrückte Tastatur