Hallo zusammen,
bin hier bereits einige Jahre angemeldet, aber war nie sonderlich aktiv bzw. nur lesend hier.
Habe momentan mein drittes oder viertes QNAP NAS in Folge im Einsatz und im Großen und Ganzen laufen die Systeme auch einfach ohne weitere Eingriffe oder Probleme.
In in den früheren Jahren sah ein Wechsel von einem zum anderen NAS in etwa so aus:
WENN: eine der Platten Probleme bereitete oder der Datenspeicher nicht mehr ausreichend war
DANN: kaufe ein neues NAS mit neuen Platten, kopiere die Daten rüber und alles läuft.
Bei den ersten Systemen (glaube 4x1TB = 3 TB RAID5 und danach 4x3TB = 6 TB RAID6) war das alles kein Problem.
Vor etwa 5-6 Jahren ist mein Plattenbedarf beruflich stark angestiegen und der Wechsel zu 4x6 TB = 12 TB RAID6 wäre nicht ausreichend gewesen.
Habe daher etwas mehr in ein TVS-871 mit 16GB RAM investiert und bin zu 6x6 TB = 24 TB RAID6 gewechselt.
Die zwei freien Slots habe ich mit 2x 500GB Caching SSDs bestückt, damit die Leseraten auch bei vielen kleinen Dateien konstant blieben. Dazu habe ich mir dadurch erhofft, später ggf. auch 7 bis 8 x 6 TB aufrüsten zu können.
Nun sind einige Jahre vergangen und das System war bereits mehrfach ziemlich voll. Konnte mir dann durch die Kompression alter Daten und dem löschen bzw. hardlinken von Dupes helfen.
Nachdem dann vor etwas über einer Wochen eine meiner 6 TB Platten SMART-Probleme meldete, und auch bei einer zweiten Platte I/O-Errors im Log zu sehen waren, wurde es höchste Zeit zu reagieren.
Mein üblicher Wechsel zu einem komplett neuen NAS und neuen Platten war mir diesmal zu teuer. Auch bin ich eigentlich recht zufrieden mit meinem System und sehe keinen großen Vorteil für mich bei den neueren Systemen.
Hätte ich es doch besser gemacht wie früher
Stattdessen habe ich mir einen "tollen" Schlachtplan einfallen lassen wie ich das System wieder produktiv bringe und zugleich auch noch den Speicherplatz erweitern kann.
Im Laufe dieser versuchten Migration habe ich jedoch einige Fehler gemacht, die mir erst jetzt bewusst sind.
Gerne würde ich euch diese Schritte/Fehler berichten. Vielleicht lernt ja zumindest noch jemand daraus wie man es nicht macht
Oder vielleicht fällt sogar einem von euch noch etwas ein, wie mir noch etwas geholfen werden kann. Beantworte gerne Fragen und nehme Ratschläge entgegen.
Dazu eignet sich die Vorstellung solcher Probleme eventuell auch um künftige "best practices" auszutauschen, zu diskutieren und dabei auch noch etwas zu lernen.
Zumindest habe ich einiges gelernt, was ich in Zukunft gerne besser machen möchte.
Zwar habe ich meine Story (in mäßigem englisch) schon im englischen qnap-forum gepostet (https://forum.qnap.com/viewtopic.php?f=11&t=155444), jedoch gingen eventuell aufgrund der Sprachbarriere ein paar Details und Hintergründe/Überlegungen unter.
Wenn ein solches Cross-Posting nicht erwünscht sein sollte, dann werde ich diesen Thread hier auch gerne wieder löschen...
Anbei kurz in Stichpunkten welche ersten Schritte ich als erstes unternommen habe und was passiert ist:
1.1.) habe zwei neue WD RED 14TB Platten bestellt und die 6TB Platte mit den SMART-Errors gegen eine der 14 TB Platten getauscht. Das RAID-Recovery war nach 13-14 Stunden abgeschlossen und zumindest die Gefahr eines Ausfalls dieser Platte war gebannt.
1.2.) Nach dem Resync habe ich die zweite 6 TB Platte gegen eine der beiden neuen 14 TB Platten getauscht.
Noch wärend der Resync von Schritt 2 lief hatte ich Zweifel an meiner Vorgehensweise.
Soll ich jetzt alle restlichen 6TB Platten auch gegen 14 TB Platten austauschen und danach eine RAID-Expansion durchführen? Brauche ich wirklich so schnell 56 TB? Hätte ich vielleicht besser zu günstigeren 10-12 TB Platten greifen sollen? Genügen mir für den Anfang eventuell auch erstmal 4x14TB = 28TB RAID6/RAID10?
Die Preise für die 14 TB Platten sind ja auch nicht gerade niedrig...
Bin dann blöderweise zu dem Entschluss gekommen mich mit erstmal 4 x 14 TB zufrieden zu geben. Die weiteren zwei Platten waren schnell bestellt. Nur wie komme ich am NAS zu diesem Ziel?
Eine RAID (6) Migration von 6 Festplatten zu 4 Festplatten größeren Typs scheint nicht vorgesehen zu sein...
Die Hinweise im qnap-forum gingen ebenfalls in diese Richtung; NAS neu aufsetzen und Daten einspielen
Eigentlich wollte ich dies nicht, da ich auch die AD-Funktionalität (mit einem mühevoll ausgearbeitetem Rechtesystem usw.) von dem NAS genutzt habe und bereits in Vergangenheit die Erfahrung machen musste, dass sich ein Backup des ADs leider nicht fehlerfrei einspielen lässt. Die Erfahrungen bleiben übrigens bis heute bestehen. Irgendwie scheint dieses Backup nicht sonderlich zuverlässig zu sein.
Backups der Daten daruf hatte bzw. habe ich. Zumindest habe ich mir vor etwa 3-5 Wochen eine externe 12 TB Platte ans NAS geklemmt und die wichtigsten Daten per rsync rüberkopiert. Einige Daten musste ich (wegen des begrenzten Plattenplatzes auf der Backup-Platte) weglassen.
Ich denke (hoffe!) es sollten nur Archivdaten gewesen sein. Aber um ganz ehrlich zu sein weiß ich es nicht mehr. Und irgendwie traue ich mich gerade auch nicht nachzuschauen. Zumal diese eine externe Backup-Platte keinerlei weitere Redundanz hat und ich - sollte sie plötzlich auch defekt sein - ganz schön mit dem Ausfall zu kämpfen hätte.
Man lernt daraus: häufiger Backups, besser dokumentieren was/wann gesichert wurde, und die Backups auch redundant vorhalten. Auch wenn das bei der Datenmenge schnell teuer werden kann
Also habe ich stattdessen nach anderen kreativen Lösungswegen gesucht und damit den ersten Schritt in Richtung Abgrund getätigt...
Meine Idee war:
6X6 TB im RAID 6 = 24 TB Speicher und 2 Platten dürfen ausfallen
5x6 TB im RAID 5 = 24 TB Speicher und 1 Platte darf ausfallen.
Also könnte ich mein aktuelles System doch "ganz einfach" zu einem RAID5 umwandeln und könnte es (bei minimal reduzierter Redundanz) mit 5 statt 6 Platten weiterbetreiben.
Ich hätte dann noch 3 Slots von dem 8-Bay NAS frei um 3 x 14 TB = 28 TB im RAID 5 zu erstellen.
Könnte dann die 24 TB rüberkopieren, danach die alten Platten entfernen und das RAID 5 zu einem RAID 6 (mit dem selben Speicherplatz aber mehr Redundanz) expandieren.
Wenn das nur alles so einfach wäre...
Den Wechsel vom RAID6 zum RAID5 stellte ich mir dabei leider viel zu leicht vor. Naiv betrachtet klingt das doch eigentlich nach nicht sonderlich viel Aufwand. Das RAID6 lässt sich ja auch so (degraded) mit 5 Platten betreiben. Kann doch nicht sonderlich kompliziert sein das zu einem RAID5 umzuwandeln...
Weit gefehlt!
Habe folgende Schritte unternommen um meinen Plan umzusetzen:
2.1.) der Resync auf die zweite 14 TB-Platte (Schritt 1.2) musste gestoppt werden. Ich wollte ja in Summe nur 5 Platten und brauchte diese 14TB Platte schließlich noch für meinen künftigen Plan.
Dies habe ich gestoppt, indem ich die 14 TB Platte - auf die gerade gesynct wurde - als fehlerhaft markiert und sie aus dem RAIDSet entfernt habe:
Spoiler: eine Platte auf diesem Weg als fehlerhaft zu markieren scheint sich das NAS wohl zu merken
Die Platte wurde mir danach überall auf dem System als fehlerhaft (I/O Fehler) angezeigt und konnte (auch in einem anderen Slot) nicht mehr für die Erstellung eines neuen Speicherpools ausgewählt werden.
Zwar gab es die Möglichkeit über die GUI einen "Badblock"-Scan mit anschließender Markierung als fehlerfrei durchzuführen, nur dauert dieser Scan bei einer 14 TB Disk mehrere Tage
Nachdem es auch nicht half die Platte (zumindest die ersten TB) und den Superblock des Raids mit Nullen zu überschreiben, half bei mir am Ende nur eine Neuinstallation des Systems.
Wenn ihr einen Rat habt um die Platte auch bei einem laufenden System wieder als Fehlerfrei zu markieren, dann nur zu
2.2) Den Wechsel zum RAID5 habe ich wie folgt gestartet:
mdadm --grow /dev/md1 --level=raid5 --raid-devices=5 --backup-file=/mnt/HDA_ROOT/RAIDBackup/mdadmbackupfile
Auch dies war ein Fehler. Denn irgendwie lief dieser "grow" nur mit weniger als 1 MB/s (und ich konnte das auch nicht durch das Tuning diverser min/max-Werte beschleunigen) und würde 60 Tage (90-100k Minuten) zur Durchführung benötigen.
War wohl nix mit meiner Annahme, dass das schnell erledigt wäre
Zu dem zweiten (und evtl. dritten) Fehler dieser verhängnisvollen Zeile komme ich später noch...
Aber wie hätte ich sonst den nötigen Plattenplatz auf einem System mit "nur" 8 Slots schaffen können?
Wenn ich das RAID 6 mit nur 5 Platten im degraded Modus betrieben hätte, dann würde das NAS umgehend ein recovery starten, sobald ich eine neue/leere Platte angeschlossen wird.
Kann man dies bei QNAP eigentlich auch unterbinden?
Also ein 6x6 TB RAID6 mit nur 5x6 TB (degraded) betreiben, und dann trotzdem 3x14 TB Platten hinzufügen und darauf einen neuen Speicherpool anlegen?
Wenn ja, dann hätte es mir sehr geholfen, wenn ich es früher gewusst hätte. Wenn nein, dann wäre es ein Feature Request für QNAP.
Habe dann meinen Plan aufgegeben und mir einen neuen Plan ausgedacht:
3.1) entfernen aller alten Platten mit meinen Daten
3.2) einbau von 3x14 TB "neue"/leere Platten
3.3) Neuinstallation des NAS-Systems. Kann dann auch ein Recovery meiner AD-Daten probieren. Notfalls muss ich das halt alles wieder von Hand einrichten.
3.4) Nachdem das System läuft, die 5 Platten als degraded RAID6 anschließen und dann auf den Datastore zugreifen und alles kopieren.
3.5) wenn dann alles kopiert ist, dann kann ich die alten Platten entfernen und das RAID5 zum RAID6 migrieren
Auch der Plan hatte leider einige Lücken und ging aufgrund von einem meiner früheren Schritte leider mächtig schief. Gerne dazu mehr in meinem nächsten Post - nach ein paar Stunden Schlaf
Viele Grüße