Mein Wechsel von einem statischen Volume zu einem Speicherpool

[PROLOG]

Am heutigen Samstag lege ich mal eine Spätschicht auf der Arbeit ein… ich habe ohnehin Bereitschaftsdienst und schiebe schon seit geraumer Zeit etwas vor mir her, was ich heute Abend umsetzen will: Die Umstellung vom statischen Volume auf einen Speicherpool mit mehreren Volumes, um endlich Snapshots verwenden zu können. Das produktive System (TS-453A) soll dabei weitestgehend erhalten bleiben, es soll lediglich die Datenträgerkonfiguration angepasst werden.

Über Snapshots habe ich hier Snapshots - Was ist das und wozu sind sie gut? ja schon einige Worte verloren, möchte diese aktuelle Gelegenheit aber nutzen um meine Gedankengänge und mein Vorgehen in der Praxis zu beschreiben. Auch das soll keine Anleitung werden, sondern vielmehr ein Beispiel für die (meine) Planung und Konzeptionierung für die Umstellung eines statischen Volumes auf einen Speicherpool mit mehreren Volumes.

[VORBEREITUNG]
Fast überflüssig, aber es will erwähnt sein, dass sämtliche Daten bei diesem Vorhaben gelöscht werden. Am Anfang eines solchen Unterfangens erstelle ich mir eine ToDo-Liste/ Verfahrensanweisung, anhand der ich die notwendigen Schritte plane und auch konzeptioniere. Die ToDo sieht bei mir wie folgt aus, zu den einzelnen Punkten meine Gedanken dazu:

1. Infomail
   Das Risiko dass jemand am Wochenende Zugriff auf die Daten benötigt ist zwar gering, aber dennoch informiere ich die Kollegen dass der Zugriff eingeschränkt wird und es am Montag unter Umständen noch zu Problemen kommen kann.
2. Datensicherung (zusätzlich)
   Selbstredend werden alle bestehenden Backups unmittelbar vor der Durchführung aktualisiert. Bevor dies passiert stelle ich jedoch sicher, dass keine Verbindungen (z.B. Kollegen über VPN oder andere Maschinen) zum NAS bestehen, ggf. trenne ich diese. Da ich noch einen Slot im NAS frei habe und mir ein ausreichend großer Datenträger zur Verfügung steht, erstelle ich zusätzlich noch eine interne Kopie der Daten auf diesem Datenträger, um die spätere Wiederherstellung zu beschleunigen. Die initiale Sicherung mittels HBS3 wird einige Tage vorher durchgeführt, vor der Umstellung muss nur nochmal aktualisiert werden. Nebenbei sichere ich auch nochmal die aktuelle Konfiguration.
3. Sicherung/ Screenshots von Freigaben und Berechtigungen sowie Apps
   Da die Freigaben gelöscht und neu erstellt werden müssen, müssen auch die Berechtigungen neu gesetzt werden. Auch sind einige Anwendungen von den Dateipfaden (Freigabenamen) abhängig, sodass ich diese zwingend wieder exakt so benennen muss wie zuvor. Über ein Backup der Konfiguration lässt sich dies nicht alles realisieren, sodass ich mich für Screenshots und eigene Textaufzeichnungen als Backup entschieden habe.
   Die auf dem NAS verwendeten Apps haben keine eigene Backupfunktion für die Konfiguration, werden bei dem Vorgang aber ebenfalls gelöscht. Alle Apps die man auf einen anderen Datenträger verschieben kann, werden im Vorfeld auf den Backupdatenträger in Slot 4 verschoben, von den restlichen Apps werden ebenfalls Screenshots der Einstellungen gemacht.
4. Statisches Volume entfernen
   Das bestehende statische Volume muss natürlich zunächst gelöscht werden, dazu gibt es eigentlich nichts zu sagen, aber es gehört nunmal auf diese Liste. Auch hier prüfe ich nochmal ob Verbindungen bestehen und trenne diese bei Bedarf.
5. Pool anlegen
   Selbstredend, hier fängt die Konzeptionierung aber auch schon an, mit der es im nächsten Absatz weitergeht.
6. Volumes anlegen
   Ebenfalls selbstredend, hier fängt die Konzeptionierung an spannend zu werden.
7. Freigaben anlegen
   Die Freigaben müssen anhand der Aufzeichnungen neu angelegt und Berechtigungen erteilt werden.
8. Daten wiederherstellen
   Da ich eine NAS-interne Kopie der Daten habe, erfolgt die Wiederherstellung durch Copy+Paste in der Filestation, das ist schneller als mit HBS3. Während das läuft kann ich parallel die nächsten Schritte bearbeiten.
9. Snapshots planen
   Der Höhepunkt der Konzeptionierung… dafür mache ich das alles ja schließlich. Mit „planen“ meine ich hierbei entsprechende Zeitpläne und Aufbewahrungsrichtlinien zu konfigurieren, das Konzept selbst muss natürlich vorher stehen.
10. HBS3 Backup Jobs prüfen/ anpassen/ testen
    Nach der Umstellung müssen bestehende Backup-Jobs weiterhin funktionieren, das teste ich als erstes, natürlich nachdem ich die App vom temporären Backupdatenträger auf das neue Systemvolume verschoben habe.
11. Funktionstests
    Auch andere Funktionen überprüfe ich zum Abschluss, so z.B. Zugriffsberechtigungen (soweit es mir möglich ist) und natürlich die Snapshoterstellung selbst. Außer SMB Zugriff nutze ich hier glücklicherweise nicht viel. Die Apps die ich nutze muss ich ebenfalls noch auf das Systemvolume verschieben, Apps die neu installiert werden müssen, müssen anhand der Screenshots konfiguriert werden, zumindest sofern deren Konfiguration nicht erhalten bleibt.
12. Monitoring
    Im Nachgang muss das Ganze eine gewisse Zeit beobachtet werden: Wie verhält sich das System, funktioniert alles wie gewohnt? Damit Kollegen nicht in Probleme laufen bin ich Montagfrüh auch auf etwaige Problemstellungen vorbereitet.

[KONZEPTIONIERUNG]
In dem Artikel über Snapshots allgemein hatte ich bereits angemerkt, dass man sich bereits bei der Erstellung und Aufteilung der Volumes Gedanken machen muss, wenn man Snapshots verwenden will. Aber von Vorne…

Pool anlegen
Etwas banal, da gebe ich euch Recht, es gehört aber dazu: Hier muss ich mich entscheiden welches RAID-Level ich verwenden will und über welche Datenträger dies geht. Hier ist es ein RAID 5 über HDD 1 bis 3, physische Kapazität 7,26TB.

Volumes anlegen
Die Volumes müssen so angelegt werden, dass die Erstellung und Aufbewahrung von Snapshots sinnvoll erfolgt und das System nicht unnötig belastet oder Kapazität verschwendet wird. Außerdem will ich mir hier auch Flexibilität einräumen um die Snapshots später bei Bedarf filigraner skalieren zu können. Wichtig ist auch bereits im Vorfeld zu wissen wie groß die Volumes sein sollen und ob es Thin oder Thick Volumes werden sollen. Bei mir schaut es so aus:

Vol0_System 80GB Thin

Vol1_IT_admin   0,5TB Thin

Vol2_Alle 0,5TB Thin

Vol3_Management 0,3TB Thin

Vol4_Büro 0,5TB Thin

Vol5_GF   0,3TB Thin

Vol6_Mechanik 0,3TB Thin

Vol7_Scan 0,1TB Thin

Vol8_Backup 1,5TB Thin

Vol9_XXXXXXXX 0,3TB Thin

Gesamt: 4,4TB zzgl. 0,2TB System = 4,6TB

Ich verwende in “Haupt-NAS” ausschließlich Thin Volumes, die Gründe dafür habe ich im vorherigen Artikel genannt… dazu musste ich mir also keine Gedanken mehr machen 😊.

Zur gewählten Kapazität kann und brauche ich denke ich nicht viel sagen, außer dass es sinnvoll sein muss. Was sinnvoll ist habe ich im Vorfeld anhand der vorhandenen Daten die auf den jeweiligen Volumes liegen werden gepüft, indem ich geschaut habe um welche Datenmengen es sich handelt.

Manche Volumes hätte ich sicherlich auch zu einem zusammenfassen können, mir sind hier aber mehrere kleine Volumes lieber, außerdem sichere ich mir dadurch Flexibilität. Dass ich ein dediziertes Volume für das System verwende liegt einfach nur in meiner Natur, die Aufteilung der restlichen Volumes ist wie folgt begründet:

An Volume 1 und 9 wird eher selten etwas geändert, außerdem bin ich der einzige, der darauf Zugriff hat. Daher benötige ich von diesen Volumes weniger Snapshots als von den anderen.

Auf Volume 2 arbeiten alle Mitarbeiter, das Risiko dass hier etwas „kaputt gemacht“ wird ist hoch, daher möchte ich von diesem Volume möglichst viele Snapshots/ Versionen haben.

Auf Volume 3 arbeite hauptsächlich ich allein, gelegentlich auch weitere Personen. Davon benötige ich nicht unbedingt viele Snapshots und möchte mich später vielleicht noch umentscheiden.

Auf Volume 4 wird sehr viel gearbeitet, wenn auch von einem kleineren Personenkreis als bei Volume 2. Das Risiko dass hier etwas schief geht oder ältere Versionen benötigt werden ist besonders hoch, demnach möchte ich auch hier möglichst viele Snapshots vorhalten.

Volume 5 wird kaum verwendet, Snapshots brauche ich hier erstmal nicht.

Auf Volume 6 arbeitet nur eine Person, die Änderungen sind marginal. Da ich mir unsicher bin, wie viele Snapshots erforderlich sein könnten, bekommen diese Daten also lieber ein eigenes Volume.

Das Volume 7 dient lediglich für Scans die temporär dort liegen, davon will ich keine Snapshots haben weil es schlichtweg unnötig ist.

Volume 8 wird für Backups von manchen Clients und anderen Servern (Imagedateien) verwendet, ich wäre schön verrückt wenn ich davon Snapshots machen würde, da diese ins Unermessliche wachsen würden.

Nicht zu vergessen ist auch, dass die Snapshots Kapazität benötigen! Auf die für die Volumes definierte Kapazität habe ich noch 0,2TB für Systemdaten draufgeschlagen, sodass noch 2,66TB im Pool übrig sind. Ich kann mir damit erlauben 15% (ca. 1TB) für Snapshots zu reservieren. In Anbetracht dessen, dass dann immer noch 1,66TB als Reserve übrig sind und dank Thin Volumes temporär noch zusätzliche Kapazität für Snapshots zur Verfügung steht brauche ich mir hier auch keine weiteren Sorgen machen, der Plan geht also auf!

Bei der Konzeptionierung ist mir aufgefallen, dass bislang einige Client-Backups in einer Freigabe liegen, für die ich eigentlich Snapshots haben will, allerdings will ich nicht die Backups darin haben, weshalb der Speicherort bereits im Vorfeld angepasst wurde und die Backups nun so liegen, dass später keine Snapshots davon erstellt werden.

Snapshots planen

Grobe Gedanken zu Sinn und Unsinn sowie Anzahl aufbewahrter Snapshots und Häufigkeit der Aufnahme habe ich mir bereits bei der Volumeerstelltung machen müssen, hier geht es nun ins Detail. Dabei ist auch die für das System und Volume maximal mögliche Anzahl an Snapshots zu beachten (hier 256/1024). Ich werfe es einfach mal in den Raum ohne es im Detail zu begründen:

Vol0 - täglich, 3 Snapshots

Vol1 - täglich, 7 Snapshots

Vol2 - 3-stündlich, 7 Tage (56 Snapshots)

Vol3 - 3-stündlich, 7 Tage (56 Snapshots)

Vol4 - stündlich, 7 Tage (168 Snapshots)

Vol5 - keine

Vol6 - 3-stündlich, 7 Tage (56 Snapshots)

Vol7 - keine

Vol8 - keine

Vol9 - täglich, 7 Snapshots

Wie oft ein Snapshot aufgenommen wird mache ich daran fest, wie häufig Daten verändert werden, also innerhalb welcher Zeitspanne Fehler passieren können. Im Fall von Volume 4 ist der Zeitraum, in dem ein Fehler nicht rückgängig gemacht werden kann mit einer Stunde also schon recht klein.

Die Anzahl aufbewahrter Snapshots richtet sich danach, innerhalb welcher Zeit ein solcher Fehler spästens festgestellt wird (werden sollte). Dazu habe ich bei allen pauschal eine Woche angesetzt, hätte bei manchen Volumes gerne mehr genommen, was in Anbetracht der Häufigkeit jedoch zu übertrieben vielen Snapshots führen würde, notfalls gibt es ja auch noch versionierte Backups.

Insgesamt komme ich so auf 353 Snapshots für das System, das ist absolut im Rahmen, genau so wie auch die aufbewahrten Snapshots je Volume. Mit Volume 4 bin ich noch unsicher und habe Sorge, dass durch 168 Snapshots eine hohe Auslastung des Systems zustande kommt, das werde ich besonders im Auge behalten!

[DURCHFÜHRUNG]

Die Durchführung erfolgt nach meiner Verfahrensanweisung, in der ich zu jedem Punkt auf der ToDo entsprechende Notizen habe, wie etwas konfiguriert werden muss. Da ich mir die einzelnen Schritte (soweit möglich) im Vorfeld bereits angeschaut habe, dürfte keine Frage mehr offen sein, sodass ich alles ohne zu überlegen abarbeiten können müsste. Ob das alles so klappt und der Plan aufgeht wird sich aus meinen folgenden Aufzeichnungen in Art eines Logbuchs herauskristallisieren:

• 17:22 Uhr
  Ich schalte meinen Rechner ein und stelle mir Kaltgetränke und etwas zum Knabbern bereit. Ich habe etwa 6 Stunden für diese Aktion inkl. Reserve kalkuliert und könnte notfalls morgen nochmal ran, die Wiederherstellung der Daten und der RAID Sync nimmt sicherlich die meiste Zeit in Anspruch.
• 17:36 Uhr
  Beginn der Arbeiten am NAS.
  Die GUI ist heute mega träge, der Login dauerte ewig, ich entscheide mich daher dafür das NAS vorher neu zu starten.
• 17:56 Uhr
  Der Neustart ändert nichts. Die Systemressourcen sehen in Ordnung aus, ich lege los, auch wenn mich die träge GUI ganz hart nervt, das System selbst arbeitet scheinbar normal.
• 17:59 Uhr
  Aktuelle Backups sind erstellt und es bestehen keine relevanten Verbindungen mehr zum NAS.
• 18:00 Uhr
  Alle Apps die sich auf dem aktuellen Systemvolume befinden sind gestoppt, sofern dies möglich ist. Sämtliche Einstellungen sind gesichert.
• 18:04 Uhr
  Das relevante Backup wurde durch HBS3 und manuell auf Datenintegrität geprüft, passt.
• 18:10 Uhr
  Erster Fehler in der Planung! Wenn ich das Systemvolume lösche, wird automatisch die temporäre interne Backup HDD zum Systemvolume, das habe ich nicht bedacht. Leider steht mir die Option den Speicherpool sicher zu trennen nicht zur Verfügung, ein Hotplug der HDD will ich vermeiden. Nach kurzer Bedenkpause entscheide ich, dass das nicht allzu dramatisch ist wenn die temporäre HDD erstmal zum Systemvolume wird, ich fahre fort und lösche das alte statische Volume.
• 18:33 Uhr
  Das Volume ist gelöscht, genervt fiel mir wieder ein ewiger QTS-Bug auf: Im Bestätigungsdialog zum Löschen des Volumes wird fälschlicherweise ausgewiesen, dass sich darauf keine Apps befinden. Das Löschen hat ganz schön lange gedauert, dafür habe ich deutlich weniger Zeit eingeplant.
• 18:35 Uhr
  Der Speicherpool ist erstellt, RAID-Sync läuft.
• 18:36 Uhr
  Bei der Erstellung des ersten Volumes hagelt es wiederholt Fehlermeldungen:
  Error Storage & Snapshots Volume [Storage & Snapshots] Failed to format volume "[RAID5 Disk Volume Host Drive: 1 2 3]".
  Error Storage & Snapshots Volume [Storage & Snapshots] Failed to initialize volume/LUN. Type: Volume, Storage Pool: 1.
  Zu den Fehlern finde ich nichts Brauchbares im Netz… Das Volume auf der temporären Backup HDD ist plötzlich auch nicht mehr vorhanden. Halb so wild, es gibt ja richtige Backups, das würde mich jetzt aber trotzdem erstmal aus der Bahn werfen.
  Dafür bekommt QTS einen wütenden Stinkefinger und einen direkten Neustart oben drauf. Für mich gibt es erstmal eine Zigarette, beruhigt mich aber wenig.
• 19:01 Uhr
  Nach dem Neustart ist das temporäre Volume wieder vorhanden und auch das Anlegen der neuen Volumes funktioniert wie gewohnt.
• 19:02 Uhr
  Ich hatte es hier nicht aufgeführt, mir ist aber bewusst, dass ich bei den Volumes die Inodengröße auswählen muss. Ich hatte mich bereits im Vorfeld entschieden diese auf dem Standard zu belassen, auch wenn ich dies nicht in meiner Verfahrensanweisung dokumentiert habe.
• 19:13 Uhr
  Wer bei QTS nicht mit weiteren Problemen rechnet, muss ziemlich unerfahren mit dem System sein… das 6. Volume wird statt als Thin Volume als Legacy Volume erstellt?! Verstehe das wer will, kurz bevor ich zum Löschen des Volumes ansetze, wird es korrekt als Thin Volume angezeigt.
• 19:26 Uhr
  Die Erstellung der Volumes ist abgeschlossen. Auch hier habe ich etwas weniger Zeit eingeplant. Das Problemchen dabei war, dass die Erstellung von Volumes nicht erfolgen kann, solange ein größeres oder mehrere kleine Volumes noch formatiert oder optimiert werden. Ich musste also öfter warten bis ich ein neues Volume erstellen konnte, das hat einiges an Zeit gefressen. Nun werden die Freigaben erstellt.
• 19:34 Uhr
  Das Erstellen der Freigaben hat dank der trägen GUI auch länger gedauert als geplant, ist aber nun abgeschlossen. Bevor ich mich gleich an die Berechtigungen mache, beginne ich schonmal ein paar Daten auf die neuen Volumes zu schieben um zur Abwechselung mal Zeit zu sparen. Die Sync-Prio des RAID habe ich bereits auf „niedrig“ gestellt, das soll dann rumrödeln wenn ich im Bett liege. Bevor es weitergeht gibt es jetzt aber die erste planmäßige Zigarettenpause 😊.
• 19:52 Uhr
  Entgegen meiner Reihenfolge auf der ToDo habe ich schonmal alle Apps von der temporären HDD auf das neue (zukünftige) Systemvolume geschoben und vergebe nun die Berechtigungen für die Freigaben.
• 20:32 Uhr
  Die Vergabe der Berechtigungen ist abgeschlossen und hat natürlich auch länger gedauert als gedacht. Der Grund ist einer, der mich schon in der Vergangenheit öfters wahnsinnig gemacht hat: Die vergebenen Berechtigungen werden manchmal nicht sauber übernommen oder es tauchen Berechtigungen bei Freigaben auf, die gar nicht vergeben wurden. Irgendwann war hier aber endlich alles sauber und ich beginne mit der Snapshotplanung.
• 20:46 Uhr
  Die Snapshotplanung ist fertig, die Trägheit der GUI hat auch hier wesentlich dazu beigetragen, dass es länger dauerte als gedacht.
  Die Datenwiederherstellung läuft parallel in vollen Zügen sodass ich nun schonmal ein paar Funktionstests durchführen kann.
• 21:29 Uhr
  Mit den Berechtigungen war, soweit ich aktuell testen kann, noch etwas faul, was geradegebogen werden musste. HBS3 meldet beim Öffnen den Fehler, dass die App nicht korrekt gestartet werden konnte. Die restlichen Funktionen sind bis dahin gegeben.
• 22:16 Uhr
  Ein weiterer Planungsfehler: Auf dem Systemvolume liegen drei große Dateien, von denen ich keinesfalls Snapshots haben will. Die Dateien wandern auf ein passendes Volume, aber ich muss den Pfad dorthin an zwei Clients ändern. Das kann ich leider erst machen wenn die entsprechenden User vor Ort sind, das bleibt als Restarbeit offen.
• 22:38 Uhr
  Beim Verschieben der Apps auf das neue Systemvolume scheint etwas nicht geklappt zu haben, sie befinden sich teilweise noch auf der tempoären HDD, deshalb konnte HBS3 wohl auch nicht starten. Ein weiterer Versuch die App zu verschieben schafft Abhilfe, hat aber schon wieder zu viel Zeit verbrannt! Die Backups funktionieren glücklicherweise auf Anhieb und nun kann endlich die temporäre HDD raus, sodass das finale Systemvolume eingerichtet werden kann.
• 23:09 Uhr
  Das Entfernen von Volume und Pool hat, natürlich, wieder länger gedauert als gedacht, das gewünschte neue Volume wurde direkt als Systemvolume übernommen, da es das ersterstellte Volume ist.
• 23:42 Uhr
  Die verbliebenen, relevanten Apps wurden auf dem Systemvolume installiert, hat mal wieder unheimlich lange gedauert, die alte Konfiguration wurde größtenteils übernommen, der Rest ist schnell erledigt.
• 23:52 Uhr
  Letzter Fehler auf der heutigen Planungsliste: Das Auto ist vereist und ich fahre auf Tankreserve… da ist nichts mit Standheizung, also erstmal Eiskratzen bevor es nach Hause ins Bett geht.
• 23:53 Uhr
  Feierabend. Ein paar Restarbeiten sind offen, die wesentlichen Funktionen sind allerdings wiederhergestellt, Montagfrüh sehe ich welche Probleme und Restarbeiten es noch zusätzlich gibt.

[EPILOG]

Dank entsprechender Vorbereitung und Trockenübungen um zu sehen, welche Einstellungen und Fenster auf einen zukommen, ist die Umstellung zumindest ohne selbst produzierte Komplikationen verlaufen, auch wenn ich die Sache mit dem Trennen der internen Backup HDD nicht berücksichtigt habe, das war sehr schlecht geplant! Dadurch, dass alles andere im Vorfeld festgelegt war, mussten ansonsten keine unüberlegten Entscheidungen im plamäßigen Prozess getroffen werden. Ob die zuvor getätigten Entscheidungen die Richtigen waren, wird sich erst im Laufe der Zeit herausstellen. Ich habe hier aber keinerlei Sorge, da ich mir entsprechende Flexibilität eingeplant habe, sodass ich an vielen Ecken und Kanten auch nachträglich noch herumschrauben kann.

Die für mich unerklärliche Problematik mit dem Anlegen der Volumes hat mich geärgert und fast 30 Minuten Zeit gekostet, letztlich bin ich aber froh, dass ein simpler Neustart Abhilfe schaffen konnte, auch die Sache mit HBS3 hat unnötige Zeit gekostet. Die träge GUI hat weiterhin ihren Teil dazu beigetragen, dass alles teils deutlich länger dauerte als gedacht und dass es vor allem sehr wenig Spaß gemacht hat, so zu arbeiten. Auch das mit der Datenwiederherstellung in der Filestation habe ich mir performanter vorgestellt, diese App ist echt nur was für den Notfall; nächstes Mal läuft so eine Aktion über den PC! Wahrscheinlich wäre ich sogar schneller fertig, wenn ich das System neu initialisiert hätte, das hätte dem System sicherlich auch nicht geschadet.

Die Zeitplanung war mit den ganzen Problemen also alles andere als zufriedenstellend, aber ich habe das auch nicht penibel geplant und mir genug Zeitreserven eingeräumt, Abzug in der B-Note!

Insgesamt bin ich ganz zufrieden mit dem Ablauf, die gut zwei bis drei Stunden Arbeit für die Vorbereitung haben sich meiner Ansicht nach vollumfänglich gelohnt, hätten aber besser sein können. Planung ist bei sowas nunmal fast alles, irgendwas wird immer schiefgehen, da reicht es wenn man sich darüber spontan den Kopf zerbrechen muss.

Ich mache nun Feierabend und eigentlich habe ich mir ein Bier verdient, oder drei. Blöd, dass ich Bereitschaft habe. Naja, aufgeschoben ist nicht aufgehoben, dann stoße ich heute halt mit einer Apfelschorle an, Cheers!