Expertenrat benötigt - TVS-EC1080 mit VM, Container und DB -> Speicherkonfiguration (Sicherheit + Performance) - Backupstrategie

    Hallo zusammen,


    nach einem größeren Filesystemcrash auf meiner TVS-EC1080 (QTS 4.3.2 - RAID-6) mit Datenverlust möchte ich die gesamte Speicherkonfiguration hinsichtlich verbesserter Datensicherheit und Performance neu aufsetzen und die Backupstrategie ebenfalls verbessern. Da ich auf dem Gebiet noch nicht so fit bin, brauche ich dafür Expertenrat :)


    Vorhandene Hardware


    Arbeitsstation:
    - TVS-EC1080 (QTS 4.3.2) - 32 GB RAM - 3,4 GHZ Xeon Quadcore - 4 * 1GB LAN
    - 4 * 3TB WD-Red (Kapazität RAID6 - 6TB)
    - 3 * 2TB WD-RED (Kapazität RAID6 - 4TB)
    - 2 * Samsung SSD 256 GB als Cache zur Beschleunigung


    Backupstation
    - TS-259 (QTS 4.2.2 Intel Atom Dualcore, 2GB RAM) - 2*GB LAN
    - 1*8TB Seagate Ironwolf (wird noch durch zweite Platte ergänzt und dann abwechselndes Backup auf DISK 1 und 2)


    "Strato-Hardware" ;)

    Cloudbackup zur täglichen Sicherung der wichtigsten Konfigurations- und Arbeitsdaten in der Cloud


    Bisherige Nutzung:
    - Betrieb eines Raid-6 Arrays aus 4*3TB WD-Red
    - Ein Volume für alle Daten - d.h. auch nur ein Filesystem für alle Shares
    - SMB-Fileserver mit mehreren Shares (ca. 4 TB, 1.200.000 Dateien)
    - Intensive Nutzung von Qsirch
    - Nutzung von 2 virtuellen Maschinen
    - Win 7 als Remote Arbeitsstation
    - Debian Linux mit Alfresco Dokumentenmanagement (Daten auf eigenen Share)
    - Nutzung diverser Apps
    - Owncloud 8 auf MySQL für Datenaustausch mit Nutzern vom Internet
    - Xeams Mailserver


    Was ist passiert:


    - Filesystem-Crash nach Update aus 4.3.2 und Verlust aller Daten aus allen Shares da nur ein Volume auf dem RAID-6 eingerichtet war.
    - Etliche Apps, insbesondere owncloud und Mailserver funktionieren nicht mehr mit QTS 4.3.2, dies soll nun per Containerstation realisiert werden


    Nun habe ich etliche Fragen zur neuen Planung der Speicherkonfiguration und zur Verbesserung der Sicherheit + Performance
    1. Ich möchte die Systemlast auf 2 Arrays verteilen - d.h. die Daten auf Raid6 und die Anwendungen auf RAID5 (VM+Container) um
    a) die Folgen eines Ausfalls zu verringern (nicht das Risiko)
    b) die Dauerbelastung des RAID 6 Arrays durch die VM-Anwendungen zu reduzieren
    c) die Arbeitsperformance der VM zu verbessern, da Indizier- und Suchvorgänge auf dem anderen Array laufen
    Frage: Haltet ihr diese Aufteilung für sinnvoll, oder ist es besser ein grosses RAID6 aus allen Platten zu bilden ??


    2. Ich möchte auf jedem Array für jedes Share ein Volume mit variabler d.h. wachsender Größe einrichten um im Falle File eines Filesystemcrashs nur maximal ein Share zu verlieren.
    Frage: Ist das sinnvoll und läßt sich das überhaupt so konfigurieren ??

    Weitere Fragen zur Datensicherheit
    - Sollte für jedes Volume auf jedem Array nicht ein automatischer Snapshot vor dem Backup durch RRTR durchgeführt werden um zur Berücksichtigung mögliche Änderungen auf dem Volume während des Backup ? Ist das möglich ?

    Fragen zur Kommunikation:
    Ist es möglich eine LAN-Direktverbindung zwischen beiden NAS einzurichten, unabhängig vom sonstigen Netzwerk? Falls ja, was ist mit Portbündelung von 2 LAN Verbindungen?


    Frage zur Backupdurchführung
    - Die VM und Container Station sind aktiv und enthalten teilweise laufende Datenbankprogramme wenn ein automatischer RRTR-Backup startet.
    - Kann von Containern ein Backup während des Betriebs erstellt werden oder diese zeitgesteuert gestoppt und gestartet werden um Dateiinkonsistenzen zu vermeiden?
    - Die Virtualisation-Station 3 ermöglicht ein Backup von VMs im laufenden Betrieb nach Zeitplan.
    Ist es möglich ein VM-Backup remote auf eine zweite QNAP Station zu speichern (derzeit keine VM installiert, deshalb kein Test möglich) ?
    - Werden ältere Snapshots der VM während des Backups ebenfalls gesichert ?
    - Sollten Datenbanken in den VM gestoppt werden bevor ein Backup durchgeführt wird ?
    - Was sonst ist bei laufenden VM's und Datenbanken beim Backup zu berücksichtigen. Sollten z.B. vorher Snapshots von den VM durchgeführt werden ?
    - Ist Hybrid-Backup Sync als Betaversion bereits zu empfehlen oder sollte noch der alte Backup-Manager für RRTR Jobs benutzt werden ?
    - Gibt es für meinen Anwendungsfall sinnvolle Empfehlungen für die Versionierung ?
    - Kann ich die Backupstation per Wake on LAN hochfahren starten lassen, wenn ein Backup startet ?
    - Gibt es sonstige sinnvolle Empfehlungen für Backups um Dateninkonsistenzen zu vermeiden ?



    Fragen zu Containern
    - Wie sind eure Erfahrungen mit Docker-Containern. Gibt es häufiger Probleme
    - Gibt es einen guten und einfachen Mailserver als Docker-Container ?



    So das waren jetzt viele Fragen. Ich würde mich freuen wenn einige davon beantwortet werden können :)


    Schonmal Danke im voraus.


    Gruß,


    Markus

    3 Mal editiert, zuletzt von mgillich ()

    Zitat von mgillich

    Frage: Haltet ihr diese Aufteilung für sinnvoll, oder ist es besser ein grosses RAID6 aus allen Platten zu bilden ??

    Hierzu kann ich dir schonmal sagen dass du aufgrund des minimalen Performance Unterschieds von RAID 5 und RAID 6 damit nur unnötig Plattenplatz verschwendest. Wenn du wirklich Performance brauchst dann leg dir lieber SSD Cache zu. Denn der bringt wirklich nochmal eine erhebliche Verbesserung! Edit: Hab gesehen du hast ja schon SSD cache :D Naja aber da die QNAP ja eh nur einen Controller bietet wirst du durch mehrere Pools keinen Performanceboost erhalten.


    Zitat von mgillich

    Frage: Ist das sinnvoll und läßt sich das überhaupt so konfigurieren ??

    Du kannst natürlich so viele Volumes erzeugen wie du magst, einfach als Thin-Volume erzeugen, jedoch verlierst du dadruch Performance, wenn du also große Daten bearbeiten möchtest während diese sich auf dem NAS befinden, könnte dies für dich eventuell ungeeignet sein. Aber das lässt sich ja ganz einfach testen! Hierzu müsste man halt ein Anwendungsbeispiel haben ( z.B. Videobearbeitung, Texte schreiben etc... um eine dedizierte Aussage treffen zu können.


    Zitat von mgillich

    - Sollte für jedes Volume auf jedem Array nicht ein automatischer Snapshot vor dem Backup durch RRTR durchgeführt werden um zur Berücksichtigung mögliche Änderungen auf dem Volume während des Backup ? Ist das möglich ?

    Am besten Backupjobs grundsätzlich nicht während der Arbeitszeit laufen lassen! Außerdem überträgt RTRR doch auf Datei-Ebene oder nicht? Was würde da also ein Snapshot vor dem Kopieren bringen? BZW ist die Funktion ja extra dafür da Änderungen zu erkennen und zu übertragen, also ne, Snapshot vorher ändert nichts, meiner Meinung nach.


    Zitat von mgillich

    Ist es möglich eine LAN-Direktverbindung zwischen beiden NAS einzurichten, unabhängig vom sonstigen Netzwerk? Falls ja, was ist mit Portbündelung von 2 LAN Verbindungen?

    Das ist auf jeden Fall möglich, es kann jedoch sein dass du einen Switch zwischenschalten musst (Gigabit Switch von TP-Link oder so für 10€ reicht aus), da bin ich mir aber nicht so sicher da ich nicht genau weiß was die verbauten Netzwerkkarten können. Auch eine Portbündelung ist möglich, jedoch nur als Lastenausgleich bzw Ausfallsicherheit. Du kannst die Ports nicht zu 2 GBit bündeln, höchstens zu 2x 1Gbit, aber da hat man ja irgendwie auch kaum mehrwert, außer du willst mit mehreren Geräten gleichzeitig mit 100 Megabyte/s kopieren.



    Soviel von mir, mit der VM Funktion von QNAP und den Containern auf der QNAP direkt arbeite ich nicht (bis jetzt) deshalb kann ich dazu nicht viel sagen.


    Liebe Grüße


    Norros

    Einmal editiert, zuletzt von norros ()

    Das System soll in Zukunft mal als mein persönlicher Remotearbeitsplatz dienen der auch internetseitig genutzt wird. Die Verfügbarkeit sollte deshalb möglichst hoch sein und bei Problemen sollte mal schnell weiterarbeiten können.


    Das RAID6 arbeitet mit 3TB-Platten, das Raid5 mit 2TB-Platten (waren noch vorhanden). Alles in Raid-6 zu packen würde somit auch Plattenplatz vergeuden, da die 3TB-Platten nicht ausgenutzt würden. Im Endeffekt läuft beides auf 10TB hinaus.


    Auf dem RAID6 sollen in erster Linie die Filedatenbestände (Office, PDF etc...)und DMS-Daten, die indiziert werden (>2TB). Hier greift auch der SSD-Cache zur Beschleunigung. Auf dem Array ist somit immer eine R/W-Grundlast vorhanden, welches die virtuelle Maschinen I/O technisch bremst.


    Auf dem RAID 5 sollen die Virtuellen Maschinen laufen (Kopie auf RAID 6). Bei der Virtualisation-Station funktioniert der SSD-Cache prinzipbedingt sowieso nicht. Die Last verteilte sich somit auf zwei Arrays. Wenn mir mal ein ganzes Array abraucht (wie kürzlich geschehen), dann fällt auch nicht die ganze Station aus, sondern ich kann auf dem anderen Array die virtuellen Maschinen transferieren und mit nur kurzer Unterbrechung weiter nutzen, während das defekte Array neu formatiert oder ersetzt wird.


    Das mit den Thin Volumes solllte funktionieren wie ich gelesen hab. Ich werde das Systemvolume von den Volumes für Datenshares trennen und einiges zusammenfassen. Im Endeffekt werden es dann wohl vier oder fünf Thin-Volumes, die separat gesichert werden. Datensicherheit ist mir wichtiger als das letzte bisschen Performance und ich hatte das einzige Volume bisher auch schon als Thin Volume eingerichtet. Das war in Ordnung. Durch den schnellen Prozessor hoffe ich, das sich der Performanceverlust in Grenzen halten wird. Für Multimedia ist die Kiste eh nicht vorgesehen.



    Bzgl RRTR hast du wohl recht.. Bzgl Arbeitszeit wird es schwierig, ich arbeite häufig auch nachts. Also ich möchte sowenig wie möglich manuell stoppen müssen. Auf allen Volumes wo Datenbanken laufen, wie das Systemvolume oder in den virtuellen Maschinen werd ich deshalb wohl nur mit Snapshots für komplette Volumes bzw. VM's arbeiten.


    Die Direktverbindung hab ich jetzt ausprobiert und es funktioniert auch ohne Switch. Hab dafür ein eigenes IP-Netz definiert. Der eingebaute Test für RRTR läuft von der TVS-EC 1080 auf die TS-259 mit 105-117 MB/s d.h. die Leitung wird vollständig ausgelastet. Umgekehrt geht es nur mit 60-90 MB/s (Prozessor zu schlapp). Als RRTR Master wird deshalb die TVS-EC 1080 dienen. Bei Portbündelung probier ich noch aus, ob es schneller wird, wenn man zwei Teilbackups auf zwei unterschiedliche Platten auf der TS-259 durchführt.



    Von den Containern werde ich erst mal Abstand nehmen. Die scheinen zwar grundsätzlich zu funktionieren aber ein kompletter Snaphot oder ein Backup im laufenden Betrieb (mit asktiven Datenbanken) scheint nicht möglich zu sein. Das endet dann in grossem Aufwand. Mit den VM scheint das überhaupt kein Problem zu sein. Alle von mir genutzten Datenbanken werden deshalb in den VM's installiert werden. Der SQL-Server von QNAP wird nicht genutzt. Ich hoffe das ich mir somit die gante Datenbankadministration erspare.


    Gruß,


    Markus