Eure Meinung zum korrekten Systemaufbau meinerseits

    Bevor ihr den Roman hier lest, habe ich hier eine grobe Auflistung meine geplanten Realisierung gemacht. Die eigentlichen Fragen, stehen am Ende des Beitrags. Der Text dazwischen soll nur mein Verständnis und eventuelle Fragen klären, die zur Beurteilung/Empfehlung oder Lösung notwendig sind.


    Systemcheck:
    - 1x QNAP TS-869U-RP
    - 1x QNAP TS-869 Pro
    - Firmware QTS 4.0.5
    - TS-869U als Hauptgerät
    - TS-869 Pro als Backup
    - TS-869 Pro steht in seperaten Gebäude, angebunden über Glasfaser (~1 GBPS)
    - HP ProSurve 2810
    - pro NAS erstmal 5x Western Digital SATA-III 4TB Raid Edition (Red) [WD40EFRX]
    - die WD sind eigentlich ne zweite Wahl, ich hätte Hitachi Deskstar bestellt, aber der Markt war wohl gegen mich =(


    phys. Aufbau
    VM Terminalserver (Server 2008 R2) <-> vmxnet3 (10 Gbit/s) <-> Blade * mit ESXi 5 und je 2x 1 GBit/s (trunked, kein dis. vSwitch) <-> Modular Server mit 6x 1Gbit/s (trunked) <-> HP ProCurve (LACP, trunked) <-> QNAP NAS mit 2x 1Gbit/s (trunked).



    Wie sieht das Leistungsprofil aus:
    - ca. 15 Netzlaufwerke mit unterschiedlichen Zugriffsrechten und Inhalten
    - Server speichern und greifen kontinuierlich auf Daten zu
    - der Zugriff erfolgt größtenteils von einem Terminalserver (1x IP-Adresse, ich hoffe das versaut mir nich das Trunking)
    - diverse Geräte wie Scanner speichern Daten direkt auf dem NAS ab
    - 1x Server erhält aufgrund der Software - Zugriff auf eine ISCSI-Lun auf dem NAS. Insgesamt werden 4TB belegt.


    RAID-System:


    Anforderungen
    - hohe Leistung
    - große Kapazität mit Erweiterungspotential (14 TB)
    - hohe Verfügbarkeit (im Sinne eines Festplattendefektes)


    TS869U -> RAID5
    TS869 Pro -> RAID5
    Begründung: durch das vorgegebene Preislimit und die Mindestkapazität von 10 TB (besser 14) sehe ich keine Alternative bei 5x HDDs mit jeweils 4TB


    RAID5-System
    - Vorteil: mehr Speicherplatz
    - Vorteil: bei Festplattenausfall steht der NAS immer noch als Schreibmedium zur Verfügung
    - Vorteil: Durch die Redundanz verbesserte Leseperformance.
    - Nachteil: schlechtere Schreibperformance als RAID10, um genau zu sein so schnell wie 1x Festplatte ?!


    RAID0-System
    - Nachteil ist hier der Ausfall des kompletten Systems bei Festplattendefekt
    - absolutes NoGo


    RAID1-System
    - Vorteil: es darf pro Festplatten Verbund eine Platte ausfallen, in günstigen Fällen also Netto-Festplatten/2
    - Nachteil: weniger Speicherplatz als z.B. RAID5


    RAID10-System
    - Vorteil: Geschwindigkeitsbonus durch Striping
    - Nachteil: weniger Speicherplatz als z.B. RAID5


    -----


    Backup-Strategie


    Anforderungen
    - Datensicherheit ***


    - RTRR Realtime für Ordner mit Inhalten die immer gesichert sein müssen
    - RTRR Täglich für die restlichen Ordner
    - Sicherung der nicht entbärlichen Daten auf ein seperates USB-Medium im Monatstakt
    - Netzwerkpapierkorb wurde aktiviert, Zugriff kann meines Wissens nur durch Admin erfolgen (Einstellung im QNAP)


    Meine Vorstellung bei Worst-Case Szeanrio, der Haupt-NAS komplett zerstört:


    RTRR in Realtime
    - Vorteil: sichert auch Dateien die "hochgeladenen" wurden, wichtig sind und auch bei Ausfall nicht fehlen dürfen
    - Nachteil: kein Schutz vor Zerstörung durch Virus, Verschlüsselungstrojaner
    - Nachteil: löscht auch Dateien, die auf dem Quell-NAS gelöscht wurden


    RTRR täglich
    - Vorteil: Entlastet den Haupt-NAS während der Betriebszeiten
    - Vorteil: gelöschte Daten auf dem Hauptgerät sind bis zur Synchronisation auf dem Backup-NAS vorhanden
    - Nachteil: keine Sicherung der Daten bis zur Synchronisation


    RTRR ohne Löschfunktion
    - Vorteil: es können keine Daten gelöscht werden
    - Nachteil: Backup-NAS müllt sich zu, nach 1-2 Wochen keine freie Kapazität, also auch keine Sicherung
    - Nachteil: kein Schutz vor defekten Daten durch z.B. Virus, da diese wohl überschrieben werden
    - absolutes NoGo in diesem Fall


    USB Copy auf externe Festplatten
    - Vorteil: externes Medium sichert Daten die auf Grund von Viren oder z.B. Replikationsfehlern gelöscht wurden. Oder auch Benutzer gelöscht hat.
    - Nachteil: Sicherung muss manuell erfolgen (Festplatten austauschen)



    -----


    Netzwerkanbindung


    Anforderungen
    - bestmögliche Performance


    TRUNKING
    - Vorteil: Mehr Leseperfomance wenn mehr als 1 Quelle (bis theoretisch 2 GBPS)
    - Nachteil: Backup-Netzwerk läuft auch hierrüber
    - Nachteil: keine JumboFrames, da nicht alle Clients diese bereitstellen (Vermutung)
    - Ungleich: da der Backup-NAS nur über 1 Gbit angebunden ist, ist hier keine schnellere Sicheurng möglich
    - Ungleich: bei Schreibvorgängen und wenn RTRR Realtime aktiv ist bleiben nur 1Gbit/s übrig, da der Rest für die Replication zum anderen NAS drauf geht
    - bei Problemen mit Trunking, kann dieser nicht an dem Ersatz-Switch angesteckt werden


    Static Ports
    - Vorteil: getrennte Netzwerke für Zugriff und Backup (man kann eventuell auf JumboFrames setzen?!)
    - Vorteil: Weniger CPU-Belastung als bei Trunking
    - Nachteil: der Zugriff verfügt nur über ein 1Gbit/s
    - Nachteil: der zweite Port bleibt inaktiv, wenn z.B. keine Synchronisation ansteht


    Hier ist mein größtes Fragezeichen, wobei ich derzeit zum Trunking tendiere. Aber dazu kommt noch folgendes:


    Clustering:
    Mein ganzes Konzept baut auf meinem bisherigen Verständnis von den QNAPs auf. Dabei frage ich mich, ob man eine Art Cluster mit den NAS realisieren kann, und welche Anforderungen hier bestehen. Damit meine ich die Möglichkeit zum Beispiel auf beide NAS zuzugreifen, und somit den Durchsatz von 2 Gbit/s auf 3(4) Gbit/s zu erhöhen. Ist das ganze dann noch unter 1x IP-Adresse möglich ??


    Dabei gibt es dann jedoch kein Haupt und Backup-Gerät.
    - die RTRR Replikation müssten demzufolge zwischen beiden Geräten erfolgen.
    - Nur wie sieht es dann mit der Datenintegrität aus ?
    - ist dies eine gleichwertige Replikation wie z.B. in der Dropbox ? (ändere oder lösche ich was am PC oder im Webinterface, aktualisieren sich alle Qullen automatisch.)


    Oder man trennt die Zugriffe auf das Haupt und Backup-Gerät auf.
    - z.B. die Nutzer mit ihren Netzlaufwerken erhalten das Hauptgerät
    - Scanner, Datensicherungen und bestimmte Serveraktivitäten werden auf das Backup-Gerät
    - Die Replikation erfolgt dann jedoch für diese Daten in eine Richtung, getrennt z.B. durch separate Netzlaufwerke



    Mein Fazit:
    Im Endeffekt versuche ich das maximal Mögliche aus diesem NAS-System rauszuholen. Es ist jedoch mein erstes "großes" Projekt in diesem Sinne. Ich habe leider nicht "die" Vorbereitungszeit und Möglichkeit (Produktivumgebung) jede Konfiguration bis aufs kleinste zu testen. Ich hoffe hier auf eure Erfahrung und freue mich über jedes kleine bisschen Feedback. Ich bin auch offen für komplett andere Lösungsmöglichkeiten. Ich möchte euch auch Danken, dass ihr Euch die Zeit genommen habt, das durchzulesen und eure Freizeit dafür opfert.


    Die eigentlichen Fragen:
    1. Ist das RAID5 Perfomancetechnisch zu empfehlen oder sollten man lieber noch mehr Geld investieren und auf ein RAID10 umsteigen. Oder seht ihr eventuell durch das Clustering eine ganz andere Möglichkeit und empfehlt RAID0 für die Performance und RTRR oder Clustering als RAID-Ersatz??
    2. Ist mein Lösungsansatz zur Datensicherung/Datensicherheit in diesem Fall korrekt? Habe ich etwas nicht bedacht? Gibt es vielleicht einfachere Lösungsmöglichkeiten?
    3. Wie integriere ich die beiden NAS korrekt ins Netzwerk ? Kann man hier Clustern/High Avaibility? Trunking oder Static Ports ?
    4. Sollte man die Belastung auf Haupt und Backup-Gerät aufteilen? Wie siehts dann mit der Replikation aus (RTRR) ?
    5. Sind meine Auffassung soweit korrekt, ansonsten korrigiert mich bitte.
    6. Ich habe von anderen Einrichtern gehört, dass gerade die 4 TB Festplatten Probleme machen sollen ?
    7. Funktioniert das Trunking überhaupt, wenn alle Anwender von einem Terminalserver / eine IP-Adresse aus zu greifen ?

    2 Mal editiert, zuletzt von Graupunkt ()

    Hallo,


    Zuerst gehe ich mal auf diesen Punkt ein:

    Zitat von "Graupunkt"

    5. Sind meine Auffassung soweit korrekt, ansonsten korrigiert mich bitte.


    Zitat von "Graupunkt"

    RAID-System:
    [...]
    - Datensicherheit hoch3


    Dem wuerde ich wiedersprechen, denn ein RAID erhoeht nur die Verfuegbarkeit deiner Daten; Datensicherheit bekommst du nur durch das Backup.

    Zitat von "Graupunkt"

    RAID1-System
    - Vorteil: es dürfen mehr als 1x Festplatte ausfallen


    Dem kann ich so leider nicht ganz zustimmen: Ein RAID1 besteht aus zwei Platten. Es wird von der einen Platte auf die andere gespiegelt. Da aber nur zwei Platten in einem RAID1 sind, darf logischerweise nur eine ausfallen.


    Zitat von "Graupunkt"

    2. Ist mein Lösungsansatz zur Datensicherung/Datensicherheit in diesem Fall korrekt? Habe ich etwas nicht bedacht? Gibt es vielleicht einfachere Lösungsmöglichkeiten?


    Wie schon von dir angesprochen, hat eine Real-Time-Synchronisation den Nachteil, dass die Daten sofort ueberschrieben werden und daher etwas geloeschtes auch nicht wiederhergestellt werden kann.
    Wenn du die Daten taeglich sicherst, koennen maximal die Daten eines Tages verloren gehen, wenn das Haupt-NAS crasht.
    Nun musst du dir ueberlegen, was dir davon wichtiger ist. Meine Empfehlung waere aber, dass du taeglich sicherst, da du so geloeschte Dateien noch retten kannst.
    Alternative waere, dass du mehrere Versionen des Backups behaeltst, was allerding entsprechend mehr Speicherplatz braucht.


    Zitat von "Graupunkt"

    7. Funktioniert das Trunking überhaupt, wenn alle Anwender von einem Terminalserver / eine IP-Adresse aus zu greifen ?


    Wenn der Terminalserver auch Trunking verwendet. Ansonsten bringt es dir keinen Geschwindigkeitsvorteil.
    Ausserdem muss es auch von der Netzwerkhardware unterstuetzt werden.


    Leider kann ich dir nur auf einen Teil deiner Fragen antworten, aber ich hoffe, es hilft dir trotzdem schonmal weiter.
    Ausserdem war das der gefuehlt laengste Beitrag, den ih hier jemals gesehen habe. Wusste gar nicht, dass man ueberhaupt so lange Beitraege schreiben kann. :D

    ´Danke für das erste Feedback.


    - das mit dem RAID hast du Recht, ich sollte es vielleicht in Verfügbarkeit umbenennen. Deutsche Sprache schwerer Sprache =)
    - das mit dem Ausfall war bezogen auf das aktuelle System. Ergo pro Festplatten-Paar nur 1x Festplatte. Ich trage es nach.


    Zur 7:
    Wegen dem Trunking habe ich bedenken, weil man ja sogesehen nach einem bestimmten Verfahren den Verkehr versucht auf zu trennen. (IP-Hash-Verfahren, MAC-Hashing und Round-Robin). Ich habe einmal den physikalischen Weg oben ergänzt. Aber ich denke wir streichen Frage 7 und ich kümmer mich persönlich darum. Zuviele Fehlerquellen.


    Ich wollt ungern diese 4 Punkte auseinander reissen, da alle irgendwie zueinander gehören. _hurted:

    Guten Morgen,


    ad 1)
    Der Vorteil des RAID10 wird gerne überbewertet. Auch ein RAID5 ist ein Stripe-RAID. Je grösser der Verbund, desto kleiner der Redundanzanteil, der im Gesamtverbund weggeschrieben wird und Fachleute könnten einen Breakeven ausrechnen, ab wann ein RAID5 schneller wird, als ein RAID10. Theoretisch.


    Praktisch unterscheidet sich die Performance eines RAID5 von einem RAID10 in einer QNAP x69 nicht:
    --> http://www.smallnetbuilder.com…reviewed?showall=&start=1


    ad 2)
    Imho grundsätzlich in Ordnung. Ich würde Versionierung der Sicherung erwägen, für die Echtzeitdaten auch evtl. täglich (nachts) nochmals eine Batchsicherung. Das erhöht für den User die "Dummy"-Sicherheit, dass bei versehentlich gelöschten oder falsch veränderten/überschreibenen Daten die Vortagsversion wiedergeholt werden kann, falls die Batchsicherung bereits gelaufen war. Hier kommt aber womöglich an eine Grenze, was man gerne hätte und was auf der QNAP mit Bordmitteln bzw. RSNAP darstellbar ist.


    ad 3,4)
    Grundsätzlich mal Klarheit über den Traffic und die Art der Daten verschaffen und eine Bottleneck-Überlegung anstellen. Was nützt es denn, den Netzwerkverkehr auf 2 Leitungen zu verteilen, wenn hinterher auf der NAS alles wieder auf einer einzigen Platte (bzw. einem einzigen Plattenverbund) zusammenläuft ? Die Schreib-/Lesekonflikte auf dem Speichermedium können dann die Performanve stellenweise in die Knie zwingen und die Performance wird für die User gefühlt mal optimal, mal grottenschlecht sein.


    Abhilfen: Nicht nur den Verkehr an den Schnittstellen optimieren, sondern auch auf dem Speicherbereich. Am Ende des Tages können mehr kleine Bereiche auf verschiedene Speichermedien verteilt wesentlich schneller sein, als "alles auf ein Volume". Weiterführende Überlegungen: Den Userspeed auf max. 100Mbit drosseln, Enterprise-Platten verwenden, die gerade für das Handling des Multiuserbetrieb, also konfliktäre Zugriffe bei eher kleinen Dateien optimiert sind.


    Spiegelserverbetrieb ist ein charmantes Konzept und kann man in diese Grundüberlegungen mit einbeziehen, erhöht natürlich möglicherweise den Anlagenaufwand.


    Wichtig fände ich auch noch eine Downtime-Überlegung: Konstruieren wir mal, Dir schmiert die PrimärNAS im Tagesbetrieb bei einem RAID-Rebuild oder kapitalen HDD-Schaden ab. Wie lange darf dann der Netzwerkspeicher offline sein, bis der Betrieb wieder laufen muss ? 5 Stunden, 5 Minuten oder überhaupt nicht ? Möglicherweise wird das Spiegelservern ganz schnell zwingend, und hat sich beim nur ersten Ausfall bereits gerechnet. Ich habe Spiegelserving bei mir zuhause, erledigt die Backupaufgabe mit und ermöglicht eine Downtime von höchstens 5min, alles ohne RAIDs. Ich brauche aber keine Realtime-Spiegelsicherung und kann mit einem möglichen Datenverlust von einem Tag leben.


    ad 5)
    Grundsätzlich gut durchdacht, die o.g. Aspekte und 3,4) würde ich noch mit einbeziehen
    Im Leistungsprofil fehlt mir noch die Erläuterung der bewegten Datenarten und -grössen und ob die User online auf dem Netzwerkspeicher arbeiten oder mit lokalen Repliken, das spielt im Gesamtkonzert ja auch noch eine grosse Rolle.


    ad 6)
    Solche Aussagen sind imho keinen Cent wert, wenn sie nicht begründet bzw. erklärt wurden.



    GLG GBD

    Super Feedback,


    Punkt 1 somit erledigt


    zu 2
    Versionierung war geplant auf ext. USB-Laufwerke, da ich im Zweifel das ganze Haupt-NAS mindestens 1x gebackupt haben muss. Jedoch nur für die kritischen Daten. Ich vermisse noch ein bisschen die Möglichkeit der Schattenkopie oder wie beim Apfel mit timemachine die Möglichkeit, jede Datei zum beliebigen Zeitpunkt wiederherzustellen. Oder meintest das ?
    Gegen versehentliche löschen, haben wie ja den Netzwerkpapierkorb, wo nur der Admin rein darf :tongue:


    zu 3,4
    ich werde mein Konzept mal weiterentwickeln und noch ein paar gegebene Umstände recharchieren.
    Die Überlegung die Volumes aufzuteilen, ist von der Performance gesehen sogar sehr sinnvoll. Ich habe aber Angst, dass mir dann in den nächsten Jahren die Kapazität einen Strich durch die Rechnung macht.
    Ich finde es nur schwer abzuschätzen, was ist den nächste 5 resp. 10 Jahren an Daten auf mich zu kommt.


    - 1 neuer Server und die Datensicherung brauch wieder mehr Platz
    - eine neue Technologie und die digitaler Inhalte werden größer


    Ich werde es aber dennoch mal in Erwägung ziehen. Das das Drosseln auf einem Terminalserver wüsste ich n icht mal wies geht pro Benutzer, aber ich weiss auch nicht ob wir das wollen, gerade wenn Aufnahmen mit größen im Bereich von 50MB abgerufen werden sollen. Das Merkt man dann schon. Bei ca. 20x Usern ist die Chance eher gering, dass das die Netzwerkleitung 2Gbit/s vollständig ausgelastet ist. Und wenn würde ich es in Kauf nehmen.
    Jeder Aufruf ist ja eh schon auf 1Gbit/s begrenzt durch die Trunking-Protokolle.
    Wobei ein Kollege von mir meinte, er hätte einen einzelen Datenstream von QNAP über einen HP Switch mit LACP mit 2 Gbit/s übertragen. Bis heute warte ich noch auf die Auflösung. _hurted:


    Spiegelserverbetrieb kenn ich noch garnicht, mal googlen und integrieren. Finde es auf jeden Fall sehr wichtig. Wenn man den Kunden fragt, darf nie etwas ausfallen :) .


    danke GorillaBD