Geplante Pool- und Volumeeinteilung

  • Servus zusammen,


    seit heute stolzer Besitzer meines ersten NAS (TS-653D), kann ich es kaum erwarten, das Schmuckstück einzurichten. Da aber gerade die Pool- und Volumeeinteilung gut überlegt sein will, wollte ich meinen diesbezüglichen Plan hier einmal zur Diskussion stellen:


    1. Pool aus zwei 1TB-SSDs, Raid 1

    - Thick Volume für System und Apps

    - Static Volume (~400GB) für VMs

    2. Pool aus vier 16TB-HDDs, Raid 10

    - nur ein Volume geplant


    Konkret möchte ich zunächst nur die SSDs einschieben und das System darauf einrichten. Erst wenn das abgeschlossen ist, kommen die HHDs rein. Auf diese Weise hoffe ich zu verhindern, dass das System auf den HDDs landet und diese ständig in Atem hält. Zur Frage, ob das aufgeht, habe ich verschiedenes gehört.


    Für die VMs (geplant sind ausschließlich Linux-Server ohne grafische Oberfläche) dachte ich deshalb an ein static Volume, weil diese u.U. direkt am Internet hängen werden und ich verhindern möchte, dass sie am Ende aufgrund einer Sicherheitslücke volllaufen und dem System den Speicherplatz abgraben.


    Soweit mein Plan. Macht das grundsätzlich Sinn? Begehe ich hier Denkfehler?


    Viele Grüße!

  • 1. Pool aus zwei 1TB-SSDs, Raid 1

    - Thick Volume für System und Apps

    - Static Volume (~400GB) für VMs

    Bei nem Pool geht nur Thick oder Thin .. Static klappt da nicht.


    2. Pool aus vier 16TB-HDDs, Raid 10

    - nur ein Volume geplant

    Warum RAID10 ? .. Ausfallsicherheit ist bei RAID6 besser


    verhindern, dass das System auf den HDDs landet und diese ständig in Atem hält.

    Ist egal, Alle internen Platten haben SystemRAID's drauf und drehen sich immer mit

    Für die VMs (geplant sind ausschließlich Linux-Server ohne grafische Oberfläche) dachte ich deshalb an ein static Volume, weil diese u.U. direkt am Internet hängen werden und ich verhindern möchte, dass sie am Ende aufgrund einer Sicherheitslücke volllaufen und dem System den Speicherplatz abgraben.

    Verstehe ich nicht.. Warum laufen die Volumen voll weil deine VM's gehackt werden ?

  • Bei nem Pool geht nur Thick oder Thin .. Static klappt da nicht

    Also gibt es keine Möglichkeit, die Größe eine Volumes zu begrenzen, das innerhalb eines Pools erzeugt wird? Ich nehme an, dass ein Static volume dann immer das ganze Raid umfassen muss… hm…

    Verstehe ich nicht.. Warum laufen die Volumen voll weil deine VM's gehackt werden ?

    Ein Angreifer bekommt nicht zwangsläufig die volle Kontrolle über die VM. Nehmen wir an, ich habe eine API laufen, die bestimmte Dinge herunterlädt, ein Angreifer verschafft sich irgendwie die Login Daten und und fängt nun an Junk herunterzuladen, dann könnte das Volume auf diese Weise volllaufen.

    Ist egal, Alle internen Platten haben SystemRAID's drauf und drehen sich immer mit

    Da habe ich eben verschiedene Aussagen zu gehört, u.a. dass dies nur für jene Platten gilt, die bereits der Installation vorhanden sind.

  • Also gibt es keine Möglichkeit, die Größe eine Volumes zu begrenzen, das innerhalb eines Pools erzeugt wird?

    Doch, mit Thin und Thick Volumes...

    Ich nehme an, dass ein Static volume dann immer das ganze Raid umfassen muss… hm…

    Quasi, ja... Kleiner geht nicht.


    dann könnte das Volume auf diese Weise volllaufen.

    Das würde aber bei jedem Volume so sein... Ersetze das statische Volume deiner Planung einfach durch Thick und gut ist...


    u.a. dass die nur für jene Platten gilt, die bereits der Installation vorhanden sind.

    Ne, wie dolbyman sagt ist schon richtig. Alle Disks, wenn man nicht manuell welche aus dem System RAID wirft, was ich nicht empfehlen würde.

  • Warum RAID10 ? .. Ausfallsicherheit ist bei RAID6 besser

    Ausfallsicherheit ist geringfügig besser, ja, insofern nicht entscheidend ist, welche Platte als zweite ausfällt. Aber: meine Platten sind groß, insofern ist bei einem Rebuild Lesefehler nicht ganz unwahrscheinlich. Wenn ich recht verstehe, sin die die bei Rais 1 und 10 sehr viel weniger gefährlich, weil dabei nur die Integrität einzelner Sektoren/Dateien gefährdet ist, nicht gleich die des ganzen RAID.

    Außerdem sagt mir die Möglichkeit zu, dass die Platten ggf. einfach in einem Linux-System mounten zu können. Oder geht das nur bei RAID1?

    Einmal editiert, zuletzt von Phylax ()

  • Außerdem sagt mir die Möglichkeit zu, dass die Platten ggf. einfach in einem Linux-System mounten zu können. Oder geht das nur bei RAID1?

    Wenn Du einen Pool hast, wird das auch unabhängig vom RAID nicht möglich sein, QNAP braut bei Thin und Thick sein eigenes Süppchen.

  • Wenn bei nem RAID10 die Spiegelplatte ausfällt (bei nem Rebuild) dann sind die Daten trotzdem hin (Ausfall des Stripe)

    Bei nem RAID6 kann während des Rebuilds noch eine weiter Platte ausfallen und das Rebuild geht immernoch weiter


    Beides ersetzt natürlich kein Backup


    Das mit dem im Linux mounten ist nicht so einfach .. da durch das LVM da einige Brücken zu überwinden sind (das RAID ist nur die halbe Miete) .. also Ersetzt auch kein Backup

  • Wenn Du einen Pool hast, wird das auch unabhängig vom RAID nicht möglich sein, QNAP braut bei Thin und Thick sein eigenes Süppchen.

    Wichtige Info, danke. Spricht denn grundsätzlich was dagegen, dann auf den HDDs nur ein großes Static Volume mir RAID1 oder 10 anzulegen? Gefühlsmäßig wäre mir die Transparenz der Daten doch wichtig.

  • Kein Pool, keine Snapshots.

    Ich habe lieber mehrere kleine Volumes, dann dauert uU auch eine Dateisystemprüfung nicht so lange.

  • Ich glaub selbst bei Static setzt QNAP LVM ein .. also Platten rausnehmen zum Auslesen ist keine Option

  • Soweit ich weiß ist die Transparenz der Daten bei Cat2 NAS auch nicht so, wie Du es dir vorstellst.

    Die LVM Ebene ist m.W. immer vorhanden, auch bei Single Disk und Static Volumes.


    Gruss


    Edit: Zu spät... 8o

  • Ist LVM wirklich das Problem? Habe es bei nem statischen noch nicht versucht, aber ich glaube die LVM Ebene aufzubauen war möglich, nur mit Thin und Thick kann ein normales Linux nichts anfangen.

  • Erstmal vielen Dank für die vielen schnellen Antworten!


    Mod: Unnötiges Volltext-/Direktzitat entfernt! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

    Sieht aus, als sei es möglich, aber doch ein ziemlicher Act. Außerdem geht es dort um ein Raid1. Ich bekomme jedenfalls angesichts Eurer Kommentare den Eindruck, dass diese Möglichkeit aus der Sicht erfahrenerer NAS-User wenig relevant ist… das allein sagt mir bereits etwas. Insofern sollte ich vielleicht nicht gleich alles anders machen wollen (ein wenig experimentieren kann ich für den Anfang auch, da ich mein bisheriges System, einen Raspberry Pi 4 nicht gleich offline nehmen werde.)

    Wenn bei nem RAID10 die Spiegelplatte ausfällt (bei nem Rebuild) dann sind die Daten trotzdem hin (Ausfall des Stripe)

    Bei nem RAID6 kann während des Rebuilds noch eine weiter Platte ausfallen und das Rebuild geht immer noch weiter

    Mein Verständnis ist, dass auch bei einem RAID10 bis zu zwei Platten ausfallen können, nur eben nicht beliebige zwei. Außerdem ist der Rebuild-Prozess einfacher und sehr viel toleranter gegenüber Lesefehlern. Die Hürde dafür, was einen »Ausfall« darstellt liegt also höher. Ausschlaggebend für meine einstweilige Bevorzugung von RAID10 gegenüber RAID6 war folgende Erläuterung:

    URE's will not kill a R10 array, it may kill a file or two but not the array. No more than it would kill an entire drive in a single drive scenario. The URE's are fatal to parity based arrays because during the rebuild the data is being reconstructed, using parity calculations, across the entire array. If a URE is encountered during the calculation it has the same effect as a syntax error in a script, the whole thing crashes. In the case of a RAID 10 rebuild the recovery is purely a copy function, from the surviving half of the mirror to the new drive.

    →Quelle


    Wenn das stimmt, scheint mir bei vier Platten RAID10 attraktiver – ähnliche Ausfallsicherheit, gleicher Kapazitätsverlust und performanter.




  • Mein Verständnis ist, dass auch bei einem RAID10 bis zu zwei Platten ausfallen können, nur eben nicht beliebige zwei. Außerdem ist der Rebuild-Prozess einfacher und sehr viel toleranter gegenüber Lesefehlern. Die Hürde dafür, was einen »Ausfall« darstellt liegt also höher. Ausschlaggebend für meine einstweilige Bevorzugung von RAID10 gegenüber RAID6 war folgende Erläuterung:

    Bei nem RAID10 gibts immer nur eine Platte die bei dem Rebuild beteiligt ist und zwar die Spiegelpartner Platte .. fällt die aus, dann ist's das gewesen .


    Aber wie gesagt .. Backups Backups Backups !

  • Alle Disks, wenn man nicht manuell welche aus dem System RAID wirft, was ich nicht empfehlen würde.

    Warum würdest Du das nicht empfehlen? Würde das den Systembetrieb nicht schneller und energieeffizienter machen? (Link genügt)


    Bei nem RAID10 gibts immer nur eine Platte die bei dem Rebuild beteiligt ist und zwar die Spiegelpartner Platte .. fällt die aus, dann ist's das gewesen.

    Richtig, nur sind es ja bei 4 Platten, *zwei* Spiegelplatten, die beide ausfallen könnten.
    1 ←spiegel→ 3
    2 ←spiegel→ 4
    Ausfallen dürften 1+4, oder 3+2, nicht aber 1+3 oder 2+4. Richtig?
    Hinzu kommt eben die größere Toleranz gegenüber Lesefehler, so dass das Kriterium für »Ausfall« weniger streng ist als bei RAID6. So wengistens verstehe ich die Erklärung oben.

    Backups Backups Backups !

    Ist mir bewusst und habe auch eine Lösung dafür.

    Einmal editiert, zuletzt von Phylax () aus folgendem Grund: Ein Beitrag von Phylax mit diesem Beitrag zusammengefügt.

  • Würde das den Systembetrieb nicht schneller und energieeffizienter machen? (Link genügt)

    z.B.

    Advanced guide to how I completely silenced my TS-453A - QNAP NAS Community Forum


    Hinzu kommt eben die größere Toleranz gegenüber Lesefehler, so dass das Kriterium für »Ausfall« weniger streng ist als bei RAID6. So wengistens verstehe ich die Erklärung oben.

    Hab halt schon oft Threads gehabt von RAID10 Verfechtern (ohne Backup) wo die Zweite Platte beim Tausch dann in die Binsen gegangen ist , kann mich an keinen Thread erinnern wo das bei RAID6 der Fall war (bis auf einen, der hat halt gewartet bis 2 Platten defekt waren und dann ging der Rebuild leider in die Hose)

  • Mod: Unnötiges Volltext-/Direktzitat entfernt! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

    Erfahrungswerte habe ich selber freilich keine. Eine Befürchtung wäre aber z.B., dass der Vorteil größerer Lesefehlertoleranz im QNAP-Kontext nur theoretisch ist und am Ende der Rebuild einfach abgebrochen wird, obwohl er unter Verlust von ein paar Dateien fortgesetzt werden könnte. Weiß da jemand was?

  • Der Rebuild wird bei so einem Fehler immer abgebrochen, das alles passiert auf Blockebene, das Software RAID weiss nix von Dateien.


    Man kann einige Rebuild forcieren aber ob und wo dann Deteifehler sind ist schwer zu sagen.

  • Warum würdest Du das nicht empfehlen?

    Weil das System das so nicht vorsieht. Das ist wie immer, wenn man etwas tiefer an etwas herumschraubt: Irgendwo kann es dann zu Nebeneffekten kommen.

    Ist LVM wirklich das Problem?

    Grad geprüft:
    LVM ist auch bei statischen Volumens vorhanden, aber die kann man im Gegensatz zu Thin/Thick problemlos mounten und auf die Daten zugreifen. Wie auch bei Thin/Thick ist nicht LVM das Problem, sondern dass QNAP an den Thin/Thick selbst was gebaut hat womit Linux nicht zurechtkommt.

  • Weil das System das so nicht vorsieht.

    Ja leider. In meinem NAS sind 10 SSDs und trotzdem kopiert QNAP das System auch noch auf jede weitere HDD und alles rödelt immer mit. Für mich ist das inzwischen der Hauptgrund, kein QNAP mehr zu wollen.