Data Scrubbing bald nativ über Webinterface unterstützt

  • Alles klaro, ist für größere RAIDs also nicht geeignet.

    Der Resync - auch Scrubbing genannt - prüft ob auf allen Festplatten alle Sektoren noch lesbar sind. Ist ein Sektor einer Platte nicht lesbar wird dieser Sektor aus den (Parity) Informationen der anderen 3 Disks neu berechnet und neu geschrieben. Dies führt bei Festplatten entweder dazu dass der Sektor neu geschrieben wird und nun wieder ok ist, oder dass beim Neuschreiben er als defekt markiert wird uns ein Reservesektor benutzt wird als Ersatz für den defekten. Ergebnis ist in jedem Fall wieder eine Festplatte auf der alle Sektoren lesbar sind.


    Beispiel Ausgangslage mit 4-Disk RAID5 :
    HDD 1 - Sektor 3771112 und Sektor 8799912 nicht lesbar
    HDD 2 - Sektor 9993321 nicht lesbar
    HDD 3 - ok
    HDD 4 - ok


    Mit Scrubbing:
    - Die 3 defekten Sektoren werden erkannt, neu geschrieben und HDD 1-4 sind nun wieder ok. Es gehen keine Daten verloren da auf HDD1 und HDD2 jeweils unterschiedliche Sektoren betroffen sind.


    Ohne Scrubbing:
    - Die 3 defekten Sektoren bleiben nicht lesbar es sei denn du greifst zufällig auf eine Datei zu die in diesen Sektoren liegt (eher unwahrscheinlich bei den heutigen Speichermengen)


    Nun geht Dir 2 Monate später plötzlich eine HDD kaputt. Nun hast du - wenn du kein Scrubbing gemacht hast - ein Problem! Und zwar egal WELCHE deiner vier Platten kaputt geht:
    Wenn Dir HDD1 kaputt geht kannst du 1 Sektor nicht mehr wiederherstellen (9993321)
    Wenn Dir HDD2 kaputt geht kannst du 2 Sektoren nicht mehr wiederherstellen (3771112 und 8799912)
    Wenn Dir HDD3 oder HDD4 kaputt geht, kannst du 3 Sektoren nicht mehr wiederherstellen (3771112 , 8799912 , 9993321)


    Wie sich der QNAP (bzw. der mdraid auf dem das basiert) verhält wenn nach dem Ersatz der defekten Festplatte auf den existierenden 3 Platten die Daten nicht überall lesbar sind weiß ich leider nicht.
    Aber selbst im BESTEN Fall hast du danach 3 korrupte Dateien ohne zu wissen welche es sind. Im schlechtesten Fall schlägt der Resync mit der neuen Festplatte fehl und du darfst dich von Hand darum kümmern die Daten zu retten und rauszufinden was eigentlich los ist.


    PS: Sonderfall beim Resync: Alle Daten lesbar aber bei einzelnen Sektoren passen die Daten und die Parity Information nicht zusammen - hier kann der Fehler nur protokolliert werden da RAID5 nur Fehlererkennung aber in diesem Fall keine Fehlerkorrektur erlaubt. Sollte aber eigentlich nie passieren, da die HDDs ihre Sektoren selber mit Prüfsummen absichern und zumindest theoretisch keine falschen Daten liefern SOLLTEN. Auch in der Praxis IMHO auch sehr selten.



    Zitat von TheRooster2000

    dann macht das bei meinen beiden QNAPs keinen Sinn

    Wenn Dir deine Daten nicht wichtig sind, ja, dann solltest du auf keinen Fall ein Scrubbing durchführen.


    Zur Geschwindigkeit: Im Optimalfall dauert ein Resync genau so lang wie es dauert eine Disk 1x komplett auszulesen - da alle Disks parallel arbeiten sollte es nicht von der Anzahl der Disks abhängen.
    In der Praxis kann es natürlich länger dauern, insbesondere manch älteres NAS hat nicht genug CPU Power um die Daten von allen Disks gleichzeitig zu verarbeiten ohne Performanceeinbruch.


    Bei einer 4TB Platte die mit durchschnittlich 100MB/s liest wären circa 12 Stunden für einen Resync realistisch - nur mal als Beispiel.
    Wenn es deutlich länger dauert als 24 Stunden kommt mir das - auf guter Hardware - etwas seltsam vor. Vielleicht bremsen gleichzeitige I/O Zugriffe der Clients den Resync vorgang? Standardmässig läuft der mit relativ niedriger Priorität und normale Zugriffe haben Vorrang. Lässt sich aber auf der Kommandozeile ändern.

    2 Mal editiert, zuletzt von anybody ()

  • Danke für die Erläuterungen!


    Heute ist es zum zweiten Mal gelaufen und hat wieder fast genauso lange gebraucht (es war eine Minute mehr).
    Die zusätzliche Belastung macht den Platten nichts aus, oder?

  • Naja, ein klein bisschen Abnutzung der Platten (und 9 Stunden erhöhter Stromverbrauch) ist es schon. Ich würde eher nicht wöchentlich machen.
    Irgendwas zwischen 1x im Monat und 1x pro Halbjahr scheint mir vernünftig.

  • 1x pro Halbjahr finde ich schon sportlich...Festplatten sind in meinen Augen wie Bremsbeläge...Verschleißmaterial.

  • Dir ist schon klar dass,wenn du deine Bremsen nur 1x im Halbjahr nutzt, diese komplett verrosten und du sie dann wegen Rost austauschen musst obwohl sie nicht abgefahren sind?
    Vernünftige Platten (und dazu muss es nicht die überteuerte Enterprise Serie sein) laufen auch in Servern wo sie 24/7 immer was zu tun haben (natürlich auch dort nicht immer Vollast) viele Jahre bevor sie irgendwann mal vielleicht kaputt gehen.

  • Bei meiner Konfiguration 8x8TB (TS853A) dauert das Tage!


    Während dessen kann ich das System wegen der geringen Performance
    nicht sinnvoll nutzen.


    Ich benutze es u. a. als Video-Server für mehrere Sat-Receiver.
    Eine Wiedergabe der Aufnahmen oder Timeshift ist dann nicht mehr möglich.
    Die Receiver sind dann minutenlang blockiert!


    Es ist mir bewusst, dass das scrubbing wichtig ist, daher möchte ich es gerne monatlich oder öfter laufen lassen.


    Habe es jetzt aber deaktiviert.



    Wie kann ich die aktuell laufende synchronisation gefahrlos abbrechen?
    Ein NAS Neustart hat zur Folge gehabt, dass die synchronisation jetzt wieder bei 0% gestartet ist. :cursing:


    Ist es denn nicht möglich, dass der Scrubbing-Vorgang so optimiert wird, das wenig(er) Performance
    verloren geht und er stattdessen länger dauert?


    So könnte ich das System dann weiter nutzen und wäre nicht gezwungen das Srubbing zu deaktivieren.


    Bin für jede Hilfe und Tipps dankbar.


    Grrr....


    Es ist während der Synchronisation noch nicht mal möglich einen mp3-titel störungsfrei abzuspielen!


    :cursing:

  • Ich habe die Gelegenheit mal zum Anlass genommen das Scrubbing auf dem TS-659 Pro (Baujahr 2010, 6x 2TB im RAID6) zu starten. Geht dort nur per Kommandozeile da QNAP die neueste OS Version nicht mehr für das Modell rausgebracht hat.
    Synchronisation läuft hier mit 77MB/s (ich glaube dieser Wer bezieht sich pro Disk - also eigentlich 6x 77MB/s!) und hat eine geschätzte Restzeit von 7 Stunden.
    Während dies lief habe ich mal testweise ein 3GB ISO File vom QNAP auf einen PC kopiert. Ergebnis: LAN Transferrate im Bereich von circa 90MB/s und währenddessen Einbruch der Resync Geschwindigkeit auf circa 1MB/s. Danach wieder 77MB/s.
    Sowohl Geschwindigkeit als auch Priorität scheint beim TS-659 Pro wunderbar zu gehen. Es fehlt leider nur der GUI Menüpunkt :)


    Dass es bei Dir so langsam ist ist sehr sehr seltsam. Ich habe drei Vermutungen was es eventuell sein könnte:
    a) benutzt du vielleicht explizit nicht für RAID freigegebene SMR (Shingled Magnetic Recording) Festplatten, konkret die Seagate Archive HDD 8TB?
    b) hast du im QNAP vielleicht eine extra Verschlüsselung oder ähnliches eingeschaltet?
    c) vielleicht hängen irgendwelche installierten "Apps" mit dauernder 100% CPU Last im Hintergrund?

  • Danke für die schnelle Antwort!


    Netzwerkanbindung läuft über 4 gebündelte 1 Gbps Ports im Balance-xor Modus.


    Verbaut sind 8 WD Red WDC WD80EFZX HDD im RAID 6 Verbund,


    eine extra Verschlüsselung ist nicht eingeschaltet.


    CPU Last ist ca. 30%, RAM ca. 10%


    LAN Auslastung liegt beim Filetransfer zwischen 70-98%, Windows zeigt eine Geschwindigkeit von 89,8 MB/s an.


    Die Resync Geschwindigkeit kann ich im GUI nicht ablesen, bzw. finde ich dort nicht.


    Was die mp3 wiedergabe stört ist auf jeden Fall das Einlesen der Verzeichnisse der NAS auf einem zweiten Rechner.


    Wiedergabe hängt dann bis zu 20 sec!

  • Seltsam. Stell das Buffering am MP3 Player höher ein :)


    Resync geschwindigkeit ist per Kommandozeile (ssh) zu bekommen:


    Code
    cat /proc/mdstat

    Zur Geschwindigkeit: Solange Clients darauf zugreifen, sei es auch nur für das Abspielen einer MP3 Datei wird die Resync Geschwindigkeit vermutlich nie überragend sein.
    Wirklich vollgas gibt er nur wenn er nix anderes zu tun hat.


    Die minimalgeschwindigkeit des Resync lässt sich per Kommandozeile natürlich auch hochsetzen - das würde dein "MP3-Problem" dann eher aber noch verschlimmern.

  • Leider kann ich den Buffer nur am PC einstellen, jedoch nicht am sat-receiver, welches für mich weitaus wichtiger ist.... :(


    maximalgeschwindigleit des Resync einstellen können wäre hilfreich.....


    Was mir noch aufgefallen hat, es dauert manchmal sehr lange bis ein verzeichnis eingelesen wird, obwohl sich darin nur ca. 30 dateien befinden...

    Einmal editiert, zuletzt von pwr.krn ()

  • Bei meiner Konfiguration 8x8TB (TS853A) dauert das Tage!


    Wie kann ich die aktuell laufende synchronisation gefahrlos abbrechen?
    Ein NAS Neustart hat zur Folge gehabt, dass die synchronisation jetzt wieder bei 0% gestartet ist. :cursing:

    cat /proc/mdstat
    (um herauszufinden wie die device names heissen bei denen der rebuild läuft und was der status ist)


    echo idle > /sys/block/md0/md/sync_action
    (resync bei device md0 stoppen)


    Zur Performance:
    https://www.cyberciti.biz/tips…resync-rebuild-speed.html
    #4 und #5 würde ich ignorieren am QNAP, aber #1-#3 macht sinn.
    Falls es was bringt: Wie man die Optionen am QNAP so einstellt so dass sie dauerhaft auch nach Reboot aktiv sind ist ein anderes Thema - k.A.

    Einmal editiert, zuletzt von anybody ()

  • Wie ärgerlich dass bei einem Software upgrade die Einstellungen überschrieben werden.


    Ich hatte die Datenbereinigung auf monatlich den 01., 13:00 Uhr eingestellt. Das Scrubbing lief vor 2 Tagen auch automatisch an.
    Gestern habe ich auf die neue Firmware aktualisiert und wundere mich, warum auf einmal die Datenbereinigung läuft. Da sehe ich doch, dass nun die Datenbereinigung auf wöchtenlich Monatg 13:00 Uhr gestellt ist.


    Muss ich nun bei jeder Softwareaktualisiwerung die Einstellungen kpntrollieren und wieder zurück stellen?
    Sind das die einzigen Einstellungen die bei einer Aktualisierung verändernt werden oder auch noch weitere?

  • Wie ändere ich den Zeitplan für diese "neue" RAID Bereinigung auf einem NAS mit dem alten Speichermanager?
    Also nicht SMB Firmware. -> 419P II

  • Ich hatte die Datenbereinigung auf monatlich den 01., 13:00 Uhr eingestellt. Das Scrubbing lief vor 2 Tagen auch automatisch an.
    Gestern habe ich auf die neue Firmware aktualisiert und wundere mich, warum auf einmal die Datenbereinigung läuft. Da sehe ich doch, dass nun die Datenbereinigung auf wöchtenlich Monatg 13:00 Uhr gestellt ist.

    Ich hatte sie schon auf dem alten Release auf 0 Uhr in der 1. Nacht des Monats gestellt und bei mir wurde es nicht überschrieben.
    Ich denke das das vom Change im neuen Release kommt.


    QTS 4.3.3.0229 Build 20170624 Zitat:
    [Other Changes]
    - In this update, RAID scrubbing is automatically scheduled. RAID scrubbing checks the data integrity of all RAID 5 and RAID 6 groups on the NAS. Running this check regularly is recommended. Storage performance might be degraded while RAID scrubbing is running. You can modify the schedule at "Storage Manager" > "Global Settings" > "RAID Scrubbing".