TS-653D - Ironwolf Pro mit sehr unterschiedlichen Geschwindigkeiten

    Hallo zusammen,


    ich richte gerade mein neues QNAP TS-653D mit 3x Seagate IronWolf Pro 16TB Festplatten ein.

    Die Festplatten hatte ich zusammen bestellt, kamen gut verpackt an und haben laut Seagate alle noch gleichlang 5 Jahre Garantie. Alle Platten hatten nach dem ersten Hochfahren im NAS als Start/Stop Count 1, also alles neue Festplatten.


    Jetzt haben aber die 3 Festplatten im Leistungstest sehr unterschiedliche Ergebnisse beim sequentiellem Lesen: Die Festplatten 1&2 kommen maximal auf 170 MB/s, Festplatte 3 kommt auf 240 MB/Sekunde.

    Siehe auch der Screenshot:ironwolf_pro.PNG

    Die Ergebnisse sind reproduzierbar. Im Moment lasse ich auf allen 3 Festplatten einen Test auf defekte Sektoren laufen (braucht ca.24 Stunden). Nach knapp der Hälfte der Zeit sind Festplatten 1&2 bei gerade einmal 42 %, Festplatte schon bei 55 %.

    Was ist mit den ersten zwei Festplatten anders? Laut SMART und IronWolf Health Management sind die Festplatten alle in Ordnung. Sollte ich die tauschen?

    Kann es sein, dass das NAS im Hintergrund noch irgendetwas am Arbeiten ist? Diese Test sollten dann durchgeführt werden, wenn das NAS nichts macht. Gegeben Falls Dienste deaktivieren oder NAS vom Netzwerk trennen, so das keine Last besteht und auch die CPU möglichst gegen Null geht oder einfach mal eine längere Zeit warten und das NAS alles abarbeiten lassen. Gerade nach dem ersten Einrichten kann es schon den einen oder anderen Tag dauern, je nachdem was alles eingerichtet wurde.


    Habe hier 6 IronWolfs in einer TS-253D mit TL-D400S getestet:

    Testbericht – TS-253D mit TL-D400S Erweiterungsgehäuse Teil 2: Installation, Einrichten, Leistung und mehr

    Zitat von Mavalok2

    Kann es sein, dass das NAS im Hintergrund noch irgendetwas am Arbeiten ist?

    Würde sich das dann nicht eher darin äußern, dass eine Festplatte (die mit den Apps) langsamer ist als die anderen beiden?

    Sind alles einzelne Platten oder ist irgendwas im RAID?

    Die 3 Festplatten sind zusammen als RAID5 Static Volume eingerichtet. Ich habe auch das Resync des Raids abgewartet.

    Wenn etwas läuft, hätte ich erwartet, dass das ggf. Auswirkungen auf alle Festplatten hat und nicht nur auf die ersten beiden.

    Welche Firmware haben die Laufwerke?

    Gibt es auf der HP des Herstellers ein Update für die jeweilige Serial?

    Alle die gleiche, aktuelle Firmware EN02. Der Test auf die defekten Sektoren läuft bis heute Nacht. Werde dann morgen nochmal weiter testen.


    Im Betrieb sind die Werte weniger weit auseinander. Hier mal der Ressourcen-Monitor. Es läuft gerade ein Scan nach defekten Sektoren (zur Sicherheit, bevor ich das NAS produktiv nutze). (Platte 6 ignorieren, SSD Cache)


    Ironwolf_Pro2.PNG

    174 MB/s zu 188 MB/s. Sind keine 10 % Unterschied. Kann mir jemand sagen, ob das normale Werte für eine IronWolf Pro Festplatte sind?

    Zitat von Cmdr_Michael

    Kann mir jemand sagen, ob das normale Werte für eine IronWolf Pro Festplatte sind?

    Ich verweise nochmals auf meinen Blogartikel, auch wenn es nur IronWolf ohne Pro sind, aber die können mehr.

    Testbericht – TS-253D mit TL-D400S Erweiterungsgehäuse Teil 2: Installation, Einrichten, Leistung und mehr


    Ich weiß auch nicht, ob man Resyncing mit Oberflächenanalyse von der Geschwindigkeit her vergleichen kann. Differenzen sind auch hier da, aber bei weitem nicht so groß. Ansonsten mach mal Tests mit dem Konsolentool hdparm, aber erst wenn das NAS mit der Analyse der Oberfläche fertig ist.

    Keine Last auf dem NAS, Tests mit hdparm durchgeführt, aber gleiches Erebnis (mehrfach wiederholt, zwischendurch auch NAS komplett neugestartet):


    Platte 3:

    Code
    /dev/sdb:
Timing cached reads:   15768 MB in  2.00 seconds = 7889.73 MB/sec
Timing buffered disk reads:  760 MB in  3.00 seconds = 253.29 MB/sec

Timing O_DIRECT cached reads:   2004 MB in  2.00 seconds = 1001.61 MB/sec
Timing O_DIRECT disk reads:  778 MB in  3.00 seconds = 259.29 MB/sec


    Platte 1:

    Code
    /dev/sdc:
Timing cached reads:   15228 MB in  2.00 seconds = 7618.55 MB/sec
Timing buffered disk reads:  558 MB in  3.00 seconds = 185.75 MB/sec

Timing O_DIRECT cached reads:   740 MB in  2.01 seconds = 368.56 MB/sec
Timing O_DIRECT disk reads:  550 MB in  3.00 seconds = 183.14 MB/sec


    Platte 2:

    Code
    /dev/sdd:
Timing cached reads:   14812 MB in  2.00 seconds = 7410.67 MB/sec
Timing buffered disk reads:  546 MB in  3.00 seconds = 181.87 MB/sec

Timing O_DIRECT cached reads:   752 MB in  2.01 seconds = 374.65 MB/sec
Timing O_DIRECT disk reads:  558 MB in  3.01 seconds = 185.43 MB/sec


    Die Werte von Platte 2 und 3 liegen deutlich niedriger als bei Platte 3, es sind aber alles baugleiche IronWolf Pro Festplatten. Die Werte liegen auch deutlich unter den Werten im Test von Mavalok mit seinen IronWolf Festplatten.

    Was ich auch komisch finde ist, dass ich wirklich in jedem Fall (>10 Testläufe) auch die Werte für "Timing O_DIRECT cached reads" bei Festplatte A deutlich höher liegen. Eigentlich sollte doch der (System)-Cache gleich gut für alle 3 Festplatten funktionieren.



    Update:

    Es liegt am QNAP NAS selbst, genauer gesagt an den Slots 1&2.

    Packe ich die beiden "langsamen" Festplatten in die Slots 4&5 haben die auf einmal auch >260MB/sec in allen Tests.

    Packe ich die "schnelle" Festplatte aus Slot 3 in den Slot 1, läuft die auf einmal auch nur mit ~180MB/sec in allen Tests.

    Packe ich meine SSD-Cache Festplatte von Slot 6 (>500MB/sec) in Slot 1 fällt auch die SSD auf ~180MB/sec in allen Tests. Dort fallen auch die IOPS von 90k auf 50k.


    Erstmal gut zu wissen, dass die Festplatten, die meine Daten speichern sollen in Ordnung sind.

    Hier mal ein Screenshot mit SSD in 1 und den Festplatten in 3-5.

    leistungsproblem_QNAP2.PNG

    Ich gehe davon aus, dass das ein Gantiefall ist.

    Ja, auch wenn die Festplatte in Slot 1 oder 2 ist seht unter Speicher & Snapshots -> Datenträger: Aktuelle Geschwindigkeit 6Gbps

    Wie oben schon gesagt, QNAP ist frisch installiert, aktuelles Softwareupdate installiert und das sind die ersten Tests.

    Zitat von Cmdr_Michael

    Es liegt am QNAP NAS selbst, genauer gesagt an den Slots 1&2.

    Packe ich die beiden "langsamen" Festplatten in die Slots 4&5 haben die auf einmal auch >260MB/sec in allen Tests.

    Ich bin auch auf der Suche nach etwas ;)

    Aber bei mir bringen Slot 1&2 mit SSD 530 bis 540MB/s.


    Im Realbetrieb fehlen mir 100MB/s auf diesem SSD Raid1.

    Ich werde die SSD mal in 3&4 umstecken.

    Zitat von Cmdr_Michael

    Wie oben schon gesagt, QNAP ist frisch installiert, aktuelles Softwareupdate installiert und das sind die ersten Tests.

    Möglicherweise hilft auch ein manuelles Darüberinstallieren der aktuellen Firmware. Dies hat schon die eigenartigsten Probleme lösen können. Vielleicht hast Du ja Glück.

    Firmware-Aktualisierung – Wie man Stolpersteine umgehen kann

    Zitat von Qnatsch

    Im Realbetrieb fehlen mir 100MB/s auf diesem SSD Raid1.

    Mehr als 600 MB/s wirst Du wohl kaum erreicht und dies wohl auch nur bei idealen Bedingungen. Es handelt sich hier um SATA-6G Anschlüsse. Da sind netto nicht mehr als 600 MB/s pro Anschluss drin. RAID1 ist nur eine Spiegelung. Wird eher langsamer als eine Einzelfestplatte sein, da es sich hier um eine Software RAID und nicht um ein Hardware-RAID handelt. RAID1 dient in erster Linie zur Ausfallsicherheit. Braucht Du mehr Durchsatz mit 2 SSDs dann ist RAID0 die richtige Wahl, mit der entsprechenden Gefahr: Fällt eine SSD aus sind die Daten auf beiden futsch. Performance kontra Ausfallsicherheit.

    Welche Festplatten hast Du denn verbaut? Kenne keine SATA SSD die mehr als 550 MB/S können. Von daher erscheint mir bei Dir 540 MB/s als realistisch und optimal.

    SSDs in Slot 3&4 hat keine Änderung gebracht.

    CRUCIAL MX500 1TB und Samsung EVO 860 1TB.

    Die CRUCIAL MX500 1TB erreicht max 560 MB/s beim Lesen, die Samsung 550 MB/s. Beim Schreiben beide weniger. Hier dürfte der Fall klar sein.

    Zitat von Cmdr_Michael

    Ich gehe davon aus, dass das ein Gantiefall ist.

    Ich nicht. Ist aber auch nur eine Vermutung.


    Du solltest wissen, dass 2 SATA-Slots bei Deinem NAS direkt an den Prozessor angeschlossen sind. Der Prozessor unterstützt nur 2 SATA-Slots. Die anderen 4 SATA-Slots sind wohl über einen Chip mittels PCIe mit 2 Lanes an den Prozessor angeschlossen. Deine Messungen lassen nicht einen Garantiefall vermuten, sondern dass die direkte Anbindung scheinbar schlechter ist als die über PCIe.


    Zur Sicherheit kannst Du ja ein Ticket bei QNAP eröffnen, um zu prüfen, ob die von Dir gemessenen Werte erwartet sind oder sich daran etwas ändern lässt. Denn die Hardwarespezifikation von QNAP geht nicht so sehr in die Details.

    Allerdings erreiche ich beim TS-253D - also nur 2 Slots für Festplatten - bei beiden Werte um die 250 MB/s. Hier werden wohl beide SATA-Anschlüsse auf den Prozessor gehen ohne zusätzlichen Chip.

    Zitat von chef1
    Ich nicht. Ist aber auch nur eine Vermutung.

    1) Ticket ist bereits eröffnet

    2) Du willst ernsthaft sagen, dass ein 6 Bay NAS, bei dem 2 Slots *extrem* langsamer als der Rest arbeiten so gewollt sein könnte?
    * Was dagegen spricht:

    * Oben ist ja ein Test desselben NAS verlinkt, wo Platten in allen Slots (auch 1&2) gleich schnell sind (>250 MB/sec).

    * Die ersten zwei Slots wären nur sehr eingeschränkt nutzbar. Ein SSD-Cache in den beiden Slots läuft nur mit 180 MB/sec und 40k IOPS statt mit 550 MB/sec und 95k IOPS. Damit ist der SSD Cache nutzlos, wenn die Festplatten in den anderen Slots 250 MB/sec schaffen.

    * Direkt an Prozessor angebundene Festplatten werden ja auch über PCIe realisiert und sind in der Regel sogar schneller als extern angeschlossene Festplatten.

    Zitat von Mavalok2

    Die CRUCIAL MX500 1TB erreicht max 560 MB/s beim Lesen, die Samsung 550 MB/s. Beim Schreiben beide weniger. Hier dürfte der Fall klar sein.

    Aber nicht nur 180MBi/s.


    Ich hab einige SSDs im Einsatz.


    Klar ist der Fall bei mir sicher nicht.

    Mod: Zitat ohne Quellenangabe ... korrigiert! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    Zitat von chef1

    Du solltest wissen, dass 2 SATA-Slots bei Deinem NAS direkt an den Prozessor angeschlossen sind. Der Prozessor unterstützt nur 2 SATA-Slots.

    ich habe alle Kombinationen ausprobiert.

    Es ändert sich nix.

    2 Mal editiert, zuletzt von Qnatsch ()

    Kurzes Update für meinen Thread. Nach diversen Tests, die ich für den QNAP Support durchgeführt habe, hat mir QNAP mitgeteilt, dass sie von einem Hardwaredefekt ausgehen und ich mein NAS im Rahmen der Gewährleistung beim Händler einschicken soll.

    Hi, bin nun auch Stolzer Besitzter des TS-653D.... bis ich hier zufällig auf dieses Problem gestoßen bin.


    Und tatsächlich, auch bei mir ist der Slot 1+2 langsamer ca. 180 MB/sec als Slot 3-6 mit über 500 MB/sek

    mit hdparm Timing O_DIRECT disk reads


    Crucial BX480 SSD zum testen genutzt

    Firmware: QTS 4.4.2.1331


    Zweiter Test mit der Firmware: 4.5.2.1594

    hdparm Timing O_DIRECT disk reads = hier sind es nun 411 MB/sec selbe werte auch auf Slot 2


    Hier im Bild Slot 1 mit alter Firmware: 4.4.2.1331

    Qnap TS-635D Slot1_QTS4421331.jpg

    Hier unten das selbe nur in Slot 3

    Qnap TS-635D Slot3_QTS4421331.jpg


    Und hier mit neuer Firmware: 4.5.2.1594 in Slot 1

    Qnap TS-635D Slot1_QTS4521594.jpg


    Kann also nur empfehlen zu tesen und wenn man eine SSD in 1+2 einbauen wollte das dort nicht zu tun.

    Geht ja schon mal gut los...