Raid 0 aus 4x HDD viel zu langsam, insb. Lesen

    • Neu

    Hallo liebe QNAP-Community,


    ich bin ein Neueinsteiger in der NAS Welt und habe mir ein gebrauchtes TS-863U-RP gekauft. Also eigentlich ein Fujitsu Celvin QR1006 NAS. Die sind aber baugleich. Ich habe auch schon erfolgreich den Wechsel der Firmware von Fujitsu auf QNAP vollzogen und die letzte QNAP 5.1. FW drauf.

    System.png

    Mein Ziel ist es die 10 Gbit NIC "auszulasten" also an die theoretischen 1000 MB/s heranzukommen und dabei nur HDDs zu verwenden. Klar, 1000 MB/s gehen gar nicht, aber als Runde Zahl mal so in den Raum gestellt. Ich habe 4 Stück kompatible 8TB Toshiba HDDs installiert. Diese haben einzeln eine Leseleistung (sequenziell selbstverständlich) von 220-225 MB/s. Durch ein Raid 0 sollte die Leseleistung um Faktor n, also hier 4, ansteigen. Wieder natürlich nur theoretisch. Wenn ich jetzt rechne und sage 4x 220 MB/s = 880 MB/s und wegen der Realität mal weitere 130 MB/s abziehe, dann erwarte ich aber schon 750 MB/s seq. Lesen. Der Troughput des NAS über das 10GbE NIC ist auch mit über 800 MB/s angegeben.

    Trougput laut QNAP.png

    Trougput laut QNAP Diagramm.png

    TS-863U-RP - Produktmerkmale
    QNAP entwickelt und liefert hochqualitative Network Attached Storage Systeme (NAS) und professionelle Netzwerk Video Rekorder (NVR) für Anwendungen im…
    www.qnap.com


    Also jetzt mal mit reduzierter Erwartungshaltung würde ich gerne schon 600 MB/s sehen, bzw. Lesen :), aber ich bekomme nur 350 MB/s lesend und wider Erwarten immerhin 450 MB/s schreibend.

    Speedtest 4x8TB Raid0.pngSpeedtest 4x8TB Raid0 Windows File Copy_Read2NvmeSSD.pngSpeedtest 4x8TB Raid0 Windows File Copy_Write2NAS.png

    Ich hänge mal einige Screenshots an um die Konfiguration/Einstellungen zu erläutern und die Messergebnisse zu visualisieren.

    Mein Anliegen wäre (1) zu klären, warum ich trotz 4 HDDs nur die Transferrate von 2 Stück bekomme. Des Weiteren warum der Schreibvorgang so deutlich schneller ist als das Lesen (2).

    Soll ich mal ausprobieren was rauskommt wenn ich nur 2 HDDs zu einem Raid0 mache (3)? Bis jetzt liegen nur Test-Daten auf dem NAS, also Daten können beliebig gelöscht werden.

    Am SSD-Cache bin ich schon dran (Beschaffung), aber bin sehr enttäuscht von den HDD-Werten im Raid0. Das habe ich so nicht erwartet. Mache ich was falsch?

    Vielen Dank schonmal im Voraus!
    freundliche Grüße
    Maroso

    • Neu

    Die Quelle bzw. das Ziel auf dem PC ist eine entsprechend schnelle NVMe SSD?

    Ansonsten haste da den Bottleneck.

    • Neu

    Verwendest du die SMB Verschlüsselung oder ist das Volume oder die Freigabe-Ordner auf dem NAS verschlüsselt?

    • Neu

    Na da zensiert aber jemand wieder interne IPv4 Adressen

    Vergiss Cache ... hilft nix (macht's eher lahmer)

    Was sagt den ein Tool wie iperf3 ueber die Netzwerk Geschwindigkeit ?

    • Neu
    Zitat von UdoA

    Verwendest du die SMB Verschlüsselung oder ist das Volume oder die Freigabe-Ordner auf dem NAS verschlüsselt?

    Nein.


    Mod: Unnötiges Volltext-/Direktzitat gekürzt! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

    Zitat von dolbyman

    Was sagt den ein Tool wie iperf3 ueber die Netzwerk Geschwindigkeit ?

    ;)
    iperf3 habe ich mir grade mal angeschaut, müsste das aber erstmal anwenden können. Kann im Moment nichts dazu sagen. Wie würde das denn auf dem NAS ausgeführt werden? In dem App Center finde ich es nicht.
    iperf3 Test1.png

    • Neu

    s. hier

    iPerf3 - MyQNAP
    Iperf is a tool for network performance measurement and tuning. It is a cross-platform tool that can produce standardized performance measurements for any…
    www.myqnap.org

    • Neu

    Mod: Unnötiges Volltext-/Direktzitat entfernt! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen


    dolbyman

    Danke!


    iperf3 Ergebnisse.png

    Aber anhand der Nachfragen bzgl. der Bottlenecks gehe ich davon aus, dass das Raid0 aus 4 HDDs in der Erwartung wirklich etwas zügiger sein sollte als es sich darstellt?

    2 Mal editiert, zuletzt von Maroso () aus folgendem Grund: Ein Beitrag von Maroso mit diesem Beitrag zusammengefügt.

    • Neu

    Kannst ja mal pro Platten und Volumenperformance testen


    qcli_storage -t force=1

    qcli_storage -T force=1


    Falls noch nix Wichtiges auf dem NAS ist kann man auch die Schreibperformance testen (!!!Daten werden gelöscht!!!)


    qcli_storage -f do_test=1

    • Neu

    Mod: Unnötiges Volltext-/Direktzitat entfernt! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen


    pasted-from-clipboard.png


    Schreiben wollte ich auch testen, aber nachdem ich "YES" eingegeben habe passierte nichts weiter.

    pasted-from-clipboard.png


    Wie kann ich pro Platte und nicht nur das Volume testen?

    pasted-from-clipboard.png


    Also den Platten geht es anscheinend mit 230+ MB/s ganz gut. Der Raid-Troughput liegt mit fast 570 MB/s ja zähneknirschend im Rahmen der Erwartung. Oder? Schon hier zu langsam?

    • Neu

    Der Schreib Test sieht nach Fehlenden Berechtigungen aus (admin Nutzer verwendet?)


    Aber der Test oben des Dateisystems zeigt ja schon nur 430MB\s also (lesend), guck mal ob da ne Platte lahmt (der andere Test, testet alle Platten einzeln)

    • Neu

    dolbyman :Bremst da nicht auch die Tatsache, dass das System immer auch über alle Platten gespiegelt wird ? Das kann man ja leider nicht direkt beeinflussen bzw. man muss manuell an der RAID Konfiguration rumpfuschen.

    • Neu
    Zitat von dolbyman

    Der Schreib Test sieht nach Fehlenden Berechtigungen aus (admin Nutzer verwendet?)

    Ich bin als admin eingeloggt.
    pasted-from-clipboard.png

    Zitat von dolbyman

    guck mal ob da ne Platte lahmt (der andere Test, testet alle Platten einzeln)

    Ich habe den Beitrag mit den entsprechenden Test ergänzt. Schau gerne mal nach.


    Zitat von Maroso

    Also den Platten geht es anscheinend mit 230+ MB/s ganz gut. Der Raid-Troughput liegt mit fast 570 MB/s ja zähneknirschend im Rahmen der Erwartung. Oder? Schon hier zu langsam?

    2 Mal editiert, zuletzt von Maroso ()

    • Neu

    Sollte nicht nein, in dem Falle wird ja nur md1 getestet, ob da jetzt noch md9 oder md13 (etc) auch drauf laufen macht nix (es sei denn irgendwas ballert wie bekloppt auf diese System RAID's aber ist ja normalerweise nicht so)

    Zitat von Maroso

    Also den Platten geht es anscheinend mit 230+ MB/s ganz gut. Der Raid-Troughput liegt mit fast 570 MB/s ja zähneknirschend im Rahmen der Erwartung. Oder? Schon hier zu langsam?

    Also zumindest von meinen Celeron NAS weiss ich das bei ca. 550MB\s Schluss ist (Also bei meinem TVS-951X,TS-853BU oder sogar rein SSD TBS-453DX), wie die AMD CPU da liegt weiss ich nicht genau, aber vom Passmark her schon ziemlich schwach
    https://www.cpubenchmark.net/c…=AMD+GX-420MC+SOC&id=3760

    Einmal editiert, zuletzt von dolbyman () aus folgendem Grund: Ein Beitrag von dolbyman mit diesem Beitrag zusammengefügt.

    • Neu

    Okay, super, also wenn der RAID Throughput mit 570 MB/s gemessen wird und das die 'schwache' AMD CPU kann, ist ja soweit alles in Ordnung.
    pasted-from-clipboard.png


    Warum ist der Volume Throughput hier über 100 MB/s weniger als was das RAID kann? Habe ich da mit dem "statischen Volume" etwas falsches ausgewählt? Die Features von Thick und Thin habe ich nicht gebraucht usw...

    Und Lesen ist ja in der Realität immer noch mit 350MB/s deutlich niedriger, Schreiben scheint ja den 420+MB/s zu entsprechen obwohl ich 450 MB/s messen kann.

    Ohh, und ich habe 8K ausgewählt in der Raid/Volumeerstellung, weil das Volume nicht über 31,99 GB werden sollte und so mögl. viele Dateien passen würden. Sollte ich einen höheren Wert bei der Volume Erstellung wählen für mehr Durchsatz?

    Einmal editiert, zuletzt von Maroso () aus folgendem Grund: Ein Beitrag von Maroso mit diesem Beitrag zusammengefügt.

    • Neu

    Ob und wie weit sich die Inode Größe auf die Geschwindigkeit auswirkt weiss ich nicht. Aber kannst ja mal herumschrauben ob sich was tut

    • Neu

    Bei dem Wert würde ich überlegen, ob nicht doch ein RAID5 Sinn macht, das dürfte nicht wesentlich langsamer sein.

    • Neu

    Also ich habe jetzt mal aus Spaß 2x Raid0 aus jeweils 2x HDD erstellt. Einmal mit 16 K Inode (DataVol1) und 8K (DataVol2 8K). Dafür, dass es Raid0 sind und nur 30-40 MB/s mehr bringen als eine einzelne HDD bin ich sehr enttäuscht. Und ich glaube nicht, dass das so sein sollte.

    pasted-from-clipboard.png


    Es mutet an, als ob eine höhere Inode etwas mehr Durchsatz bringt.

    Ich probiere mal das Extrem 64K Inode im Vgl. zu 8K:


    pasted-from-clipboard.png


    Fazit: Macht keinen Unterschied.

    Raid5 ist nicht interessant, da eine ganze HDD als Kapazität verloren geht und Datensicherheit/-Wiederherstellung für mich nicht relevant ist.

    Meine Frage verbleibt, wenn in der Raid-Theorie ein Raid0 n mal Leistung bringen soll, warum tut es das nicht bei mir?
    Ich hatte vor sehr langer Zeit mal ein Hardware Raid0 auf einem Mainboard-Chipsatz (glaube Athlon XP) laufen und das hat einwandfrei doppelte Leistung gebracht. Warum tut es das nicht auf dem NAS?

    • Neu
    Zitat von Maroso

    Warum tut es das nicht auf dem NAS?


    Auf den dickeren NAS tut es das auch .. hier mal mein 1288X (QuTS)


    Code
    Performance test is finished 100.000%...
VolID   SharedFolderName    Pool     Mapping_Name            Mount_Path                    FS_Throughput
2       Public              1        zpool1/zfs2             /share/ZFS2_DATA              2.78 GB/s
3       SSD                 2        zpool2/zfs18            /share/ZFS18_DATA             1.60 GB/s
4       HDD                 3        zpool3/zfs19            /share/ZFS19_DATA             5.68 GB/s
5       Container           1        zpool1/zfs20            /share/ZFS20_DATA             2.78 GB/s
    • Neu

    pasted-from-clipboard.png


    Hier nochmal der nachgelegte -T Test und der Raid Throughput passt wunderbar, die einzelnen HDDs ebenfalls. Aber der Volume Speed ist Unterirdisch im Vergleich dazu. Warum?

    Zitat von dolbyman

    Auf den dickeren NAS tut es das auch

    Okay, danke. Das ist natürlich ernüchternd :)
    Ich danke euch trotzdem wie verrückt mir so viele Tipps und Benchmarks an die Hand gegeben zu haben!
    Ganz toll von euch! Danke!

    Offensichtlich ist das NAS nicht das Richtige für meinen Anwendungsfall. Ich werde die bestellten 16GB RAM nachrüsten und dann mal schauen was ich im Verkauf rausholen kann.

    Einmal editiert, zuletzt von Maroso () aus folgendem Grund: Ein Beitrag von Maroso mit diesem Beitrag zusammengefügt.