Schreibgeschwindigkeit TS-253D 10GBE Netzwerk

    Hallo,

    ich bin seit einiger Zeit stolzer Besitzer eines TS-253D NAS.

    TS-253D: 32GB, Qnap QM2-2P10G1TA, 2x Samsung 980 500GB (MZ-V8V500BW) Einzellaufwerk, 2x Seagate EXOS X16 16TB (RAID1, Thick Volume)
    PC: ASUS P6TSE, XEON W3690, 20GB RAM, NVIDIA 2060 8GB VRAM, 2xSSD, WD530 14TB, 2x SEAGATE Enterprise 6TB (soll demnächst ersetzt werden...)

    Netzwerk: Mellanox ConnectX-2, DAC SFP+ Kabel, Ubiquiti USW (8x SFP+ 10GBE) - Ubiquiti Transceiver SFP+/RJ45 - CAT6a Kabel zum NAS QM2 Card Ethernet3 Port, MTU:9000, FlowControl: off

    Ich bin mir bewusst, dass meine "PHOTO/VIDEO Workstation" etwas in die Jahre gekommen ist, insbesondere PCIE2.0 und SATA2 sind nicht schön.....


    Nachdem ich seit ca. 1 Woche mit meinem finalen Setup meines TS-253D herumlaboriere bin ich zu folgendem Fazit gekommen:

    2x RAID1 wirkt sich nicht gut auf die Schreibperformance aus. Getestet meist mit typischen GoPro Videos um ca. 4GB.

    In der Konfiguration mit einem statischen Volume ( M2.SSD Raid1) und einem HDD RAID1 Speicherpool als Thick Volume hatte ich insbesondere beim Upload von einer MX500 SSD (PC) auf das HDD Raid sehr unstete Schreibgeschwindigkeiten mit teilweise herben Einbrüchen auf 130MB/s. Auch das Schreiben auf das SSD RAID1 war zwar nicht so stark betroffen, aber die Transferrate brach auch teilweise ein.


    In der Konfiguration mit einem M2.SSD Einzellaufwerk und dem gleichen HDD Speicherpool (ich hatte es per software getrennt und wieder eingehängt) habe ich nun stabile Uploadraten von ca. 260MB/s auf das HDD Raid1 (ca. 4GB Files).

    Mit Fastcopy oder Robocopy erreiche ich Uploadraten von über 200MB/s auch bei Photodateien (ca. 25 - 70MB pro Photo).

    Die Lesegeschwindigkeit ist für mein Setup (PC limitiert) in beiden Konfigurationen (für mich) top (AJA Systems liegt meist bei über 630MB/s, auch im richtigen Leben rennt das System beim Lesen).

    Die SSDs im NAS würde ich passager nutzen, je nachdem wozu ich Lust habe....


    FAZIT: 2x Software RAID ist "too much" für die NAS Hardware ! ?


    Mich würde interessieren, ob das zu Euren Erfahrungen passt?

    Das Einzige wo ich mir unsicher bin, ist der Umstand, dass jetzt möglichweise Apps in das SSD Einzellaufwerk -DataVol1(System)- installiert werden, dies wäre dann im Falle eines Falles nicht gut, oder?

    Allerdings habe ich keine größeren Ambitionen mehr hinsichtlich VMs. Eine Docker Applikation soll laufen, die entscheidenden Datenordner liegen aber auf dem HDD RAID1.


    LG

    Matthias

    dann hackts wieder mehr, Spielchen habe ich Alles durch. Mit Switch und Direktverbindung.

    Die Direktverbindung mit einer ASUS 10G Karte im PC war am schnellsten (HDD bis ca. 280MB/s - das absolute Limit für die EXOSs), bleibt aber keine Option, da ich einen Switch benötige.

    Alternativ habe ich noch einen Mikrotik CRS-305 in der Hinterhand (kann man super konfigurieren), war aber auch nicht entscheidend anders.


    Was mich etwas nervt, ist der Umstand, dass die Ergebnisse noch nicht so konstant sind wie erhofft.

    Ich hatte mal die Situation, dass das System mit der ASUS Karte und direkter Verbindung zum NAS wirklich rannte. Als ich dann, das System am nächsten Tag startete, hackte es erstmal ohne Ende (komplett hochgefahren!). Flow an aus MTU 9000 und 9014 gewechselt..... Da bin ich leider zu wenig firm, als dass ich diese sporadisch auftretenden Dinge begreife.


    Per iperf3 liegen ca. 6.8GB/s an, allerdings bin ich da noch nicht wirklich der Meister - wenn Du da eine Idee hast, wie man die Schwachstellen, Flaschenhälse etc. findet, ich höre Dir gerne zu!


    Vom Verstand würde ich auch sagen:

    Jumbo Frames so hoch wie möglich

    Flow Control ON


    Danke für Deine Rückmeldung.

    Gibt es einen Grund für das Thick Volume im Raid 1? Ansonsten bietet dir ein Static Volume die beste Performance.

    Hallo Sammy,

    iIch hatte zwei Static Volumes mit SSD und HDD RAID1, die Schreibperformance war beim HDD RAID1 lausig (totaler Einbruch der Schreibperformance bis unter 10MB/s).

    Einmal könnte ich mir noch vorstellen einen Sync durchzuführen (schlanke 20h, das wäre dann der vierte Sync), wenn mir einer ins Fäustchen verspricht, dass es dann rennt.

    Leider bin ich jetzt erst zu dem Schluss gekommen, dass das SSD RAID für die schlechte Performance zuständig ist.


    SEID IHR AUCH DER MEINUNG, DASS DAS NAS (TS-253D) MIT ZWEI (SOFTWARE-)RAIDS ÜBERFORDERT IST?


    LG
    Matthias

    Zitat von qnapjuergens

    Jumbo Frames so hoch wie möglich

    damit rumgespielt hab ich mal vor 10 Jahren an einer UraltNAS (nicht QNAP).

    Bei Qnap hat das nur verschlechterung gebracht.

    Deshalb hab ich alles wieder auf ohne spezial Jumboframe.


    Zitat von qnapjuergens

    SEID IHR AUCH DER MEINUNG, DASS DAS NAS (TS-253D) MIT ZWEI (SOFTWARE-)RAIDS ÜBERFORDERT IST?

    Das kann ich nicht sagen, weil ich es nicht probiert habe.


    Ich habe in der 653D Raid 1 mit zwei SSD Platten für System und 4 SSD Platten für RAID 5.

    Dazu noch PCI Karte mit 2x1Gbit und SMB Multichannelserver was dann write von 440MB/s gibt und read mit 430MB/s.


    Vielleicht ist es bei dir die Einsteckkarte.

    Hi,

    daran denke ich schon in schlaflosen Nächten, dass die OM2 Erweiterungskarte mit dem zerteilten PCIE2.0 2x2 Interface ein teurer Mist ist.....

    Leider kann der Switch kein 2.5GBE sondern nur 1 und 10GBE und ich hatte schon ein wenig 10GB Infrastruktur - Direktverbindung zwischen meinem Photo/Video PC und Server2016 via SPF+, damals easy going für 69 EUR im Doppelpack mit DAC Kabel. Also war ich von 10GBE "angefixt".


    Jetzt wird es mir auch langsam ein wenig teuer für die Verdoppelung der Schreib-Geschwindigkeit im HDD Sektor.

    Meine ersten Schritte in Richtung NAS/DAS/SAN machte ich vor ca. 7 Jahren mit einem im Vgl. zum TS-253D wirklichen lausig schwachen Pentium 4 Reste PC mit open-E DDS6lite und ollen standard HDDs, der hat READ/WRITE brave 100MB/s gehalten über 1GB Lan.


    Allerdings bin ich wohl auch zu doof um mich einfach an der super Leseleistung zu freuen, letztendlich ist das ja auch das, was ein NAS können sollte.


    LG

    Matthias

    Zitat von qnapjuergens

    dass die OM2 Erweiterungskarte mit dem zerteilten PCIE2.0 2x2 Interface ein teurer Mist ist...

    Technisch hat so eine Karte keine Existenzberechtigung, aber QNAP kann ins Datenblatt schreiben, dass 10 GbE und M.2 nachrüstbar sind. ;)

    Hallo,

    Regenfront ist durch:thumbup:, morgen scheint die Sonne hoffentlich wieder;)!


    Ich habe gerade nochmal mit einer HP Z220 Workstation getestet, ebenfalls mit Mellanox ConnectX-2 Karte, NAS unverändert - vollkommen anderes Bild.


    AJA Systems Test (1GB):

    M2.SSD Lesen: 676MB/s Schreiben: 684 MB/s

    HDD RAID1: Lesen: 272MB/s Schreiben: 640 MB/s (ohne Cache)


    Kopieren im Explorer geht auch ohne Einbrüche. Letztendlich waren es auch nur geringe Unterschiede zwischen Flow-Control an oder aus. Auch veränderte Jumbo Frames haben sich an der Z220 kaum bemerkbar gemacht


    SO:

    Hey Leute, sorry, dass ich nicht früher auf die Idee gekommen bin einen anderen Rechner ran zu hängen und die Tests zu wiederholen.

    Das hätte mir und Euch etwas erspart......


    Jetzt werde ich nochmal die SSDs ins RAID1 nehmen und mal schauen, ob die Transferraten tatsächlich wieder einbrechen.



    LG und gute Nacht

    Matthias

    Zitat von qnapjuergens

    FAZIT: 2x Software RAID ist "too much" für die NAS Hardware ! ?

    Nein. Das sollte das NAS können. Die Engpässe liegen woanders.


    Der iPerf Test zeigt, dass deine Konfiguration 10GbE nicht auslasten kann, sondern nur 6GbE liefert (ich nehme mal an der Anschluss an den PC ist die Schwachstelle). Wenn du jetzt z. B. einen Geschwindigkeitstest machst, indem du vom HDD-Raid des NAS auf das SSD-Raid kopierst, halbiert sich die Geschwindigkeit auf 300MByte/s. Ja, das Netzwerk kann 600MByte in beide Richtungen gleichzeitig, nicht aber dein Kopierprogramm auf dem PC. Das liest nämlich erst einen Datenblock und schreibt ihn dann, arbeitet also nicht wirklich parallel. Du misst aber nur eine Richtung, daher etwa 300MByte/s maximal. Kopierst du vom NAS auf den PC, hast du auch einen Fehler, weil auch das Schreiben auf die Platte/SSD im PC Zeit braucht. Und wenn du kleinere Dateien erwischst, bricht die Geschwindigkeit radikal ein, weil das Lesen und Schreiben von kleinen Dateien in den Netzwerkprotokollen SMB, NFS u. A. vergleichsweise langsam ist.


    Daher würde ich die Tests nur mit Geschwindigkeitstestprogrammen machen, da nur dann die gemessenen Zeiten vergleichbar sind.

    Zitat von Anthracite

    Wenn du jetzt z. B. einen Geschwindigkeitstest machst, indem du vom HDD-Raid des NAS auf das SSD-Raid kopierst, halbiert sich die Geschwindigkeit auf 300MByte/s. Ja, das Netzwerk kann 600MByte in beide Richtungen gleichzeitig, nicht aber dein Kopierprogramm auf dem PC.

    Wenn ich hier mit explorer von SSD RAID 1 NAS auf dieselbe NAS SSD RAID 5 kopiere, dann geht überhaupt nix über den PC. Das geht innerhalb der NAS mit fast maximaler Plattengeschwindigkeit und dieser PC hat nur 1GBit.


    10GB Datei:


    pasted-from-clipboard.png

    Hallo Anthrcite,

    welches Geschwindigkeitsprogramm würdest Du für NAS/PC empfehlen?

    Ich verwende den Test von AJA Systems, wobei ich nicht nur auf das Endergebnis schiele sondern auch die Kontinuität des Kopiervorganges beim Schreiben und Lesen beobachte.

    Ruckelt es da schon, habe ich im Explorer auch Geschwindigkeitseinbrüche.

    Das Ausschalten der Flow-Control wirkt sich "bei mir" glättend auf den Schreibvorgang aus.


    LG

    Matthias

    Hi,


    ja macht nicht dem Fehler und kopiert über dem PC so wie ich mal :/

    Also nicht einfach kopieren von NAS Ordner1 auf Ordner2 über dem PC. Weil dann wird es sehr langsam ca. 30% vom Speed.

    Weil die Datei erst gelesen wird zum PC geschickt und dann gleich wieder zurück geschickt wird. Und das belastet das Netzwerk doppelt und dreifach.


    Gruß


    Merbold

    Hallo Merbold,

    Danke - ich kopiere wenn unbedingt nötig im NAS mit der Filestation - ist das OK?


    Entscheidend für mich ist im Augenblick der Upload vom PC zum NAS - und da habe ich aufgrund meiner doch betagten PC Basis Unwägbarkeiten.

    Dummerweise muss ich mich jetzt irgendwann entscheiden, wie ich das NAS einrichten soll, damit es in Zukunft gut läuft.

    Ich denke, dass der PCIE2.0 Bus im PC ins Schwitzen kommt, da die Lanes sich ja aufteilen und somit mitunter gar nicht mehr in vollem Umfang zur Verfügung stehen.

    Gut gefällt mir, dass man ein RAID einfach aushängen kann, die Kiste umrüsten und rücksetzen und dann wieder einhängen.


    LG
    Matthias

    Hallo Matthias,


    Filestation ist top ich mach auch ab und zu einen Backupjob für Daten verschieben auf. Da ich kein 10 GB/s Netzwerk habe nur 1 GB/s verschiebe ich Große daten mit externen HD/SSD. Weil mein versuch in 5GB/s einzusteigen nicht so geklappt hat ist das für mich die schnellste Lösung .


    Gruß


    Merbold

    Zitat von qnapjuergens

    welches Geschwindigkeitsprogramm würdest Du für NAS/PC empfehlen?

    Einen PC habe ich nicht. Ich habe einen Mac, und da benutze ich den Blackmagic Speedtest. Ob es den auch für PCs gibt und ob er da was taugt, weiß ich nicht.

    Zitat von Anthracite

    Einen PC habe ich nicht. Ich habe einen Mac, und da benutze ich den Blackmagic Speedtest. Ob es den auch für PCs gibt und ob er da was taugt, weiß ich nicht.

    Ja, gibt es auf dem PC und taugt auch was für LW Geschwindigkeiten.

    Für Performance UP/Down von PC über Switch zu NAS taugt aus meine

    Sicht am Besten der C'T NAS Benchmark (entsprechend der File Grösse)