10GBit NAS und Switch - nur QNAP oder auch Kombi denkbar

  • Das spielt bei Linux keine Rolle, da das OS immer den gesamten Speicher belegt und dann dynamisch Speicher freigibt.

    Jedenfalls sind 200 MB/s für ein RAID5 aus 6 HDDs viel zu wenig.

    Es ist Deine Entscheidung, aber meiner Meinung nach ist die CPU zu schwach für hero und der RAM reicht auch nicht.

    Ich habe mal vor Jahren mit TrueNAS und ZFS experimentiert und da waren die 16 GB, die ich in dem PC hatte, die unterste Grenze.

    Wenn Du mit den 200 MB/s zufrieden bist ist ja alles gut.

  • Hi zusammen,

    ich finds ja super, dass ihr mir helfen wollt, aber die Infos, dass die CPU zu schwach sei und auch der Speicher nicht ausreicht.
    Wo ist denn mein Denkfehler wenn ich im Ressourcenmonitor weder das eine noch das andere am Anschlag sehe?
    Dann ist doch der RM quatsch....
    Und die Aussage "200MB/s sind zu wenig" versteh ich durchaus, aber doch nur dann, wenn auch ein "Abnehmer" da ist....

    Ich hab jetzt die Tests von gestern abend nochmal widerholt.
    Was habe ich davor geändert:
    - SMB auf NAS aktualisiert
    - NAS neu gestartet
    - aktuellste LAN Treiber auf das Notebook

    Dann noch mal diverse Szenarien durchgespielt:

    SU: ca,50% CPU in der QNAP, 8/24GB verwendet, Tansferrate lt Windows: 265MB/s

    HU: ca, 35% CPU in der QNAP, 8/24GB verwendet, Tansferrate lt Windows: 155MB/s

    HV: ca, 45% CPU in der QNAP, 8/24GB verwendet, Tansferrate lt Windows: 155MB/s


    Dann Kombinationen:

    SU+HU: ca, 75% CPU in der QNAP, 8/24GB verwendet, Tansferrate lt Windows: 265 MB/s

    SU+HV: ca, 70% CPU in der QNAP, 8/24GB verwendet, Tansferrate lt Windows: 265 MB/s

    HU+HV: ca, 60% CPU in der QNAP, 8/24GB verwendet, Tansferrate lt Windows: 265 MB/s

    Hier wie gewünscht die Screenshots:
    RAM

    RAM.png

    Nicht an dem ersten Höcker stören: da hab ich testweise eine VM kurz angestartet und sofort wieder beendet um zu sehen, ob die Anzeige sich ändert.
    Wie ich sagte: die Linien sind flat...auch während der Übertragungen.....


    CPU

    CPU.png

    rechts von dem pinken Höcker kommen die 6 Testfälle.

    Meines Erachtens nach überall Luft nach oben oder wo ist mein Denkfehler?


    LAN

    LAN.png

    Meines Erachtens nach sind bei den beiden Übertragungen von Daten, bei denen nur eine Datei von den drehenden Platten gezogen wird die Platten das begrenzende Element.
    Ansonsten komm ich auf volle LAN Speed oder ?


    Disk

    DISK.png

    Hier sind die linken beiden Höcker und der ganz rechts der RAID Gruppe 2 entscheidend:
    Links die beiden sind die einzelnen Übertragungen ohne was anderes.
    Ganz rechts die Kombi wenn ich beide ziehe.

    Wie ist die Interpretation?
    Speicher ? (Warum dann aber so viel frei)
    CPU? (warum dann aber Luft nach oben)

    oder doch einfach die Platten an sich, weil die Daten eben nicht sicher zusammenhängend abgelegt sind....

    S.

  • Naja, wenn ein simpler SMB Transfer auf das NAS die CPU bereits mit bis zu 75% belastet, würde ich mir Gedanken machen.


    Edit: Ich hab mal einen Test mit meinem 10 Jahre alten TS-653A unter QTS 5.2.8 gemacht:

    Der SMB Transfer einer 10GB Datei auf das NAS von einer NVMe SSD belastet die CPU mit ca. 60%, die Transferrate liegt bei etwa 100 MB/s, also der GBE Link wird nicht mehr ausgelastet. Und das Volumen ist übrigens verschlüsselt.


    2. Edit: Und das Volume ist ein RAID6 über 6 HDDs.

    3 Mal editiert, zuletzt von UdoA ()

  • Naja, wenn ein simpler SMB Transfer auf das NAS die CPU bereits mit bis zu 75% belastet, würde ich mir Gedanken machen.

    Es war nicht EIN Transfer sondern das mit 75% war, wenn von 2 verschiedenen Volumes (einmal SSD RAID1, einmal RAID5 mit 5 Platten) parallel Daten mit voller 2,5GBe Geschwindigkeit verschickt wurden.
    Also wenn ich bei Dir sehe, dass bei EINEM Transfer über volle GBE Bandbreite die CPU zu 60% ausgelastet ist und die lt. CPU Bench ca. die halbe Singlecoreleistung hat....wo ist dann bei mir was bedenklich, bei dir aber nicht?
    Und ich weiß auch nicht wie realistisch dieser Vergleich ist, denn wir haben hier ja auch durchaus 2 verschiedene OS oder irre ich da?
    Aber ich hab spaßeshalber mal das Notebook anstelle über 2,5GBe über 1GBe angebunden.
    Und die CPU Last geht auf 30% runter....scheint also durchaus auch mit der LAN Geschwindigkeit zu skalieren..


    265MB/s sind doch sehr gut. Über die 2.5G Schnitstelle des Notebooks ist nicht mehr möglich.

    Also so seh ich es auch.
    Ich versuch gerade nur noch rauszubekommen, warum ich scheinbar ein RAM bzw. CPU Bottleneck habe.

    Einmal editiert, zuletzt von firefox_i () aus folgendem Grund: Ein Beitrag von firefox_i mit diesem Beitrag zusammengefügt.

  • wir haben hier ja auch durchaus 2 verschiedene OS

    Genau das versuche ich Dir die ganz Zeit zu sagen.

    Das mein altes NAS mit dem aktuellen QTS am Anschlag ist, war zu erwarten, allerdings sind die Voraussetzungen auch andere, siehe RAID6 und Volume-Verschlüsselung.

    Meine Empfehlung wäre, installiere QTS und alles ist gut und Du wirst auch auf dem RAID5 alleine eine höhere Transferrate sehen.

  • Genau das versuche ich Dir die ganz Zeit zu sagen.

    Okay dann hab ich das die ganze Zeit übersehen, denn den Hinweis "meiner Meinung nach ist die CPU zu schwach für hero und der RAM reicht auch nicht." habe ich ehrlich gesagt nicht so verstanden.
    Naive Frage:
    Ist hero so ressourcenhungrig?
    Spaßeshalber hab ich eben mal auf nem anderen System (TVS-871, 10G Netz) auch auf ein HDD RAID zugegriffen und musste tatsächlich feststellen:
    Da hab ich ein RAID5 (5HDD) , ebenfalls verschlüsselt und da komm ich bei den drehenden Platten auf 350MB/s.....
    Schade nur, dass ich von hero nicht so einfach auf QTS runterkomm ohne alles platt zu machen.....
    Ich dachte - wohl fälschlicherweise - bisher, dass hero das Mittel der Wahl ist, wenn es für ein NAS zur Verfügung steht.

  • Ist hero so ressourcenhungrig

    Ja.


    Wenn Du das NAs nur als Datenablage nutzt, könntest Du mal versuchen den ARC zu vergrößern. :idea:

    Erst 60% dann 70% und schauen wie sich dein NAS verhält.

    Bei hero entspricht der ARC ja dem Cache von QTS.

    - hero -> der ARC ist nur ein Teil des RAM

    - QTS -> der Cache kann den gesamten RAM nutzen.


    Sieht bei meinem Hero-NAs so aus


    pasted-from-clipboard.png


    Bei QTS sieht es so aus


    pasted-from-clipboard.png

  • Wie gesagt: es steht eigentlich genügend ARC zur Verfügung.
    ARC steht auf 5ß% und belegt 4GB
    Ich glaube nicht dass eine Vergrößerung da was ändert.
    Ich bekomm demnächst eine 873AeU zum einrichten.
    Da werde ich mal Performancemessungen machen und QTS vs hero vergleichen.
    Ich hab momentan immer noch den starken Verdacht, dass die Kombi aus
    - hohem Füllgrad der Plattren

    - verschlüsselte Platten

    - aktivierte Kompression

    bei den drehenden die Performance so drückt.
    Bei der SSD ist die Performance ja eigentlich gut.
    Was mich eben massiv wundert ist, dass bei einem Zugriff auf 2 verschiedene Dateien auf demselben RAID die Performance steigt....
    Da hab ich ehrlich gesagt keine nachvollziehbare Erklärung.

    S.

  • - hohem Füllgrad der Plattren

    ...

    - aktivierte Kompression

    Wie ist der Füllgrad des Speicherpools und der Freigabeordner ?

    In Richtung der 100% dürften Probleme erwartbar sein.


    Ist nur die Kompression aktiviert oder auch die Deduplizierung ?

    Die Kompression alleine sollte das NAS eigentlich kaum ausbremsen. :/

  • Der ist zu über 70% voll
    Ich könnt mir halt vorstellen, dass es fragmentiert ist.

    Auf allen Freigaben ist Kompression an.
    Die Freigabe auf der die Datei HV... lag ist verschlüsselt, die andere nicht.

    Da gab es aber keinen Unterschied.

  • 70 % sollten kein Problem sein.

    Du solltest es mit den Einstellungen vom ARC versuchen. Dies dürfte vermutlich einen gewissen Einfluss auf die Rate haben. Geht halt nur übers testen.

    Aber mal zum Testen einen Freigabeordner ohne Schlüsselung anlegen und schauen ob die Rate besser wird.

  • Aber mal zum Testen einen Freigabeordner ohne Schlüsselung anlegen und schauen ob die Rate besser wird.

    Den gibt es doch.....
    Ich habe doch 3 identische Dateien von 3 verschiedenen Freigaben gezogen:
    - unverschhlüsselte Freigabe auf einem RAID 5 mit HDD
    - verschhlüsselte Freigabe auf einem RAID 5 mit HDD
    - unverschhlüsselte Freigabe auf einem RAID 1 mit SSD
    Ich denke das wäre klar...ich dachte zumindest das ausreichend genau beschrieben zu haben.
    Und Du meinst eine Erhöhung des ARC Anteils von 50 auf 70% ändert was, wenn bei der 50% Einstellung nur 4GB der 24GB von ARC belegt werden?
    Der nutzt doch jetzt schon nicht die 50% aus......ich hab da irgendwie nen Knoten im Hirn warum da eine Vergrößerung noch was bringen soll.

  • Stimmt, war die Sache mit HU, .... :sleeping: :sleeping:


    eine Erhöhung des ARC Anteils von 50 auf 70% ändert was
    Der nutzt doch jetzt schon nicht die 50% aus

    Bei meinem NAS mit 64 GB RAM und 50% ARC ist die ARC-Größe auch nur 12 GB.

    Anmerkung:

    Hatte ich mir bisher noch nicht genauer angeschaut, aber etwas an der Rechnung stimmt nicht. ?(


    Bei deinem NAS wird aber nur 4 GB für den ARC genutzt. Da dein NAS Probleme mit den Übertragungsraten hat, könnten die 4 GB zu wenig sein. :/

    Einfach mal testen.

  • Kann ich gerne machen.
    Auch wenn es mich überraschen würde, denn wenn ich die Testdatei vom SSD RAID ziehe, kommt ja die volle LAN Speed raus.
    Ich kann auch - sofern es mir zeitlich reicht - heute abend mal meinen PC mit einer 10G Karte ausstatten, dann habe ich 2 10G Endstellen...:

    S.

  • Hinweis:

    Die Anzeigen des Ressourcenmonitor unter QUTShero zum ZFS-ARC und dem freien RAM sind falsch :!:

    QNAP hat bei hero die Werte für arc_max und arc_min fest hinterlegt.

    -> arc_max ist ca. 80% des verbauten RAM

    -> arc_min ist ca. 20% des verbauten RAM (bei 64 GB sind dies die 11,9 GB)

    -> mit der Einstellung des nutzbaren ARC (40%, 50%,...) wird der tatsächlich nutzbare ARC geregelt.

    -> 50% vom arc_max würden dann einem ARC von ca. 25 GB (50% von 80%) entsprechen. Diesen Wert sieht man aber nirgendwo.

    Der Ressourcenmonitor zeigt als ZFS-ARC nur die Nutzung des arc_min an. Darum ist bei 11.9 GB das Maximum erreicht.

    Die tatsächliche ARC Nutzung im Bereich 11,9 GB bis 25 GB wird im Ressourcenmonitor als "freier" RAM angezeigt.

    Ich werden nachher noch einen zusätzlichen Post hierzu erstellen.

  • Okay,
    Dann hat dieser Thread ja schonmal was gebracht.
    Auch wenn diese Philosophie von QNAP - vorsichtig ausgedrückt - "kreativ" ist *g*

    Vor allem wenn tatsäcchlich verwendeter ARC Speicher im "frei" versteckt ist.....zumindest hab ich Dich so verstanden.

  • Hey zusammen,
    ich hab jetzt ein neues 873AeU auf dem ich einige Tests machen kann.
    Soll ich dazu nen neuen Thread aufmachen oder den hier weiter nutzen, was denkt ihr?

    Erste Infos:
    Hardware
    - neues 873AeU

    - neu eingerichtet mit der aktuellsten QuTS hero

    - Mellanox ConnectX-3 Pro (MCX312B-XCCT), per LWL an den 10G Switch angebunden (Netgear MS510TXUP)

    - daran ein Notebook mit 2,5GBit LAN NIC, Realtek, aktuellster Treiber


    Storage
    - Speicherpools

    • RAID1 aus 2 Intenso SSDs, 500GB (Systemlaufwerk)
    • RAID5 aus 5 WD RED Plus 8 TB (WD80EFPX)

    - Auf dem RAID5 Pool mehrere Freigaben

    • alle 512GB groß
    • alle unvesrschlüsselt
    • auf allen Komprimierung an
    • Verschiedene Blockgrößen: 8kB, 16kB und 128kB

    - Auf dem RAID1 die vom System angelegte "Public" Freigabe

    • ich kenn die Parameter leider nicht, nehme aber an 128kB Blockgröße

    Ich hab die Messwerte gerade nicht zur Hand (kann ich morgen abend nachreichen, weil ich gerade beruflich unterwegs bin) aber von der Tendenz her:
    Schreib/Leseraten ist das, was ich beim Explorer (Windows 11 Pro , aktuellster Patchstand) sehe.
    Die Transferraten der Platten selbst sind die Werte aus dem QNAP Ressourcenmonitor
    - beim Kopieren von Testdaten vom Laptop auf die o.g. Freigaben (eine 20GB große Datei, dann mehrere kleinere von kB bis 100MB Größe) immer so 150MB/s Schreibrate, alle Platten aktiv, jeweils ca. 25MB/s
    - beim Lesen von den Freigaben auf den drehenden HDDs wird die Leserate besser je größer die Blockgröße ist (8k, 16k, 128k)

    - wenn ich mit der FileStation Daten von der HDD Freigabe auf die SSD Freigabe kopiere bin ich im Bereich von 450MB/s

    - beim Lesen von der SSD Freigabe komme ich auf die vollen 2,5GBit Raten

    Den Unterschied der Plattentransferraten zur Schreib/Leserate im Explorer erkläre ich mir aktuell mit der Kompression der Daten.
    Die schwache Schreibrate überrascht mich etwas, und hab keine Erklärung.
    Details folgen wie gesagt gerne, falls es von Interesse ist....
    Achso: Neuer Thread oder in dem weiter ?


    S.

  • Achso: Neuer Thread oder in dem weiter ?

    Kannst ruhig weitermachen, war ja von Dir.


    Wie groß ist der RAM vom neuen NAS ?


    Bei meinem TVS-h674 gibt es eigentlich keine Probleme die 2,5 Gbe-Schnittstellen auszulasten.

    Wenn ich die 2,5 Gbe Schnittstelle nicht auslasten kann sind bei mir die Client-Rechner das Problem.

    Ursachen:

    - Einige Rechner haben nur 1 Gbe Schnittstellen

    - Mein Haupt-PC hat zu den SSD auch eine größere HDD (war billiger) verbaut. Hier ist nur max. 150-180 MB/s möglich.


    Anmerkung:

    Zum TVS-h674

    - die Freigabeordner auf den SSD nutzen alle 4 kB

    - Auf den HDD habe ich einen Freigabeordner mit 4 kB (viele kleine Dateien) und einen mit 128 kB (große Dateien).

    - Ich konnte keinen Unterschied bei der Schreibrate (Erstbefüllung) feststellen.

  • Neues NAS hat 16GB RAM.

    Ich hab den Rechner mit 10GBit LAN noch nicht am Rennen, mit dem mach ich dann auch Tests.

    Zu Deinen Anmerkungen:

    Zum TVS-h674

    Ich nehm an auch QuTS hero?

    Bei meinem TVS-h674 gibt es eigentlich keine Probleme die 2,5 Gbe-Schnittstellen auszulasten.

    Du hast also bei größeren Dateien immer die vollen 2,5Gbe anliegen?

    Was sind das für Speicherpools, auch RAID5?
    Hast Du SSD Cache aktiv?
    Und auch nur SMB3 erlaubt?
    Alles Thick Freigaben?

    - Ich konnte keinen Unterschied bei der Schreibrate (Erstbefüllung) feststellen.

    Du hattest auch da volle 2,5Gbe anliegen, also knapp 250MB/s auf die HDD Freigaben?

    Bzgl. ZFS habe ich folgendes gefunden (Quelle: ZFS RaidZ1 poor performance.:(

    The big caveat to performance with ZFS is this: performance depends on the IOPS of each vdev, and each vdev has the IOPS of the slowest single drive in that vdev. This means that if you have a single raidz vdev in a zpool, then it doesn't matter how many drives that vdev is made up of, you only get the performance of a single drive on writes. Reads are a different story, that part is improved with more drives. Das

    Das klingt in etwas nach dem Effekt, den ich sehe.....zumindest beim Schreiben.


    Mod: Mehrere Zitate ohne Quellenangabe ... korrigiert! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen