TS-473 - 64GB RAM-Ausbau für Cache nutzbar?

    Hallo,


    ich verwende eine TS-473 mit 10Gbe-Anbindung,

    Flaschenhals ist hier ganz klar der S-ATA Anschluss (2 x HDD und 2 x SSD mit Qtier)


    Macht es Sinn, den Arbeitsspeicher maximal auszubauen, so dass dieser als IO-Cache verwendet wird oder ist das Geldverschwendung?


    Es geht mir vor allem darum, 40-50 GByte grosse Files schnell auf die NAS zu speichern, also das NAS soll das File dann im RAM puffern und "in ruhe" in den Storage schieben. VMs oder sonstige Dienste sollen eigentlich nicht darauf laufen.

    Ziel ist es, ggf. so den SSD-Cache, der so heiss beworben wird, zu sparen.


    Danke für eure Einschätzungen.

  • PanicFR

    Hat den Titel des Themas von „64GB RAM-Ausbau für Cache nutzbar?“ zu „TS-473 - 64GB RAM-Ausbau für Cache nutzbar?“ geändert.

    Hallo Matselm,


    das heisst, der Arbeitsspeicher wird definitiv nicht als IO-Cache verwendet?


    Ich weiss nicht, aber der "Unterbau" macht sich bisher ganz gut, Files lassen sich, sofern sie auf dem "oberen Store" liegen mit 700MB/s ziehen, nur das hochladen geht mit 180-240MB gemütlich vonstatten. Hier habe ich mir erhofft, dass der RAM als Puffer dient.


    Wenn ich 10Gbe schreibe, meine ich dass die Infrastruktur durchgängig bis zu den Nutzern ist. Also Switche, PC-Karten etc. vorhanden. PCs potent genug, das Ganze auch zu verarbeiten.
    PCIGen3x4 sollte auch dafür reichen...


    Kostenmässig kann man das auch mit nem SSD-Cache lösen (QM2-2P-344-Karte mit entsprechend kleinen und schnellen SSDs) aber RAM verschleisst nie und erfüllt (für mich) genauso seinen Zweck.

    Wie geschrieben, geht es um das "Hochladen" der Daten, das "Herunterladen"     mit 700MB/s ist okay, und da hilft der RAM auch nichts, das ist mir bewusst.

    Also: Der RAM wird nicht als IO-Cache eingesetzt? korrekt?


    Danke

    Das wird schon als Buffer verwendet, aber nicht in dem Maße wie du dir das erhoffst.


    Wie heißt noch mal dieses komische Zeugs von Intel was noch mal viel viel höhere IOs liefert als eine normale M.2 NVMe SSD?

    Die Dinger sollen doch x mal so lange halten, ggf. sind die ja der passende Cache.


    Denn hier war in der Vergangenheit immer wieder mal zu lesen, das QTier oder Caching die Datenrate sogar negativ beeinflusst hat.

    Das ist scheinbar nicht ganz so trivial umsetzbar und damit Anfällig für Flaschenhälse.

    Hallo Sascha,


    der RAM wird da nicht wirklich helfen, denn der Flaschenhals HDD beim Upload bleibt. Ich habe selbst lange über das 873er nachgedacht. Da ich aber mit VM auf einem NAS nix anfangen kann und mir dann das 832X zu einem äußerst günstigen Preis vor die Füße gefallen ist, habe ich mir das gegriffen. Es kostete praktisch den Preis einer Erweiterung, die nur per USB angebunden werden kann.


    Helfen würde, ein 5er Raid aufzusetzen, dann die M2 als Cache/Tier nutzen. Damit ist der Upload bei HDD-Raid irgendwo bei 500+MB/s und der Download entsprechend M2. SATA ist nicht das Nadelöhr, denn imho hat jedes Laufwerk seine eigene SATA-Lane. Mit dem Tier-Gedöns lassen sich mit zusätzlichen M2 auf der 10Gbe-Karte anscheinend lustige Sachen machen, aber da stecke ich nicht drin.

    Oder komplett SSD, dann dürften sogar die Werbebalken von QNAP in greifbare Nähe rücken.

    Crazyhorse Meinst Intel Optane?

    Ja danke die Intel Optane mit Phase Change Memory, die ist bei IOs noch mal Faktor 10 gegenüber einer SSD wenn die Warteschlange in die 32+ geht.


    Aber ob man so ein Teil im NAS wirklich merkt?

    Jedenfalls sollen die viel mehr RWs aushalten als NAND Zellen.

    Die kosten aber auch eine größere Lawine und haben einen anderen Einsatzbereich als dicke Dateien schieben.

    Aushalten ca. Faktor 100

    375GB, 3D XPoint SLC, TBW 41PB, IOPs 550k/550k, für obzön 3stellig.

    Hallo Matselm und Crazyhorse,


    danke für eure Ausführungen! Dann werf ich das mit dem RAM-Ausbau mal aus dem Kopf...


    Ja, das Optane ist eine nette Sache, läuft aber wohl nur auf Windows-Systemen und... zu teuer, da verbrenne ich lieber alle 2-3 Jahre zwei Cache-SSDs ;)


    Ich denke, ich werde den Ausbau, wie geplant durchführen und dann wird das sicher was bringen.


    Fernziel ist es, die HDDs als RAID10 zu konfigurieren, da verspreche ich mir auf dem Weg etwas mehr Performance

    Also 4 x 12TB HDD als RAID10, 2 x 2TB als SSD Tier für's Kleingemüse und 2 x 500GB NVM-SSD als Cache auf der Karte als Schluckspecht für die grossen Uploads.

    Die 10GBE-Karte ist übrigens separat, die QM2-2P-344 müsste also ihre eigenen Lanes nutzen können (wenn es sich auf dem Mainboard der TS-473 um dezidierte PCI-Slots handelt...) damit sollten sie sich also nicht in die Quere kommen... hmmm, hoffentlich ist dem so - ich habe keine genauen Specs gefunden.


    Der RAM bleibt dann bei 8GB, VMs sollten da nicht drauf laufen und wenn das RAM nicht als IO-Cache genutzt wird...
    Bei den RAM-Preisen könnte man das ruhig wieder pushen, aber das klingt nicht so cool wie SSD-Cache.


    Etwas Erfahrung habe ich mit der TS-451+ mit RAID1 HDDs und 1TB-SSD-Cache (RAID1) aber da war halt das 1GBE das Limit bzw. über USB dann auf 5GBE aber nur ~4GBE nutzbar.
    Und.. während eines Uplaods halt nur einen Kaffee holen, oder gleich einen Snack einlegen, ist schon ein Unterschied, bzw. es bremst den Workflow einfach aus.

    SSD-Cache und Qtier brauchen auch RAM. 2x16GB (Kostenpunkt rund 125€) sollte die Maschine also schon haben.

    Laut Specs werden bei Cache von 4TB ≧ 16GB RAM benötigt, lässt sich hier nachlesen.

    Hallo Matselm,


    danke für die Info, aber ich denke, das passt mit 8GB:


    Cache ist geplant 500GB (Netto), und dann auch die einfache Variante mit FiFo...

    Beim Tiering ist es nicht ganz klar, aber da steht was von 2GB.
    Bestenfalls packe ich noch 2 x 4GB-Module rein, wenn ich das NAS eh gerade offen habe... dann sollte es locker reichen.

    Zitat von PanicFR

    Fernziel ist es, die HDDs als RAID10 zu konfigurieren, da verspreche ich mir auf dem Weg etwas mehr Performance

    Also 4 x 12TB HDD als RAID10, 2 x 2TB als SSD Tier für's Kleingemüse und 2 x 500GB NVM-SSD als Cache auf der Karte als Schluckspecht für die grossen Uploads.


    Ich glaube nicht, dass du da glücklich wirst, aber versuch es einfach und melde dich dann mit den Ergebnissen wieder ...

    Am idealsten machst du vorher/nachher Vergleichsmessungen, damit du objektiv feststellen kannst, was das QTIER wirklich bringt.


    Auf meiner TVS-882 bin ich vor einiger Zeit mit dem QTIER wieder abgefahren, da es damit langsamer (!) als ohne wurde. Knappe Antwort vom Support zu meiner Feststellung damals:


    Zitat von QNAP-Support

    Apologies for reply in English, our German colleague is out of office.


    The reason Qtier is not speeding up the performance is because youconfigured 2 SSD in raid 1 they have a much lower speed then the raid 5 with 5 HDD's. Qtier will because of this configuration only decrease the performance.


    I'm very sorry for this inconvenience.

    Okay,

    was empfiehlt ihr?

    Vorhanden ist:

    TS-473 mit 8GB und 10GBE-Netzanbindung

    2 x Toshiba N300 mit 12TB (RAID1)

    2 x WD RED SA500 mit 1 TB (RAID1)


    Ziel ist, das möglichst schnelle hochladen von ca. 50GB-Files (Rohdaten)


    Ich bin gespannt auf eure Empfehlungen

    Das ist reiner sequenzieller Zugriff.

    Spare die die SDs und stecke ein großes Raid 5 zusammen.

    Hallo Dennis,


    danke für dein Input!


    RAID5 mit 3 x 12TB oder 4 x 12TB Platten?


    Was spricht gegen RAID10 (mal von der 50%igen Speichernutzung)?


    RAID5 ist ja von der Schreibleistung eher gemütlicher als RAID1 bzw. RAID10 und Schreibleistung benötige ich ja vor allem.


    Ich habe halt nur 4 Schächte, sonst wäre RAID50 noch interessant aber man kann nicht alles haben :)

    Ich würde auch Raid 10 wählen in dem Fall, denn wie du schreibst ist Raid 10 besser in der Schreibleistung.


    Du kannst in deinem NAS doch auch eine QM2-4P-384 mit 4x NVMe einbauen und mit Raid als Cache davor setzen falls dir das Raid 10 nicht ausreicht, Ich würde sogar beides als Raid 10 einrichten.


    Aber ich müßte auch testen in dem Fall und kann nicht aus Erfahrung sprechen :) fände es aber sehr schön wenn du uns nachher auch sagst was wirklich geholfen hat.


    Die höchste Schreibleistung hat man übrigens mit Raid 0, schade das deine beiden M.2 Steckplätze SATA sind und nicht NVME, sonst hätte ich gesagt bevor du was machst teste mal mit 2 NVMe als Raid0 Cache probeweise.


    Übersicht Qnap welches Raid




    pasted-from-clipboard.png

    Hallo Unos,


    danke für deine Info.


    Meine 473 hat ja nur 2 PCI 3.0 x 4 - Slots.


    Die Karte benötigt einen x 8 Slot damit sie ihr Potential ausspielen kann, sofern die SSDs dann auch richtig angebunden sind...


    Ich liebäugle noch mit der oben angegebenen Karte und dann aber doch die 2 x NVMe SSDs mit RAID1. RAID0 ist zwar nett aber bei einer Störung reisst es ja auch die gepufferte HDD mit ins Nirvana - so hab ich das zumindest gelesen...


    So wie QNAP das Feature bewirbt, soll der SSD-Cache die Daten schlucken und dann aber auch auf die HDD schreiben (WriteBack), aber mich wundert dann auch, wenn ich den SSD-Cache abschalte/trenne, dass dieser erstmal alles "Flushen" muss, selbst, wenn 2-3 Stunden lang keine IO-Last anlag. Daraus schliesse ich, dass der SSD-Cache die Daten nicht zeitnah auf die HDDs schiebt sondern "bei Bedarf", sprich, wenn das Cache vollzulaufen droht.... (was unlogisch ist, da dann ja der Cache in Bedrängnis kommt und "schnell" seine Daten abstossen muss, damit dieser neue aufnehmen kann...


    Zu den Tests:

    Anbindung mit 10GBE und 9000MTU

    Ich "messe" ganz trivial, nur den Windows-eigenen "Speed-o-Meter" beim Dateikopieren.


    Lesen von HDD (egal ob 3 oder 50GB File) ca. 190 - 290 MB/s

    Schreiben auf HDD max. 130MB/s

    Mit SSD-Cache (2 S-ATA-SSDs RAID1)

    Lesen aus Cache 3GB-File ca. 1,2GB/s (auch nach Windows-Neustart!)

    (Ich schliesse daraus, dass der RAM der NAS wohl doch genutzt wird...)

    Lesen aus Cache 50GB-File ca. 700MB/s

    (Sackt ab und zu mal ein aber im Ganzen also 690MB/s)


    Die Schreib-Daten poste ich heute Abend, ich habe sie nicht mehr ganz sicher im Kopf.

    Nur, dass RAID0-Cache angenehm schnell war aber auch nur rund 400MB/s schaffte... aber das verifiziere ich heute Abend nochmal.

    SATA SSD Cache ist klar das es bei ca. 400-500 hängt, 600 wäre theoretisches max was nie erreicht wird

    aber PCIe 3.0 x4 hat 4.000 MB/s max das sollte dir reichen :)

    Als ich intern was von den System SSDs auf das 4er Raid 5 schrieb, waren hier 400MB/s angezeigt aber da gurkte das NAS schon wegen dem kleinen PCI rum.

    Die HDs konnten noch mehr.


    Ein 4er Raid5 schafft den Wert locker.


    Teste das alles mal durch und wenn du dann noch den Cache brauchst kannst du den nachrüsten.


    Meine Exos schreiben 200-250Mb/s das sind dann 500-750MB/s, mit 6 Bays und Raid 5 würde es perfekt passen und du lastest sequenziell auch 10G mit Jumbos voll aus.

    Zitat von unos

    aber PCIe 3.0 x4 hat 4.000 MB/s max das sollte dir reichen :)

    ja... das ist so.. aber...

    ich vermute den Worst-Case und die Lanes der PCI-Slots werden sich geteilt, dann gehen 2 für die 10GBE-Netzwerkkarte weg bzw. sie sharen sich dann mit den restlichen Lanes zum NVMe-Controller.

    Kommt dann noch 2x NVMe-SSDs mit PCI3.0x4 im RAID Verbund also dann 50% Bandbreite davon.. Wenn also dann rund 1.000MB/s Speed übrig bleiben ist das Grenzwertig aber mehr macht 10GBE eh nicht her, daher egal :)
    Alles nur Spekulatius, genaue Pläne über das Mainboard konnte ich nicht ausfindig machen... die Messungen werden es zeigen.


    Also, Nachtrag:


    Die Schreib-Messungen mit 10GB-File:


    Schreiben auf Cache (RAID1) um 300MB/s mit kurzen Einbrüchen...

    Schreiben auf HDD (RAID1) um die 150MB/s Peak bei 200MB/s

    Schreiben auf Cache (RAID0) rund 610MB/s

    (Ich stelle es aber wieder auf RAID1 um...)

    Wenn also die Erweiterungskarte mit den NVMe-Riegeln auf RAID1 die 1000MB/s macht, ist mein Wunsch erfüllt...


    Wer hat den die NAS mit ordentlich RAM ausgestatten und möchte mal ohne SSD-Cache einen IO-Test machen, halt ohne, dass irgendwelche VMs etc. laufen so dass auch freier RAM verfügbar ist?


    Da wäre ich mal gespannt, irgendwas zu sehen. Weil, das 3-GB-File schaufelt er sicher via RAM, da das sehr schnell NAS nach PC geht (auch nach nem Neustart...) aber Schreiben ist immer langsam.

    Einmal editiert, zuletzt von PanicFR () aus folgendem Grund: Schreibleistung ergänzt...