TS-473 - 64GB RAM-Ausbau für Cache nutzbar?

    Hoffen ist das eine, wissen das andere...


    Ich hab schon genug "Tricks" erlebt oder (ja, mein pech...) irgend ne kleine Fussnote übersehen.


    Der Support bestätigte mir mittlerweile, dass es sich um dezidierte PCIe-Slots handelt.

    Die restliche Hardware (vor allem die Karte, QM2-2P-344,) ist erst heute komplett angekommen und ich konnte sie erst heute verbauen.

    Auf der Karte sind 2 x 960GB Seagate Ironwolf 510 verbaut, die sollen rund 1GB/s schlucken


    Erste Erkenntnisse mit eher spontanen Schreib- und Leseoperationen (mit dem "genauen" Windows Speed-o-Meter):

    - Lesen 30GB ab Cache um die 900-950 MB/s

    - Schreiben auf Cache um die 600MB/s, bricht aber ab und zu ein - Grund weiss ich nicht.


    Die nächsten Tage habe ich eher mit Bildern (Massenverarbeitung) zu tun... mal sehen, was die neue Hardware da bringt

    hast du die

    Zitat von PanicFR

    2 x 960GB Seagate Ironwolf 510

    als Cache davor gesetzt im Raid ? wenn ja bestimmt Raid 1 ? mich hätte ja Raid 0 interessiert. Hast du den Support mal gefragt was passiert wenn der Cache ausfällt was dann alles weg ist, ob nur die Dateien die gerade geschrieben werden oder mehr ?


    aber die Werte sind doch schon mal ordentlich und dürften dich schon mehr zufrieden stellen :)

    Halllo Unos,


    ja, im RAID1 sind sie konfiguriert.


    Ich habe zum testen mal auf RAID0 umgestellt

    Schreiben von 30GB rund 800MB/s

    Lesen ab RAID0-Cache bei 1,1GB/s aber mit kurzen Einbrüchen - keine Ahnung ob da die Kupfer-SFP+-Module am glühen sind :-]


    Ich habe soeben den Cache auf "nur schreiben" im RAID1 eingestellt und nun schluckt das Ding auch im Schnitt 800MB/s.

    Damit kann ich leben... als LeseCache brauche ich das sowieso nicht.
    Die "kleinen Dinge (Office, QSync etc...)" werden nun durch 2 mal 2TB im RAID1 auf SSD geTiert und morgen kommen noch 2 12TB-HDDs und dann gehen die 2 vorhandenen 12TB-HDDs mit den neuen als RAID10 in Betrieb... dann stimmt auch die Leserate der HDDs und ich habe noch jede Menge Platz für Snapshots (Der Nutzspeicher bleibt bei rund 12TB da meine Backup-Platte und der zweite Standort nicht mehr als 12TB fassen...)


    Damit sollte ich für die nächsten Jahre gut durchkommen.

    Freut mich das ich helfen konnte, die Werte sollten ausreichen :)


    aber nochmal die Frage: Hast du den Support mal gefragt bei Raid 0, wann die Daten verloren gehen, ob nur im Schreibmoment oder ob der Quatsch länger gespeichert wird im Cache ? Das wäre interessant, denn sonst wären ja schlimmstenfalls nur die letzten 30min weg, wenn überhaupt.

    Hallo unos,


    nein, den Support habe ich nicht gefragt.


    So wie es aber aussieht, schreibt der Cache nicht "sofort" zurück, sondern "irgendwann".


    Wenn ich den Cache nach ein paar Tagen Nutzung aushängte, brauchte der 25-40 Minuten um den Cache zu leeren. Ich verstehe das System hinter auch nicht wirklich.
    Aber im Fall können 30 Minuten Verlust kritisch sein, wenn gerade ein Projekt hochgeladen wird und das dann plötzlich futsch ist. Datenverlust als Risiko akzeptieren sollte nie eine Option sein.


    Deswegen, RAID1 als "nur-schreib-Cache" bringt gute Performance und das dahinter hängende RAID10 sollte schnell genug sein um Daten zu liefern.


    Irgendwie finde dich diesen SSD-Cache aber Mist, doch es ist die einzige greifbare und bezahlbare Lösung.

    Wenn ich es mir hätte aussuchen können, hätte ich das NAS mit RAM vollgestopft und selbigen dann als Cache genutzt. Es ist doch klar, dass (spätestens) dann so ein Teil an die USV gehört, deswegen finde ich das Argument "Stromausfall" inakzeptabel. Ein NAS (sowie kritische Komponenten und PCs) gehört immer an eine USV.


    Vielleicht gibt es ja einen Linux-Guru hier im Forum, der weiss, wie man den RAM als (Schreib-) Cache einsetzt.

    Auch im Fall SSD-Cache und Stromausfall, bleiben inkonsistente Daten zurück...

    Zitat von PanicFR

    Aber im Fall können 30 Minuten Verlust kritisch sein, wenn gerade ein Projekt hochgeladen wird und das dann plötzlich futsch ist. Datenverlust als Risiko akzeptieren sollte nie eine Option sein.

    Löscht ihr das Projekt direkt mit verschieben statt kopieren ? Ansonsten ist es ja noch auf dem Rechner


    Bei 50GB+ Dateien ist RAM Cache selten, denn wenn der Cache voll läuft schreibt der erstmal und alles steht.

    Ja, das geschnittene Material wird gleich wieder vom Rechner abgestossen, auf denen ist ja auch nicht ewig Platz...

    Zitat von unos

    Bei 50GB+ Dateien ist RAM Cache selten, denn wenn der Cache voll läuft schreibt der erstmal und alles steht.

    Nun, solange die Files darunter bleiben würden, ist alles okay.. und warum nicht die NAS mit 128GB aufbohren, wenn es denn möglich wäre... Es ist halt nur schade, dass sowas nicht in Betracht gezogen wird. Aber mit dem SSD-Cache geht es ja jetzt auch so :)
    Nun baut sich gerade mein RAID10 zusammen und das ganze Backup wieder zurückspielen... gut das zur Zeit nur Bildbearbeitung auf dem Plan steht, da braucht es keine grosse Performance.

    Hallo zusammen,


    nach diversen hin und her, hier die letzten "Messungen"


    Ram ist nun 64GB, hilft beim Lesen, beim schreiben nur etwas :(


    Schreiben ohne SSD-Cache auf die RAID10-HDDs:

    pasted-from-clipboard.png

    Am Anfang der Peak, wird das RAM gefüllt.... aber dann gehts direkt aufs RAID


    SSD-Cache (mit zufälliger EA bis 32MB) greift trotzdem irgendwie und man hat auch nicht das "Der Cache läuft voll und bremst dann alles aus" Phänomen. Der Cache lief bereits ein paar Tage... für den "ersten" Test da oben, habe ich ihn dann abgeschaltet

    Schreiben nun pasted-from-clipboard.png

    Wie man schön sieht, mit Berg- und Talfahrt:

    Der Anfang ist das RAM-Cache, dann wird direkt aufs RAID10 geschrieben (bei etwa 500MB/s) und die Berge sind dann die Momente, in dem der SSD-Cache gefüllt wird.


    (sorry, nicht schön.. das HDR ist schuld)

    pasted-from-clipboard.png


    Irgendwann leert sich der Cache wieder...


    Beim Lesen der gleichen Datei zurück auf dem PC siehts nun so aus:


    1. Lesen: pasted-from-clipboard.png

    Daten werden direkt vom RAID10 -HDD gezogen


    2. Lesen: pasted-from-clipboard.png

    Klarer Fall, das wird komplett aus dem RAM-Cache gezogen.. der SSD-Cache ist auf "nur schreiben" eingestellt.

    Ich will noch erwähnen, dass ich eine Thick-Volume-Konfiguration habe und Snapshots verwende.. das soll ja etwas Performance kosten...


    Man kann also sagen:

    Ja, das bringt alles schon etwas, auch wenn ich mir das irgendwie anders erhofft hätte.

    Ich habe das Gefühl, das Ganze ist noch nicht so ausgereift, wie es sollte.


    Wenn der SSD-Cache auf "ALLE IO" eingestellt wird, läuft er irgendwann voll und ist dann mit commit beschäftigt anstatt eine Leerlaufzeit dafür zu nutzen.
    Wenn ich das Ding als SCHREIBCHACHE einsetze, will ich davon nicht lesen können. Qnap sieht das wohl anders...


    Bei mir hängt das Teil an einer USV, warum kann ich nicht selbst entscheiden, dass ich den RAM als Schreibcache nutzen will... nicht nur ein Häppchen (was mir zeigt, dass es ja geht...) sondern alles, wenn es nicht anderweitig genutzt wird.


    Bleibt zu hoffen, das Qnap noch die Kinderkrankheiten ausmerzt bzw. die Funktionen für die "grossen" Jungs freigibt.

    Mein feuchter Traum wäre nun:

    - RAM als Cache, so wie ganz zu beginn im Thread angedacht

    - RAID10 HDDs so belassen, ist angenehm schnell...

    - S-ATA-SSDs als Tier-Speicher mit den HDDs zusammenfassen (Für Qsync-Zeugs etc...)

    - PCIe-SSDs als "Systemvolume" damit endlich das periodische geratterte der HDDs dank des QuLog-Schrotts aufhört

    (Thematisiere ich in einem anderen Thread...)


    Edit:

    Thin nach Tick-Volume geändert (Sorry Crazyhorse, hab die Bezeichnung falsch im Kopf gehabt...)

    Thick Volume spart einige IOs beim Schreiben, das solltest du einsetzten, wenn du Performance willst.


    Und das von dir gezeigt ist seit 4.3.x zu beobachten und der Grund, warum 2 SSDs gegen 4 HDs im Raid 5 bei genug CPU Power schon mal das Nachsehen haben. Wenn ein Array aus 6 oder mehr HDs besteht, ziehen die HDs die SSD gnadenlos ab, wenn es sequenzielle Zugriffe sind.

    Hallo,


    Es ist ein Thick-Volume (hab's oben korrigiert...) sorry fürs Missverständnis meinerseits.


    Die PCIe-SSDs schlucken (wenn sie leer sind...) etwas über ein GB/s - also dann im Raid1 um 800MB/s, das passt so.

    Das Raid10-HDD Array (mit 4 HDDs) sollte eigentlich schneller sein als ein Raid5 mit 4HDDs, da weniger Rechenaufwand nötig sein soll (?).

    Die Datenübertragungsrate liegt pro HDD bei 250MB/s, sollte also bei Raid10 um die 500MB/s rausrücken. Passt soweit.

    Kann sein, dass RAID 5 beim lesen schneller ist (CPU-Power) mir ist aber die relativ dumme Raid10-Variante lieber, sollte mal ein Rebuild nötig sein.


    Aber... Crazyhorse, wenn du mir bestätigst, dass ein Raid5 mit 4HDDs schneller schreiben/lesen kann als ein Raid10 mit 4 HDDs dann könnte ich.... hmmm...(Es ist Wochenende :-]) Die TS-x73 sollte ja nicht an der CPU scheitern?


    Die letzten Tage haben wir das aber NAS mit Alltagskram belastet, mehr Bildbearbeitung und Druckvorstufe als Videomatierial. Wir sind zufrieden. Weitere optimierungsversuche bleiben jetzt erstmal aus. Man darf nicht vergessen, dass bei den 4 x 12TB auch ne gewisse Zeit ins Land geht (rund 25h) bis das System dann wirklich parat ist.


    BTW. das periodische Gerattere im Leerlauf ist auch weg - sämtliche Logging-Funktionen (Zugriffslog) abschalten und es herrscht ruhe. Für ein Standby reichts nicht aber das ist mir egal.

    Da du mehr als genug CPU Power hast, würde ich das aus der Gleichung raus ziehen.


    Dann hast du 50% für Parität verbraten, bei einem Raid 5 nur 25%, also können 3 HDs Nutzdaten Schreiben und lesen, bei dir aktuell nur 2 schreiben und was QNAP auch nicht kann, bei einem Raid 1 von jeder HD unterschiedliche Blöcke lesen um den Lesedurchsatz zu verdoppeln.


    Ja ein Raid 5 kann bei dir schneller sein, aber auch hier hängt so viel von den Daten ab die man drauf wirft, das man das wirklich real testen muss.

    Ich sag immer "never change a running system" vor allem wenn man damit zufrieden ist. Meistens geht´s schief, außer man ist in Test und Spiellaune, dann muss das manchmal sein :)