Beiträge von CIS

Hallo zusammen,

sorry für die lange Wartezeit, aber ich hatte einfach zu viel zu tun.

Wir haben uns (nachdem Qnap ja auch QTS wegen der Performance empfiehlt) dazu entschlossen, das ganze System auf Basis von QTS mit einem SSD-Overprovisioning von 12% laufen zu lassen.

Die Performance ist soweit in Ordnung. Wir haben einen Durchsatz von bis zu einem GB per iSCSI. Die Systeme laufen stabil und ausreichend performant.

Weiterhin haben wir (leider) dateibasiertes iSCSI in Benutzung, da wir bei blockbasiertem iSCSI (was für Virtualisierung besser wäre) leider kein SSD-Trim machen können (wird nicht unterstützt).

Ich habe den Verdacht, dass nach einiger Zeit das SSD-Storage immer langsamer wird, wenn kein SSD-Trim durchgeführt wird. Leider ist das schwierig zu beweisen, deckt sich aber mit den bisherigen Erfahrungen.

Soweit zu dem Thema, welches für mich soweit abgeschlossen ist, wenn auch nicht zu 100% zufriedenstellend.

Schöne Grüße

Dieter

Ich bin leider noch nicht dazu gekommen, wieder das QES aufzuspielen und das System mit der anderen Blocksize zu testen. Sobald ich das gemacht habe, poste ich hier die Ergebnisse, auch wenn QTS laut Support ja schneller sein soll

Da hast Du recht: Ich habe mich verguckt.

Ich hab eben nur mal schnell drauf geguckt und da steht bei Verfügbar rund 61GB. Ist natürlich Quatsch, dass er den Rest nicht nutzt.

Sorry

Das ist eine gute Frage.

Ich habe bei meinem privaten Qnap auch 16GB RAM und nutze den hauptsächlich für virtuelle Systeme, da das Qnap den Speicher wohl nicht will.

Anbei die RAM-Auslastung des TES-3085 mit QTS:

pasted-from-clipboard.png

Hallo noch einmal.

Hier der (abschließende) Stand seitens Qnap:

Zitat von QNAP Support

After checked with our team,

they suggest, in QES system to use 8K block size will have better performance than 64K in default,

But compare with SSD over-provisioning in QTS, the SSD over-provisioning will have better performance than QES with 8K block size.

To set up 8K lun in QES,

When creating iSCSI lun, please select "customize" in Performance Profiling, and choose for "8K" in Record Size.

Bedeutet: SSD-Overprovisioning mit x Prozent Verlust ist performanter als das "bessere" Betriebssystem QES.

Schade, dass wir die Geräte mit 64GB RAM ausgestattet haben, um die Features des Enterprise-Betriebssystems nutzen zu können. QTS nutzt davon maximal 4GB, QES nutzt den gesamten RAM.

Ich werde noch einen Versuch starten und das eine Gerät mit QES neu installieren und testen.

Sobald ich Ergebnisse habe, werde ich diese hier vorstellen.

Frohe Weihnachten

Hallo,

hier mal der aktuelle Stand:

- Beide Qnaps sind nun mit QTS eingerichtet

- Bei QTS funktioniert der Trim-Befehl, wenn man keinen Speicherpool nutzt

- Trim wird jeden morgen vor Arbeitsbeginn durchgeführt

- Es wurde Over-Provisioning mit 25% eingerichtet

- Das Betriebssystem wurde auf 2 separate Platten installiert

- Die Daten liegen auf einen Raid5-Verbund aus 19x 1,75TB SSD

- Genutzt wird dateibasierendes iSCSI (geht wegen fehlendem Speicherpool nicht anders)

- Anbindung: 2x separates 10GBit mit MTU9000

Wenn noch jemand eine Idee hat, wie man das besser machen könnte, wäre es echt super, da wir aktuell fast 17TB SSD-Speicher verschwenden.

Leider hat der Support bisher nur die Vermutung geäußert, dass es an der (Standard-) Blockgröße von 64k liegt, dass VMware hier nicht performant ist. Eine empfohlene Blockgröße haben sie aber nicht mitgeteilt.

Zitat von RedDiabolo

Wie sieht es mit dem Temperaturverlauf der SSD's aus?

Die Temperatur der SSDs liegt bei maximal 40 Grad, also sollte da keine Drosselung stattfinden.

Zitat von nasferatu

Und vielleicht mal QCenter mitlaufen lassen, da bekommt man ja zumindest einen Haufen an Kennzahlen.

Dazu muss ich das Gerät erst mal "umformatieren", da QES nicht im Qcenter unterstützt wird.

Hallo nasferatu,

genau das wollten wir ja mit dem TS-1279 feststellen: Da haben wir ein OP von 12% eingestellt, auch wenn das SSD-OP-Tool nur 10% empfohlen hat.

Beim BSD-basierenden OS (QES) kann kein Over-Provisioning eingestellt werden: Da wird immer alles genutzt.

Hallo zusammen,

@nasferatu:

Bisher waren die Systeme auf einem SAS-Storage mit SSD-Cach (Dell PowerVault). Da war alles ausreichend schnell.

Da das System nach dem Vollschreiben für einige Zeit auch schnell war, dürfte der Cache (das Gerät hat 64GB RAM) weniger die Rolle spielen, da der RAM auch weiterhin noch Reserven hat.

Um ZFS auszuschließen, wurden mit den gleichen Platten das TS-1279 mit QTS genutzt. Aber auch hier wurde nach einiger Zeit die Performance extrem langsam, wie oben beschrieben.

@RedDiabolo:

QTier ist nicht aktiv. Die Volumes sind folgendermaßen aufgebaut:

- TS-1279: Blockbasiertes Thick-LUN auf Speicherpool

- TES-3085 mit iSCSI: Blockbasiertes Thick-LUN (Instant Allocation)

- TES-3085 mit NFS: Thick auf Speicherpool

Laut Herstellerseite sind das Enterprise-SSDs mit V-NAND, was wohl ein modifiziertes TLC-NAND ist. Die SSDs sind ausgelegt auf 520/480 MB/s, solltesn demnach eigentlich mehr als 30MB/s schaffen, noch dazu, wenn 12% Over-Provisioning aktiv ist (bei uns nur bei TS-1279 zum Test, QES kann kein Over-Provisioning).

Bei statischen Storages geht anscheinend keine blockbasierten Volumes, was wir aber aufgrund unseres Backups mit CBT bevorzugen würden.

Wenn noch weitere technische Details benötigt werden, um hier eine Lösung zu bekommen: bitte nachfragen.

Danke schon mal für die Antworten.

Hallo zusammen,

wir haben seit einiger Zeit das Qnap TES-3085U mit dem Betriebssystem QES im Einsatz. Eingebaut sind für das System 2x SSD 450GB und für die Daten 19x SSD 1,75TB (Raid5).

Angebunden ist das Qnap mit iSCSI über 10GBit mit Jumboframes.

Zum Testen haben wir diverse Server auf VMware-Basis auf das Qnap geschoben und Performancetests durchgeführt: Es war wunderbar schnell. Dann wurden viele weitere Server auf das System gelegt und nach einem Tag ist die Performance dermaßen in denn Keller gegangen, dass das Arbeiten auf den Systemen annähernd nicht mehr möglich ist. Aktuell werden ca. 30MB/s auf dem System gemessen. Zum Testzeitpunkt waren es ca. 300MB/s.

Ein 2. Gerät mit gleichen Eigenschaften ist per NFS angebunden, bringt aber die gleiche Performance.

Wir gingen davon aus, dass es am fehlenden Trim liegen könnte. Wir haben deshalb ein "altes" TS-1279U genommen und mit 10x 1,75TB SSD (Raid5) und QTS installiert. Auch dieses haben wir per iSCSI über 10GBit angebunden. Wir haben vorher das SSD Over-Provisioning--Tool laufen lassen, was uns mitteilte, das ein OP von 10% ausreichen sollte, die Leistung der SSDs auf annähernd 100% zu halten. Wir haben 12% eingestellt, um sicher zu gehen. Auch waren die Tests erfolgreich, nachdem wir 10 TB von den verfügbaren 13TB genutzt haben: Kopieren von Daten innerhalb einer VM lief mit 300 bis 500MB/s.

Nach dieser Nacht allerdings sind die Performancewerte auch bei diesem System wieder unterirdisch: maximal 30MB/s auf der gleichen Maschine, die am Tag davor noch >300MB/s geschafft hat.

Aktuell sind wir hier mit unserem Latein am Ende: Wir finden einfach keine Möglichkeit, das System schnell zu bekommen. Der Qnap-Support arbeitet bereits seit fast einem Monat an einer Lösung, hat aber bisher auch noch keine hilfreiche Information zu dem Problem.

Wenn jemand noch eine Idee hat, wie wir die doch schnellen SSDs in einem leistungsfähigen Qnap dazu bringen können, dauerhaft schnell zu sein: Wir sind für alle Vorschläge offen.

Anbei noch ein paar technische Details:

SSDs: 19x Samsung MZ7LM1T9HMJP-00005 1,75TB

Anbindung: 2x 10GBit/s Active/Backup mit MTU 9000

RAM: 2x 32GB

OS-Version: 2.0.0.0570

2x 450GB SSD

Samsung MZ7LM480HMHQ-00005

Alle Dienste sind deaktiviert, die nicht benötigt werden

Vielen Dank für Vorschläge.

Dieter