TS-h973AX-32G wie Cache richtig einstellen

Ich habe auf der QNAP Homepage in den Detailseiten zu QNAP Quts Hero diese von QNAP stammende Empfelung für optimale Performance gefunden:

qnap_recommends.png

Das ist dann auch genau das, was ich machen wollte / hier auf Seite 1 beschrieben wurde.

Schritt 1: Man legt das QNAP System auf die zwei "langsamen" SATA SSDs im RAID1.

Schritt 2: Man aktiviert für das Caching die beiden NVME-SSDs (M.2)

Schritt 3: Man legt einen großen ZFS Datenpool mit RAID5 an

Wenn das hier auf Seite 1 schon die Empfehlung war, und ich jetzt auf der QNAP Seite vom Hersteller auch die Empfehlung bekomme werde ich es wohl genauso machen (wie auch von mir ursprünglich geplant).

"Tiered Storage" gibt es bei QuTS überhaupt nicht.

Und wenn ich bei Punkt 2 aufhöre, habe ich SSD-Cache für einen SSD-Pool?

Cache ist sinnlos und wenn überhaupt, dann wäre das Punkt 3.

Warum sollte es bei QNAP Quts Hero kein Tiered Storage geben, QNAP schreibt es ja sogar auf die eigene Homepage ?

Definition "tiered storage":

Mod: Zitat ohne Quellenangabe ... korrigiert! Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

Zitat von Storage Insider: Was ist Tiered Storage? (Diplom-Betriebswirtin Tina Billo)

Tiered Storage oder auch Storage Tiering steht für die Speicherung von Daten auf den unter Performance-, Kapazitäts-, Funktionalitäts- und Kostenaspekten jeweils am besten geeigneten Medientypen. Wo diese optimal aufgehoben sind, hängt von unterschiedlichen Faktoren ab. Hierzu zählen unter anderem Leistungs-, Verfügbarkeits-, Sicherheits- oder Wiederherstellungsanforderungen.

Und die Anleitung von QNAP beschreibt doch genau das, wie man die 3xMedientypen/3x Geschwindkeitsklassen für beste Performance einrichtet: Lahme HDDs, SATA-SSDs und NVME-SSDs. - Man macht die SATA-SSDs im RAID1 zu Systemplatten, die NVME-SSDs zu Cache-Platten und die echten HDDS zum Datengrab.

Auch die in der Anleitung gewählte Reihenfolge von QNAP macht Sinn, nämlich den SSD-Cache vor dem Datenpool anzulegen, denn das unterdrückt die SSD-Fehler-/Warnmeldung beim Erstellen des ZFS HDD-Datenpools wenn noch kein SSD-Cache eingerichtet ist.

Warum? Wahrscheinlich hat QNAP das nach dem Umstieg auf ZFS nicht hinbekommen. Vielleicht hatten sie es mal vor, aber es ist definitiv nicht vorhanden.

Bei QuTS gibt es nur einen Lese-Cache. Das eine Kopie, kein Verteilen der Daten (Tiering). Der Lese-Cache hilft nur, wenn Daten mehrfach hintereinander gelesen werden, der erste Lesevorgang ist sogar LANGSAMER.

binam Du machst es Dir etwas einfach, auf dem in Schritt 2 erwähnten NMVE-Pool liegt nicht nur ein Lese-Cache sondern zu allererst das viel wichtigere ZIL des ZFS. Also das Journal für diverse Aktionen...

Zitat von Wikipedia (ZFS-Artikel)

ZFS nutzt Copy-On-Write und ein Journal (ZIL, ZFS Intent Log). ZFS kann so zu jeder Zeit auf ein konsistentes Dateisystem zurückgreifen. Sicherungen und Rücksicherungen von Blöcken sowie Dateisystemprüfungen sind so bei Abbrüchen wie einem Stromausfall nicht nötig. Inkonsistenzen in Metadaten und Daten werden bei jedem Lesevorgang automatisch erkannt und bei redundanter Information soweit möglich automatisch korrigiert.

Für mich ist das ZIL hier von Bedeutung und nicht der Lese-Cache, es liegt aber beidem auf dem Pool. Man kann den Lese-Cache auch abschalten, dann liegt nur das ZIL da. Aber mein NVME-Pool ist groß genug (2x 500G), da kann auch ruhig der Cache noch an sein!

zil.jpg

Barungar ZIL macht bei mir auch keinen spürbaren Unterschied. Wobei merkst du es denn?

Du weißt aber schon das ZFS ein Filesystem für große Volumes und RAIDs ist. Auf einzelnen Festplatten und sowas macht es gar keinen Sinn und liefert auch keine Performance. Ganz im Gegenteil, erinnere ich mich an andere Anmerkungen von Dir aus einem anderen Thread, wo Du Probleme beschreibst, die ich noch nie hatte.

Könnte es einfach sein, dass QuTS und ZFS für Dich einfach komplett falsch sind? Ich habe einen Xeon Prozessor, 96 GB RAM, RAID6 mit 6x SATA-HDD, RAID1 mit 2x SATA-SSD und RAID0/1 mit 2x NVME-SSDs.

Und ich habe gute Performance, selbst meine HDDs kriegen die 10G Netzwerkkarte zum Glühen.

Zitat von Barungar

Könnte es einfach sein, dass QuTS und ZFS für Dich einfach komplett falsch sind?

Am Anfang habe ich das alles schon so genutzt, wie die QNAP-Werbung suggeriert. Also System, Cache und ZIL auf NVME SSDs, dazu 8x 18TB Exos im Raid 6.

Als erstes musste ich feststellen, dass es kein Tiering gibt, obwohl QNAP den Begriff an verschiedenen Stellen verwendet. Dann habe ich gemerkt, dass Cache und ZIL auf SSD keinen Unterschied macht. Virtualisierung und Container-Support funktioniert auch nicht so, wie ich mir das erhofft hatte.

Und dann die bekloppte Spiegelung des Betriebssystems auf alle Platten... Das mag in Zeiten von NAS mit 4x HDD sinnvoll gewesen sein, aber bei einer Kiste, in der man 10 SSDs und 12 HDDs installieren kann?

Von dem ganzen "Leistungsumfang" eines QNAP-NAS brauche ich vielleicht 10%, aber den Rest (inklusive Bugs) kann ich nur teilweise abstellen. Sicherheitstechnisch traue ich QNAP auch keinen Schritt mehr.

Ja, du hast recht, ich bin komplett falsch bei QNAP.

Zitat von binam

Sicherheitstechnisch traue ich QNAP auch keinen Schritt mehr.

Das ist schonmal ein erster guter Schritt... aber es fehlt noch ein Stück. Ich traue niemandem außer mir selbst... weder Microsoft, noch Cisco, QNAP, Intel oder sonst wem.

Für Sicherheit muss man selbst sorgen, da darf man sie nie auf irgendeine Firma verlassen.

Zitat von Barungar

da darf man sie nie auf irgendeine Firma verlassen

Das ist praktisch unmöglich. Dann dürfte man nur noch Open Source verwenden und müsste Zeit und Fähigkeiten haben, die selber zu prüfen.

Ich bin mir sicher, dass auch du das nicht kannst.

binam

Danke, ich komme soweit klar, dass ich sehr gut weiß, was bei mir im Netzwerk so passiert und was nicht. Ich bin seit Jahren im Bereich der IT Security tätig; und ich weiß, wie man mit no trust agiert, dafür braucht es auch kein Open Source.

So grad mal einen Test mit nem 1288x gemacht

- 16GB ECC RAM (ab Werk)

- 2x 1TB NVMe (System)

- 4x 1TB HDD (mix aus WD Blue und WD Red, hatte ich so rummfliegen) (HDD Pool RAIDZ)

- 4x 500GB SATA SSD (SSD Pool RAIDZ)

Kein Cache bisher eingerichtet

============================

Schreib-/Lesetest auf HDD Pool

pasted-from-clipboard.png

pasted-from-clipboard.png

Die Leseraten müssen vom RAM kommen, da fast nix von den HDD gelesen wird (die NVMe und SSD haben dabei keinen Traffic)

Beim Schreibtest sinds ca. 130MB\s pro Platte (sequentiell)

=============================================

Schreib-/Lesetest auf SSD Pool

pasted-from-clipboard.png

pasted-from-clipboard.png

Die gleichen Leseraten und wie zu erwarten, bessere Schreibraten.

Muss mal gucken ab wenn der Lesecache des RAM's 'überfordert' ist und direkt von HDD/SDD gelesen werden muss

Du hast mit 1G Chunks gemessen... wenn Du mit 64 GB Chunks misst, haben deine 16G RAM keine Chance mehr, dann muss er von HDD lesen.

Hatte ich ja am Schluss geschrieben .. ab welcher Chunksize wird der RAM dann nicht mehr verwendet. 2,4,8GB ? Wie gesagt .. werd ich mal testen.

Hier ist mal der 64GiB Test.. irgendwie immer noch schneller als gedacht.

HDD:

pasted-from-clipboard.png

Zitat von dolbyman

Hier ist mal der 64GiB Test.. irgendwie immer noch schneller als gedacht.

Könnte das an der Kompression von ZFS liegen?

Dedupe und Kompression sind aus

Habe mir den Thread jetzt 2x durchgelesen und ich denke folgende Verwendung der einzelnen Storage Pools macht bei einer Vollausstattung am meisten Sinn:

1.) NVME SSDs als RAID 1 oder RAID 10 (mittels QDA-U2MP) für System, ZIL und geg. Cache.

2.) SATA SSDs als RAID 1 für VMs und als Storage Pool für Datenbanken wegen besserer IOPS Performance.

3.) SATA HDs als RAID-Z1 oder RAID-Z2 für den großen Rest.

Hat man keine VMs und/oder große Datennbanken kann man 2.) auch weglassen.

Bei begrenztem Budget kann man 1.) weglassen und System und ZIL auf den SATA SSDs unterbringen. Dann sollte man aber den Cache deaktivieren.

1.) und 2.) aus Kostengründen weglassen macht wenig Sinn, da dann das NAS von Festplatte booten muss, was lange dauert, und die Festplatten dann auch nicht in den Ruhezustand gehen können, was unnötig Strom kostet.

Gibt es von euch Zustimmung oder habe ich was falsch verstanden oder nicht bedacht?

Zitat von Pete248

1.) und 2.) aus Kostengründen weglassen macht wenig Sinn, da dann das NAS von Festplatte booten muss, was lange dauert, und die Festplatten dann auch nicht in den Ruhezustand gehen können, was unnötig Strom kostet.

Nein, Das NAS bootet immer von allen Platten und Festplatten Standby wird hier auch nicht beeinflusst (wegen dem System auf allen Platten)

Zitat von Pete248

ZIL und geg. Cache.

Das ZIL ist vergleichsweise winzig, auch die kleinsten heute verfügbaren SSDs sind noch viel zu groß. QNAP erzeugt deshalb ein kleines RAID1 für das ZIL und macht aus dem Rest der SSDs ein RAID0 als Lesecache. Einen Schreibcache im klassischen Sinne gibt es bei ZFS ja nicht.

Ich würde da auch wirklich nur kleine SSDs für verwenden (bzw. verschwenden), denn der Wert dieses Lesecaches ist eher begrenzt, insbesondere, wenn man viel RAM hat. Und wenn man das NAS häufig neu startet, dann ist es noch sinnloser, denn der Cache wird dabei jedesmal geleert.

Zitat von dolbyman

Nein, Das NAS bootet immer von allen Platten und Festplatten Standby wird hier auch nicht beeinflusst (wegen dem System auf allen Platten)

Die Festplatten starten beim Booten aber das System wird doch von der SSD geladen, wenn es dort gespeichert ist, was automatisch passieren sollte, wenn der 1. Pool auf dem NVME SSD angelegt wird.

Linux Systeme schreiben auch permanent irgendwas in die Logfiles und wenn die zusammen mit dem System auf den Festplatten liegen, dann haben diese doch kaum eine Chance in Standby zu gehen.

Sind aber nur Gedankenspiele meinerseits, ich konnte das noch nicht ausprobieren. NAS ist zwar schon hier, die SSDs und Speicher fehlen noch.

Mod: Unnötiges Volltext-/Direktzitat gekürzt! Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

Zitat von binam

Ich würde da auch wirklich nur kleine SSDs für verwenden (bzw. verschwenden)

1TB ist preislich momentan der Sweetspot. Kleinere kosten kaum weniger. Welche Cachegröße wäre denn sinnvoll bei einem RAID-Z1 aus 5x 16TB HDs?

Evt. könnte man ja außer System und ZIL noch ein RAID 1 für VMs und Datenbanken auf den NVME SSDs unterbringen damit weniger Platz für den Cache übrig bleibt.