TS-h973AX-32G wie Cache richtig einstellen

  • Hallo liebe Qnaper,


    ich habe mir ein TS-h973AX-32G zugelegt. Dieses habe ich wie folgt bestückt:

    5 x 14TB WD Red Pro HD 3,5 zum Raid6

    2 x WD Gold Enterprise NVMe SSD 1,92 TB U.2 PCIe 3.1

    2 x WD Red SA500 NAS SSD 2 TB 2,5''


    Was ich absolut nicht durchblicke ist die Cach Beschleunigung.


    Ich habe nunr alle SSD's zusammen als "Lesecache und synchrones Ziel -E/A Schreibe Protokoll" eingestellt. Es gab auch noch eine Abfrage, aber die habe ich jetzt nicht mehr in Erinnerung.

    Ich grübel die ganze Zeit ob es nicht Sinn macht die SSD's unterschiedlichen Cache zuzuordnen.

    Nur welchen und wie?


    In der Anleitung konnte ich dazu nicht wirklich etwas finden, aber ich hoffe ihr wisst da die Lösung!

    Jetzt schon eimal Danke! :thumbup:

  • Hab das gleiche Modell nur ursprünglich mit 8GB Ram und dann selbst aufgerüstet und kann dazu nur sagen, alle Anleitungen dazu, selbst die bei QNAP selber beziehen sich immer auf QTS und nicht auf QTS hero. Bei QTS hero scheint es keinen richtigen Schreibcache zu geben. Entweder das ist mit ZFS nicht möglich oder es wurde noch nicht implementiert.

  • Bei ZFS wie es im QTShero anzutrefen ist wird dein Filesystem in 4 Schichten unterteilt:

    ARC: Dein schnelles RAM zur Tansaktion auf den CPU

    ZIL: Zetabyte Intend Log

    Level2 Cache: Cache der Transaktionsdaten

    Disc: Dein eigentlicher Storagepool


    Bei klassischen Journal Filesystemen wie EXT4, HFS, oder NTFS sind write und read zyklen von einer Disk/Raid jeweills wie eine Kette aufgebaut wie du es vom QTS kennst. (Disc Block -> Cache ->Deliver). Man spricht deshalb auch von den bekannten "write holes". In klassischen FIlesystemen kann es daher zu schweren Fehler oder verlusten der Daten kommen, wenn dir das Gerät aus unerklärlichen Gründen ausfällt weill es Beispielsweise keinen Strom mehr hat, da Daten bei einer Transaktion auch auf andere Filesysteme umgelagert werden (Buffer/Cache). Bei Journal Filesystemen sorgt dein Betribssystem für den Boost mit Cache der Daten. Dazu wird eine Metrik benutzt, die alle Transaktionen auflistet. Dein Betriebsystem misst dazu alle Transaktionen aus einem Filesystem und legt sie bei Bedarf auf einen separaten Cache Filesystem ab um schneller Daten liefern zu können und umgeht so deine konventionelle langsamere Harddisk.


    In Zettabyte Filesystemen wie es QTS Hero anbietet ist das etwas anderst. Der Ansatz liegt darin dein Filesystem wie eine Pyramide aufzubauen, dass keine "write holes" mehr entstehen. Dies wird dadurch erreicht, dass dein Zettabyte Filesystem ein sogennantes ZIL (Zetabyte Intend Log) enthaltet. Das Intendlog kannst du so wie eine Art Blockchain Datenbank verstehen. Im Grunde genommen also eine Datenbank, die alle Transaktionen ausführt und verwaltet und als einzige die Identigität besitzt wo was abgelegt wird.


    Da deine Block Transaktionen die du beim Lesen oder Schreiben aus der Disk/Raid durch das Intend Log verwaltet werden erreichst du nicht nur eine bessere Effizienz wie Beispielsweise (Deduplikation) sondern auch eine höhere Performance da der Cache ähnlich wie ein Ram benutzt wird.


    Bei QNAP ist es so, dass deine Disks die du bei der Initalisierung definierst dieses Intend Log beinhaltet. Es Empfielt sich daher etwas mit hoher I/O Leistung zu nehmen wie eine SSD oder MVE. Der Cache im Zettabyte System fungiert daher wie ein zusätzliches Level2 RAM, für die verarbeitung der Daten.


    ZFS Speichersysteme sind daher auch viel Ressourcenintensiver da immer alles Online und im "jetzt" passiert. Ich empfehle dir daher auch auf Dual Chanel RAM Architekturen zuzugreiffen und auf max RAM upzugraden um wirklich Speed rauszuhauen.


    Ich habe bei mir zwei TDS-16489 R2 SF2 R2 mit Duall Channel Ram im Einsatz mit QES und habe den Level2 Cache auch mit zwei Boosterkarten voll mit MVe ausgestattet um den RAM anständig zu füttern. Ich emfehle dir daher folgende Config auf deinem Gerät:


    2 x WD Red SA500 NAS SSD 2 TB 2,5'' als Systemdisk mit dem Intend Log

    5 x 14TB WD Red Pro HD 3,5 zum Raid6 oder als Raid 5

    2 x WD Gold Enterprise NVMe SSD 1,92 TB U.2 PCIe 3.1 als L2 Cache definiert

  • Da frag ich mich aber warum er beim SSD Cache erstellen nur 10 GB für ZIL verwendet und den kompletten Rest dann als Lese-Cache, dass macht dann ja absolut keinen Sinn. Die 10 GB sind da ja viel zu klein bemessen.

  • Das Intend Log vom ZFS Filesystem ist ja auch nur ein Filesystemregister und braucht proportional zum adressierten Speicherpool nur einen ganz kleinen Bruchteil zum adressierten der Gespeicherten Daten. Daher braucht es für das Intend Log auch keine wirklich grosse Disk sondern lieber mehrere schnelle Harddisk um dieses Filesystem Log effizient zu betreiben.


    Die Filesystem Log Grösse ist abhängig von deiner Adressierten Menge an Speicher als Volume. Beispiel du hast 42 TB als Volume erstellt. Und nimmst 128K Grosse Speicherblöcke für die Registereinträge dafür, dannn würde laut meiner Berechnung 21 Gigabyte genügen um 88080384 Sektoren (einer Disk oder eines Raid) an je 512 KByte zu vollständig zu adressieren. Da 42TB, 45097156608 KByte ergeben die bei deinem Modell auf 88080384 Harddisksektoren gespeichert werden.


    Ich denke daher das dein Intend Log nur 10GB an Daten aufweisst also eine realistische Grösse abbildet bei einer Volumen Auslastung um die 55-65% oder stehe ich da im unrecht?

    Da 14TB an 5 Disks im Raid 6 verbund 42 TB Brutto kapazität ergeben würden.


    Lieber eine investition für das Betreiben des Speicherregisters in kleine dafür schnelle Disks ausgeben um das Register bei der Initialisierung auf mehrere Harddisk verteillen zu können.


    Wie ich ZFS beobachte stimme ich dir deshalb zu dass einen sehr Grossen Teill des Caches nur zum Lesen da ist.

    Da ZFS als Filesystem eine Identigrität besitzen muss, wird vorausgesetzt das Daten die im Filesystem verwaltet werden auf ausserhalb stehende Datenträger des Filesystems bei writes gesperrt werden. Es ist daher so das deine Write Zyklen nur auf deine Disk Pools gehen die dem Filesystem untergeordnet sind. Der von Qnap eingesetzte Cache ist ein Globaler Systemcache für die Optimierung des QTS und nur bedinngt bestandteills deines ZFS Systems.


    Was ist dein Ziel für den Cache? Geht es dir darum etwas schnell lesen zu können oder schnell zu schreiben?


    Villeicht noch als kleiner Nachtrag: Bei der Grundinitialisierung machte ich mal einen Fehler und habe bei einer QTS Cloud Installation auf der VM nur 128 GB Adressiert. Das System meldete mir aber, dass midestens 200 GB für eine Installation des Systempools vorausgesetzt werden. Gutmöglich das es Bei QTS Hero ebenfalls der fall ist. Ich würde daher für die IL Träger 250GB SSD mit einer hohen IOPS Leistung verwenden.



    Ebenso zu beachten ist auch bei Storage auf einem System, dass man einen Unterschied machen muss zwischen Raid/Disk Durchsatz und Filesystem Durchsatz.


    Raid oder Disk Durchsatz lässt sich nur steigern in dem du:

    - Schnellere Harddisk Modelle nimmst

    - Mehre Hardddisk auf ein Raid verknüpfst

    - Den Raidlevel wechselst

    - Den Anschluss Typ vom Bus wechselst


    Filesystemdurchsatz ist abhängig von:

    - Filesystem bearbeitung und auslastung

    - Das Filesystem auf mehrere Storagepools zugreiffen kann

    - Ob dein Filesystem sich auf Cache und Bufferzonen beiziehen kann

    - Bei Reads oder Wirte einen linearen Blockbezug der Daten möglich ist.


    Da Qnap auf Softwareraid aufbaut ist zudem auch die allgemeine Belastung des Systems ausschlagggebend, da ein Betriebsystem die Ressourcen verwaltet.


    Ausschalgebend für eine Optimierte Leistung des Filesystemdurchsatzes ist daher dein Verhalten als Benutzer. Hast du viel auf deiner Qnap qespeichert das du einfach zum archivieren brauchst, dann brauchst du legidlich einen "Hot Träger" wie ein QTIER System. Solltest du aber viele abfragen aus deinem Archiv haben weill es darum geht was zu streamen oder Bilder auf deinem Rechner zu bearbeiten ist Cache das richtige.

    9 Mal editiert, zuletzt von bucherst ()

  • Das mit dem Systemspeicherpool war mir bei der Erstinstallation nicht klar, daher hab ich gestern nochmal alles gekickt und nun 2x1TB SSD´s zum Raid 1 Systemspeicherpool I und die 5xExos x18 18 TB im Raid 5 zum Speicherpool 2 erstellt.


    Sobald die QNAP U2 NVme Adapter von Cyberport geliefert werden, kommen dann noch 2x 2TB NVme SSD's als Cache ins System und gut ist.


    Ist schon eine tolles Maschinchen die TS-h973AX, vorallem das 10 Gbit NIC macht halt extrem Spaß, wenngleich ich derzeit beim kopieren von meinem Windows 10 Backup Speicherpool Rechner nur 180-200 MB/s habe, aber da limitiert einfach der PC. Von einer NVMe SSD hab ich da auch schon mit 700 MB/s auf das Raid 5 kopiert.


    Danke nochmal für die ausführlichen Erklärungen.

  • Bitte,soltest du auf der Qnap SSH aktiv haben kannst du sonnst mit folgendem Befehl dein Filesystem sowie Raid Durchsatz checken. Hier eine kleine Anleitung:

    1. Putty Downloaden: https://www.putty.org/

    2. SSH einloggen

    3. Solltest du das Console Management aktiv habe, einfach beenden mit: Q, dann Y

    4. Gib folgenden Befehel ein: qcli_storage -t force=1


    Die Auflistung zeigt dir:

    Throughput: Dein Raid/Disk Durchsatz

    FS_Throughput: Dein Filesystem Durchsatz


    Eventuell kannst du so dein gewünschtes noch etwas optimieren, indem du mit den Settings spielst, wie Systemcache Aktiv oder Innaktiv.


    180-200 ist noch etwas langsam, der Speed mit 5* einer Exos im Raid 5 Mode ergibt dir ca. 1000 MB/s Raid peak Durchsatz, da müsste also noch was passen. Mit welcher Protokollart greifst du darauf zu? SMB 1,2,3?


    Oder eine andere Frage zu deinem Volume: Greifft da nur ein Rechner darauf zu? Wenn ja, empfehle ich dir sonnst lieber eine Blockbasierte Variante wie ISCSI, da diese weniger Overhead hat.


    2 Mal editiert, zuletzt von bucherst ()

  • Uhi, Mega Danke für die Antworten.

    Ich bin nur als "Normal" user etwas überfodert, aber werde es wie Bork2K machen und alles noch mal platt machen und entsprechend installieren.

    Ich melde mich wenn ich nicht weiter komme :handbuch:


    Habe nun viel mehr kappiert und alles hat geklappt. Ich sage dankeschön!:sound:


    Bis zum nächsten Problem!:beer:


    Jetzt habe ich doch noch eine Frage.

    Auf der Systemdisk sind nun vom System ja direkt Freigabeordner erstellt worden.

    Unter anderem ja auch z.B. der Multimedia Ordner. Ich lege doch aber nun nicht die Multimedia Dartei in den Systemoder sondern auf den Speicherpool 2 mit dem Raid der HDD 14TB. Sind die Ordner auf der Systemplatte einfach zu löschen oder soll ich mit neue Namen für z.B. Multimedia ausdenken.

    Ich bin mir ja nicht sicher ob das System die Ordner zum Cache benutzt.

    2 Mal editiert, zuletzt von m.wecki ()

  • Du kannst unter: Systemsteuerung -> Benutzer -> Button: Startseite Ordner, die Standardordner auf dein " Grossen" Datenspeicher Pool Wechseln falls du die Standardfolder benötigst.


    Normalerweise installiere ich in den kleinen Datenpool "System" einfach alle Applikationen und lasse es für das System stehen damit die Leistung nicht für andere IOPS vorgänge gebraucht wird.

  • Danke dir, dass mit der Startseite Ordner war die Lösung auch für das Homes Thema, aber er hat die anderen Ordner nicht verschoben.

    Kann ich nun getrost aber die anderen Ordnern welche sich auf der Systemdisk befinden löschen oder? Sehe gerade ich kann sie nicht löschen. Was nun?

  • Normalerweise kannst du einmal deine qnap neu starten und die alten ordner löschen da die Default verklinkungen innativ werden.

    Natürlich aufgepasst vor Datenverlust, die Files in den standardordner würde ich rasch Backupen falls diese gelöscht werden damit du die Daten rückkopieren kannst.

  • oki, ich habe keine daten auf der NAS. Ich muss die eh noch von meiner alten NAS migrieren.

    Ich starte jetzt mal neu und hoffe das die Verlinkung dann aufgehoben ist.


    Ne sind weiter inaktiv, also nicht anzuwählen. habe das auch mit der startseite nochmal gemacht. die ordner sind weiter inaktiv also verlinkt.


    Übrigens Homes hat er auf den Speicherpool 2 gelegt aber die anderen Ordner nicht. Komisch?


    Ich glaube ich habe den Denkfehler gefunden. Das System legt die Ordner auf die Systemdisk aus dem Grund, weil Apps wie Dowload etc. ja auf der Systemdisk liegen sollen- Also macht es auch die dazugehörigen Ordner auf die Systemdisk. Mir soll es egal sein, dann nenn ich eben auf dem Volume 2 andersnamige Order an und gut ist!

    Den Homes Ordner legt er um, da dieser ja keine Apllikation am laufen hat aber Daten. Macht also schon Sinn, aber wäre nett wenn man dies wenigstens angezeigt bekommt.

    4 Mal editiert, zuletzt von m.wecki ()

  • Hallo allerseits,


    habe mein NAS noch nicht geliefert bekommen (TS-h973AX-32G) und warte täglich darauf, aber lese hier schon mal fleissig mit. Wollte eigentlich nur mal kurz erwähnen wie toll und professionell ich die Hilfestellungen hier finde.


    Gruß

    Michael

  • ich habe mir ein TS-h973AX-32G zugelegt

    habe das gleiche bestellt (am 17.02.2021 - warte noch auf Lieferung). Heute sind schon mal ein paar Kleinigkeiten gekommen: 2x m.2 NVMe to U.2 Converter (die U.2 sind mir zu teuer), 2x Crucial P2 M.2 2280 (1000GB) als Cache, 2x Crucial MX500 (1000GB) für VMs. Ferner habe ich noch 3x 12TB WD, 1x 10 TB WD (vermutlich WD RED, white label - stecken noch im externen Gehäuse).

  • Gestern habe ich endlich mein NAS erhalten und bin noch am erforschen und rantasten. Zum einen wurde mir heute morgen vorgeschlagen QTS 4.5.2 herunterladen zu können, dass ist jedoch erstmal zweitrangig für mich (das TS-h973AX arbeitet jedoch unter QuTS hero, hierzu muss ich mich aber erstmal weiter hier im Forum einlesen).


    Desweiteren habe ich mein NAS mit den bestellten und vorhanden Speicherlaufwerken bestückt. Im RAID 5-Verbund wollte mir das NAS aber meine Kapazität der Festplatten kappen (3x12TB und 1x 10TB) weshalb ich nun die 3x12TB in Schacht 1-3 und die 10TB in Schacht 5 (Speicherpool2) "installiert" habe. Schacht 4 werde ich dann demnächst mit einer weiteren 12TB-Festplatte bestücken und dem RAID (Speicherpool1) hinzufügen wenn das möglich ist?!?


    Die 2x1TB SSD in den 2,5"-Schächten 3 und 4 habe ich als RAID 1 (Speicherpool 3) zusammengefügt und diese habe ich ausschließlich für VM's eingeplant. Die 2,5"-Schächte 1 und 2 hatte ich mit Adaptern von ICY-Box (m.2 NVMe auf U.2) bestückt und hier befinden sich jeweile 1x 1TB Crucial P2. Jedoch wurden die Adapter und somit die darin befindlichen SSD's nicht erkannt weshalb ich mir noch QNAP QDA-UMP bestellt habe (die dürften ja dann funktionieren). Bis diese Adapter bei mir eintreffen kann ich als den Cache mit den NVMe's nicht einrichten und nutzen, verspreche mir davon jedoch einen ordentlichen Geschwindigkeitsvorteil gerade beim Kopieren von Dateien.


    Was mich nun zu meiner eigentlichen Frage bringt:


    Ich habe testweise eine Netzwerkfreigabe erstellt (diese funktioniert auch soweit und liegt auf Speicherpool 1 im RAID5) und habe große Videodateien von meinem alten NAS übers Netzwerk mittels meines PC auf die erstellte Freigabe kopiert. Auch wenn ich noch nicht einen Cache zur Verfügung habe war die Geschwindigkeit (mangels Switch ist das NAS momentan nur per Gigabit angebunden) nicht besonders gut mit ca. 25 MB/s.


    Was mache ich falsch oder kann ich besser machen?

    Was kann ich von dem Cache/mittels Cache erwarten (sobald ich die Adapter habe)?


    Vielen Dank im vorraus!


    Gruß

    Michael

  • Bis diese Adapter bei mir eintreffen kann ich als den Cache mit den NVMe's nicht einrichten und nutzen, verspreche mir davon jedoch einen ordentlichen Geschwindigkeitsvorteil gerade beim Kopieren von Dateien.

    Das glaube ich nicht, ZFS hat ja nur einen Lesecache Beim Kopieren in Richtung NAS wird es eher langsamer und in der anderen Richtung auch erst beim zweiten Lesen schneller.


    Was das Kopieren vom alten NAS über PC auf neues NAS angeht: Da sollten etwa 50-55 MB/s kommen, die Daten müssen ja zweimal über das Gigabit Netz.

    2 Mal editiert, zuletzt von binam ()

  • Was erwartest du, wenn der PC hier nur Relay ist und das alte NAS limitiert.


    ZFS ist nicht erweiterbar. Musst dann den Pool löschen, neu anlegen.

  • ZFS ist nicht erweiterbar. Musst dann den Pool löschen, neu anlegen.

    Sehr guter Hinweis, war mir bisher nicht bewusst. Also muss ich mit dem "Befüllen" des NAS am besten noch etwas warten bis ich mir noch die letzte 12TB-HDD geholt habe zusammen mit einem neuen Switch. Vielen Dank für deine Antwort!

  • Also die Performance ist ganz okay. Das mit dem Cache hab ich mir geschenkt, da ich Lese-Caches nicht brauche.


    Am Anfang hat er aufs Raid 5, bestehend aus 5x18 TB Seagate Exos, mit 700 mb/s geschrieben und 950-1000 MB/s gelesen. Nachdem das Raid nun zu 45% gefüllt ist, bin ich noch bei 500-550 MB/s schreibend. Lesend ist immernoch volle Geschwindigkeit angesagt.


    Schade ist, dass derzeit eine meiner beiden 2TB NVme SSD's brach liegt, da es QNAP geschafft hat mit dem QuTS hero 4.5.2 Update iSCSI zu bricken. Es wird zwar noch alles korrekt angezeigt, jedoch bekommt Windows einfach keine Verbindung mehr zum Volumen. Vor dem Update hat es Problemlos funktioniert.


    Die 2. NVme SSD wird nun für QVR Elite genutzt, da eine Aufnahme auf dem HDD's gruselige Dauergeräusche bei den Platten erzeugt hat. :)


    Was das Thema VM's angeht, da hab ich mir wohl einfach zuviel versprochen vom kleinen Ryzen Prozessor. Linux Mint mit xfce läuft noch ganz okay, aber Windows 10 ist weit von entfernt flüssig zu laufen. Nun gut, dafür hab ich mir jetzt einen separaten Server auf Unraid Basis zusammengeschraubt mit einem Ryzen 5950X da macht VM endlich Spaß drauf.