NAS (TS-473A) mit Cache langsamer als ohne

    Hallo,


    dies ist mein erster Post, ich habe selbst schon probiert auf die Lösung zu kommen, aber so richtig Sinn ergibt die Sache für mich noch nicht. Vielleicht kann mir ja geholfen werden. Da ich hier allerdings schon etwas gelesen habe gleich mal vorab die Punkte, die zwar nichts mit dem Thema zu tun haben aber dennoch immer wieder angesprochen werden: Ja, ich habe ein Backup von meinem Nas, ja, ich habe noch ein Backup außer Haus und ja, ich weiß wie ich es durchführe und wie ich es wieder einspiele.

    Gut, zurück zum Thema.

    Ziel war es, alle Datein des PCs auf dem NAS so gespeichert zu haben, dass man direkt auf dem NAS Fotos bearbeiten kann, ohne Geschwindigkeitseinbußen spüren zu müssen. Vor dem 473A hatte ich einen 1Gbit NAS und bin das langsame Netzwerk mit QSync "umgangen", was aber haufenweiße Synchronisationsfehler und ewig lange Warteschleifen zur Folge hatte. Für das Macbook mag Qsync weiterhin in Ordnung sein, der PC sollte aber direkt auf Netzwerklaufwerken arbeiten.

    Das ganze sollte kein Vermögen kosten und natürlich wurde auch eine Übertragungsgeschwindigkeit von 10Gbit angestrebt.

    Welche Punkte habe ich also beachtet:

    - Netzwerkverbindung: Hier kommen sowohl im PC als auch im NAS Mellanox SFP+ Karten zum Einsatz, welche wunderbar funktionieren

    - Speichergeschwindigkeit. Hier habe ich 4 SSDs im Raid 10 gewählt. Warum? Raid 5 soll bei SSDs immer wieder Probleme machen bezüglich einzelnen kaputten Speicherzellen und ich benötige nicht so sehr viel Speicher, meine 4 SSDs haben 2TB, also 4TB im Raid 10 und das sollte auch lange ausreichend sein. Wenn es wirklich mehr würde, würde ich das Archiv auf einen anderen NAS mit Festplatten auslagern. Raid 10 sollte außerdem bei Schreiben und Lesen meine Schnellste Option sein. Lesen hätte ich mit so 900MB/s gerechnet und Schreiben dachte ich würden sich eher Geschwindigkeiten um die 700MB bei größeren Datein einstellen.

    - Rechenleistung. Das war der schwierigste Punkt. Ja, für 2000€ bekomme ich ein NAS mit i5, das ist bestimmt besser, aber was ist das schnellste, das ich unter 1000€ bekomme? Ich muss die Spielerei hier schließlich auch vor der Frau rechtfertigen - meiner Recherche nach der AMD v1500B. Alternativ hat mich auch das günstige TS-932PX mit dem mysteriösen Amazon Prozessor angelacht, aber das habe ich aufgrund der schlechteren Erweiterbarkeit liegen lassen. Ein Fehler? Hierzu gleich mehr.

    - NVME-Cache. Der Gedanke war recht einfach. Wenn der Raid 10 unter dem AMD Prozessor mit 700MB/s befeuert werden kann, dann bau ich doch einfach eine NVME als Schreib Cache ein, da haut er alles drauf und für die ersten 50GB habe ich dann problemlos meine Netzwerkverbindung ausgelastet.


    Aber das funktioniert nicht.


    Ich habe die NVME SSD auch bewusst nicht in einen der PCI-E x1 Slots gesteckt, die das TS-473A von Haus aus mitbringt (mal im ernst, wer kommt überhaupt auf die bescheidene Idee, solche Steckplätze zu integrieren), sondern einen günstigen PCI-e x4 auf NVME Adapter gekauft und damit den zweiten Erweiterungsslot neben der Netzwerkkarte belegt.


    Also Raid 10 mit ausschließlich 550mbit schreibenden SSDs, eine 3GB/s schreibende NVME SSD im 4GB/s schnellen PCI-e slot - sollte alles bestmöglich vorbereitet sein.


    Als ganz einfachen Test habe ich dann einfach von meinem Windows PC ein paar Ordner hin und her kopiert. Dass Ordner mit vielen kleinen Datein wie Musik oder Fotos nicht auf voller Geschwindigkeit laufen ist klar, das packt der Prozessor nicht, aber bei meinem Filmeordner hatte ich das mit oben genanntem Setup schon erwartet aber gut, der AMD Chip ist eben kein I5.


    Was ich allerdings nie erwartet hätte ist, dass das NAS mit NVME-SSD LANGSAMER ist als ohne.

    Ohne Cache, rein der SSD Raid 10 gibt mir im Lesen überraschenderweise sogar 1GB/s und im Schreiben ca. 750MB/s. Durchaus gute Werte wie ich finde. Mit NVME Cache sieht die Sache anders aus. Lesen habe ich genauso ca. 1GB/s. Schreiben wiederum habe ich für ein paar wenige Sekunden, wie eigentlich dauerhaft erwartet, ca. 1GB/s. Das bricht allerdings sehr schnell auf 500MB/s oder sogar weniger ein, bei denselben Datein. Umso kleiner die Datein in den Ordnern, umso mehr gleichen sich die Geschwindigkeiten an. Einen Fall, in dem das NAS mit Cache reproduzierbar schneller ist oder wirkt habe ich nicht gefunden.


    Eine Vermutung hatte ich, dass die NVME SSD oben an den Mellanox Adapter ohne aktive Kühlung überhitzt und das drosseln anfängt. Allerdings gibt mir das NAS für die SSD Temperaturen im Bereich von ca. 45°C - da drosselt nichts. Wie sekundengenau die Temperaturen übertragen werden in der Weboberfläche weiß ich nicht, ich habe allerdings keine Temperaturen sehen können die auf eine Drosselung hinweisen würden.


    Ansonsten fällt mir nur noch ein, dass der Prozessor mit NVME Schreiben + NVME Lesen + Raid 10 schreiben derart mehr belastet ist, trotz der 8 Threads, dass er hier limitierend wirkt. Das würde allerdings nicht erklären, warum sich die Geschwindigkeiten bei vielen kleinen Datein angleichen. Dort müsste eigentlich dann die Differenz noch größer sein.


    RAM habe ich übrigens 16GB verbaut. Allerdings hätte ich mir das wohl sparen können, der RAM scheint meistens sehr unausgelastet zu sein, da hätten es die 8gb auch getan die von haus aus drin waren.


    So, meine Frage, gibt es noch Hoffnung, mit der Cache SSD auf mehr Geschwindigkeit zu kommen? Andere Ideen? Wäre es am Ende doch besser gewesen, fürs gleiche Geld das TS-932PX mit 6 SSDs im Raid 10 zu kaufen und neben mehr Geschwindigkeit auch noch mehr Speicher zu haben?


    Ich bin nicht gänzlich unzufrieden, 750MB/s reale Datenübertragung ist jetzt nichts wofür sich das TS-473A schämen sollte, ich würde nur erwarten, dass ich aus dem Cache mehr rausholen können sollte. Als Betriebssystem habe ich übrigens nicht Hero gewählt, da das wohl etwas Leistung schlucken soll und da der AMD von Anfang an als womöglicher Flaschenhals ausgemacht wurde, sollte es das normale QTS werden.


    Wer gute Tipps hat - gerne her damit, die NVME SSD kann nicht mehr zurück gegeben werden, jetzt soll sie wenigstens einen Sinn bekommen.

    Ich habe ein TS-673A und finde die Performance, speziell auch bei Dateioperation, ebenfalls durchwachsen. Ich habe z.Zt. noch QTS 4.5.4.1723, das 5.x ist mir einfach zu gurkig derzeit. Mal davon abgesehen, dass ich mir auch noch was anderes für den weggefallenen USB Druckersupport einfallen lassen müsste. Aber zurück zum Thema: allgemein waren die im Forum zu lesenden Effekte des Caches irgenwie nie so, dass man einen deutlichen Schub erwartet hätte. Ich habe 2 M2 in den internen Steckplätzen für das System und noch eine einzelne SSD für VMs. Insofern würde ich einfach die Cache SSDs als normales Volume betreiben. Entweder separat oder als Teil eines Speicherpools. Die Frage ist ja, was für Anwendungen Du hast. Eine persönliche Vermutung von mir ist, dass die Indexer Dienste ziemlich bremsen, sobald sie was zu zun haben. Zumindest ist mein Eindruck, dass das NAS nach dem kopieren von neuen Fotos eine Weile spürbar träger reagiert. Speziell auch auf den Volumes, wo die Fotos liegen. Das ist aber reines Bauchgefühl. Vielleicht solltest Du mal interessehalber alle Mediendienste und was dranhängt abschalten und Deinen Test nochmal fahren.

    Ich habe für meine Firma auch mal ein TS-1685 angeschafft, was ja ein ziemlicher Klopper ist, wenn auch schon etwas in die Jahre gekommen. Aber selbst da habe ich mich manchmal über die eher mäßige Geschwindigkeit, speziell auch der Weboberfläche, gewundert. Ich hab allerdings nie Feldstudien zu dem Thema betrieben, weil es im Alltag sich nicht so störend bemerkbar gemacht hat. Was ich allerdings merke istl, dass der Windows Explorer manchmal sekundenlang hängt beim Zugriff auf Shares. Das scheint aber nicht bei jedem Rechner gleich zu sein. Aber ich hatte auch keine Zeit bisher, dem ernsthaft auf den Grund zu gehen.

    Ach der USB-Drucker funktioniert nicht mehr? gut dann muss da jetzt wohl die Fritzbox herhalten... Habe nicht viel zu drucken und mich daher noch nicht drum gekümmert... Aber das soll das Problem nicht sein.

    System auf den SSDs, das System ist an sich doch immer auf allen Platten, oder? Da ich ausschließlich SSDs drin habe, hätte ich da ja keinen Vorteil. Wenn es ginge, wäre das tatsächlich eine Option, die SSD Lebensdauer als reine System- und Apps-Platte sollte abgesehen von unerwarteten defekten ja quasi das ewige Leben haben. Ob man sich allerdings den Stress antun möchte, alles neu aufsetzen zu müssen, auch wenn die Daten sicher sind, wenn die eine Platte doch stirbt sei mal dahingestellt... Einzelne Apps lassen sich sicher verschieben, das ist natürlich besser als nichts. Derzeit bin ich bei aktiviertem Cache ja schlechter als nichts, weshalb er ja deaktiviert ist.


    Das die Foto Verarbeitung interne Ressourcen verbraucht ist mir auch schon aufgefallen, aber das sollte nichts damit zu tun haben, dass er beim Schreiben auf den Cache langsamer ist als beim Schreiben auf den Raid. VMs hab ich mir auch schön öfters überlegt - ich brauch nur leider einfach keine.


    Das der Win Explorer hängt beim Zugriff habe ich eigentlich bei allen Qnap NAS gehabt, wenn die Daten auf mechanischen Festplatten liegen und eine Zeit lang nicht genutzt wurden.


    Es ist einfach schade, dass man wirkliche Rechenleistung erst für deutlich mehr Geld bekommt. Das müsste doch eigentlich nicht sein, so teuer sind die Prozessoren nicht. Aber ohne Konkurrenz tut sich da wohl nichts. Alleine, dass der V1500b der aktuelle Prozessor ist - auf Zen1 Architektur basierend. Das war im PC Bereich das Jahr 2017. Wir haben 2022, da gab es sowohl auf AMD als auch auf Intel Seite gewaltige Schritte wenn man sich das ansieht, was gerade aktuell ist. Aber das ist ein anderes Thema.

    Zitat von KoehlerM91

    , dass er beim Schreiben auf den Cache langsamer ist als beim Schreiben auf den Raid. VMs hab ich mir auch schön öfters überlegt - ich brauch nur leider einfach keine.

    Naja, der Cache ergibt ja eigentlich auch nur für mechanische HDDs Sinn. Die einfachen großen SSDs haben ja dann teilweise schon wieder recht langsamen Flash, so dass sie teilweise sogar von mechanischen Platten wenigstens in der Dauertransferrate überflügelt werden. Zumindest habe ich sowas im Hinterkopf. Man weiß halt nicht, welche Annahmen der Cache Algorithmus im Hintergrund so macht. Bei meiner TS-673A habe ich auch ziemlich miese IOPS festgestellt, aber die Gründe sind natürlich völlig intransparent. VMs find ich schon sehr praktisch und einfach handelbar als Container. Und man kann sie auch leicht zwischen NAS und sogar PCs migririeren. Ich habe da den Pi-Hole Adblocker, ein Wiki und Homeassistant für die Heimautomation am laufen. Das geht sehr gut.


    Zitat von KoehlerM91

    as der Win Explorer hängt beim Zugriff habe ich eigentlich bei allen Qnap NAS gehabt, wenn die Daten auf mechanischen Festplatten liegen und eine Zeit lang nicht genutzt wurden.

    Dann bist Du einer der wenigen, bei dem der Spindown tatsächlich funktioniert. Bei mir ist das aber glaube ich ein anderes Problem. Ich nutze auch den Domaincontroller, aber auch ohne hat es schon immer wieder Gedenksekunden gegeben. Das muss eher ein Netzwerkproblem sein, aber ich habe nicht den Nerv, dem wirklich auf den Grund zu gehen.



    Zitat von KoehlerM91

    Es ist einfach schade, dass man wirkliche Rechenleistung erst für deutlich mehr Geld bekommt.

    Naja, das ist nicht verwunderlich. Von der Hardwarekosten her würdest du mit einem beliebigen Mini Barebone immer wesentlich mehr Power bekommen. Du zahlst halt die Softwareentwicklung über die Hardware mit. Was ja grundsätzlich auch ok ist. Nervig ist bloss die Tendenz der letzten Jahre, bestehende Funktionalitäten einfach so ohne Ankündigung zu verkrüppeln, anstelle einfach die Apps in einen Wartungsmodus zu versetzen und die "Premium" Varianten separat gegen Geld anzubieten.

    @KoehlerM91


    Mit was für einem Tool hast du denn deine Zahlen erstellt und mit welcher Paketgröße?


    Ich hatte auch mit Cache gespielt und wieder abgeschaltet, weil der Effekt nicht spürbar war und sogar die Übertragungsraten schlechter wurden.

    Mod: Unnötiges Volltext-/Direktzitat entfernt! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

    Gar keines, einfach Ordner mit Daten von meinem mit 10gbit angebundenen Windows PC hin und her geschoben. Mir ist natürlich klar, dass ich damit keinerlei Vergleich habe zu anderen Systemen, aber ich kann ja dennoch bemerken, dass der Ordner deutlich schneller von der Windows NVME SSD aufs NAS Laufwerk kopiert ist, wenn der Cache im qnap deaktiviert ist.

    Welches Tool bietet sich denn an um vergleichbare Werte zu bekommen?

    Wenn du SSDs im Raid 10 hast, dann liegt die Geschwindigkeit des Raid oberhalb der Geschwindigkeit von 10GbE. Daher bringt in dieser Kombination ein Cache gar nichts, sondern erhöht nur die Komplexität und führt zu zusätzlichen Schreib- und Lesezugriffen, sobald zwischen Cache und anderen SSDs umgeschaufelt werden muss.


    Deswegen überrascht mich dein Ergebnis überhaupt nicht. Nimm den Cache raus und nutze die SSD anderweitig oder verkaufe sie. Die ohne Cache bei dir erzielte Geschwindigkeit ist sehr gut. Weitere Erhöhungen der Geschwindigkeit wären nur messtechnisch, nicht aber in der Praxis bemerkbar.

    Ich habe jetzt Helios durchlaufen lassen und verstehe weniger als zuvor.

    Was mich am meisten irritiert hat, ich habe die NAS Systemdaten nebenher offen gehabt und die CPU chillt bei 17%, Ram ist quasi Leer und sämtliche SSDs kommen kauf auf Betriebstemperatur - wo ist denn dann hier er Flaschenhals?

    mit Cache Raid10.pdfohne Cache Raid10.pdfCPU-Auslastung niedrig, Temperaturen niedrig.png


    Dann habe ich mir gedacht ok, vielleicht ist jetzt etwas anders, immerhin hatte ich die Cache SSD mittlerweile komplett herausgetrennt und musste sie erst wieder als Cache definieren. Also nochmal Ordner mit Inhalt vom PC auf den NAS Kopiert und wieder 1,5 mal so schnell OHNE Cache.

    Schreiben ohne Cache.pngSchreiben mit Cache.png


    Was mich jetzt natürlich irritiert, warum gibt mir Helios absolut identische Werte, wenn ich dann aber "wirklich" Datein von A nach B schiebe habe ich diese großen unterschiede? Spricht für mich nicht dafür, dass die Werte, die das Programm gibt, sehr realitätsnah sind.



    Anthracite


    Raid 10 mit 4 Sata SSDs oberhalb von 10Gbit? Ist es nicht so, dass ich im Perfekten Fall ohne jeglichen Overhead gerade so an die grenze von 10Gbit kommen könnte? Und das nur vorausgesetzt, Das Raid 0 gibt wirklich exakt 2xSata Geschwindigkeit, was es wohl nie geben wird. Daher war schon der Gedanke, dass ich deutlich schneller sein müsste, wenn das NAS "einfach" ohne Raid und ohne Ordnung auf die NVME SSD rein knallt, eben da hätte ich erwartet, dass ich die Verbindung auslaste.


    Was ich auch nicht ganz verstehe, das 3GB File aus dem Helios Test wird mit ca. 500MB/s geschrieben, mein Ordner mit Videos, die in der Regel kleiner sind als 3GB schreibt mit 750MB/s, das macht auch wenig Sinn. Am wenigsten aber, dass ich erwartet hatte, die CPU würde an die grenze kommen während sie bei 16% vor sich hin rechnet.


    Wo in meiner Kette ist also das Loch am kleinsten? Wenn es nicht die CPU ist, nicht die SSDs sind, die im RAID-10 als auch als NVME leicht mehr Leistung haben und auch nicht die Netzwerkverbindung - wo gehen 500MB/s verloren?





    EDIT:


    direkt nochmal ein Nachtrag von mir.


    Ich habe jetzt den Cache auf Nur Schreiben gestellt. beim Lesen bringt er ohnehin keine Vorteile, da habe ich ja volle Geschwindigkeit und so kann ich ausschließen, dass es dort Komplikationen gibt. Dann habe ich wieder das Spielchen gemacht mit Ordner vom Nas kopieren und dann Ordner zurück aufs Nas kopieren. Interessant hierbei der Auszug vom Ressourcenmonitor:

    Cache auf nur Schreiben, Diskaktivität.png


    Wie es scheint wurde während des Kopierens des Ordners tatsächlich NUR die NVME beschrieben, es erfolgt kein gleichzeitiges Lesen der NVME und Schreiben auf den Raid. Erst als der Schreibvorgang zuende war hat das Nas begonnen, die gecachten Datein auf den Raid zu schreiben.


    Das macht das ganze aber nicht weniger nachvollziehbar, eigentlich sollten also alle Ressourcen da sein um die Daten auf die NVME zu schreiben. Angebunden mit PCI-ex4 und als Einzeldisk muss da doch mehr drin sein als 5mm MB, wenn der gleiche Kopiervorgang auf 4 Sata SSDs im Raif 10 mit 750 geht. Dass es an der NVME liegt kann ich mir kaum vorstellen. Mir ist bewusst, dass SSDs die angegebene Geschwindigkeit nicht halten können, dass sie erst einen Cache haben, dann SLC und danach auf TLS schreiben. Aber zumindest für eine Weile sollte ich ja Problemlos über 500MB/s kommen.


    Für was stehen eigentlich die Zahlen im Ressourcenmonitor ohne Einheit? Also die Zahl/s?

    2 Mal editiert, zuletzt von KoehlerM91 ()

    So kleines Update - Ich löse auf:


    Wie so oft saß das Problem zumindest zum Teil vor dem Bildschirm. Das war nämlich ich bzw. mein naiver Glaube, eine NVME-SSD müsste doch absolut Problemlos 1GB/s schreiben ohne wenn und aber.


    Gekauft hatte ich eine 500GB Kingston NV1. Ich dachte auch mit TLC, diese Info war allerdings schon etwas veraltet, mittlerweile werden diese SSDs völlig ohne Cache und mit QLC ausgeliefert. Trotzdem war mein Gedanke noch "nur 500MB/s nach wenigen Sekunden, das kann doch nicht sein".

    Der erste Test war, die Cache SSD komplett zu leeren und dann einen Kopiertest aufs NAS durchzuführen. Tatsächlich hat das dazu geführt, dass ich über eine längere Zeit mit 900-1000MB/s geschrieben habe. Auch nur ca. 10 Sekunden, aber immerhin. Als die SSD dann voller wurde, war ich sofort beim gewohnten Ergebnis zurück, für 2-3 Sekunden schnell, dann 500MB/s. Der nächst Schritt war dann, diese SSD an meinen Windows PC anzuschließen und dort den Ordner drauf zu kopieren und wie zu diesem Zeitpunkt befürchtet, hatte ich genau die gleichen niedrigen Schreibgeschwindigkeiten.


    Also was lernen wir daraus? Nur weil NVME drauf steht muss nicht schnell drin sein. Hat sicher der ein oder andere schon gewusst, ich schreibe das jetzt doch als Warnung für diejenigen, die dachten zumindest 1GB/s muss doch drin sein. Offensichtlich wird mit den 500MB/s auch nur herausgezögert, dass man nicht so schnell in den Bereich kommt in dem direkt der QLC beschrieben wird. Soweit war ich noch nicht, da würde ich aber wohl Geschwindigkeiten weit unterhalb einer HDD zu erwarten haben.


    Jetzt zur interessanten Frage, wie schnell ist denn das NAS nun mit einer guten NVME? Nunja, das konnte ich so teilweise testen. Ich besitze außer der Kingston leider nur die NVME, die meinen PC Betreibt. Eine WD Black 750. Die sollte problemlos konstant 10Gbit auslasten können. Aber werde ich mein Windows System nur zum Test von der 1TB WD SSD auf die billige 500MB Kingston kopieren? Ja, das habe ich getan und die WD als Cache verbaut und was soll ich sagen - Vom NAS auf den PC Kopieren geht nunmehr mit nur noch 500MB/s - weil mein PC, auf dem ich gerade schreibe jetzt limitiert ist und anders herum erreiche ich tatsächlich mit meinem Filme-Ordner Geschwindigkeiten von durchgängig 900MB-1GB/s im Schreiben auf dem NAS.


    Helios Lantest gibt wieder exakt die gleichen Werte, die er in jeder anderen bisher getesteten Version gegeben hat, Lantest lokal auf der Kingston liefert werte zwischen 1700MB und 400MB bunt gemischt in den 10 Durchläufen, also wenig aussagekräftig.


    Ich werde nun dennoch die WD wieder zurück in den PC bauen und die schlechte Kingston NVME im NAS als Laufwerk einbinden um darauf vielleicht ein paar Apps auszulagern oder mal mit VMs zu experimentieren. Der Grund ist recht einfach erklärt, die Schreibgeschwindigkeit bei einfach zu schreibenden großen Datein geht tatsächlich nach oben bis zur Auslastung des 10Gbit Netzwerks. Allerdings wird der Unterschied kleiner, umso kleiner die zu kopierenden Dateien sind.

    Alles, was sich im Bereich unterhalb 500MB/s befindet ist nahezu identisch und scheint von anderen Dingen limitiert zu werden. Ich würde vermuten die CPU, allerdings habe ich die wohl noch nie über 50% oder gar 40% gesehen... eventuell gibt`s da ja noch optimierungspotential für zukünftige Updates.

    Für 200MB mehr write-performance in manchen Szenarien, die real gar nicht so oft vorkommen ist es mir das also einfach nicht wert, der NAS wird also zukünftig ohne Cache betrieben. Er ist aber dennoch, wie eigentlich auch zu erwarten gewesen wäre, mit NVME Cache schneller als ohne. Voraussetzung ist hier jedoch eine gute SSD.


    Jetzt muss ich mich erstmal um andere NAS Probleme kümmern, durch das viele SSD Wechseln, neu beschreiben, Betriebssystemkopieren etc. habe ich wohl irgendwas geschossen, mein TS-473A ist derzeit auf jeden Fall nicht erreichbar, obwohl die Netzwerkverbindung, die ich in diesem Moment mit meinem WIN-PC nutze über den virtuellen Switch des NAS geleitet wird und offensichtlich noch funktioniert. Ich hoffe mal, ein Neustart wird das beheben und ich habe mir nicht irgendwas ernsthaftes kaputt gemacht.