Lese/Schreib Cache komisches verhalten bei Perfomance

  • Hier noch mein Ergebnis mit Schreib(?)/Lese-Cache zufällige E/A (1MB), ok die geringere Schreibrate, könnte ich noch auf die HDDs zurückführen, allerdings geht man doch davon aus, das der Schreibcache erst mal alles nimmt was kommt, scheint aber nicht so zu sein. ..... werde morgen nochmal einen Test machen mit dem anderen Cachemodus machen. :)

  • Deine Seq Read Werte sind gut. Deine Write Werte sind sogar schlechter als meine.

    Und die 4K Werte sind alles andere als gut. Danke für die Werte und das Bild. :)

  • Hier noch eine Messung mit dem Cachemodus Lesen/Schreiben, alle E/A - Raid 1 und

    dem Cachemodus Lesen, zufällige E/A (8MB) hier aber als RAID 0.:huh:


    Die 2 Crucial 256 GB m.2 SSD sind per SATA auf der 10GBE-Karte angebunden


    Das RAID 0 bringt also eigentlich gar nix, das finde ich schon erschreckend.

    Das ist nun der reine Durchsatz, die Performance der Virtuellen Maschinen habe ich jetzt nicht getestet.

    Die Frage ist nun, ist das Qtier nun so schnell, dass man keinen Cache mehr braucht?:/

    Ist das Softwareraid so Leistungshunrig?

  • So heute ist mein neues Thunderbolt Kabel angekommen und war beim verbinden erstmal verwundert warum er mein Nas nicht findet, habe min 20 mal PC hoch runtergefahren und hatte immer noch keine Verbindung. Habe dann im Internet nach gegoogelt und da stand so lange ein 10G oder ein 1G RJ45 oder SFP+ Kabel im Nas steckt findet er kein Thunderbolt und hat Routing Probleme, also alle Netzwerk Stecker raus und schon ging die Thunderbolt Verbindung. Das ist aber ein echt behinderter Bug.


    Also ich habe jetzt mal ein Speed test mit Thunderbolt gemacht und da schaut es schon interessanter aus.

    Die Seq schreib/lese Werte sind extrem gestiegen und die 4K Werte bis auf Q1T1 auch leicht.


    Ich muss noch ein wenig rumprobieren, aber mit Thundervolt verhält sich das Nas ganz anders bei mir als mit 1G und 10G Rj45.

    Thunderbolt.PNG


    Edit: Habe jetzt mal mit zufällige E/A 32 MB Block getestet mit Thunderbolt und da fallen die 4KiB Q8TB schreib Werte schon besser aus, dafür sind die seq Werte schreiben wie lesen schlechter. :/


    Zufällige EA 32MB Thunderbolt.PNG

    Einmal editiert, zuletzt von Ceiber3 ()

  • Irgendwie werde ich das gefühl nicht los, dass wenn man Ein richtiges 10GBit NAS haben will mit richtiger Hardware und FreeNAS besser fährt.

    Hat da halt nicht den ganzen Spielstand aber dafür Power.


    Irgendwie verballern die Dinger die ganze Rohleistung oder lassen die brach liegen.

    Sind irgendwie zu viel mit der Selbstverwaltung beschäftigt.


    Das Thunderbold schneller ist leuchtet ein, da fehlt der Netzwekstack der bremst.

    Aber die Leistung ist immer noch nicht das gehen müsste.

  • Hier jetzt nochmal mit 2MB Cache Block größe, damit haben sich gerade die schreibe Werte wieder extrem verschlechtert. ;(


    Thunderbolt mit 2MB Block Cache.PNG


    Also so wie es aussschaut ist momentan die Einstellung: Alle E/A Lesen/Schreiben von der Perfomance am besten.

    Aber wie Crazyhorse schreibt sind halt gerade die 4K IOPS Werte weit unter dem Wert wo sie ein müssten.


    Und jo Crazyhorse, ich habe mir das Nas extra für schnelle IOPS gekauft, also wegen den 2x PCIe NVMe Plätze für Cache. Habe mir da sehr viel mehr Perfomance erhoft. Ich bin mega enttäuscht von der Performance. Was bringt mir ein schneller Prozessor oder Ram wenn die Daten nicht schnell genug verarbeitet werden. Habe nen Kumpel auch schon geschrieben das warscheinlich ne 600 bis 1000€ selbstbau Maschine als Beispiel mit ESXI und Solaris/ZFS um welten schneller Arbeitet als mein Qnap Nas was mit Ram, Fernbedinung um die 2000€ kostet. :(


    Die Seq Wete sind ja OK, aber die braucht man nur für große Files, und bei kleinen Files wie Datenbanken oder viele kleine Musik Files oder allgemein kleine Files kackt es komplett ab. So was bringt mich manchmal echt zum nachdenken ob ich es nicht doch wieder verkaufe und dafür auf was mit entsprechender Performance setze wie FreeNAS und co...


    Ich frag mich was Qnap da verkackt hat das die Perfomance schlechter ist als unter Windows. Linux steht eigentlich für extrem gute Perfomance gegenüber Windows, daher verstehe ich das überhaupt nicht. ||


    Edit:

    Hier noch ein Test mit allen E/A und 0% Over-Provisioning beipsielsweise ohne Over-Provisioning.

    Thunderbolt mit allen EA und ohne Over-Provisioning.PNG

    4 Mal editiert, zuletzt von Ceiber3 ()

  • Wenn du es noch zurück geben kannst, dann denke ernsthaft drüber nach bevor du über Jahre unzufrieden bist. Damit tust du dir keinen Gefallen.

    Nichts ist schlimmer wir immer mit dem Hintergedanken (warum nur warum nur) leben zu müssen.

  • Ich mag das Qnap Nas halt schon sehr, daher mag ich es ja eigentlich auch behalten.

    Ich habe mal beim Qnap Support gefragt woran das liegt und das ich das nicht verstehe. :)


    Edit: Hab mal mein Notebook auf 6x 3,1 Ghz begrenzt, damit habe ich in etwa die selbe Leistung wie das Nas mit 4x 3,1 Ghz.

    Interessant, so komme ich mit meine Sata SSD im PC auch nicht auf mehr IOPS also 4K Werte als im Nas. Sobald ich auf 4,8 Ghz auf allen 6 Cores wieder hochstelle, habe ich wieder ein wenig mehr IOPS 4K Werte bei Q1T1. Ich denke meine CPU im Nas is zu lahm, das wers ja. Aber scheinbar stimmt auch irgendwas mit mein PC nicht mehr, den die anderen 4K Werte sind fast gleich zu mein Nas bei meiner Sata SSD, normal habe ich da immer über 400 MB also um die 100.000K IOPS und nicht 200MB 40.000 IOPS. =O


    512 GB Sata SSD PC.


    Sata SSD 4,8 Ghz.PNG


    Edit: Ohne Thunderbolt Stecker dran.


    SSD PC ohne Thunderbolt Stecker dran.PNG


    Scheinbar frist Thunderbolt ein wenig meiner Sata SSD Speed weg, kein Plan warum.

    Aber auch so scheint was mit mein PC nicht zu stimmen, die Werte waren immer viel besser als auf den Bildern.


    So Notebook neu gestartet und Read Werte passen wieder Write Were sind auch wieder besser aber noch nicht bei Optimum.

    PC SSD.PNG


    Edit:

    Hier nochmal nach dem ich das Nas und PC neu gestartet habe.

    Full E/A ohne Over-Provisioning.

    Cache test nach Nas neustart.PNG


    Cache läuft über Thunderbolt 100%. HDD's blinken nicht beim Speed test nur die M.2 blinkt schnell.

    Beim 1G und 10G Netz haben bei mir die ganze Zeit auch die HDD's geblinkt. komisch komisch :)


    Edit 2:

    Habe jetzt einmal ohne SSD Cache nochmal gebencht aber mit System und Festplatten Cache.

    Ohne SSD Cache mit System Cache.PNG


    Und einmal ohne alles:

    Ohne SSD Cache ohne System Cache ohne HDD Cache.PNG


    Irgenwie Cachet er aber trotzdem den Read, warscheinlich im Ram oder ? Weil die Leserate ist viel zu Hoch für nur 3x 10 TB und ohne Festplatten und System Cache. Lohnt es sich dann nicht eher nur den Cache für lesen einzurichten ? 8o

    5 Mal editiert, zuletzt von Ceiber3 ()

  • Ich hab als Neuling hier eure Unterhaltung mit Interesse, als IT-ler aber auch mit etwas Verwunderung verfolgt.

    Ich verstehe, daß man aus grundsätzlichen Überlegungen heraus wissen möchte, welche Möglichkeiten die eigene Kiste bietet und deswegen mit Lese- und auch mit Schreibcache experimentiert. Was mich aber verwundert, daß sich keiner so richtig die Frage nach der Sinnhaftigkeit eines Schreibcache stellt, obwohl so gut wie jeder von uns hier einen Raid-Verbund nützt um die Ausfallsicherheit der Hardware möglichst zu begrenzen.

    Der Cache ist grundsätzlich erfunden worden um die "langsamen" Hardware-Zugriffe auf die Festplatten bei sich wiederholenden Anfragen an diese zwischenzuspeichern und so die erneute Anforderung von identischen Daten aus dem "schnellen" Speicher heraus befriedigen zu können. Dass es hier ausgeklügelte Algorithmen gibt, um die zu erwartenden Zugriffe schon vorab zwischenzuspeichern, quasi bevor diese noch angefordert wurden, spielt für meine Überlegungen hier keine Rolle. Die Tatsache aber schon, daß beim Beschreiben meines Massenspeichers die Daten erst dann in Sicherheit sind wenn diese auf den Festplatten auch persistiert wurden. Somit ist der Drehzahlbegrenzer für meine Datensicherheit immer noch der Festplattenzugriff schreibend, was auch durch das Verwenden eines Schreibcache nicht schneller wird. Ganz im Gegenteil, ich könnte mich fälschlicherweise in Sicherheit wiegen wenn ich die Datenübergabe an das NAS "erledigt" habe die Daten jedoch noch nicht festgeschrieben wurden und gerade in diesem Moment irgend ein Problem auftritt. Beim Verschieben von Daten über das Netzwerk etwa wären diese an der Quelle schon gelöscht (weil vermeintlich erfolgreich verschoben) aber im NAS noch nicht persistiert. Ich wäre dann möglicherweise Sieger, aber im Endeffekt durch potenziellen Datenverlust nur Letzter.

    Daher behaupte ich mal, Cache ist gut und eine tolle Sache aber aus grundsätzlichen Überlegungen heraus nur beim Lesen sinnvoll einsetzbar. Außer ein möglicher Datenverlust spielt im vorliegenden Szenario kein Problem und ist für alle "verschmerzbar".

    :)

  • Du kannst auch ein Raidverbund für den Cache einsetzen. Alles eine Frage des Aufwands und des Nutzens.

  • Das erweiter ich auf das NAS denn auch der flüchtige RAM wird als Cache eingesetzt.

  • auch der flüchtige RAM wird als Cache eingesetzt.

    Das kann man aus guten Grund abschalten bzw. muss es anschalten.

  • Der war bei mir per Default aktiv.

    Aber ich habe eine kleine USV und die war schon angeschlossen als ich das NAS vor kurzem neu aufgesetzt habe.


    Kann deshalb ohne USV auch anders aussehen, kann ich aus dem Gedächtnis nicht mehr exakt sagen, ob es auch ohne USV bei der ersten Einrichtung aktiv war, meine jedoch ja.

  • Hallo zusammen,


    jetzt möchte ich mein Problem hier auch mal schreiben mit dem SSD M2 Cache.

    Was mich sehr wundert, mit aktivierten Cache der 256GB beim mir hat. sinkt beim Kopieren der Datendurchsatz nach ca. 30Sec. einer Datei von ca. 20GB grösse auf ca. 65MB/s ab. =O

    Wenn ich nun den Cache deaktiviere, bleibt der Datendurchsatz konstant bei ca. 105MB/sec. :/

    Ich check das nicht. Der Cache sollte doch keine Nachteile haben?! X(

    Eingestellt ist er auf Nur Lesen und für Multimedia Files.

    Dazu ein Bild. Bis zum 1. Roten Strich sind es 105MB/s dann der abfall auf ca. 65MB/s und kurz vor ende des Kopiervorganges habe ich den Cache deaktiviert wodurch der Durchsatz wieder auf 105MB/s steigt. 2. Roter Strich.


    Das soll mir mal bitte einer erklären. ?(


    Wenn das Normal ist, dann fliegt das M2 Teil raus. und landet auf EBay. :(


    Danke! Und Top Forum! :thumbup:

  • Hmmmm ..


    so wie das hier Aussieht, weiß keiner warum oder? Oder ist die Frage von mir so blöd das keiner Antwortet?

  • Das wird ein Problem vom Cachemangement sein.

    In älteren Versionen war davon nix zu sehen.

    Da wurde meine Modellreihe mit Cache und 10G BaseT in diversen Videos auf Youtube vorgestellt und keiner hatte so ein Probelm.

    da liefen konstant mehrere hunder MB/s.


    Da ist zur Zeit der Wurm drin.

  • Verstehe ich das Richtig?

    Es gibt ein Hardware-Cache Problem bei meinem NAS TVS-673e ?

    Nochmal, das Problem habe ich nur wenn ich den SSD M2 Cache aktiviert habe!


    In der Kiste habe ich auch ein 10G Karte drin. Aber nicht benutzt.

    Weil es auch nur an einem 1GB Switch hängt. Aber vielleicht sollte ich es mal Probieren dort das Kabel anzuschießen und schauen ob es Besser ist.