SSD-Cache sinnvoll?

    Hallo,


    vorgestern habe ich durch Zufall bei notebooks-billiger die Black Friday-Aktion gesehen und mir kurzentschlossen eine TS-853A mit 8GB RAM für 590€ gekauft. Fairer Preis, wie ich denke, auch wenn es ein Auslaufmodell ist. Wie auch immer, nun überlege ich, was ich wie speichermäßig konfigurieren werde. Gerne würde ich zwei Festplatten des NAS als "Dateiarchiv" nutzen, eine als Ablage für einen Teil meines Fotoarchivs, die zweite HDD als Backup für die Bilder, die ich gerade in Bearbeitung habe. Hier kopiere ich also nach einem Produktionstag immer die RAW-Dateien drauf, pro Datei ca. 60-80MB, 1000 Dateien sind pro Arbeitstag nicht ungewöhnlich. Ich möchte nicht von der HDD mit den RAWs arbeiten, dafür habe ich eine lokale Thunderbolt-SSD-Lösung eingerichtet. Es soll erstmal einfach nur ein Backup sein, falls mein Raid0 mit den beiden SSDs hier den Geist aufgibt. Bisher kopiere ich das immer zusätzlich auf externe HDDs über USB, aber das ständige Umgestöpsel der HDDs nervt.


    Vor allem bei der Backup-Festplatte dürften die Schreibzugriffe deutlich häufiger stattfinden als bei der Archivfestplatte. Ich frage mich, ob es Sinn macht, in einem GBit-Netzwerk eine SSD als Cache-Bescheluniger einzubauen oder ist es angesichts der begrenzten Datenrate des Netzwerks mit ca. 120MB/s sinnfrei? Leider finde ich über die Arbeitsweise des SSD-Cache nur wenige Informationen - arbeitet das Teil ähnlich wie ein FusionDrive von Apple, hält es also die aktuellsten Dateien auf der SSD für den Schnellzugfriff bereit oder dient die SSD nur als Puffer für Schreibzugriffe, dessen Dateien im Anschluß auf die HHDs verteilt und dann von der SSD entfernt werden?


    Ein paar Infos wären sehr nett, danke.


    Grüße


    André

    Mit genauen Details zur konkreten Funktionsweise kann ich jetzt auch nicht aufwarten. Allerdings würde ich den SSD Cache ausschliesslich zum lesen verwenden, weil (aus welchem Grund auch immer) Schreibfehler deutlich problematischer sind als Lesefehler. In erster Linie wird das System einfach ab einer bestimmten Anzahl von Zugriffen diese Dateien in den Cache verschieben. Ob er das gleich beim ersten Mal tut, weiß ich nicht. Wenn die Dateien ziemlich groß sind würde ich keinen riesigen Vorteil erwarten. Vor allem zufällige Zugriffe auf kleine Dateien dürften am ehesten profitieren, weil dort der Overhead am größten ist. Der Backup Durchsatz wird wohl nicht so wesentlich schneller werden. Höchstens beim Vergleich der Änderungen, da dabei sehr viele Zugriffe erfolgen. Aber wie genau die Cache Strategie da aussieht weiss ich auch nicht.


    Eine Alternative könnte das QTier System sein, welches die Dateien nach Nutzungshäufigkeit zwischen unterschiedlich schnellen Volumes verschiebt ( also häufig genutzte Dateien auf SSD Volumes verteilt). Das ist so ähnlich wie ein Cache, ist aber wohl auf mehr Konstanz ausgelegt. Aber mir persönlich wird das irgendwann zu heikel, wenn man nicht genau weiß, wo jetzt eigentlich die Daten liegen. Deswegen habe ich auch nur einen reinen Lese Cache aktiviert, um da auf der sicheren Seite zu sein.

    Einmal editiert, zuletzt von nasferatu ()

    ich meine, dass bei einigen Serien beim aktuellen QTS der SSD-Cache nur noch Lesecache sein kann.


    Ich würde ihn aber eh nur als Lesecache einsetzen.


    Ob das wirklich was bringt, glaube ich nicht, weil das Netzwerk im Normalfall zu langsam ist.

    ok, danke für die Hinweise. Ich denke, ich werde vorerst auf den SSD-Cache verzichten. Sollte ich hier irgendwann die Infrastruktur für ein 10GBit-Netzwerk haben, werde ich gleich SSDs einbauen statt mit einem Cache zu arbeiten. Allerdings hapert es ja wahrscheinlich noch eine Weile an der 10GBit-Unterstützung seitens Apple (wobei, im neuen iMac Pro ist es Standard...). Aber dafür habe ich ja sowieso das falsche NAS gekauft, von daher mache ich mir diesbzgl. keine ernsthaften Gedanken... es ist übrigens gar nicht so einfach, sich zu entscheiden, welches NAS man denn braucht. Irgendwie ist die Auswahl - bei minimalen technischen Unterschieden - bei QNAP unübersichtlich groß...

    Zitat von Doc HT

    Ob das wirklich was bringt, glaube ich nicht, weil das Netzwerk im Normalfall zu langsam ist.

    Der größte Gewinn ist bei Zugriffen auf viele kleine Dateien, weil da der Overhead durch die Plattenzugriffe so ins Gewicht fällt. Das dürfte sich auch im Netzwerk Positiv bemerkbar machen. Also wenn man eine Fotosammlung durchsucht, auf die man regelmäßig zugreift, dann könnte das schon was bringen. Oder wenn man eine HTML basierte Dokumentation auf der Platte hat und die häufig benutzt. Also völlig sinnlos ist das nicht. Aber ich wäre bei Schreibcaches sehr vorsichtig, weil da das Risiko sehr viel größer ist, wenn Daten nicht richtig geschrieben wurden.

    was sind denn "kleine Dateien"? Viele Dateien kann ich bieten, aber es sind eben keine 100KB-kleinen JPG-Dateien für die Webseite, sondern die Dateigrößen liegen zw. 30MB (alte Kamera mit 24MP) und ca. 70MB (neue Kamera mit 50MP).



    Zitat von Doc HT

    meiner Erfahrung nach braucht man immer das NAS, das als nächstes kommt... :)

    Das könnte ich angesichts des Kaufpreises wirklich verschmerzen. Allerdings habe ich noch immer keine Versandbestätigung. ich habe mich sowieso gewundert, warum die 8GB-Variante 70€ günstiger war als die 4GB. Nicht, dass sich der Laden das doch noch anders überlegt...

    Zitat von IamROCKSTAR

    was sind denn "kleine Dateien"? Viele Dateien kann ich bieten, aber es sind eben keine 100KB-kleinen JPG-Dateien für die Webseite, sondern die Dateigrößen liegen zw. 30MB (alte Kamera mit 24MP) und ca. 70MB (neue Kamera mit 50MP).

    Naja, ich würde mal sagen, alles unter 5MB und davon hunderttausende. Wenn man programmiert bspw. und tausende Sourcedateien hat. Aber auch bei Deinen RAW Bildern könnte es schon was bringen, wenn die aus dem Cache kommen. Aber vmtl. nicht mehr soviel, da das 1GBe Netz wahrscheinlich auch von Deinen Festplatten ausgelastet werden kann. Da bringen die theoretischen 500MB/s der SSD dann nicht mehr soviel. Wenn es räumlich ginge, könntest Du die 853 aber vielleihct auch per USB3 direkt an den MAC anschliessen. Das geht ja meines Wissens auch. Dann hättest Du immerhin 5GBps.

    Der SSD-Cache basiert also auf einem vom Datendurchsatz eher limitierten SATA-Anschluß? Klar, im GBit-Netzwerk reichen 500MB/s, aber bei einem 10GBit-Netzwerk... wobei, dafür ist das TS-853a ja sowieso das falsche Gerät. Hatten wir schon. Also alles gut.


    Wenn ich das mit der Verbindung bei QNAP-NAS richtig verstanden habe, geht doch nur immer ein entweder-oder?! Entweder per USB3 oder per Ethernet. Im Falle eines USB3-Verbindung bedeutet das aber doch, dass der Computer die ganze Zeit laufen muß, um die Netzwerkfreigaben auf das NAS zu regeln. Dann hätte mir aber auch ein 8fach USB3-Gehäuse gereicht. Außerdem stört mich selbst schon die Rotation meines 2,5''-HDD-Gehäuses hier, wenn ein Zugriff erfolgt - weshlab ich es nur bei Bedarf anschließe und danach sofort wieder abklemme. Ein Lüftergeräusch würde mich auf Dauer wahnsinnig machen... zum wirklich fixen Arbeiten steht hier ein Thunderbolt-Gehäuse mit zwei (einfachen) SSDs (und abgeklemmten Lüfter), die als Raid0 arbeiten. Damit erreiche ich Transferrraten zw. 800MB/s (write) und knapp über 1GB/s (read). So können 4K-Videos on the fly bearbeitet werden und meine Dateien der intensiver bearbeiteten Fotos (schnell mal 800MB pro Bild) sind auch recht fix verarbeitet. Und es bleibt leise! Kostenpunkt für den Spaß: ca. 650€. Da wäre es günstiger (und 2x schneller) gewesen, dem Rechner eine größere interne SSD zu gönnen, trotz der Apple-Wucherpreise für große SSDs.


    Wie ich schon schrieb, ich brauche keine Erweiterung meiner Arbeits-SSDs über das Netzwerk, aber es wäre schön gewesen, den Schreibzugriff beim Kopieren vieler Dateien auf das NAS zu beschleunigen, weil große Datenmengen als Backup der Arbeitsplatten immer wieder auf's NAS kopiert werden. Davon wurde mir hier abgeraten und ich denke, ich werde erstmal ohne SSD-Cache arbeiten. Wenn 10GBit anliegen, denke ich neu darüber nach.


    Danke und viele Grüße


    André

    Zitat von IamROCKSTAR

    Der SSD-Cache basiert also auf einem vom Datendurchsatz eher limitierten SATA-Anschluß? Klar, im GBit-Netzwerk reichen 500MB/s, aber bei einem 10GBit-Netzwerk... wobei, dafür ist das TS-853a ja sowieso das falsche Gerät. Hatten wir schon. Also alles gut.

    Naja, man kann auch RAID0,1 etc. mit dem Cache machen. Man kann auch mehrere Caches einrichten wenn man genügend Steckplätze hat. Ich weiß nicht, wo derzeit die Limitierung bei M2.Sata liegt, das haben ja viele der größeren Kisten.

    Zitat von IamROCKSTAR

    Wenn ich das mit der Verbindung bei QNAP-NAS richtig verstanden habe, geht doch nur immer ein entweder-oder?! Entweder per USB3 oder per Ethernet.

    Da bin ich überfragt. Mir fiel das nur als Option ein.



    Zitat von IamROCKSTAR

    Wie ich schon schrieb, ich brauche keine Erweiterung meiner Arbeits-SSDs über das Netzwerk, aber es wäre schön gewesen, den Schreibzugriff beim Kopieren vieler Dateien auf das NAS zu beschleunigen, weil große Datenmengen als Backup der Arbeitsplatten immer wieder auf's NAS kopiert werden

    Naja, Du kannst den Cache auch als Schreibcache einrichten. Oder das QTier System verwenden, dass automatisch die Daten zwischen SSD Volumes und "normalen" verschiebt, je nach Zugriffsmuster. Das scheint mir theoretisch etwas sicherer als ein Schreibcache, aber das ist nur mein Bauchgefühl. Ich fühle mich halt wohler, wenn ich weiß, dass der Schreibvorgang nicht erst in einer Zwischenstufe hängt, die dann nach einem nicht transparenten System irgendwann auf dem echten Datenbereich landet. Es funktioniert sicherlich in 99,9% der Fälle, aber manchmal verschluckt sich ein Cache eben auch. Und gerade bei Systemen ohne ECC liegt das Risiko nicht viel, aber noch ein bisschen höher.


    Ich würde allerdings annehmen, dass Du ohne 10GBe eher das Netzwerk als die Platten auslastest, wenn Die Dateien so um die 50-70MB groß sind.

    Zitat von Doc HT

    Obacht mit sowas bei Schreibcache.

    Hmm, also zumindest RAID1 sollte doch im Zusammenhang mit einem Schreibcache auch nicht schlimmer sein als ein statisches Volume... RAID0 ist ja immer heikel, keine Frage. Wobei als temporärer Lesecache wäre das mal eine sinnvolle Anwendung.

    Zitat von Doc HT

    Obacht mit sowas bei Schreibcache. Und irgendwas war da, dass im QTS was mit dem SSD-Cache geändert worden ist.

    Ab der QTS 4.3.4 sollten die M.2 NVMe SSD'S nur mehr mit dem QNAP Adapter unterstützt sein ...


    Was aber unbedingt zu beachten ist, falls QTIER ein Thema wird:

    • QTIER ist nicht reversible, einmal aktiviert und eingerichtet bleibt nur mehr die Neuinstallation mit löschen der Pools um das QTIER wieder los zu werden !!!
    • QTIER bringt (laut QNAP) nichts, wenn "nur" 2 SSD's als schneller Speicher verwendet werden, da sie nur unwesentlich schneller als ein RAID5 mit mehreren Platten sind und die Daten daher NICHT richtig in unterschiedliche Geschwindigkeitszonen verschoben werden.

    Ich hatte einen kurzen "Ausflug" mit QTIER und kombinierte 6x 4TB WD Red im RAID 5 mit 2x 500GB SSD im RAID1 und 2x 500GB NVMe M.2 Speicher als Cache. Fazit QTIER ist nicht (!) schneller, als HDD RAID5 ohne QTIER.


    Verwende jetzt wieder zwei getrennt Pools und verschiebe die Daten "manuell" in die richtige Zone, VM's und Apps sind auf dem SSD RAID1, die Nutzdaten auf dem HDD RAID5.
    QTIER bringt erst was, ab 4x SSD und Xx HDD, darunter ist es nur Ressourcenverschwendung.


    (Kann jeder selber im QTIER-Manager nachschauen, wie oft und welche Daten überhaupt verschoben werden ... bei mir waren es über 1 Woche verteilt genau ... NULL !)

    Zitat von RedDiabolo

    QTIER bringt erst was, ab 4x SSD und Xx HDD, darunter ist es nur Ressourcenverschwendung.

    Danke für die ausführliche Beschreibung. Ich hätte es auch für "kleine" Systeme auch eher für Overkill gehalten. Eigentlich könnte QNAP bei den kleinen Kisten diese Optionen von vornherein ausblenden, da es entweder nicht geht oder keinen Sinn macht...Zumindest, wenn nicht ein Minimum an passenden Datenträgern gefunden wird.