SSD Cache vs QTier für Video- und Fotobearbeitung

    Moin zusammen!

    Ich habe ein TS-453-BT3 was über die 10G Netzwerkkarte an unser 10G Netzwerk angeschlossen ist (u.A. iMac Pro).

    Ich habe aktuell 4 10TB HDDs im Raid 5 und 2x 256 SSDs als Lese- und Schreib-Cache installiert.

    Über unser NAS verwalten wir die Dateien in unserer Firma für bis zu 4 Personen. Dazu läuft über die Container Station noch ein Netzwerkcontroller.


    Wir machen hauptsächlich Video- und Fotobearbeitung - da werden nach einem Drehtag schnell mal 200-500GB Daten aufs NAS geschoben, die in den nächsten Tagen dann bearbeitet werden.

    Grundsätzlich bin ich mit der Performance beim Bearbeiten der Videos noch ganz gut zufrieden (solange nur 1 Person direkt vom Server schneidet) - sobald dann aber noch jemand vom Server Fotos bearbeitet, wird es es hakelig.

    Spätestens aber beim Hochladen von Daten auf den Server bricht die Übertragungsgeschwindigkeit innerhalb von 10 - 50GB von knapp 500MB/s auf 100MB/s ein, was bei großen Dateimengen schon echt nervig ist.

    Ich habe von Anfang an 2x 256GB SSDs als Lese- und Schreibcache mit eingebaut - aber gefühlt hat das nahezu nie eine spürbare Mehrleistung gebracht.


    Ich überlege nun entweder den Cache zu vergrößern oder direkt in einen QTier Pool mit einem 2TB Raid umzubauen.

    Was würdet ihr mir empfehlen?

    Mittelfristig werde ich das NAS auch austauschen bzw. vergrößern - aber die Investition scheue ich aktuell noch und suche nach einer schnellen und möglichst günstigen Verbesserung.


    Grüße aus dem Norden

    Das einzige was hilft ist ein groesseres NAS mit mehr Platten.


    Im Englischen Forum wird unter nem 872XT nichts empfohlen.

    Da hilft nur Masse an HDs oder dickes NAS und dann rein SSD und ein HD Archiv wo fertiges rein kommt.


    Bei RND IOs kommst mit 4 HDs nicht weit, 12+ ist da die Liga wo es dann los geht.


    Linus Tech Tips hatte mal ein schönes Video dazu gemacht.

    Hat ein reines SSD Storage Blade getuned, erst damit kann man an mehreren Plätzen parallel mit 10G arbeiten.

    Das ist halt eine ganz andere Liga als GBit.

    Ohne Jumbo ist das ca. 800k pps, die müssen halt mal verarbeitet werden.

    Wenn das dann auf 4k Sektoren aufgeteilt wird sind das immer noch 250k IOs. Bei 512 Sektoren noch mehr.

    Das muss irgendwie durch die CPU und den Raid Prozess.


    Da muss man klotzen.


    Ist wie vor 20 Jahren mit Gbit, da konntest auch kein NAS von der Stange nehmen und das mal eben so auslasten.

    Einmal editiert, zuletzt von Crazyhorse ()

    Das heißt die QTier Geschichte ist auch nur heiße Luft?


    Also am besten direkt ein 16-fach NAS nehmen? Gibt es im Bereich Videobearbeitung auch noch Vorteile vom ZFS Dateisystem?


    Aufgrund unserer Datenstruktur und sehr unterschiedlichen Projekten, die manchmal nur 1 Woche dauern und manchmal über etliche Jahre gehen, ist es für uns leider nicht sehr praktikabel ein HDD Pool und einen separaten SSD Pool aufzubauen, wo wir manuell die Daten hin und herschieben.

    Komplette SSD Systeme kommen leider finanziell nicht in Frage. Natürlich wäre es schön die 10G immer voll überall auslasten zu können - aber das wirklich alle 4 Plätze hier aktiv mit Voll-Last auf den Server zugreifen findet auch nahezu nie statt.

    Tyisches Szenario ist:

    • 1x Video-Bearbeitung (in seltenen Fällen 2x Videobearbeitung)
    • 1x Foto-Bearbeitung
    • 2x Office-Anwendungen

    Wenn ich dann also ein "großes" NAS kaufe, sollte ich das komplett mit HDDs ausstatten oder doch auch SSDs als Cache oder QTier mit einplanen?


    Ich danke euch aber soweit schonmal für eure Hinweise.

    Einmal editiert, zuletzt von Tian ()

    Wenn ein großes HD Array und eine schnelle CPU vorhanden sind, wird der Einsatz von 1-2 SSDs kaum was bringen.


    Bei ZFS ist das für das Journal oder wie das heißt aber wieder Sinnvoll sowie 1GB Ram pro TB Storage.


    Man kann auch was mit Freenas aufbauen wenn es rein um Power und Kosten geht denn nach oben hin wird reiner Storage halt schnell teuer.