Schnellstmöglicher Datei-Transfer auf TVS-472XT mit Festplatten, die im Einzelmodus betrieben werden

    Hallo Leute


    Ich stehe kurz vor der Anschaffung des QNAP-NAS TVS-472XT mit nachgerüstetem Intel Core i3 8100T und nachzurüstender M.2 SSD (Samsung 960 Pro).

    Einsatz-Szenario: Es liegt z.B. ein geripptes Bluray-ISO-Image oder eine Virtuelle Maschine auf der internen PCIx 3.0-SSD mit 4-Lane-Anbindung auf einem Convertible von HP vor (die mögliche Drossel der CPU oder Drosselung des SSD-Controllers lasse ich hier mal außen vor)


    Die 4 3,5 Zoll Festplatten des QNAP-NAS werden nur im Einzelmodus betrieben und werden höchstens einzeln Schreibraten von 150-200 MB/s erreichen.

    2 Fragen:


    1. Kann man über Thunderbolt 3 die Caching- oder regulären NVMe-SSDs (leider nur mit 2 Lanes des PCIx 3.0-Busses angebunden) des QNAP-NAS beim Wegkopieren gezielt ansteuern, um Schreibraten von ca. 1 - 1,5 GB/s zu erreichen?


    2. Kann ECC-RAM, das dann auch vom Betriebssystem unterstützt wird, in den NAS eingesetzt werden? Ich erinnere mich, dass der i3 8100T von Intel dies unterstützt.


    Für eine Beantwortung wäre ich dankbar.


    Grüße Hans

    hä? Was genau hast du vor? Sorry komm nicht mit...

    Wie gesagt, es liegen große Dateien, Sektor an Sektor auf der per PCIe 3.0 x4 angebundenen SSD im Convertible vor. Und die möchte ich möglichst schnell auf einen schnell angebundenen "Zwischenpuffer" im NAS ablegen, damit sie von dort später auf eine der 4 SATA-HDDs zu schieben.

    naja dann mach doch ein Raid 0 aus den SSDs und einen automatischen Job, der alle paar Minuten den Inhalt der SSDs wegschreibt.


    Oder du aktivierst SSD write cache...


    Bist du dir sicher, dass das Conv. den speed auch schafft? Hab da andere Erfahrungen mit diversen Geräten gemacht...


    Warum einzellaufwerke? Raid 5 KANN schneller sein beim wegschreiben...

    Also ich habe ungefähr 30 TB Filmdaten. Man stelle sich nur vor, wegen eines Films ständig mit 3 bis 4 FP herumzumachen und das auch noch im laufenden NAS-Betrieb. Nein keinerlei RAID, schon alleine wegen unterschiedlicher FP-Größen, Firmwäre-Versionen des Controllers usw. Und wenn dann ein RAID mit 6 TB (je Platte) neu synchronisiert werden muss :(


    Also ich weiß nun nicht recht, wie ich mit den M.2-SSDs des NAS umzugehen habe, um diese Transferleistungen zu erzielen. Und wie steuere ich es an? per 10 Gb LAN-Kabel oder direkt per Thunderbolt 3-Kabel?

    Und Du hast recht. Das HP-Convertible muss auch noch gekauft werden und wenn von einem PCIe 3.0-Kärtchen in dem eine SSD-Speicherplatine von Samsung steckt und per USB3.1 Gen. 2 angebunden wird, beim Lesen und Beschreiben nicht mindestens 1 GB Dauerleistung zu erzielen ist, wandert es sofort zurück.

    6TB HDs bist du sicher nicht die 1 davor vergessen zu haben?


    Ein Raid 5 aus 5 HDs Seagate Exos/Ironwolf 10TB aufwärts schreibt und liest beim passenden Vorbau mit 1GB/s.

    Da bringt dir der SSD Cache nix, SSDs sind für Ramdom Zugriffe gedacht.

    Filme sind große Dateien und werden fast mur sequenziell gelesen/geschrieben.


    So ein Raid kannst du wenigstens wieder zusammensetzen lassen und dabei sogar weiterhin verwenden.

    Bei singel Disks ist gleich alles weg, hast also gleich mit dem Backup zu tun.


    Hier wurde schon ein paar mal berichtet das zwei M.2 Evos im Raid 1 trotz NVMe langsamer waren als das große HD Raid.

    Obwohl die überlegen sein sollten.


    Aber das Cache Management verbrät auch viel Leistung wie es scheint.

    Zitat von Mangoon2008

    Warum einzellaufwerke? Raid 5 KANN schneller sein beim wegschreiben...

    Das habe ich selber schon feststellen müssen. Hatte hochmotiviert QTIER auf dem NAS getestet und war damit überhaupt nicht zufrieden.

    Letztendlich hat mir der Support bestätigt, dass mein RAID5 mit 6x 4TB WD Red schneller läuft, als der "hot" Speicher am SSD RAID1 und QTIER somit die Daten nicht zw. langsamem und schnellem Speicher zuordnen kann … Musste das NAS neu aufsetzen um das QTIER wieder los zu werden ...

    Aber würde eine Nvme nichr bei der blanken rohleistung ein Zuwachs sein? Wenn sie z.B. 2gb/s wegschreibt, müsste das doch als Cache gabz gut gehen....


    Schau dir mal unRAID an. Könnte genau sein, was du gerne hättest... Verteilt die Parity beliebig, platten können unterschiedlich groß sein (nur parity müssen zwingend die größten sein) und der SSD Cache kann als echter schreibpuffer hergenommen werden. Heißt, du hast solange vollen SSD speed, bis die ssd voll wäre, im Hintergrund schreibt er auf die Platten.


    Quasi das, was qtier hätte werden sollen

    Also bringt nun eine oder 2 M.2-SSDs im NAS nichts für meine Zwecke? RAID mache ich nicht. siehe oben.

    Wieso wirbt denn dann QNAP mit Thunderbolt 3 oder 10Gb-LAN-Anschlüssen.

    Kann ich es wirklich vergessen, dass man die interne M.2-SSD direkt per Thunderbolt in hoher Geschwindigkeit ansteuern kann????


    Frage an Mangoon2008:

    Heißt das, dass ich kein QNAP-NAS mehr nehmen sollte? Mit der restlichen Funktionalität bin ich nämlich recht zufrieden.


    Dank für Eure Antworten

    Hans

    Einmal editiert, zuletzt von iv077 ()

    keine Ahnung, ob DU kein QNAP mehr nehmen solltest, ich weiß nur nicht, ob du von QNAP das kriegst, was du erwartest.


    Wie oben schon geschrieben wirst dus einfach mal ausprobieren müssen. Im Zweifel ein Share direkt auf die SSDs und mit cronjob wegkopiert.


    Aber mir erschließt sich weder der Bedarf noch der Anwendungsfall aktuell, vor allem das mit dem Convertible hab ich glaub ich noch nicht gerallt, was du da jetzt wirklich vorhast. Warum musst du deine Filme hin und her kopieren? Stream sie doch einfach?

    An Mangoon2008:

    Das Convertible ZBook G5 x360 Studio (i7 8850H mit 6 Kernen) hat neben einem USB 3.1 Gen 2-Anschluss auch mehrere Thunderbolt 3-Ausgänge. Auf der internen SSD des ZBooks laufen mehrere VMs (je 40 GB) von VMWare. Diese möchte ich z.B. schnell auf dem NAS gesichert haben.

    Ich hatte mir gedacht, dass die NAS interne M.2-SSD (per PCIe 3.0 mit 2 Lanes angebunden) die Daten wesentlich schneller entgegennehmen kann und Schreibraten von mindestens 1 GB/s erreicht als eine im SATAIII-Port steckenden SSD, wo bei 500 MB/s Schluss ist.

    Mit dem Atom-NAS von Qnap im Einzelplatten-Modus war ich ganz zufrieden, aber etwas langsam. RAID mache ich nicht. Auf den Twonkey-Server, dem ich nach unzähligem Gefrickel seine Musik auch über das Internet extern entgegen nehmen konnte, möchte ich auch nicht missen.


    Grüße Hans

    Einmal editiert, zuletzt von iv077 ()

    Ja VM Backup macht natürlich sinn. Hir würde ICH zwar Veeam nehmen, aber das ist ja eine Toolfrage. Du sparst dir damit aber super viel Transfers durch dedup und co.


    Vorsicht mit den M2 SSDs: wenn die Schnittstelle SATA ist, schaffen die auch "nur" ca. 600 mb/s. Das 472XT hat aber ja scheinbar NVMe Slots.


    Ich hab grad keine Ahnung, ob man den SSD Cache für single Disks einschalten kann, das müssen andere beantworten.


    Dem HS-453 mit 10gb wurden aber in Tests bereits Übertragungsraten von über 1gb/s nachgesagt.

    Ja die Anbindung einer M.2 ist schneller als die einer SATA HD, daher wurde Raid ja erfunden.

    Man kombiniert, Datensicherheit mit Performance und Platzgewinn.


    Eine 10TB SG Exos kann 250MB/s, 4 im Raid 5 können 750MB/s lesen oder schreiben, oder 4 im Raid 6 500MB/s.

    Zudem kann dir bei erstem eine HD ausfallen und alle Daten sind noch da, bei letztem sogar zwei.


    Singe Disks, egal ob HD oder SSD, ein Ausfall, alle Daten weg.


    Aus dem Grund setzen wir hier fast alle ein Raid 1,5 oder 6 ein, da wir die Daten schützen wollen, zudem laufen dann noch externe Backups die räumlich getrennt gelagert werden.


    Der Performance Gewinn wird bei der Sicherung von VMs überschaubar sein, denn auch diese bestehen aus großen Dateien die wieder sequenziell verarbeitet werden. Teilst du deine vmdks in viele keine oder hast du wie ich eine Datei pro VM?

    Das geht nur auf die Lebensdauer der SSDs, praktischer nutzen wird gering sein.


    Selbst im Rechenzentrum liegen VMs mit ihren LUNs auf SSDs oder sehr schnellen HDs, Fileserver hingegen liegen meist auf den großen HDs rum, da hier einige TBs zusammen kommen. Backupserver liegen immer in Tier 3, da diese sequenziell Daten fressen und dann an die Bandlaufwerke weiter geben. Da baut man erst SSDs ein, wenn die günstiger und haltbarer als HDs sind. Das wird also noch dauern.


    Was für Vorbehalten hast du denn genau gegen ein Raid aus mehreren großen schnellen HDs?

    Die Frage (die mich auch interessiert), benutzt QNAP den SSD Cache nicht aucb als reinen Schreibpuffer? Oder braucht man dafür dann qtier? Wie gesagt, hab parallel bei anderen Systemen nich geschaut und bei unRAID, das von Natur aus recht langsame Schreibraten hat, dient der SSD Cache genau dafür: Die daten werden auf dem Cache gepuffert und dann so schnell wie möglich weggeschrieben.


    In dem Fall mit NvMEs wäre es dann z.B. 500gb mit z.B. 2,5 gb/s danach z.B. 120mb pro Sekunde, bis auf dem Cache wieder Platz ist.


    Ähnlich wie ein Puffer in einer DSLR: 11 Bilder Pro Sekunde in Raw, bis der Puffer voll ist, danach noch soviel wie die Speicherkarten wegschreiben können.


    Und hier dann Puffer durch SSD Cache und Spwicherkarte durch HDD ersetzen...


    Was mich in dem konkreten Anwendungsfall noch interessiert: Sicherst du nicht inkrementell und wenn nein, warum? Das würde das Backup zusätzlich enorm beschleunigen...

    Pardon für meine Abwesenheit zeitweise.

    Also nochmals: RAID kommt mir nicht auf das NAS aus oben formulierten Gründen.

    unRAID auch nicht, da ich 1. eine Platte wg. Wiederherstellungsinformationen opfern müßte und 2. die Schreibgeschwindigkeit viel zu langsam ist. Vor allen Dingen fällt das gesamte QNAP-OS mit allen Programmen und Diensten weg.

    Die Filmsammlung von 30 TB auf den FPs liegen ohne Backup vor!


    Es wird auf ein rollierendes Ablösen der jeweils verwendeten Archivierungstechnik hinauslaufen, incl.der dazu notwendigen Backups.


    Hat den keiner von Euch, jemals versucht, heraus zufinden, wie gut Übertragungsprotokolle wie Thunderbolt 3 oder Multi Gigabit Ethernet auf den QNAP-NASs umgesetzt werden?


    Grüße an die Gemeinschaft.


    PS.: Ich benutze das heise-script "ctwimage2" mit dem das dism-Verwaltungswerkzeug parametrisiert wird, die Backup-Funktion um zu setzen, indem ein virtuelles Datei-System des Backups im laufenden Haupt-Speicher angelegt und zur allgemeinen Nutzung angezeigt wird (vshadow). Nach der Erstanlage erfolgt eine inkrementelle Sicherung, selbstverständlich mit Boot-Möglichkeit.

    Einmal editiert, zuletzt von iv077 ()