Raid6
Stärkt meine Vermutung, dass das RAID Level die Ursache ist
Performance testen? (hier: TS469-U)
- illusionfactory
- Unerledigt
-
Halte ich immer noch für ziemlich unwahrscheinlich.
Auf meinem TS-473 mit Raid5 ist der Kopiervorgang genau so schnell wie auf dem TS-669.
Wie gesagt, anfangs hatte ich bestimmt auch über ein Jahr ein Raid5, ohne Performanceprobleme.
Wenn es tatsächlich bei Dir daran liegen sollte, dann ist es sicher ein individuelles Problem, aber kein generelles.
Sonst hätten viele das schon bemängelt, da gerade bei NAS mit weniger als 5 Bays ein Raid5 sicher häufiger eingesetzt wird, als ein Raid6.
Gruss
-
Raid 5 ist schneller als Raid 6, hier wird ja nur eine Parität berechnet und weggeschrieben.
Bei Raid 6 wird die 2 mal berechnet (bitte korrigieren wenn ich falsch liege) und dann 2 mal weg geschrieben.
-
Standardblocksize bei NTFS is 4k.
Ist bei meinem Windows auch so.
Ist auch besser so. Größen über 4k können Probleme verursachen, z.B. durch einen Bug in MS-SQL.
Bei Raid 6 wird die 2 mal berechnet (bitte korrigieren wenn ich falsch liege) und dann 2 mal weg geschrieben.
Ja, ist so.
Was mir zu denken gibt ist der Leistungstest der Festplatten mit dem internen Test. 30 bis 60 MB/s mit einer einzelnen Festplatte squenzielles Lesen ist unterirdisch. Sofern hier nicht noch ein Dienst im Hintergrund tätig war, liegt hier ein Problem rund um die Festplatten vor. Die sollten etwa um die 210 MB/s sein:
https://www.seagate.com/www-content/product-content/ironwolf/files/ironwolf-ds1904.5-1609us.pdf
https://www.seagate.com/www-content/datasheets/pdfs/ironwolf-14tb-DS1904-10-1807US-en_CA.pdf
-
Ist auch besser so. Größen über 4k können Probleme verursachen, z.B. durch einen Bug in MS-SQL.
Ja, ist so.
Standardblocksize bei NTFS is 4k.
Ist bei meinem Windows auch so.
Dennoch habe ich nicht solche Problem wie Du.
Wenn ich korrekt informiert bin, sind die Platten mit EXT4 formatiert und nicht mit NTFS, richtig?
Eine Blockgröße zeigt mir das System nicht an, ich habe sie aber auf keinen Fall vom Standardwert geändert bei der Installation des RAID-Verbundes.
Was mir zu denken gibt ist der Leistungstest der Festplatten mit dem internen Test. 30 bis 60 MB/s mit einer einzelnen Festplatte squenzielles Lesen ist unterirdisch. Sofern hier nicht noch ein Dienst im Hintergrund tätig war, liegt hier ein Problem rund um die Festplatten vor. Die sollten etwa um die 210 MB/s sein:
Habe mal eine baugleiche Ersatzplatte lokal drangehängt - korrekt, die liefert 210MB in der Spitze, aber auch deutlich weniger bei kleinen Zugriffen..
Ich hab jetzt nochmal einen QNAP Leistungstest gemacht und bekomme ganz andere Daten als beim ersten Mal - vielleicht ist ein Backup gelaufen und ich habs nicht gesehen. Die IOPS scheinen auch im Rahmen zu sein laut QNAP Doku.
Die Leistung bei kleinen Dateien hat sich allerdings nicht geändert, das Problem besteht also nach wie vor.
Ich werd' wahnsinnig... Die ganzen Daten runterschaufeln um auf ein Raid10 umzustellen würde ich gerne nur im äußersten Notfall machen, das sind 18TB...
Danke schon mal für Eure Hilfe
-
Du hast irgendwo ein Problem, denn die besagten Probleme kann ich hier mit 2 Raid 5 aus 4 HDs nicht nachvollziehen.
Ja kleine Dateien benötigen einen Moment länger, vor allem wenn ich auf dem P3 mit SMR HDs nach einem PC Img Backup dann anfangen kleine Dateien hin und her zu schieben, aber selbst das geht schneller als bei dir und das sind richtige GurkenHDs.
Mag ja sein das Bob sich mit Videoedit und QNAP auskennt, aber nach den ganzen Vorfällen halte ich es aus IT Sicherheitsperspektive für untragbar QVPN zu verwenden.
Wenn man für 60€ einen Mikrotik HEX kaufen kann der IPsec mit weit über 100MBit in Hardware unterstützt.
-
Du hast irgendwo ein Problem, denn die besagten Probleme kann ich hier mit 2 Raid 5 aus 4 HDs nicht nachvollziehen.
Ja kleine Dateien benötigen einen Moment länger, vor allem wenn ich auf dem P3 mit SMR HDs nach einem PC Img Backup dann anfangen kleine Dateien hin und her zu schieben, aber selbst das geht schneller als bei dir und das sind richtige GurkenHDs.
Wie klein sind denn Deine Testdateien? Mit 500k-Dateien geht es bei mir auch schnell, das Problem tritt immer bei großen Mengen Mini-Dateien (wenige k) auf.
Würdest Du eventuell mal ATTO bei Dir testen, damit wir Vergleichswerte haben? https://www.atto.com/software/…_app_benchmark_4000f2.exe Das wäre cool
-
Bei vielen kleinen Dateien geht es nun mal nicht wirklich schnell über das Netzwerk, aber auch Festplatten / SSD sind langsamer. Je kleiner die Dateien desto langsamer, also zumindest die Performance in MB/s. Hast Du tausende Dateien die nur ein paar KB groß sind, fällt die Durchsatzrate gerne mal unter 1 MB/s.
Darum verwenden viele Backup-Programme inzwischen Container, um das schreiben dieser vielen kleinen Dateien über das Netzwerk zu umgehen und den Prozess um ein vielfaches zu beschleunigen.
Was bist Du denn da am hin und her schieben? Und zu welchem Zweck?
-
Was bist Du denn da am hin und her schieben? Und zu welchem Zweck?
Wir entwickeln Websites, und die bestehen halt aus Millionen [TM] Mikrodateien (css Files, etc.).
Mir ist es auch wichtig, dass die Entwickler auf dem Server arbeiten wegen Backup und so
Also lokal und irgendwann zippen und rüberschieben würde ich gerne vermeiden. -
Ah, ok. Jetzt wird so einiges klar. Das ist dann das schlechteste anzunehmende Szenario.
Da das TS469-U über 10 Jahre alt ist, gehe ich mal von einem Hobby-Projekt aus und nicht gewerblich?
Um hier richtig satt Performance zu erlagen ... hmm ...
> aktuelles Gerät
> SSD-Cache mit NVMe M.2 SSDs
> RAID0 bzw besser RAID01 mit min. 4 besser 8 Festplatten
> wie man dem Netzwerk zusätzlich Beine machen kann - wenn überhaupt bei so einem Szenario - da ist Crazyhorse der Spezialist
-
...
Wenn ich korrekt informiert bin, sind die Platten mit EXT4 formatiert und nicht mit NTFS, richtig?
...
Ich rede vom Filesystem der Quelldaten, also Windows.
Die NAS Medien sind ext4, das kann man nicht beeinflussen.
Gruss
-
Ok ich teste gerade mal mit einem Win System 32 Ordner, da ist alles drin, von MB bis Kb bis ein paar Byte Dateien.
Da schwankt dann von 10-55 Objekten pro Sekunde, aber vom Laptop HD über WLAN auf das NAS mit Raid 5.
Auf den HDs läuft aber gerade der Bad Block Test, also alles ungünstige kommt hier gerade zusammen.
Ich fürchte das wird aber mit einem all Flash NAS auch nicht so viel schneller sein.
Denn hier spielt ja die gesamte Latenz mit rein.
Damit das LAN hier möglichst wenig beiträgt, ein Switch in dem das NAS und alle Clients stecken, dann hast du hier die geringst mögliche Latenz.
Gbit+ Switche sind noch mal einen Ticken schneller als normale GBit Modell, das ist aber zu vernachlässigen.
Ein 24-48 Port mit SPF+ Steckplätzen wäre ideal, da könnte man dann später ein neues schnelles NAS mit 10G anstecken und ein paar Clients oder ein Backup System ebenfalls.
SMB ist halt auch Latenzabhängig, aber langsamer als bei mir sollte es bei dir auch nicht laufen, wenn du GBit LAN verwendest und nicht wie ich WLAN, weil ich gerade zu faul war das Kabel raus zu kramen.
Edit:
Das Kopieren des System32 von der Windows SSD auf die HD hat ca. 8-10min gedauert, das LAN ist hier also aufgrund der Latenz ein wenig langsamer, die kann ja innerhalb des Laptops vernachlässig werden.
Aber für WLAN ist das immer noch mehr als Ok, weil 0ms vers 1-2ms und dann SMB drauf kommen.
-
Da das TS469-U über 10 Jahre alt ist, gehe ich mal von einem Hobby-Projekt aus und nicht gewerblich?
Doch, gewerblich, aber so lange alles tickt, muss man da auch nicht ran...
Jetzt aber dann wohl schon -
Déjà-vu. TS-809 Pro hat über 11 Jahre ihren Dienst in der Firma getan, allerdings nur noch für tertiäre Aufgaben.
Zuhause wird meist schneller erneuert als in Betrieben.
