Hallo,
über das Wochenende kam meine Mellanox ConnectX-3 Card frisch aus "gansweitweg" an - eingebaut - Treiber deinstalliert und wieder installiert, Firmware update durchgeführt. Was soll ich sagen - die Probleme mit stotterndem Schreiben sind erledigt - hoffentlich morgen auch noch....
LG
Matthias
Hey Leute,
danke für die Infos.
Ich hatte jetzt wieder einen Tag Pause für das hoffentlich letztmalige Anlegen eines Static Volume (HDD 2x EXOS X16 16TB) und eines Static Volume mit 2x M2.SSDs auf der Erweiterungskarte.
Mit Crystal DiskMark komme ich auf 270MB/s beim Schreiben auf das HDD Raid1 und auf ca. 710MB/s beim Schreiben auf das M2.SS Raid1 mit der HP Z220 CMT.
Die Leseraten waren bislang nie das Problem.
Auch auf meiner langsameren (nur SATA2) AudioVideo Workstation waren die Schreibraten mit 250MB/s für das HDD Raid1 passabel.
Somit konnte ich gestern Nachmittag die ersten 2 TB Photo Daten aufs NAS zu schaufeln, funktionierte einwandfrei und dank fastcopy auch recht zügig.
Da neben den größeren NEF Files (70+MB) auch viele JPGs von einer normalen HDD (WD DC530 an SATA2) auf das HDD Raid1 zu kopieren waren, bin ich mit einer resultierenden Transferrate von ca. 160 - 180 MB/s durchaus zufrieden.
PS: Eine "Kleinigkeit" ist mir noch aufgefallen: Wenn ich ich eine kurze 8K 4:4:4 MOV Datei (2.8GB) vom NAS (M2.SSD) über das Netzwerk in VLC abspiele kommt das Bild dem Sound nicht hinterher. Spiele ich die gleiche Datei von der HDD/SSD im PC ab läuft diese besser, obwohl die gemessenen Leseraten vom NAS (M2.SSD) deutlich besser sind als die Leseraten der internen Disks (an SATA2). 4k Videos laufen vollkommen entspannt.
Ich denke es wäre ein neuer Thread - aber vielleicht hat jemand eine Empfehlung/Erklärung hier im Netzwerkforum in welche Richtung es gehen könnte.
Was mir auch aufgefallen ist, dass der Windows Explorer via rechtsclick - Eigenschaften auf dem Netzwerklaufwerk sehr lange braucht um ein Verzeichnis durchzuzählen (GB/Files/Ordner). Möglicherweise hängt beides mit der Art des Zugriffes/Pakete/wie auch immer zusammen.
LG
Matthias
Hallo Merbold,
Danke - ich kopiere wenn unbedingt nötig im NAS mit der Filestation - ist das OK?
Entscheidend für mich ist im Augenblick der Upload vom PC zum NAS - und da habe ich aufgrund meiner doch betagten PC Basis Unwägbarkeiten.
Dummerweise muss ich mich jetzt irgendwann entscheiden, wie ich das NAS einrichten soll, damit es in Zukunft gut läuft.
Ich denke, dass der PCIE2.0 Bus im PC ins Schwitzen kommt, da die Lanes sich ja aufteilen und somit mitunter gar nicht mehr in vollem Umfang zur Verfügung stehen.
Gut gefällt mir, dass man ein RAID einfach aushängen kann, die Kiste umrüsten und rücksetzen und dann wieder einhängen.
LG
Matthias
Hallo Anthrcite,
welches Geschwindigkeitsprogramm würdest Du für NAS/PC empfehlen?
Ich verwende den Test von AJA Systems, wobei ich nicht nur auf das Endergebnis schiele sondern auch die Kontinuität des Kopiervorganges beim Schreiben und Lesen beobachte.
Ruckelt es da schon, habe ich im Explorer auch Geschwindigkeitseinbrüche.
Das Ausschalten der Flow-Control wirkt sich "bei mir" glättend auf den Schreibvorgang aus.
LG
Matthias
Hallo,
Regenfront ist durch
, morgen scheint die Sonne hoffentlich wieder
!
Ich habe gerade nochmal mit einer HP Z220 Workstation getestet, ebenfalls mit Mellanox ConnectX-2 Karte, NAS unverändert - vollkommen anderes Bild.
AJA Systems Test (1GB):
M2.SSD Lesen: 676MB/s Schreiben: 684 MB/s
HDD RAID1: Lesen: 272MB/s Schreiben: 640 MB/s (ohne Cache)
Kopieren im Explorer geht auch ohne Einbrüche. Letztendlich waren es auch nur geringe Unterschiede zwischen Flow-Control an oder aus. Auch veränderte Jumbo Frames haben sich an der Z220 kaum bemerkbar gemacht
SO:
Hey Leute, sorry, dass ich nicht früher auf die Idee gekommen bin einen anderen Rechner ran zu hängen und die Tests zu wiederholen.
Das hätte mir und Euch etwas erspart......
Jetzt werde ich nochmal die SSDs ins RAID1 nehmen und mal schauen, ob die Transferraten tatsächlich wieder einbrechen.
LG und gute Nacht
Matthias
Hi,
daran denke ich schon in schlaflosen Nächten, dass die OM2 Erweiterungskarte mit dem zerteilten PCIE2.0 2x2 Interface ein teurer Mist ist.....
Leider kann der Switch kein 2.5GBE sondern nur 1 und 10GBE und ich hatte schon ein wenig 10GB Infrastruktur - Direktverbindung zwischen meinem Photo/Video PC und Server2016 via SPF+, damals easy going für 69 EUR im Doppelpack mit DAC Kabel. Also war ich von 10GBE "angefixt".
Jetzt wird es mir auch langsam ein wenig teuer für die Verdoppelung der Schreib-Geschwindigkeit im HDD Sektor.
Meine ersten Schritte in Richtung NAS/DAS/SAN machte ich vor ca. 7 Jahren mit einem im Vgl. zum TS-253D wirklichen lausig schwachen Pentium 4 Reste PC mit open-E DDS6lite und ollen standard HDDs, der hat READ/WRITE brave 100MB/s gehalten über 1GB Lan.
Allerdings bin ich wohl auch zu doof um mich einfach an der super Leseleistung zu freuen, letztendlich ist das ja auch das, was ein NAS können sollte.
LG
Matthias
Hallo Sammy,
iIch hatte zwei Static Volumes mit SSD und HDD RAID1, die Schreibperformance war beim HDD RAID1 lausig (totaler Einbruch der Schreibperformance bis unter 10MB/s).
Einmal könnte ich mir noch vorstellen einen Sync durchzuführen (schlanke 20h, das wäre dann der vierte Sync), wenn mir einer ins Fäustchen verspricht, dass es dann rennt.
Leider bin ich jetzt erst zu dem Schluss gekommen, dass das SSD RAID für die schlechte Performance zuständig ist.
SEID IHR AUCH DER MEINUNG, DASS DAS NAS (TS-253D) MIT ZWEI (SOFTWARE-)RAIDS ÜBERFORDERT IST?
LG
Matthias
dann hackts wieder mehr, Spielchen habe ich Alles durch. Mit Switch und Direktverbindung.
Die Direktverbindung mit einer ASUS 10G Karte im PC war am schnellsten (HDD bis ca. 280MB/s - das absolute Limit für die EXOSs), bleibt aber keine Option, da ich einen Switch benötige.
Alternativ habe ich noch einen Mikrotik CRS-305 in der Hinterhand (kann man super konfigurieren), war aber auch nicht entscheidend anders.
Was mich etwas nervt, ist der Umstand, dass die Ergebnisse noch nicht so konstant sind wie erhofft.
Ich hatte mal die Situation, dass das System mit der ASUS Karte und direkter Verbindung zum NAS wirklich rannte. Als ich dann, das System am nächsten Tag startete, hackte es erstmal ohne Ende (komplett hochgefahren!). Flow an aus MTU 9000 und 9014 gewechselt..... Da bin ich leider zu wenig firm, als dass ich diese sporadisch auftretenden Dinge begreife.
Per iperf3 liegen ca. 6.8GB/s an, allerdings bin ich da noch nicht wirklich der Meister - wenn Du da eine Idee hast, wie man die Schwachstellen, Flaschenhälse etc. findet, ich höre Dir gerne zu!
Vom Verstand würde ich auch sagen:
Jumbo Frames so hoch wie möglich
Flow Control ON
Danke für Deine Rückmeldung.
Hallo,
ich bin seit einiger Zeit stolzer Besitzer eines TS-253D NAS.
TS-253D: 32GB, Qnap QM2-2P10G1TA, 2x Samsung 980 500GB (MZ-V8V500BW) Einzellaufwerk, 2x Seagate EXOS X16 16TB (RAID1, Thick Volume)
PC: ASUS P6TSE, XEON W3690, 20GB RAM, NVIDIA 2060 8GB VRAM, 2xSSD, WD530 14TB, 2x SEAGATE Enterprise 6TB (soll demnächst ersetzt werden...)
Netzwerk: Mellanox ConnectX-2, DAC SFP+ Kabel, Ubiquiti USW (8x SFP+ 10GBE) - Ubiquiti Transceiver SFP+/RJ45 - CAT6a Kabel zum NAS QM2 Card Ethernet3 Port, MTU:9000, FlowControl: off
Ich bin mir bewusst, dass meine "PHOTO/VIDEO Workstation" etwas in die Jahre gekommen ist, insbesondere PCIE2.0 und SATA2 sind nicht schön.....
Nachdem ich seit ca. 1 Woche mit meinem finalen Setup meines TS-253D herumlaboriere bin ich zu folgendem Fazit gekommen:
2x RAID1 wirkt sich nicht gut auf die Schreibperformance aus. Getestet meist mit typischen GoPro Videos um ca. 4GB.
In der Konfiguration mit einem statischen Volume ( M2.SSD Raid1) und einem HDD RAID1 Speicherpool als Thick Volume hatte ich insbesondere beim Upload von einer MX500 SSD (PC) auf das HDD Raid sehr unstete Schreibgeschwindigkeiten mit teilweise herben Einbrüchen auf 130MB/s. Auch das Schreiben auf das SSD RAID1 war zwar nicht so stark betroffen, aber die Transferrate brach auch teilweise ein.
In der Konfiguration mit einem M2.SSD Einzellaufwerk und dem gleichen HDD Speicherpool (ich hatte es per software getrennt und wieder eingehängt) habe ich nun stabile Uploadraten von ca. 260MB/s auf das HDD Raid1 (ca. 4GB Files).
Mit Fastcopy oder Robocopy erreiche ich Uploadraten von über 200MB/s auch bei Photodateien (ca. 25 - 70MB pro Photo).
Die Lesegeschwindigkeit ist für mein Setup (PC limitiert) in beiden Konfigurationen (für mich) top (AJA Systems liegt meist bei über 630MB/s, auch im richtigen Leben rennt das System beim Lesen).
Die SSDs im NAS würde ich passager nutzen, je nachdem wozu ich Lust habe....
FAZIT: 2x Software RAID ist "too much" für die NAS Hardware ! ?
Mich würde interessieren, ob das zu Euren Erfahrungen passt?
Das Einzige wo ich mir unsicher bin, ist der Umstand, dass jetzt möglichweise Apps in das SSD Einzellaufwerk -DataVol1(System)- installiert werden, dies wäre dann im Falle eines Falles nicht gut, oder?
Allerdings habe ich keine größeren Ambitionen mehr hinsichtlich VMs. Eine Docker Applikation soll laufen, die entscheidenden Datenordner liegen aber auf dem HDD RAID1.
LG
Matthias
Hallo,
danke für den Hinweis mit dem Backup! Da bin ich dran. Im Augenblick habe ich einen "dynamischen Backup" mit vielen Doubletten auf vielen HDDs. Das gilt es jetzt zu ordnen.
Bereit steht ein Tandberg LTO6-HH als Backup und zwei 8TB SAS Drives als Mirror für meine wichtigsten Audiovisuellen Daten. Ansonsten werde ich auf die freiwerdenden Datenträger meine Backups machen. Da sind etliche HDDs angefallen.... Als software verwende ich Z-DBackup.
Und im Übrigen - wenn man den Blick nach Osten richtet, scheint es ziemlich egal ob mir einige TBs in die ewigen Jagdgründe verschwinden...zumal es nicht meine Lebensgrundlage darstellt.
LG
Matthias
Bernoulli Drive - Gänsehaut!
Hallo,
Seniorenwelle....wie das klingt. Männer in den besten Jahren halt, oder?
Gestern habe ich festgestellt, dass der kleine Kasten eigentlich recht brav ist. DataVol1(System) auf der M2.SSD plattgemacht, da ich sie als Lese Cache verwenden wollte und Alles funktioniert ohne Mucken weiter. Info kam auch aus dem Forum, dass die nötigsten Systemdateien irgendwie überall abgelegt werden, somit war ich zuversichtlich.
Der kleine Kasten lief weiter, als ob nix gewesen wäre. Die logischweise flöten gegangenen Apps habe ich auf einem wahrscheinlich überdimensionierten 500GB ThickVolume installiert (HDD Raid1) installiert. Ein erster Docker Container (ecoDMS) läuft auch reibungslos ( mit eigenem 1TB Thick Volume).
10TB Thin Volume für die Daten angelegt. Das Ganze eine Nacht sacken lassen.
Das TS-253D-32G lässt sich doch mit sanfter Hand in der Spur halten. Ich bin happy!
Jetzt geht es dann an die Sicherheitseinstellungen und dann wird über den 10G Switch geschaufelt.....
LG Matthias
Hallo miteinander,
leider sind die Zeiten gerade nicht heiter! Einige wenige aggressive Dumme können so viel kaputtmachen..... wie schade ist das doch!
Nun gut, Kommunikation ist immer eine gute Basis für ein friedliches Miteinander und so stelle ich mich hier kurz vor, nachdem ich schon einige Zeit mitlese.
Ich zähle mittlerweile 55 Lenze und wurstele mich seit den frühen 90er Jahren des letzten Jahrhunderts durch die Computerkabel.
Wie stolz war ich doch vor knapp 30Jahren über eine Seagate SCSI HDD mit sage und schreibe 210MB. Das war das Größte - in der Tat - eine ganze 5.25" Höheneinheit und steinschwer. Der kleine "Fingernagel", der mir gerade vom Tisch rutscht hat 128GB und eine ca. 600x Datenmenge.
Ich bin leidenschaftlicher Amateur Fotograf und seit einiger Zeit auch Filmer (DSLR-GoPro). Das führte unweigerlich zu Tonnen von digitalem Material (vom analogen Material ganz zu schweigen).
Nachdem ich immer wieder die Kapazität meines PCs erweiterte und unweigerlich Doubletten sammelte (mal schnell ein Backup machen...) habe ich jetzt ein wenig den Überblick verloren (ich untertreibe maßlos). So kam der Wunsch nach einem redundanten Datengrab auf, welches alle meine Archivierungs-Probleme lösen soll.
Seit einigen Monaten steht mein TS-253D-32G (2x EXOS X16 16TB) in den Startlöchern und wartet auf den Startschuss, allein die Zeit fehlte mir ein wenig mich in das Thema einzuarbeiten.
Kommend aus der DOS, Windows und Linux Welt habe ich noch etwas Schwierigkeiten mit dieser Blackbox Kiste zu arbeiten. Ich bestimme gerne selbst wo System und Daten liegen, für mich macht der kleine Kasten zu viel ungefragt.
Aber ich hoffe mal sehr, dass die kleine Kiste weis was sie tut.
Danke schon einmal für die vielen guten Forumsbeiträge, welche für mich nützlich waren!
Ich wünsche Euch allen eine hoffentlich bald friedlichere Zeit
Matthias
