Sein oder nicht sein - Die Frage ob man ein 10 GBit Lan benötigt

    Hiho allerseits,


    mal ein paar Quick&Dirty Tests bezüglich Leistung bei einem 10 GBit Lan. Von den Kosten her wird das ja immer erschwinglicher. Ob es was bringt umzusteigen ? Das bleibt jedem selbst überlassen !

    Ich verzichte extra auf Umrechnungen und doppelte Benennungen. Alles wird in Megabyte/s angegeben - einfacher zu lesen.

    Nur einmalig:

    100 Mbit ~12,5 MB/s

    1000 Mbit ~125 MB/s

    10000 Mbit aka 10 Gbit ~ 1250 MB/s


    Grundlagen:

    Nas: QNap TS-1232XU, betrachtet werden die M2.SSDs (2x Samsung 970 EVO 250 GB), sowie das verschlüsselte Raid 6, bestehend aus 8x HGST Ultrastar He10 SATA 512e 10TB (HUH721010ALE604). Anbindung logischerweise mit einem SFP+ GBit Modul

    Switch: Mikrotik CRS305-1G-4S+IN, mal übersetzt: Switch mit 1x GBit Uplink und 5x 10GBit SFP+ Ports, 2 SFP+ Ports mit 10 GBit Modulen belegt

    Workstation: Asus TUF X299 Mark 1, I7-7820X, Netzwerkkarte Mellanox ConnectX-2 mit 10 GBit SFP+ Modul, 1x SSD 960 EVO 250GB (250 GB, PCI-E 3.0 x4), 1x CT1000P1SSD8 (1000 GB, PCI-E 3.0 x4), SSDs verschlüselt mit Veracrypt


    Btw, da es so verdammt günstig war natürlich alles auf LwL. Kupfermodule sind mir persönlich zu teuer. Nebenbei, was eigentlich bei 4 SFP+ Modulen zu vernachlässigen ist, LwL verbraucht deutlich weniger Strom pro Port.

    Bei 10 Modulen oder mehr schaut das dann aber wieder ganz anders aus. Die Latency LwL vs. Kupfer lassen wir mal außen vor.

    Quelle Glasfaser vs. Kupfer in Englisch


    Testdatei ~100 GB generierter Datenmüll. Kleine Dateien betrachte ich jetzt mal (noch) nicht.


    Szenario 1:

    100 GB vom verschlüsselten Raid6 auf beide verschlüsselte SSDs auf der Workstation: ~350 MB/s

    Mhh... ja nun.... das ist so gesehen von einem Raid6 (Was eigentlich relativ langsam ist), gar nicht mal so übel.

    Von Workstation auf NAS macht sich das Raid6 im Schreiben aber leicht bemerkbar, hier erreiche ich "nur" ~250 MB/s


    Szenario 2:

    Aaaaber, ich habe ja noch die zwei 970er Evos im QNap, die eigentlich fürs cachen sind. Also die mal schnell umgeändert auf ein Raid 0, danach auf ein Raid 1.

    Mit einem Raid 0 sollte das eigentlich abgehen wie nochwas. Ernüchterung folgte, ebenso gleiche Werte wie Szenario 1, lediglich Schreiben ging auf ~350 MB/s.


    Folglich könnte es eine Limitierung vom Mikrotik Switch geben, oder was ich eher glaube, von der Veracrypt Verschlüsselung.

    In der Richtung könnte man mich Paranoid nennen das NAS oder den PC zu verschlüsseln. Es sei allerdings gesagt dass ich auch auf Google Drive und ähnliche Dienste verzichte (Stichwort Nextcloud@Home auf einem kleinen Raspi4).

    Seis drum. Meinen alten TP Link T1700-TG werde ich ggf auch mal anschließen um den Mikrotik Switch auszuschließen - meinen Rechner wollte ich eh mal plätten. Bevor der wieder verschlüsselt wird, wird getestet.


    Szenario 3:

    Rechner frisch mit Windows 10 Pro, alle Treiber etc drauf. Aber keine Verschlüsselung aktiviert.

    Kopiervorgang vom NAS, Raid6 Volume auf die unverschlüsselten SSDs ~350 MB/s, umgekehrte Richtung ~300 MB/s. Hier scheint sich wohl, auch wenn es nur 50 MB/s mehr sind, etwas getan zu haben.

    Kopiervorgang vom NAS, unverschlüsseltes SSD Raid 0 Volume ~350 MB/s , umgekehrte Richtung ~350 MB/s. Nunja, das hätte ich jetzt nicht erwartet - spielt der Mikrotik Switch doch eine größere Rolle ?



    Update 20200507:

    Fehler Mb/s - MB/s korrigiert. Thx@LHB für den Hinweis

    Danke für den kurzen Bericht. Eine kleine Anmerkung: Es sind dann 12,5 / 125 / 1250 MB/s, nicht Mb (das wären wieder Bit) (die Abgrenzung MB / MiB mal ganz außen vor).

    Fazit nach der ersten Testrunde - irgendwas wirkt hier sehr stark limitierend. Ich werde noch mal im laufe der Tage den TP Link testen.

    Für mich sind die 350 MB/s jedoch völlig in Ordnung, wenn man bedenkt was der Mikrotik Switch kostet und was man damit alles machen kann.

    Interessant ist, dass die Verschlüsselung mittlerweile so gut wie keine negativen Auswirkungen mehr auf den Datentransfer hat.

    Wie hast du Jumbo Frames eingestellt, denn ohne die wirst du auch wenn du QSFPs steckst nicht mehr erreichen.

    Denn das sind einfach viel zu viele Pakete die pro Sekunde verarbeitet werden müssen und die limitieren deine Bandbreite.


    Nicht umsonst gibt es 9K oder bei DC Switchen sogar 16K MTUs.

    Dann geht es erst richtig ab.

    Steht aktuell bei 9000. Im NAS sowie am Windows PC.

    Beim Mikrotik Switch sehe ich im SwitchOS keine Möglichkeiten was einzustellen.

    Habe jetzt mal ins RouterOS gebootet - viel mehr Einstellmöglichkeiten. Da schau ich mal ob die MTU zu ändern geht.

    Die MTU muss beim Switch gleich oder größer sein, wie die Einstellung an allen Clients.


    Sonst gibts keine Jumbo Frames sonder Packetsalat.

    Tatsächlich konnte man die MTU nur im RouterOS ändern. Diese stand noch auf 1500. Es hat sich minimal verbessert, Kopie von NAS auf PC ging auf ~390 MB/s hoch.

    Kopierleistung RAID6 vs. Nvme SSD übrigends gleich, also ~390 MB/s.

    Von PC auf Raid 6 ~290 MB/s und PC auf SSD ~290 MB/s.

    Hätte nicht gedacht dass sich das Raid6 so gut schlägt beim Schreiben, da ja die Paritätsberechnungen viel höher ausfallen.


    Irgendwas limitiert noch, aufgeben tu ich noch nicht :).

    Update:

    Habe den guten TP-Link T1700G-28TQ mal zum Fehler ausschließen angeschlossen. Natürlich auch gleich die Packetsize auf Jumbo Frames gestellt. Nun ja, es ist wie verhext. Irgendwas limitiert die Leistung, diese steht immer am Anschlag von ~390 Mb/s von den NAS Nvme,SSDs zu Nvme.SSD.


    Ja klar, die knapp 400 Mb/s lesend vom NAS bzw. 290 Mb/s schreibend aufs NAS sind so gesehen okay,

    Habe jetzt die zwei Nvme SSDs im NAS als Raid 0, also gestrippt - für den Test natürlich nur. Ergebnis: Keine Änderung :cursing:. Leistung wie die letzten Male. Trotz Raid 0 !


    Jetzt wirds ganz verrückt - ich habe einfach mal aus Spass von meinem NAS, dem Raid6 Volume über meinen PC, dem Windows Explorer eine Dummydatei auf die SSD kopiert - und umgekehrt.

    Dass die Schreibleistung auf das Raid 6 nicht berauschend sein wird, ist ja klar. Im Schnitt waren es aber trotzem so 300 MB/s.

    pasted-from-clipboard.png


    Nun vom Raid0 aufs Raid6 - Holla die Waldfee:

    pasted-from-clipboard.png

    Okay, leichte Schwankungen am Anfang, aber der Speed bewegt sich um die 550 MB/s -600 MB/s.

    pasted-from-clipboard.png


    Diese Werte waren jetzt mit dem TP Link Router, ein weiterer Vergleich mit dem Mikrotik CRS305-1G-4S+IN brachten im Schnitt vom NAS SSD mit Windows Explorer kopieren auf NAS Raid6 ca. 20 MB/s bessere Schreibleistung. Also statt ~270 MB/s waren es ~290 MB/s.


    Jetzt noch vom NAS Raid6 Kopie per Windows Explorer auf das NAS SSD. Die Werte sind wie beim TP Link, im Schnitt 550 MB/s -600 MB/s, allerdings auch minimale höhere Geschwindigkeit.


    So, erster Teil der Odyssee beendet - jetzt muss ich mal nach meinen Arbeits/Gaming PC schauen.

    So, der letzte Test stand heute an, habe noch mal eine Nvme SSD am "Arbeitsplatzrechner" entschlüsselt.

    Nunja, also:

    Von PC SSD unverschlüsselt, zu NAS SSD unverschlüsselt: ~290 MB/s

    Von NAS SSD unverschlüsselt, zu PC SSD unverschlüsselt: ~ 300 MB/s


    So, aktuell bin ich etwas ratlos..... das NAS und den Switch schließe ich jetzt mal aus. Denn der "umgeleitete" Kopiervorgang von der NAS SSD, über den Arbeitsplatzrechner, zurück aufs Raid6 und umgekehrt hat ja sehr gute Transferwerte zurückgegeben.


    Jetzt muss ich mal mein Versuchs-Server-Board klar machen, um zu schauen ob dieses auch dieses Phänomen mit den 300 MB/s hat. Kann mir nicht erklären wo diese Limitierung herkommt. Die Mellanox Connect-X2 Lankarte ? Das Asus X299 Mark 1 Mainboard ?


    Alles sehr nervig, aber trotzdem interessant die Fehlerquellen Stück für Stück zu eliminieren.

    Hast du eigentlich auch mal NAS und PC dirket ausprobiert, also ohne Switch dazwischen. Falls ja hätte ich das überlesen.


    Wenn du ein 2. NAS hast. Wie sieht es zwischen 2 NASen aus? Oder das gleiche zwischen 2 PCs?


    Deine 550-600 MB/s von RAID auf SSD waren doch eigentlich eine interne Kopie ohne Netzwerkkontroller als möglichen Flaschenhals!?

    Nein, da ging es vom NAS über den Switch zum PC und dann wieder zurück und da waren wir bei der doppelten Datentraten in eine Richtung.


    Das Problem scheint hier also im PC zu liegen.


    Virenschutz?

    Gibt ja einige die sich in den Datenverkehr auf verschiedenen Ebenen einklingenk.

    Ggf. ist hier einer aktiv, der nicht im Netzwerk hängt, aber beim Zugriff auf PC Datenträger alles was von außen kommt ganz genau anschaut.


    Da hier auch managed Switche eingesetzt werden, die ein entsprechendes überwachen der Portauslastung und der Fehlerrate zulassen, kann man das Netzwerk auf Switch Seite schnell ausschließen.

    Bei einem unmanaged würde ich den aber auch mal umgehen, da man hier völlig blind ist.

    Hiho,


    das ist natürlich simpel.. NAS <-> PC. Werde ich auch mal testen.

    Habe jetzt den Ersatz PC fertig. Siehe da..... TOP Werte.

    Vom NAS SSD zu Ersatz SSD. Habe jetzt nicht die schnellsten SSD im Schreibvorgang, daher die sind die ~860 beinahe das Maximum. Die Crucial SSD schafft max. 950 MB/s im Schreiben.

    pasted-from-clipboard.png


    Zitat


    Deine 550-600 MB/s von RAID auf SSD waren doch eigentlich eine interne Kopie ohne Netzwerkkontroller als möglichen Flaschenhals!?

    Wenn man es genau nimmt: Die Kopie ging von dem Raid über das Netzwerk zum PC und dann wieder zurück auf die NAS SSD.

    Sprich, mit Umleitung übern PC. Das hat auch funktioniert, Traffic ist tatsächlich geflossen.


    Jetzt nehme ich erst Mal meinen PC vor um zu schauen was da für ein Mist los ist mit den 300 MB/s


    Kurzes Fazit:

    Das Raid6 im NAS hat mich positiv überrascht - dachte nicht dass es so schnell im lesen/schreiben ist.

    Ohne Nvme SSDs reizt man das 10 GBit Lan fast nicht aus -

    Finde deine Tests informativ und spannend. Strategisch und eingrenzen würde ich etwa ähnlich.

    Mod: Zitat ohne Quellenangabe ... korrigiert! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    Zitat von NightStalk3r

    Wenn man es genau nimmt: Die Kopie ging von dem Raid über das Netzwerk zum PC und dann wieder zurück auf die NAS SSD.

    Sprich, mit Umleitung übern PC. Das hat auch funktioniert, Traffic ist tatsächlich geflossen.


    Hätte ich eigentlich so nicht erwartet. Streng genommen ist das aus meiner Sicht ein Designfehler. Überrrascht mich jetzt ein bisschen, dass bei dem Vorgang nicht nur vom Explorer initiert wird und dann der Rest NASintern abläuft. Kommt mir vor, wie ein Transport von Hamburg via Rom nach Berlin. Wäre doch viel schneller, wenn die in Rom sagen, dass die Ware direkt von Hamburg nach Berlin geliefert werden kann, ohne Umweg über Rom ;)

    Wenn die Datei auf der selben Partition verschoben wird, dann ist es auch so, dass es "intern" abgearbeitet wird. Also streng genommen wird ja lediglich der Pfad geändert.

    Wenn ich die Datei auf eine andere Partition kopieren, nimmt der Windows Explorer den Umweg über den PC.


    So, anscheinend den Fehler gefunden:

    Ich habe den PCI-E getauscht, ein Slot weiter nach oben. Nun passt alles. Warum auch immer ?

    Meine mal was gelesen zu haben dass der zweite Nvme Slot sich die PCI-E lanes mit dem letzten Slot teilt, je nach CPU und Anzahl der Lanes.

    Also der Intel i7-7820X hat 28 Lanes..... und tataaa.... das Kleingedruckte vom Asus X299 Mark 1:

    Mod: Zitat ohne Quellenangabe ... gelöscht! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    Damit wäre das Phänomen geklärt. Ende 2017 habe ich noch nicht an eine zweite Nvme gedacht, geschweige denn an eine 10 GBit NIC.

    x1 Fach Mode kommt den 300 MB/s ganz gut hin.

    Wenn ich mich da nicht verkuckt habe - die 28 Lanes stimmen aber auf alle Fällr.

    Mod: Zitat ohne Quellenangabe ... gelöscht! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    Die Kopierrate bewegt sich von NAS Raid6 verschlüsselt auf PC SSD verschlüsselt bei ~450 MB/s

    Vom NAS SSD unverschlüsselt auf PC SSD verschlüsselt ~550 MB/s

    Die Verschlüsselung frisst schon etwas Leistung. Aber das ist es mir persönlich Wert. Im alltäglichen Gebrauch merkt man von Veracrypt praktisch nichts.


    Alle Daten trage ich noch mal in schön ein. Mittlerweile ist es etwas unübersichtlich.


    Benötigt man 10 GBit Lan unbedingt Zuhause ? Wenn man nicht gerade als Hobby das Filmen hat und alles unkomprimiert in 4K aufnimmt, kann man meiner Meinung darauf verzichten.

    Selbst bei zwei großen NAS:

    Wenn man die Datensicherung richtig einrichtet, ist die inkrementelle Sicherung sehr viel kleiner und schneller. Es dauert lediglich das erste Mal länger... wie so oft beim ersten Mal :/.

    Der Vorteil vom Stromsparen ist echt minimal und macht sich erst vielen Ports bemerkbar:

    Pro SFP+ Port mit 10 GBit Lwl sind das 1 Watt.

    Pro SFP+ Port mit 10 GBit Kupfer etwa 4-6 Watt.

    Da wird so ab 15-20 Ports welche alle mit 10 GBit laufen interessant.