10GBe-Netzwerk zu langsam

  • Das heisst ich kann ein Verzeichnis mit qTier-ischem Speed freischalten und auf ein anderes ohne QTier zugreifen. Und beides zB mit iperf oder auch echten Daten zB 10.000 Fotos, damit man nicht nur messen kann sondern auch spürt ob und wie das System durch das qTier schneller wird.

    OK das werde ich mit Genuss einmal testen.

    Genau (sorry vergessen auf Deutsch umzuschalten aber es sollte erkennbar sein)

    pasted-from-clipboard.png

  • Multi GBit Switche gibt es einige, Problem ist da meist der Preis, da fängt bei 1k€ noch nix an.


    Hätte ja auch gern einen 48 Port MGig Switch im Rack, aber das ist wohl noch 10 Jahre zu früh.

    Im Firmen sind die erst an speziellen Knotenpunkten oder im RZ im Einsatz, füe Clients reicht hier fast überall noch GBit aus.


    Dell kann man sich auch mal anschauen, Linus hat mit so einer Kiste seine Schnittplätze ausgerüstet.

    Aber so ein Teil mit 750W Netzteilen will ich mir gar nicht in Rack schrauben.


    Zweigleisig Fahren ist aktuell eher Zielführend.

    Also kleiner 10G Switch und die dicken Clients dran.

    1GSwitch für die Masse.


    QNAP Switche würde ich jetzt nicht einsetzen.

    Wenn schon UniFi APs hat und einen Controller, für den ist ein passender Switch praktisch.

    Mikrotik bietet oft viel Power fürs Geld.

    HPs sind halt mega teuer aber mit der Lebenslangen Garantie schon für die Ewigkeit gedacht.

    Die Hängen dann auch bei Firmen mal mehr als 10 Jahre im Rack und fällt einer aus hast 1 Tag später Ersatz da.

    Das muss man aber halt auch bezahlen.

  • Welcher der 10GbE Switches kann denn nun zB 9000er Jumboframes garantiert verarbeiten

    Jumbo-Frames sind Teil der 10GbE-Spezifikation, deshalb sollte jeder 10GbE-Switch damit klar kommen.

    Also ein 4port 10GbE Switch ist mir zu wenig zukunftssicher. Zumindest 6port oder 8port sollten es schon sein.

    Empfehlen kann ich dann den Mikrotik CRS309-1G-8S+IN. Der hat 8 Ports, ist managed, kommt lüfterlos daher und hat einen auch für Privathaushalte gut verträglichen Preis. Daneben stellst du dann noch einen preiswerten Gigabit-Switch für langsame Geräte, die kein 10GbE brauchen.


    Ich würde zwei Raids und Volumes anlegen, eines für die SSDs und eines für die Festplatten, mit getrennten Freigaben. Auf die SSDs kommen die Daten, die von kurzen Zugriffszeiten profitieren (z. B. die Fotos), auf die Festplatten kommen die weniger zeitkritischen Daten (z. B. Backups). Bei den ganzen SSD-Caches und QTiers bin ich immer skeptisch, ob das wirklich was bringt, und je komplexer das System wird, desto leichter wird bei Fehlern etwas zerschossen.

  • Hallo,


    ich habe jetzt angefangen mit 10GbE zu testen - mit sehr ernüchternden Ergebnissen:


    Hierzu habe ich zwei HP NC552SFP (10GbE)-Netzwerkkarten in einem ersten Schritt in einen PC und ein TS-453BU und dann in zwei TS-453BU eingesteckt, jeweils mit einem DAC (10Gtek) direkt verbunden, die RJ-45 Kabel abgesteckt, eine fixe IP in einem eigenen Subnetz vergeben und die Jumboframes auf 9000 gesetzt. Sowohl PC (mit SSD) als auch NAS (je 4 HDDs und Raid5 bzw. RAID 6) erkannten die Netzwerkkarten sofort und korrekt. Windows 10 Pro installierte auch gleich die richtigen Treiber.


    Einzig seltsames: Im PC hörte sich die Netzwerkkarte beim Booten an, als ob ein analoges Modem senden würde.


    Fürs Testen habe ich zuerst mein Software-Verzeichnis (25GB - 100 zumeist große Installationsdateien in 52 Ordner) und dann mein Fotoverzeichnis (35 GB - je Foto: eine große Rohdaten-Datei, 1 großes jpeg und oftmals eine kleines jpeg, sowie eine 10KB große Filialdatei mit insgesamt 4.700 Dateien in 280 Ordner) per SMB vom NAS auf den PC und dann wieder zurück kopiert. Zusätzlich habe ich noch rysnc ausprobiert.


    Die Ergebnisse sind eher ernüchternd, da sie in der Spitze bei maximal bei der doppelten Datenmenge wie beim 1GbE lagen. Meist lag die Kopierrate allerdings noch unter dem Maximum von 1GbE. Insbesondere wundere ich mich über die Testergebnisse lesend von der SSD im PC, die mit >500MB/sec spezifiziert ist. Zumindest hier hatte ich erwartet, dass der Datendurchsatz deutlich höher ausfallen würde.


    Ich hatte bei meinen Vorfeldrecherchen hier im Forum noch über zwei wichtige Einstellungen im Zusammenhang mit SMB gelesen, finden diesen Artikel aber leider nicht mehr wieder.


    Hat jemand vielleicht eine Idee wo mein Fehler liegen könnten?


    Schöne Grüße

    TBWS

  • Bei kleinen popel Dateien wirst du auch nie 10G ausreizen können, weil hier der LAN Overhead, selbst mit Jumbos, viel zu groß ist als das du hier hohe Datenraten fahren kannst.


    Das klappt nur wenn du GB große Videodateien, VM Images usw. verschiebst.

    Dann kommt es wieder auf die verbauten HDs an, ob die das schnell genug weg schreiben können.

  • Ich sage nur Virenschutz, und zwar der auf dem PC. Der kann zuweilen eine richtige Handbremse sein.

    noch über zwei wichtige Einstellungen im Zusammenhang mit SMB gelesen

    Vermutlich die Version. Würde mit SMB3 beginnen zu testen.

  • Bei kleinen popel Dateien wirst du auch nie 10G ausreizen können, weil hier der LAN Overhead, selbst mit Jumbos, viel zu groß ist als das du hier hohe Datenraten fahren kannst.

    Das ist mir schon klar, deshalb hatte ich neben dem "Realitäts-Test" mit den Fotos auch mit den großen Installationsdateien getestet.


    Ich versuches es dann mal mit anderen großen Dateien um zu sehen, ob beim Kopieren von diesen Dateien das Netzwerk besser ausgelastet wird oder ob das Problem noch an anderer Stelle liegt. Müssten es Videodateien sein oder gehen auch große ISO-Dateien?

    Ich sage nur Virenschutz, und zwar der auf dem PC.

    Läuft nur der von Mircosoft - und den würde ich ungern gegen eine andere Variante ersetzen oder gar abschalten. Werde aber nochmals mit einer Direktverbindung der beiden NAS testen. Welches Protokoll bietet hierfür normalerweise die höchsten Übertragungsraten?

    Vermutlich die Version. Würde mit SMB3 beginnen zu testen.

    SMB-Direkt ist aktiviert. Wie erzwinge ich sowohl auf dem PC als auch dem NAS nur SBM3 zu verwenden?


    Danke nochmals und schöne Grüße

    TBWS

  • Ich hab noch keinen 10GbE Switch und wollte trotzdem jetzt schon einen SpeedTest machen.


    Dabei habe ich folgendes Problem: Die Multi-GbE Verbindung kann ich nur vom Notebook direkt zum QNAS herstellen. Da ich dort momentan erst einen 5GbE Adapter installiert habe rechne ich momentan noch von maximal dem halben 10GbE Speed.


    Sobald verbinde ich aber meine 1GbE TP Verbindung zum 1GbE Switch trenne (durck deaktivieren oder abstecken), habe ich am Notebook kein kein Internet mehr, kann aber die 10GbE Card am NAS pingen.


    Das NAS hat aber weiterhin eine Verbindung zum Internet über seine 2te NIC nämlich über 1GbE zum Switch und von dort zum Router.


    Kann man den virtuellen Switch am NAS so konfigurieren, dass dieser meine Pakete vom Notebook (auf seiner 10GbE NIC) zu seiner 1GbE NIC weiterroutet ?


    Dann habe ich die Gewissheit, dass alle meine Speedtests wirklich über die 10GbE Verbindung laufen und keinen Umweg über die langsamere 1GbE


    Ich hab noch mehr Fragen, aber es langt vorerst.

    Michael

  • TBWS

    Zum Testen würde ich erst einmal iperf installieren, den iperf-Server auf dem NAS, den Client (Kommandozeile) auf dem PC. Damit wird die reine Netzwerkleistung getestet ohne Einfluss von SSDs, Virenscanner und anderen Störern. Damit kriegst du raus, ob du nicht vielleicht ein Problem im Netzwerk hast.


    Zum Testen nehme ich den Blackmagic Speedtest. Ob es den außer für Mac auch für Windows gibt, weiß ich nicht. Etwas ähnliches wird sicher verfügbar sein. Damit kriege ich auf die SSDs im NAS (Sata-SSDs im Raid 10) lesend 920MByte/s und schreibend 650MByte/s, auf Festplatten im NAS (Raid 5) lesend 850MByte/s und schreibend 220MByte/s. Der Vorteil vom Speedtest ist, dass die Ergebnisse relativ gut reproduzierbar sind du einige Konfigurationen durchtesten kannst. So habe ich deutliche Unterschiede, je nachdem, ob die Freigaben über SMB, AFP oder NFS angebunden sind.


    Bei deinem Kopiertest hast du hingegen auch immer den Einfluss der lokalen SSD mit drin. Wenn du z. B. im PC ebenfalls eine SSD mit 500MByte/s haben solltest, wirst du womöglich in der Kopiergeschwindigkeit (je nach Realisierung im Kopierprogramm) nicht über 250MB/s kommen, weil die gelesenen Daten auch wieder weggeschrieben werden müssen. Dabei ist das nicht der realistische Test, den du willst, sondern später willst du mit den Daten direkt auf dem NAS arbeiten, ohne dass lokale Kopien angelegt werden müssen.


    Das Anlegen und Lesen von Verzeichniseinsträgen wirkt sich sehr stark auf die gemessene Geschwindigkeit aus. Deshalb erhältst du bei vielen Dateien relativ geringe Geschwindigkeiten (wobei 10GbE dann immer noch schneller sind als 1GbE, aber der Unterschied ist weniger drastisch).


    Den Virenscanner dauerhaft auszuschalten, ist sicher keine dauerhafte Lösung, aber während eines Geschwindigkeitstests machbar. Dann hast du eine Rückmeldung, ob es daran liegt.


    Was bei mir sehr viel gebracht hat, sind Jumbo-Frames. Die Lesegeschwindigkeit bei SMB hat sich mehr als verdoppelt (dürfte eigentlich nicht sein, ist aber bei mir sehr gut reproduzierbar). Beim Schreiben sowie bei AFP und NFS, egal ob lesen oder schreiben, ist der Unterschied hingegen eher vernachlässigbar. Vermutlich wird mit den Jumbo-Frames irgendein Engpass im SMB auf dem Mac behoben.


    @Boomerang63

    Für einen Geschwindigkeitstest würde ich einfach das Gigabit-Ethernetkabel abziehen. Dann bist du sicher, dass nur der 10GbE-Zugang genutzt wird. Während des Tests brauchst du kein Internet. Das ist ja keine dauerhafte Lösung. Wie ich dich verstanden habe, wird der 10GbE-Switch eh' kommen.

  • Hallo Anthracite,


    danke für den tieferen Einblick in das Thema Netzwerkgeschwindigkeit. Obwohl ich mich in Vorbereitung den Umstieg eingelesen hatte, waren eine Reihe von Dingen jetzt doch neu für mich.

    Deshalb erhältst du bei vielen Dateien relativ geringe Geschwindigkeiten (wobei 10GbE dann immer noch schneller sind als 1GbE, aber der Unterschied ist weniger drastisch).

    Das habe ich auch festgestellt. Die Gesamtzeit für das Kopieren eines Verzeichnisse von 25GB lag mit 1GbE mindestens immer um 50% höher als beim 10GbE.


    Nachdem ich das NAS auf SMB3 gezwungen hatte (Qnap-Anleitung das NAS auf SMB3 zu zwingen), lag die Übertragungsgeschwindigkeiten bei ersten Tests zeitlich gemessen mit Jumboframes '9000' um ca. 20% höher.


    Dabei ist das nicht der realistische Test, den du willst, sondern später willst du mit den Daten direkt auf dem NAS arbeiten, ohne dass lokale Kopien angelegt werden müssen.

    Mein Hintergrund für meine 10GbE-Tests ist die Idee mit SAMBA zu arbeiten um alle Daten und User Einstellungen (insbesondere Office und Firefox) beim Schließen des Windows Users auf das NAS zu schreiben und beim Starten des Windows Users diese dann möglichst schnell wieder vom NAS auf den Windows User repliziert bekomme, damit die Arbeitsfähigkeit auch im Falle eines PC-Wechsels möglichst schnell wiederhergestellt werden kann. Aber vielleicht könnten Daten und User Einstellungen insbesondere für die Notebooks auch getrennt behandelt werden (Qsnyc + SAMBA)?


    Ich habe im Moment noch folgende Fragen - vielleicht kannst Du mir auch hier helfen:

    • Die Schreib- und Leseleistungen von HDDs unterscheiden sich zwischen dem
      inneren und dem äußeren Rand erheblich. Um überhaupt ein Gefühl dafür zu bekommen was ungefähr realistisch ist: Wie kalkuliere ich die Lese- und Schreibgeschwindigkeit bei RAID6 mit 4 HDDs bzw. 6 HDDs in etwa? Erinnere ich mich richtig: Durchschnittliche gemeinsame Lese- bzw. Schreibleistung von 2 HDDs bzw. 3 HDDs -20%?
    • Welches ist die schnellste Methode um Daten zwischen zwei NAS zu replizieren?


    Schöne Grüße

    TBWS

  • Voererst einmal danke an Anthracite


    Hab nun iperf3 am NAS installiert. Für den iperf3 test muss ich gar nicht umstecken, da ich das NAS ja auf 2 unterschiedlichen IPs im iperf client Aufruf ansprechen kann.
    ZB bei CrystalDiskMark kann ich ja nur ein Laufwerk ansprechen und da hab ich keine Kontrolle über welche Leitung das dann geht.


    Erster Test mit iperf3:

    • 1GbE über Netgear Switch: lausige 500Mbps = ca 60MBps
    • 5GbE via QNAP UC5G1T an USB3.0(=3.1g1@5Gbps) 1,63Gbps = ca 200MBps
    • 10GbE via Akitio Thunder3 DockPro an TB2 > 3,18Gbps = ca 400MBps

    Am NAS hab ich noch nichts geschraubt bzgl Jumbo, cache, qTier, SMB/NFS etc

  • Ist Jumbo aktiv?

    Denn GBit sollten um die 112MB/s liegen, 60 sind deutlich zu wenig.


    Da stimmt etwas nicht.

    Kann der Switch keine Jumbos, bricht die Leistung massiv ein.

  • Lieber noch mal am Client und NAS kontrollieren, nicht das man eine Kleinigkeit übersieht und dann lange suchen muss.


    Dann ist halt der nächste Punkt die Verkabelung und der Switch aus zu schließen.

  • Mein Hintergrund für meine 10GbE-Tests ist die Idee mit SAMBA zu arbeiten um alle Daten und User Einstellungen (insbesondere Office und Firefox) beim Schließen des Windows Users auf das NAS zu schreiben

    OK, dann ist das Kopieren für dich der reale Test.


    Aber warum machst du das überhaupt?

    Warum bearbeitest du die Dateien nicht direkt auf dem NAS? Dafür hat man 10GbE.


    (Ich habe mal bei einer Firma gearbeitet, wo sie das genau so, wie du es vor hast, gemacht haben. Der Grund war dort, dass Backups nur von den Daten auf dem Netzlaufwerk gemacht wurden, nicht aber von den PCs. Das Netzlaufwerk war dort aber zu langsam, um ständig damit zu arbeiten. Es hat ziemlich lange gedauert, bis die gemerkt haben, dass das Kopieren der Einstellungen vor allem deshalb so lange gedauert hatte, weil alle temporären Caches von Internet Explorer und Co. auch irgendwo zwischen den Einstellungen lagen.)

    Die Schreib- und Leseleistungen von HDDs unterscheiden sich ...

    Zur konkreten Frage habe ich keine Ahnung.


    Realistisch erwarten kann man pro Festplatte im Raid lesend etwa 200 bis 250 MByte/s, schreibend je nach Raid-Level teilweise deutlich weniger. Das gilt nur für wirklich große Dateien. Irgendwann liegt dann der Flaschenhals woanders. Mit genug Festplatten kann man 10GbE auslasten.

    Welches ist die schnellste Methode um Daten zwischen zwei NAS zu replizieren?

    Das habe ich nie ausprobiert. Ich habe noch ein altes und langsames NAS, auf das ich in einer Richtigng repliziere als Backup. Da der Job nachts läuft, ist die Geschwindigkeit nicht wichtig.

    Erster Test mit iperf3:

    1GbE über Netgear Switch: lausige 500Mbps = ca 60MBps
    5GbE via QNAP UC5G1T an USB3.0(=3.1g1@5Gbps) 1,63Gbps = ca 200MBps
    10GbE via Akitio Thunder3 DockPro an TB2 > 3,18Gbps = ca 400MBps

    Die Zeiten sind zu langsam. Mit iperf solltest du nahe am theoretischen Maximum der Netzverbindung liegen. Bei Gigabit schaffe ich das Maximum, bei 10GbE komme ich konstant auf 925 MByte/s. Ich nehme an, dass mein Thunderbolt-Adapter ein (leichter) Flaschenhals ist und nicht ganz das theoretische Maximum für 10GbE durchlässt.


    Eie Ursache für die schlechten Zeiten könnte sein, wenn du Jumbo-Frames nur auf einer Seite eingeschaltet hast.


    Hinweis: Bei einigen managed-Switchen muss man Jumbo-Frames ebenfalls erst einschalten.

    kann ich ja nur ein Laufwerk ansprechen und da hab ich keine Kontrolle über welche Leitung das dann geht

    Doch, dann hast du auch eine Kontrolle. Beim Verbinden eines Netzlaufwerks kannst du die IP-Adresse angeben, und damit ist klar, wo die Daten langgehen.

    Einmal editiert, zuletzt von Anthracite ()

  • Ich hatte vor vielen Jahren mal negative Erfahrungen bzgl Jumbo Frames auf GbE, dort hat sich alles ausgebremst. Meine 3 GbE Switches (Netgear 2x GS108T) sind ausserdem schon alt aber ...

    Auf meinem ebenso altes MacBookPro (Late2010 - C2duo - Mojave - 16GB DDR3) das ich für Admin Zwecke immer wieder gerne verwende, schaffte ich soeben auf Anhieb die 900Mbps=110MBps über die gleichen 2 Switches. Allerdings konnte ich in den Netzwerkeinstellungen der LAN Schnittstelle keine Jumboframes einstellen.

    Am Acer Aspire V15Nitro Black i7 - 32GB DDR4 - TB2 - AKITIO Thunder3 DockPro mit 10GbE ging es nicht höher. Wird Zeit das Ding einmal neu aufzusetzen.

    Und danke, ja natürlich: Ich hab im net use immer nur die Freigabenamen verwendet, aber klar, dort kann man ja die IP Adresse verwenden klar

    Danke


    10GbE mit CrystalDiskMark rd570MBps wr1200MBps zu einer NAS Freigabe mit eingeschaltetem QTier

    10GbE mit CrystalDiskMark rd615MBps wr1180MBps zu einer NAS Freigabe mit AUSgeschaltetem QTier

    Und iPerf3 4570Mbps=521MBps

    Das kann auch daran liegen, dass der Netzwerktreiber für die Thunder3 DockPro 10GbE NIC noch upgedated gehört

    Und iPerf3 maximal 4780Mbps=600MBps - aber schwankend. Geht auch manchmal wieder auf 3000Mbps zurück.

    Die Werte sind schon besser. Das QTier Verhalten hinterfragenswürdig, wie hier bereits öfters angekündigt.


    Gibt es eigentlich eine Statistik über die Trefferrate im QTier (auch wenn das hier sowieso eher als Mist bezeichnet wird)

    Oder könnte man steuern, dass zB die Verzeichnisse (Directories, Thumbnails), dass man wWchtiges priorisieren kann, was immer im QTier cache gehalten werden soll ?

    Ich glaube das gibt es nicht oder ?

    :)

  • Das habe ich nie ausprobiert. Ich habe noch ein altes und langsames NAS, auf das ich in einer Richtigng repliziere als Backup. Da der Job nachts läuft, ist die Geschwindigkeit nicht wichtig.

    Bei den normalen Backups ist das bei mir genauso, aber ich muss ein ganzes NAS mit 14TB kopieren ...

  • Hallo zusammen, eine kurze Frage zum 10G-Port vom HS-453DX: Kann ich dort ein "normales" Cat6a/7-Kabel mit RJ45 anschließen? Oder ist nur die Buchse daneben mit 1G für RJ45 geeignet? IMG_4962k.png


    Was ist ein 10GbE bzw. NBASE-T?

    IMG_4965k.png

  • Beides sind Rj45, ein Port ist 1GbE der andere 10GbE


    NBASE-T das N steht für die Variable der Geschwindigkeit


    1GBASE-T= 1GbE

    ...

    10GBASE-T=10GbE

  • super, vielen Dank :)

    Sind beide RJ-45 Ports als (Mini) Switch zu sehen, also z.B. 10G als LAN-Eingang für die NAS und der 1G als Weiterleitung zum Smart-TV?