10GBe-Netzwerk zu langsam

    Hey Forum,

    erstmal: Fröhliche Weihnachten euch allen.

    Jetzt zu meiner Frage:

    Ich hab seit einiger Zeit einen Netgear 10GB-Switch mit 2x10GB und 8x1GB

    Dazu eine Qnap 10GB-Karte in mein TS453BE (Raid5 mit 4x4TB WDRed (CMR) eingebaut. Sowohl Switch wie auch qnap zeigen 10GB/s an. Jumboframes auf 9014 gestellt

    LAN-Kabel Cat6A 3m

    Jetzt habe ich im Windows10-PC auch endlich eine 10GBe-Karte eingebaut und das 1GB/S-Onboard deaktiviert. Jumboframes für die 10GBe-Karte auch auf 9K.

    Auch hier wird 10GB/s angezeigt.

    iperf3 zeigt folgendes:

    Die Datenübertragung vom NAS auf den PC (SSD) mit 1 großen File (2GB-Linux.iso) zeigt 450-500MB/s

    Gibt es noch etwas einzustellen, das ich übersehen habe?

    Aber iperf3 zeigt ja auch nicht 10gb/s sondern eher 5gb/s an? Wenn beim synthetischen Test schon nur 5gb/s gehen werde ich mit SSDs wohl auch nicht mehr erreichen?

    Die Steigerung von 80-90MB/s auf 450-500MB/S ist ja grundsätzlich schon mal ok

    m2 bekomme ich ja nur mit einer PCIe-Karte (Kombi Lan und m2) in mein NAS, das nur 1 Steckplatz hat.


    Mir geht es letzten Endes um die Beschleunigung von Lightroom, wo alle Raws auf dem NAS liegen und der Katalog auf einer lokalen SSD.

    Den verlinkten Thread habe ich gesehen, wollte den aber nicht für mich kapern.

    Zitat von mad99

    Die Datenübertragung vom NAS auf den PC (SSD) mit 1 großen File (2GB-Linux.iso) zeigt 450-500MB/s

    Für ein RAID5 mit 4 HDDs ist das nicht perfekt aber keine Katastrophe. Wenn SSD-Cache vorhanden ist: Deaktivieren und erneut probieren.


    Iperf3 hingegen sollte wirklich deutlich mehr liefern.


    Beherrscht der Switch 9k Jumboframes? Vermutlich handelt es sich um Netgear GS 110. Laut Hersteller kann der bis 10k Jumboframes.

    Google mal nach PCIe 2x2 und schaue mal auf die Bandbreite die da bei raus kommt.

    Dann hat PCIe 2 noch sehr viel Overhead so sind dann noch 80% Nutzdaten über.

    Dann werden die Zahlen in etwa bei raus kommen.

    Der Netgear unterstützt Jumboframes im automatischen Modus, nicht konfigurierbar.

    Mal sehen, ob sich etwas ändert, wenn ich QNAP und PC direkt verbinde.

    Das aber erst nach den Feiertagen :)

    Das klingt doch recht gut,

    Hat jemand einen Link zur Hand bezüglich QTier und Cache? Ich hab mich da noch nicht mit beschäftigt.

    Ich fürchte aber , das diese Lösung mein Budget übersteigen werden, da das alles nur Hobby ist.

    Das schaffen die HDs nicht.


    Und die M.2 SSDs halbieren diesen Wert, wenn die als Cache laufen, weil die sich mit dem 10G LAN Chip um den Bus kloppen.


    Bringt also in der Be nur bedingt was bei schnellen HDs.


    Das sieht in den großen Monster NAS Systemen anders aus.

    Aber das ist eine Be halt nicht.

    Zitat von mad99

    Hat jemand einen Link zur Hand bezüglich QTier und Cache?

    Nein. Aber aus praktischer Erfahrnung kann ich sagen, dass mit Lesecache das Schreiben langsamer wird.


    Man findet mehrere Berichte, laut denen SSD-Cache nichts bringt. Besser aus den SSDs ein separates Volumen machen.

    sowas habe ich mir gedacht :ziped:

    Dann beschäftige ich mich jetzt mal mit Lightroom und der Verarbeitungsgeschwindigkeit.

    Danke für eure Unterstützung.

    Lies dir das mal durch.

    Dann starte mal einen IPerf3-Test mit mehreren simultanen Verbindungen. Ich schätze dann kommst du auch auf deine theoretischen 10 Gigabit.

    Die 400 bis 500 MB/s habe ich auch bei der 453Be bei 4 x 8TB Seagate in RAID 5.

    Meine 10GBE NIC ist QM2-2P10G1TA mit 2 x M.2 Samsung 970 EVO Plus 1 TB als Raid 1 Cache.


    Cache und QTier Konfigurationen bringen absolut nichts an Performance Verbesserung - ausser daß das NAS tageweise beschäftigt ist die Hot Data in den RAID 5 Verbund zu integrieren.


    Mein neuester 10GBE Test hinsichtlich besserer Performance(up and down) ist eine spottbillige

    251D mit SSD und obiger NIC Karte ohne M.2 Bestückung + ohne Cache.


    Die kommt bei grossen Dateien auf bis zu 766 MB/s.

    Ich kann Dir das als Besitzer einer TS-453Be leider bestätigen - der SSD-Cache bringt absolut garnichts (auch ich habe die Qm2-2P10G1T eingebaut, Cache ist aber schon lange deaktiviert - die SSD laufen nur noch als Volume für 1 VM die "noch" auf der 453 liegt, sobald die auch migriert ist, fliegen die SSD raus). Ich habe hier ein 10GBe Backbone an dem mein ESXi, mein PC mit 2ter (10GBe) Netzwerkkarte und die 453Be hängt. Verbindung PC/ESXi liegt bei ~9GBit per iPerf, Verbindung sowohl vom ESXi als auch vom PC zur 453Be zwischen 5 und 6 GBit. Der ESXi nutzt die 453Be per iSCSI als Datastore für meine VMs. Auch eine 2x 10GBe Karte im 453Be würde nichts bringen (obwohl der ESXi das unterstützen würde), ich laufe hier wieder in den 2x2 PCIe-Flaschenhals. Derzeit sehe ich für mich nur 2 Alternativen, entweder eine NAS mit deutlich besserer PCIe Anbindung, oder eine selbstbau-Lösung (wobei ich das "gebastel" nicht mehr leiden kann). Läuft auf Dauer wohl vermutlich wirklich auf eine NAS mit mehr PCIe-Leitungen raus - mehr CPU-Leistung brauch ich nicht, die Maschine läuft "nur noch" als Datastore. Weitere Tests mit der 453Be kannst Du Dir aber entsprechend sparen - die habe ich alle schon hinter mir ;)


    Gruß,


    Lauri

    Hallo, vielleicht könnt Ihr bei der Gelegenheit einem dummen Newbie helfen. Ich habe ein TS-653D und möchte eine 10GBe Karte einbauen. Auf den anderen Rechnern habe ich Mellanox Connect X2 laufen (alles Linux aber auch unter Windows 7 und 10 getestet wegen einer faulen HP Karte). Normal habe ich bei so Sachen auch immer die Quellen runtergeladen und alles kompiliert. Im Falle Linux funzt das mit MLNX4_ofed. So nun habe ich aber festgestellt, daß ich ersten keinen Compiler hier installiert habe auf dem QTS ( Kernel ist 4.14.xx ). Quellen habe ich bei Mellanox gefunden, lassen sich auch auf den anderen Kisten kompilieren ( sind aber 5.x Kernel). Nun meine Frage wie bekommt Ihr die Module auf das QNAP bzw. wie läuft das nach dem technischen Montieren mit der SW und der Erkennung? Ich schreibe das hier da ich hier von 10 GB gelesen hatte und vom deaktivieren von den 2,5 GB Karten (Chipsen).

    Viele Weihnachtsgrüsse

    Achim

    Zitat von azschaege

    Ich habe ein TS-653D und möchte eine 10GBe Karte einbauen.

    Die meisten nehmen eine Karte von der Kompatibilitätsliste. Von Mellanox stehen für Dein NAS zwei auf der Liste. Danach eigentlich nur noch einbauen und gut. Bei den kompatiblen Karten benötigt es keine zusätzlichen Treiber oder Installation.

    Ok, danke habe mal 2 MLNX 311 bestellt. Mit den anderen bin ich auch sehr zufrieden. Danach kann ich langsam die Bohrmaschine für die Deckendurchbrüche auspacken. Sind immerhin 4 Stockwerke.

    Nochmal vielen Dank

    Achim

    Zitat von azschaege

    Danach kann ich langsam die Bohrmaschine für die Deckendurchbrüche auspacken. Sind immerhin 4 Stockwerke.

    =O Ich würde da mal nach der Steigzone (vertikaler Kabel und Leitungskanal) suchen und lieber ein paar Meter mehr Kabel verlegen. Den gibt es normalerweise in jedem Gebäude, welches nicht gerade aus der Steinzeit stammt. Oft ist dieser aber gut versteckt (braucht man ja eigentlich nicht jeden Tag). Pläne des Gebäudes können da recht hilfreich sein.

    Diese Haus ist schlimmer als aus der Steinzeit. Es ist aus den 70gern. Da haben bei den ärmeren Leuten ( gebaut hat damals jeder und das ging sogar) die Hobbyhandwerker oftmals einen gewissen Anteil an Materialien mitgenommen und bei sich verwendet. War auch eine Art von Sozialismus. Schlimm ist nur wenn ein Besserverdiener ein Sparproblem hat. Das merkt man überall: Gier frisst Hirn. Selbst als 2000 das Dach neu gedeckt wurde, nahm man die billigste Firma, die natürlich deswegen billig war weil die Ziegel aus einer in der Insolvenz befindlichen Ziegelei kamen. Die deutsche Dachdeckerfirma stand auch auf der Kippe und so sah die Arbeit dann auch aus (Wasserschaden 2017 durch Starkregen bei der mangelhaft ausgeführten Kamineindeckung). Für mich sind das sehr gute Lehrbeispiele wie man es nicht macht. Bei meinem anderen Haus schaue ich wer was macht. Da ich auch eine handwerkliche Ausbildung habe und es mittlerweile meine 4. Baustelle ist, vermeide ich viele Fehler und habe mir das nötige Werkzeug selbst gekauft ( die letzten 10 Jahre in einer Grössenordnung von 100k ). ABER gerade hier in Luxemburg ziehen die meisten Handwerker ihr überhöhtes Gebot dann zurück und kommen mit vernünftigen Preisen um die Ecke. Wie gesagt langfristig ein Geben und Nehmen. Ich weiss aber schon wo ich durchgehe. Die Garage bietet sich an. 380 V also alle 3 Phasen sind auch schon da. Da fällt ein LWL nicht mehr auf. Früher standen da mal 100qm Modelleisenbahn. Jetzt werde ich da E-Werkstatt mit Rechnerversorgung hinstellen. Dann habe ich zumindest den Oskar und die anderen Messgeräte unter. Hier ist eh Platzmangel.

    Zitat von Helljumper

    Dann starte mal einen IPerf3-Test mit mehreren simultanen Verbindungen

    Danke für den Denkanstoß!

    bei 20

    [SUM] 0.00-10.00 sec 7.08 GBytes 6.09 Gbits/sec sender

    [SUM] 0.00-10.00 sec 7.08 GBytes 6.08 Gbits/sec receiver

    bei 30

    [SUM] 0.00-10.00 sec 7.02 GBytes 6.03 Gbits/sec sender

    [SUM] 0.00-10.00 sec 7.02 GBytes 6.03 Gbits/sec receiver


    scheint das Limit zu sein.