Netzwerk auf 10Gb/​s umstellen

  • Hallo zusammen,


    ich bin neu, aber glaube richtig hier :)


    Ich habe ein QNAP TS-653B mit 4x4 Seagate Ironwulf Pro 4 TB und neu Qnap QM2-2P10G1TA QM2 Erweiterungskarte zunächst ohne SSDs. Ich möchte gerne meinen Haupt-PC mit 10 GB/s aufrüsten und mit dem NAS verbinden. Im PC steckt seit eben eine ASUS XG-C100C 10G Netzwerkkarte.


    Bevor ich übers Netzwerk gehe, probiere ich gerade eine Direktverbindung PC to NAS über die beiden 10 GB Schnittstellen.


    Vor der Umstellung kam ich auf ca 130 MB/s jetzt sind es gerade mal im Schnitt so wackelige 280 MB/s. Der Kopiervorgang SSD to SSD intern liegt bei 2,5 GB/S.


    Dementsprechend bin ich etwas enttäuscht und dachte, es sollte mehr gehen. Ist diese Leistung PC to NAS ohne ohne SSDs im QM2 normal und wenn nein, was müßte ich denn so maximal erreichen?


    Gruß


    Fossi

  • Die SG Reihe ist sehr schick, die hat teilweise sogar Liftime Garantie und echt viele Funktionen, inkl. L3.

    Ich habe je 2 Cisco SG 300-10 und SG 200-8. Unser Haus hat 4 Etagen (inkl. Keller und ausgebauter Dachstock). Da ich nicht selber neu gebaut habe, waren einfach zu wenig Rohre vorhanden.

    Die SG200 betreibe ich über PoE. Alle Ciscos sind seit etwa 4 Jahren im Betrieb, laufen ohne Lüfter und werden maximal handwarm.

  • Joki100 Lad dir mal den IPerf3 Server auf die NAS und teste vom Rechner aus die Verbindung. Damit kannst du den Übertragungsweg checken. Ist dieser in Ordnung gibt dein RAID vermutlich nicht mehr her.


    Server

    Client

  • Vorschläge für einen 24 port Switch mit 4x 10G (möglichst direkt RJ45 Kabel daran anschließbar, nicht über Slot mit Adapter)?

    Die Slots heißen sfp+ Ports (ohne '+' gibt es auch, aber die können nur Gigabit), die Adapter werden meistens Transceiver genannt. Zum Für-und-Wider von sfp+ oder rj45 hatte ich weiter oben etwas geschrieben.


    Der erwähnte TP-Link T1700G-28TQ würde von der Zahl der Ports genau passen und ist auch recht preisgünstig, hat aber sfp+ Ports. Dort könntest du natürlich Transceiver für rj45 reinstecken, aber die sind recht teuer (ab 70 Euro das Stück; Transceiver für Glasfaser sind deutlich billiger), womit sich das Argument "preisgünstig" erledigt hätte.


    Von Qnap gibt es mit dem QSW-M408-4C einen Switch mit vier Kombi-Ports für 10GbE, aber nur acht Gigabit-Ports.


    Netgear setzt bei 10GbE auf rj45-Ports. Vielleicht wirst du dort fündig.


    Wenn der Switch nicht genug Gigabitports hat, kannst du auch einfach einen billigen Gigabitswitch zusätzlich anschließen. Der Geschwindigkeitsverlust durch die kaskadierten Switche ist vernachlässigbar.


    Und sieh zu, dass du lüfterlose Switche erwischst, es sei denn, der Switch steht in einem anderen Raum.

    Vor der Umstellung kam ich auf ca 130 MB/s jetzt sind es gerade mal im Schnitt so wackelige 280 MB/s. Der Kopiervorgang SSD to SSD intern liegt bei 2,5 GB/S.

    Bei Festplatten (habe drei mal 3TB im Raid 5) im TS-877 komme ich beim Schreiben kurzfristig auf 400MByte/s, sackt dann auf 220MByte/s ab (da scheint ein Cache im Spiel zu sein), beim Lesen habe ich konstant 880MByte/s. Der Geschwindigkeitstest arbeitet mit sehr großen Dateien.


    Daher zwei Rückfragen:

    1) Wie sind deine Platten eingebunden? Einzelplatten? Raid 5?


    2) Wie arbeitet dein Geschwindigkeitstest? Eher kleinere Dateien oder sehr große Dateien?

    Bei kleinen Dateien sind Festplatten dramatisch schlechter als SSDs.


    Die Geschwindigkeit von 280MB/s würde für 2,5GbE passen. Kann es sein, dass der PC an der Schnittstelle nur 2,5GBit/s kann? Oder das Kabel (was für eines ist das, CAT und ungefähre Länge)? Kannst du in den Systemanzeigen sehen, welche Geschwindigkeit die beiden ausgehandelt haben?


    Für den Geschwindigkeitstest sollte es keinen Unterschied machen, ob die beiden Geräte direkt verbunden sind oder ob da ein Switch dazwischen hängt.

  • Hi,


    vielen Dank für eure Mühe. Ich habe eine Unifi Dream Machine und den passenden 24 er Poe Switch mit 2 sfp+ Ports für die ich 2 Adapter RJ45 gekauft habe.


    Ich habe das NAS Raid 5 konfiguriert.


    Zunächst habe ich jedoch das NAS direkt an den PC gehängt. Wenn da alles klappt gehe ich erst übers Netzwerk, da sich dann sicher neue Probleme auf tun, aber erst muß es mal so flutschen. Das NAS hängt wie oben genau erläutert über die 2 10 GB Schnittsteelen und einem CAT 7 Kabel am PC. Habe eben noch mal direkt getestet und komme max auf 360 MB/S, sackt aber auch mal auf 180 ab. Testen tue ich mit großen Video Dateien.


    Was sollte denn nun bei dieser Konstellation max gehen? Ist das ok so oder zu wenig? Wie gesagt OHNE die SSDs die eigentlich noch in die KArte im NAS gehören.


    Gruß


    Fossi

  • Wie bereits geschrieben, mach einen Test mit IPerf3. Damit kannst du den reinen Übertragungsweg checken. Sollte da alles in Ordnung sein, liegt es an den Platten/ am NAS.


    Hier hast du eine schöne Anleitung wie das funktioniert.

  • Vielen Dank, werde es am WE probieren.


    Aber auch wenn ich das teste, weiß ich ja noch immer nicht, was denn nun maximal oder minimal gehen müsste, also werden mir die Zahlen auch wieder -wie auch jetzt- nicht so viel sagen.


    Für mich wäre es interessant zu wissen, was Andere aus einer ähnlichen Konfiguration rausholen.

    2 Mal editiert, zuletzt von Joki100 ()

  • Die teure Karte hättest du dir bei der NAS ohnehin sparen können. Die NAS hat nur PCIe 2.0x2. Das reicht nicht mal für 10 GbE. Eine Lane bringt dir 5 Gbit/s. Dazu kommen aber noch ca. 20% Overhead. Also mehr als 8 Gbit/s wird nicht gehen. Wenn du dann noch SSDs einbaust zieht das zusätzlich an der Geschwindigkeit. Dazu steht aber auch ein Vermerk im Datenblatt der NAS.

    Die Karte in der Kompatibilitätsliste der NAS zu führen grenzt schon fast an Betrug.


    Mach erstmal den IPerf Test. Wenn der ein Ergebnis um die 8 Gbit/s ausspuckt, dann kann man am NAS/ Client weiterforschen. Kommt hier was um die 4 Gbit/s raus, dann passen deine Übertragungswerte und das Problem liegt an der Verkabelung.

    Deine Werte sollten in etwa so aussehen wie auf dem angehängten Bild.


    Der Wert von 360 MB/s klingt aber schon gar nicht mal so verkehrt. Mit 6 HDDs im RAID 5 komme ich beim schreiben, je nach Lage auf dem Verbund, auf Werte zwischen 450 MB/s und 600 MB/s. Lesend 700 MB/s.

  • Hallo Allerseits ,

    das das Thema hier 10G ist wollte ich mich einklinken .


    Ich mochte meine beiden QNAP Nas TVS471 und TVS871 direkt per

    10GB Verbindung koppeln ( Backups) .


    Die Idee ist es zwei Günstige Karten z.B ( von Anthracite hier ) Dualport HP NC522 zu kaufen dazu dazu dann passende SFP+ Module

    und diese dann mit dem Multiimode Kabel zu verbinden soweit so gut .

    Wie ich verstanden habe sollen die HP Karten ja Mellanox Kompatibel sein die auf der QNAP liste Stehen .

    Was ich bisher nicht verstanden habe ist die Frage wer bestimmt was erkannt wird vom NAS in bezug auf den Treiber der benutzt

    wird ist es die Karte oder das Modul/Transceiver .

    Desweiteren wenn es nur die Karte ist kann ich dann eine Beliebige SFP+ Module benutzen Hauptsache es ist auf beiden NAS gleich

    hat jewmand davon einer eine Idee oder Ahnung .

    Interessant wäre zu wissen von Anthracite was er genau gemacht hat das das NAS mit HP Karten läuft und welche module er benutzt

    um sein Gegenüber Switch oder NAS ? . Wäre dankbar für ein paar mehr Details .



    Danke im Vorraus

    Gruss Frank

  • Dualport HP NC522 zu kaufen

    HP NC552SFP FC Dual-Port 10GbE SFP+ (hat mich gebraucht 35 Euro gekostet), nicht HP NC522. Ob die HP NC522 zu irgendetwas Unterstütztem baugleich ist, weiß ich nicht. Ich hatte nie eine NC522 in der Hand.

    Was ich bisher nicht verstanden habe ist die Frage wer bestimmt was erkannt wird vom NAS in bezug auf den Treiber der benutzt

    wird ist es die Karte oder das Modul/Transceiver .

    Die Karte. Welcher Transceiver drin ist, bekommt das NAS oder der PC nicht mit. Die Schnittstelle von Karte zu Transceiver ist genormt.

    Desweiteren wenn es nur die Karte ist kann ich dann eine Beliebige SFP+ Module benutzen Hauptsache es ist auf beiden NAS gleich

    Im Prinzip ja. Die Schnittstelle ist genormt.


    Leider gibt es einige Hersteller, die meinen, ihre Produkte sollen nur mit ihren teuren Transceivern zusammen arbeiten, und fragen einen Code des Transceivers ab. Es gibt aber auch von Fremdherstellern preiswerte entsprechend codierte Transceiver. Man muss nur aufpassen, die richtigen Transceiver zu kaufen. Das scheint aber mehr Switche von Markenherstellern zu betreffen. Die preiswerten Switche von Qnap und Mikrotik sind nicht betroffen und arbeiten mit allen Transceivern zusammen.


    HP gehört im Prinzip zu den Herstellern, die codierte Transceiver verlangen. Meine NC552SFP betrifft das allerdings nicht. Die nimmt anstandslos uncodierte Transceiver an.


    Empfehlen kann ich die Transceiver von Ubiquity, 40 Euro im Paar. Die passen mechanisch besser als die gleich teuren hier gerne empfohlenen 10GTek-Dinger.


    Bei kurzen Kabellängen kannst du statt zweier Transceiver und Glasfaser auch ein DAC-Kabel nehmen. Die sind billiger und angeblich etwas sparsamer im Stromverbrauch.

    Interessant wäre zu wissen von Anthracite was er genau gemacht hat das das NAS mit HP Karten läuft und welche module er benutzt

    um sein Gegenüber Switch oder NAS ?

    Sie, nicht er.

    Was ich gemacht habe: Karte einbauen, Transceiver einstecken, einschalten. Mehr war nicht nötig. Funktioniert auf Anhieb. Ein passender Treiber ist in qts enthalten. Qts erkennt die Karte als Emulex OneConnect 10Gb NIC (be3).


    Probiert habe ich Transceiver von Ubiquity, 10GTek und No-Name-Module auf HP codiert sowie DAC-Kabel. Die Transceiver von 10GTek sind mechanisch etwas hakeliger. Funktioniert haben alle einwandfrei, auch der Durchsatz ist derselbe.


    Der Gegenüber ist ein Switch (QNAP 308S, wobei ich aber Mikrotik empfehle, da der Qnap-Switch mit einem Gerät nicht klar kommt, mangelnde Kompatibilität). Ich meine, ich habe auch einmal eine Direktverbindung vom Mac zum NAS getestet, bin mir aber nicht mehr sicher.

  • Hallo Nochmal


    erstmal Danke für die Ausführliche Information an Anthracite das Bringt mich weiter und danke für den hinweis

    auf die Webseite .

    Da hatte ich nachgelesen es fehlten mir aber die Hinweise wer was erkennt und was zu beachten ist im Praktischen Teil.

    Gruss

    Frank

  • Den praktischen Teil habe ich mangels Bedarf noch ausgelassen und nur wegen spartanisch vorhandenen Informationen seitens Komp.-liste Qnap mal gestöbert. Bei mir würde es auch nur die Transceiver betreffen. Die würde ich mir nach Range, Mode und evtl Switch/Router aussuchen.

    Bei Dir geht es um den NIC, der in 3x8 PCIe passt und vom Kernel unterstützt wird.

    Laut wiki sind PCIe-Slots abwärtskompatibel, also müsste die 3x4 Karte von Anthracite passen, die ja tut. DAC-Kabel sind bis 7m erhältlich, Rest bewegt sich bis viele km Abstand.


    Der Rest ist dann Experimentiermut und -geschick. Oder es findet sich noch wer, der genau die von Dir gewünschte Konfig ausspucken kann. Dafür fehlen dann noch Abstand der NAS zueinander, Switch/Router uswusf.
    Da Deine Geräte eh EOL sind, sollte die Zeit zu Entscheidungsfindung nicht drängen.


    Sehe gerade, daß mein M720q einen freien PCIe 3x8 hat, aber der ist aus und hat das nicht mitbekommen ... :)

  • Hallo Leute danke nochmal für die Info's

    Mit denen starte ich das Experiment habe soben 2 * HP NC552SFP für 20@ in der Bucht gekauft

    und bestelle mir auf der FS Seite 4 * Tranceiver modul codiert auf Ubiquiti UF-MM-10G für 15€ und zwei Multimode Verbindungskabel

    dann liege ich bei Knapp 4 * 17,40 = 69,60 + 45,99 HP NIC = 115.59 . ( will sowieso meinen Switch auf einen Ubiquiti Switch umstellen da ich scjhon deren AP benutze

    Wenn das dann klappt kostets das weniger als die Hälfte der Orginal QNAP Sachen und man hat was gelernt da kann mal schonmal ein wenig Basteln

    macht ja auch spass finde ich .

    Werde dann berichten wenn ich die Teile habe und wie es weitergeht wobei ich dann auch die CPU im TVS471 auf einn I7 4790T aufrüste der bei gleichem Verbrauch bedeutend mehr leistet als der Standard I3 . gabs es auch günstig bei EBAY 35 €

    Danke bis dann Gruss :)