Netzwerk auf 10Gb/​s umstellen

Zitat von Helljumper

Mit ca. 115 MB/s sind das ca. 4 RAW Bilder pro Sekunde. Das sollte je nach Anwendungsfall durchaus reichen.

Bei hundert Raw-Bildern in einem Ordner - was jetzt keine unübliche Größe ist - sind das 25 Sekunden, mit 10Gbit/s hingegen nur 2,5 Sekunden, wenn effektiv nur5GBit/s erreicht werden, sind das 5 Sekunden (in der Praxis dauert beides länger). Wenn man diesen Ordner schnell durchblättert, um ein Bild zu finden, merkt man den Unterschied sehr deutlich.

Also bei Foto- und Videobearbeitung lohnt es sich - was aber auch daran liegt, dass 10GbE mittlerweile bezahlbar ist.

Zitat von Anthracite

mit 10Gbit/s hingegen nur 2,5 Sekunden

Das liefern die HDDs nie im Leben.

Von einem Lesecache bestehend aus einer SSD auf den der TE den Ordner mit den aktuell benötigten Bildern legt hätte er sicherlich mehr. Optimal wäre vermutlich beides.

Hallo Leute!

Vielen Dank für eure Einschätzungen, das war das was ich erhofft hatte.

Der Netgear kam nur in die Auswahl, weil er gestern recht günstig war und ich schon länger mit 10GBe liebäugele. Das ganze BlingBling brauche ich nicht wirklich und wird wohl abgestellt, wenn der Switch im Wohnzimmer steht.

Den Mikrotik CRS305 hatte ich gar nicht auf dem Schirm, wollte aber nicht unbedingt SFP+

2x 10GBe ist nicht gerade üppig, das stimmt, aber mit LAG denke ich einen zweiten PC anbinden zu können, für den Rest (Satreceiver etc) reicht 1GB/s und die Smartphones über WLAN profitieren eh nicht von der schnelleren Anbindung, bzw. die werden für Bildbearbeitung nicht verwendet.

Der Switch kommt Samstag und die Netzwerkkarte fürs NAS zum WE, dann hab ich erstmal wieder was zum Spielen.

Bei näherer Betrachtung meins 453BE habe ich gesehen, das ich ne SSD nur über Steckkarte reinbekomme (in m.2-Bauform), dann fällt aber der NIC raus. Also verzichte ich vorerst auf die SSD.

Der PC, auf dem Lightroom läuft, braucht sicher auch ein HW-Upgrade, ist schon etwas in die Jahre gekommen.

P.S.: Warum sehe ich in meinem Profil nicht die Einträge NAS und OS/BS? Werden die nur mir nicht angezeigt?

Zitat von mad99

Bei näherer Betrachtung meins 453BE habe ich gesehen, das ich ne SSD nur über Steckkarte reinbekomme (in m.2-Bauform), dann fällt aber der NIC raus. Also verzichte ich vorerst auf die SSD.

Der PC, auf dem Lightroom läuft, braucht sicher auch ein HW-Upgrade, ist schon etwas in die Jahre gekommen.

Sollte es mit 10 Gbit nicht wirklich besser werden, kannst du die benötigten Daten ja auch lokal auf den Rechner (wohoffentlich eine SSD verwendet wird) kopieren (das sollte mit 10 GbE dann sehr schnell passieren) in Lighroom bearbeiten und dann zurück schieben. Sollte als Workaround ganz gut funktionieren.

Zitat von mad99

P.S.: Warum sehe ich in meinem Profil nicht die Einträge NAS und OS/BS? Werden die nur mir nicht angezeigt?

Also ich kann die Einträge in deinem Profil sehen.

Zitat von Helljumper

Das liefern die HDDs nie im Leben.

Ich habe es gerade mal ausprobiert:

MacBook Pro 2017 mit Speedtest Blackmagic, Qnap TS-877 mit drei Festplatten von HGST à 3TB im Raid 5 (und SSDs, die hier nicht zum Einsatz kamen), Verzeichnis über SMB gemounted, Jumbo-Frames eingeschaltet.

Schreiben:

Kurzfristig 400 MByte/s, sackt dann auf 220 MByte/s ab.

Lesen:

Durchgehend 850 MByte/s

Überzeugend?

Ohne Jumbo-Frames ist die Schreibleistung gleich, die Leserate sackt auf gut 350 MByte/s ab. Das scheint ein Effekt des SMB-Protokolls zu sein. Bei AFP tritt das nicht auf (allerdings ist SMB mit Jumbo schneller als AFP). Bei SSDs habe ich den Effekt ebenfalls.

Bei Raw-Dateien wird man nicht ganz auf diese Werte kommen, da die Dateien dann doch ein Stück kleiner sind als die vom Speedtest geschriebene Datei. In Lightroom selbst ist, außer beim Export, nur die Lesegeschwindigkeit interessant, da die Bearbeitungsschritte in sehr kleinen xml-Dateien abgelegt werden.

Ohne 10GBit/s, also mit vorhandenem Gigabit, liegt die theoretische Maximalleistung bei 110 MByte/s lesend wie schreibend, die in der Praxis dann aber auch erreicht werden.

Zitat von Helljumper

Von einem Lesecache bestehend aus einer SSD auf den der TE den Ordner mit den aktuell benötigten Bildern legt hätte er sicherlich mehr.

Nö. Siehe oben. Das dann vorhandene Gigabit-Lan würde die Geschwindigkeit deutlich begrenzen.

Hinzu kommt, dass Raw-Dateien dann doch so groß sind, dass die Zugriffszeit auf die Platte von untergeordneter Bedeutung ist.

Edit: Nachtrag

Zitat von Helljumper

Sollte es mit 10 Gbit nicht wirklich besser werden, kannst du die benötigten Daten ja auch lokal auf den Rechner (wohoffentlich eine SSD verwendet wird) kopieren (das sollte mit 10 GbE dann sehr schnell passieren) in Lighroom bearbeiten und dann zurück schieben. Sollte als Workaround ganz gut funktionieren.

Ich war ja jetzt noch mal neugierig, und da es sich bei dem Rechner des Fragestellers um einen älteren Rechner handelt, habe ich noch mal einen Test gemacht.

Diesmal MacBook Pro 2011 (also sechs Jahre älter) mit 10GbE-Adapter über Thunderbolt 1, NAS wie oben, Jumbo-Frames.

1. Test interne SSD

Schreiben:

Durchgehend gut 350MByte/s

Lesen:

Durchgehend gut 450 MByte/s

2. Test, NAS über LAN, 3 Festplatten im Raid 5

Schreiben:

Kurzfristig 350 MByte/s, sackt dann auf 200 MByte/s ab, manchmal etwas weniger.

Lesen:

Durchgehend über 650 MByte/s

Ergebnis:

Beim Lesen sind die herkömmlichen Festplatten im LAN schneller als die eingebaute SSD. (Bei vielen kleinen Dateien sähe das natürlich anders aus.)

(Mehr als knapp 700MByte/s schafft der 10GbE-Adapter hier nicht, da das alte Thunderbolt 1 nur 10GBit/s hat, zusätzlich Videosignale durchgeleitet werden und das Protokoll umgesetzt werden muss.)

Dein Workaround ist also uninteressant (das wäre er von der typischen Arbeitsweise in Lightroom ohnehin).

Zitat von Anthracite

Überzeugend?

Eigentlich nicht. Dabei handelt es sich ja um eine sequenzielle Datenübertragung. Wenn er aber verschiedene Archive nach Bildern durchforstet ist das kein sequenzieller Kopiervorgang.

Zitat von Anthracite

Ohne Jumbo-Frames ist die Schreibleistung gleich, die Leserate sackt auf gut 350 MByte/s ab. Das scheint ein Effekt des SMB-Protokolls zu sein. Bei AFP tritt das nicht auf (allerdings ist SMB mit Jumbo schneller als AFP). Bei SSDs habe ich den Effekt ebenfalls.

Auch das spricht dagegen. Jumbo-Frames machen eigentlich kaum was aus und sind zu vernachlässigen. Hat auch mit SMB nichts zu tun. Ich bekomme ohne Jumbos auch auf meine ca. 800 MB/s im sequenziellen lesen.

Wenn man aber permanent verschiedene Bilder öffnet ändert es halt nichts daran, dass der Lesearm sich dann erstmal bewegen muss.

Zitat von Helljumper

Wenn er aber verschiedene Archive nach Bildern durchforstet ist das kein sequenzieller Kopiervorgang.

Beim Durchforsten von Bildern überwiegt der sequentielle Lesevorgang deutlich. Die Bilder müssen alle komplett eingelesen werden, damit sie angezeigt werden. Das ist was anderes, als wenn du nach einer Datei auf deiner Platte suchst, die "Brief_an_Mama" im Dateinamen enthält.

Ich nutze Lightroom viel. Der Unterschied bei auf dem NAS gespeicherten Bildern ist auch in der Praxis deutlich.

Zitat von Anthracite

Das scheint ein Effekt des SMB-Protokolls zu sein.

Hast du das SMB signing unter OS X schon deaktiviert?

Zitat von Anthracite

Ich nutze Lightroom viel. Der Unterschied bei auf dem NAS gespeicherten Bildern ist auch in der Praxis deutlich.

Ich habs noch nie benutzt. Dann wirst du wohl recht haben.

Vielen Dank an Anthracite und Helljumper !

Da ich das ganze mit Lightroom ja nur hobbymäßig betreibe und leider kein Geld damit verdiene, will ich das nicht zu sehr auf die Spitze treiben.

LR bremst m.E. am meisten beim Lesen der Bilder, bzw. erstellen der Vorschaubilder, von daher beschränke ich mich definitiv zuerst mal auf den Schritt 10GBe-Aufrüstung.

Und da ich NFS bevorzuge, werde ich mir mal anschauen, ob das nennenswerte Unterschiede macht/Vorteile bringt. Ich weiß ehrlich gesagt auch nicht, wie gut die NFS-Implementierung in Win10 ist

Zitat von Anthracite

Dein Workaround ist also uninteressant (das wäre er von der typischen Arbeitsweise in Lightroom ohnehin).

sehe ich auch so.

Zumal es mir auch mehr ums "Archiv" geht, als um die aktuelle Bearbeitung, wo man ja bis zur Fertigstellen lokal arbeiten könnte.

Den Katalog habe ich bisher immer auf der lokalen SSD.

Zitat von Helljumper

Jumbo-Frames machen eigentlich kaum was aus und sind zu vernachlässigen. Hat auch mit SMB nichts zu tun.

Mag ja sein das du auch so guten Durchsatz schaffst, aber Jumbos entlasten spürbar Switch und Karten, da sie nur noch 1/6 der Pakete bearbeiten müssen.

Und jedes Paket kostet ein wenig Rechenzeit.

Nicht umsonst gibt es ja inzwischen nicht nur 9k auch 16k sind bei einigen Komponenten möglich.

Der Nutzen ist mittlerweile eigentlich ziemlich gering. Die Header werden von der NIC oder dem Kernel sehr effizient verarbeit. Ich sehe den Nutzen nur in sehr speziellen Umgebungen.

Zumal dann auch alle Geräte Jumbos unterstützen sollten. Spätestens bei den meisten Routern ist da Schluss.

Die Verwendung von Jumbos hat bei mir einen Unterschied von nicht mal 30 MB/s gemacht. Eine extrem hohe CPU Auslastung ohne Jumbos bemerke ich auch nicht.

Ja wenn du das sagst, dann muss da was dran sein und wir lassen das einfach überall im DC usw. weg, weil es nix bringt.

Mag sein das es bei deiner total geilen HW nur weniger % ausmachen, aber es kann bei einer crapy Karte schon wieder ganz anders aussehen, die gerade so ihre 50-100k pps schafft.

Aber du musst es ja nicht nutzen und auf best parctice verzichten.

Und über was reden wir hier, einen L3 Core der 100Mil pps+ schafft als Router oder was Richtung WAN und wenn ja was, eine Cisco ISR oder ein Crapbox @home? Einfach Router zu brüllen ist sehr undifferenziert bei einen so komplexem Thema wie Netzwerk.

Erster kann auch Jumbos sauber routen (trootz einiger PBit/s) und ist sehr dankbar, da er dann mehr forwarding für den Rest bereithalten kann und letzte ist sowieso ständig kurz vor dem Overkill.

Egal, im WAN ist es immer <1500 MTU und da gibt es MSS usw. was den Client dann informiert was er schicken kann und was nicht.

Wenn es denn sauber implementiert wurde.

Gescheit ist dann noch ein passender Limiter und dann passt auch die Qualität der Strecke und du bekommst ein A Rating beim Bufferbload.

Du beziehst dich einfach immer viel zu sehr auf die berufliche Sparte. Ich denke dafür ist dieses Forum aber gar nicht wirklich gedacht. Betriebe wenden sich bei solchen Dingen eher an ihr Systemhaus und suchen da weniger in einem Forum nach Hilfe. Auch im DC (was eine der speziellen Umgebungen wäre) gibt es wohl hoffentlich ein fähiges Admin Team, welches nicht erst in einem Forum nach Hilfe sucht.

Ich beziehe mich hier ausschließlich auf den privaten Bereich und hier ist es nun mal Fakt, dass Smart TVs, Apple TV, Router und Co Jumbos gar nicht unterstützen.

Solange nicht jedes Gerät das kann macht es nur mehr Probleme als es nützt.

Ich merke hier nix von Probleme, Switch ist auf 9216 eingestellt, PCs und NAS auf 9k.

Da kann auch mein Handy Problemlos über Qfile zugreifen und Plex läuft auch völlig sauber.

Wo sollen jetzt also die Probleme liegen?

Das es zum kompletten Gegenteil der beabsichtigten Wirkung kommen kann.

Es können zu große Frames verworfen werden, welche dann neu angefordert werden müssen (dies kann auch zum kompletten erliegen der Verbindung führen). Oder sie werden fragmentiert, was wiederum mehr Arbeitsbelastung für das jeweilige Netzwerkgerät bedeutet.

Zitat von Crazyhorse

Wo sollen jetzt also die Probleme liegen?

Und ich bemerke keine Probleme/ Unterschiede ohne Jumbos. Und nu?

Ja Jumbos wirken sich negativ aus, wenn du diese auf den Clients Einsetzt aber der Switch das nicht kann, wenn er das kann und zulässt, hast es keine negativen Auswirkungen.

Je nach Hardware, Last usw. kann der Unterschied in der Praxis größer oder geringer Ausfallen.

Freue dich doch einfach, dass deine Hardware so leistungsstark ist, das Jumbos bei dir nicht mehr so viel bringen, aber man muss diese nicht verteufeln.

Zitat von Crazyhorse

Freue dich doch einfach, dass deine Hardware so leistungsstark ist, das Jumbos bei dir nicht mehr so viel bringen, aber man muss diese nicht verteufeln.

Dann hast du mich falsch verstanden oder ich habe mich falsch ausgedrückt. Ich verteufele Jumbos nicht. Aber die Hardware muss halt passen. Wenn sie das tut kann man die selbstverständlich benutzen.

Ich bin nur der Meinung, dass der Nutzen heutzutage nicht den kauf neuer Hardware rechtfertigt bzw. man generell vorher genau überlegen sollte, ob der Einsatz im bestehenden Heimnetz sinnvoll ist. Man sollte sich halt auch nicht zu viel davon versprechen,

Das das im DC anders aussieht, da sind wir uns ja einig.

Bei solchen Fällen: Alle Komponenten nacheinander austauschen, bis man den Schuldigen hat. Problem ist natürlich, dass manche Komponenten nicht doppelt zur Verfügung stehen.

Meine Hauptverdächtigen wären:

Netzwerkkabel

SD-Karte

Kartenleser

SD-Karte und Kartenleser hast du zwar durch Versuch ausgeschlossen, würde ich aber noch im Hinterkopf haben. Manchmal funktioniert's an einem Gerät, am anderen nicht.

Netzwerkkabel:

Ich habe bei DAC-Kabeln mit Billigprodukten keine schlechten Erfahrungen gemacht (habe aber noch nicht so viele Kabel gekauft). Ein Preiswertes war, meine ich, von Ubiquity. Das letzte Kabel war allerdings ein Gebrauchtkauf (Cisco 3m SFP+ DAC, siehe E-Bay-Verkäufer its-Haehnlein). Die funktionieren einwandfrei. Ein Kabelbruch kann aber in den besten Familien vorkommen.

Bei der Qnap-Karte würde ich auch mal den anderen Port probieren.

Andere SD-Karte probieren.

Weiterer Test:

Kartenleser an den PC. Fotos von Karte auf den PC kopieren. In LR testen, ob die Bilder dort in Ordnung sind. Dann im zweiten Schritt Fotos von PC auf NAS kopieren. Erneut testen, ob Fotos in Ordnung.

Sind PC und NAS direkt verbunden, oder hängt da ein Switch dazwischen? Wenn Letzteres, einmal ohne Switch mit Direktverbindung (und ohne weitere Netzteilnehmer, d. h. wenn z. B. NAS oder PC noch per Gigabit-Kabel am Switch oder Router hängen, dieses mal testweise abziehen).

Erfolgt die Einbindung der Verzeichnisse über SMB, AFP oder NFS?

Ich selbst hatte mit dem 10GbE-Netzwerk nie Übertragungsprobleme. Defekte Bilder lagen bei mir immer an der SD-Karte.