Netzlaufwerk via SMB doppelt so schnell wie iSCSI Thick LUN... why?

    Servus,


    also ich bin jetzt auch Besitzer eines NAS. Ich habe mir ein QNAP TVS-872XT gekauft.

    Ich hatte vorher nie Berührungspunkte und weiß erst seit ein paar Tagen, als ich es gekauft habe, was "iSCSI" überhaupt ist. Ich habe aber eine einigermaßen schnelle Auffassungsgabe und wundere mich über Folgendes:

    - Ich greife von meinem MacBook Pro, Late 2013, auf zwei Volumes in einem Speicherpool zu:

    1. Volume: "Thick Volume"

    2. Volume: iSCSI Thick LUN, blockbasiert.

    3. die oberen beiden bestehen aus 2 physischen Festplatten, nämlich 2x Toshiba Enterprise HDD MG08 mit 16TB, und sie sind mit RAID-1 verbunden. Und beide sind gemeinsam in einem Speicherpool.

    4. SSD-Caching ist auf beiden Volumes aktiv. Es handelt sich um 2x WD Blue NVMEs, die von der Geschwindigkeit über dem Limit des NVME-Anschlusses liegen.

    So. Die Verbindung ist vom 10Gbe - Ausgang mit nem CAT7-Kabel zu einem Sonnet - Adapter, von da aus mit Thunderbolt 2 - Kabel zum Laptop.

    Ok. Erstmal bin ich ausgerastet, dass das iSCSI Volume ständig nach dem Abstecken des Steckers neu eingebunden werden muss mit Daemon Tools (kostenpflichtig, daher seit vorgestern mit dem iSCSI Initiator). Ok, kein Problem, mal gegoogelt, wie man statische IPs vergibt (hab wie gesagt, 0 Erfahrung gehabt), und der Teil passt jetzt. Ok, nicht ganz, das iSCSI Volume ist jetzt immer eingebunden, aber das SMB-Volume (der Punkt 1 oben) nicht. Kein Plan, ist mir jetzt erstmal Wurscht. Wichtiger ist mein eigentliches Problem:


    - Ich check nicht, warum die Datenübertragung von und auf das SMB-Netzlaufwerk einfach mit jeweils 600 MB/s (gemeint ist Megabyte pro Sekunde und nicht Megabit) lesen und schreiben mehr als doppelt so schnell geht wie auf das bzw. von dem iSCSI Thick LUN - Laufwerk? Beim iSCSI sind es lesend und schreibend gleichermaßen circa 190 Megabyte (MB/s).

    - Ich habe am iSCSI-Laufwerk schon SSD-Cache ausgeschaltet - gleiches Tempo. Eingeschaltet - gleiches Tempo. Es ist für dieses Laufwerk völlig irrelevant, dass ich einen SSD-Cache eingebaut habe.

    - Und überhaupt: Wenn ich mal beim anderen Laufwerk (dem SMB-Laufwerk) SSD-Cache ausschalte, merke ich erstens: einen Einbruch der Schreibleistung, nämlich von 600MB/s auf 270MB/s, aber keinen Einbruch der Leseleistung - die ist immer noch knapp 600MB/s. Habe mittlerweile auch rausgefunden, wieso das möglich ist - eine 7200rpm- Festplatte kann schließlich nie und nimmer 600MB/s lesen. Nun, eine Raid-1-Festplatte verhält sich aber beim Lesen wie eine Raid0-Festplatte und liest wohl parallel von beiden Festplatten gelesen.

    - Ok, das heißt, scheinbar ist die maximale Lesegeschwindigkeit dieser Toshiba dann wohl 270MB/s. Ok - aber das wird beim Speedtest der iSCSI - LUN ja auch nicht erreicht, sondern nur 190MB/s. Obwohl die Verbindung genau die gleiche ist, nichts ist geändert. Ich teste erst mit Blackmagic das Netzlaufwerk, 30 Sekunden später das iSCSI unter gleichen Bedingungen.

    Was check ich nicht? Warum ist es irrelevant für das iSCSI-Laufwerk, ob SSD-Caching an oder aus ist?


    Noch ein Paar Parameter bisher erfolgter Maßnahmen:

    - Jumbo Frames 9000 hat für das iSCSI Laufwerk nichts gebraucht und für das SMB-Laufwerk die Schreibgeschwindigkeit halbiert, daher habe ich es deaktiviert.

    - "Volatile Schreibcache für Datensicherheit melden" mal aktiviert, mal deaktiviert - macht genau 0 Unterschied.

    - Cache-Beschleunigung (dieses Blitz-Symbol) ist an, macht aber ebenfalls 0 Unterschied.

    - Snapshots mindern wohl die Leistung, finden aber eh grad nicht statt, weil ich die LUN zu 100% zugewiesen hab, es ist kein Festplattenplatz mehr für Snapshots übrig (ups).

    - Q-Tiering ist aus

    - Die Thunderbolt 2 (20GBit/s) - Verbindung ist (in meinem Anwendungs-Case mit dem alten Mac) kein limitierender Faktor, denn als ich zu Beginn direkt mit Adapter aus dem Thunderbolt 3-Anschluss des QNAP rausgegangen bin (also ohne Cat7-Kabel), war die maximale Geschwindigkeit um die 900Megabyte/s lesen und schreiben und damit noch schneller.

    - SSD-Overprovisioning ist an, die SSDs sind ebenfalls mit Raid-1 miteinander verbunden, nicht mit Raid0 (werde ich aber wohl noch ändern, sobald ich mal nen schnelleren Mac mit Thunderbolt 3 habe, so viel Sicherheit finde ich dann doch unnötig, ich will Tempo)

    ... puh, gibts sonst noch was zu wissen? Glaub das wars.

    EDIT: Ach ja, ich habe Mac OSX Big Sur. Der Mac hat 8GB Arbeitsspeicher. Die TVS-872XT hat 16GB und vorgestern wurde die neueste Firmware aufgespielt. Alles ist überall up to date.


    Ist jetzt ein Wall of Text, aber in den meisten Foren kommt immer als erstes "Mimimi, zu wenig Infos ;(" - daher :D


    Also warum ist das so? Ich checks einfach nicht.


    Und vielleicht hat jemand noch einen Tipp:

    - vllt wäre es ja für meinen Case (ich hab ein MacBook Pro, auf dem ich meistens editiere, aber wegen der höheren Leistung manchmal auf auf meinem Windows PC) eh das beste, meine Lightroom-Bibliothek am Laptop zu haben, aber die Fotos (TIFFS und RAWs sowie JPEGs) auf das schnellere Netzlaufwerk auszulagern. Geht das?

    - Habe gehört, Lightrom-Bibliothek auf Netzlaufwerk geht nicht. Aber nur die Fotos allein müssten ja via SMB gehen, oder?

    - Und - anders als beim iSCSI-Laufwerk, das ich wohl zwingend auf MacOS Extended (journaled) formatieren muss (und auch NUR auf MacOS Extended. Eine Formatierung auf APFS geht bei mir aus irgendeinem Grund nicht und bricht hab. Weiß da auch jemand warum?), kann ich im Fall des Netzlaufwerks zumindest auch mit dem Windows-Lightroom auf alle Fotos zugreifen, oder?

    - Mein Anwendungs-Case ist übrigens vor allem Foto-Editing mit Lightroom, Photoshop, Luminar AI und immer häufiger auch Filmschnitt mit Adobe Premiere und After Effects. Vielleicht habt ihr da auch noch einige Einstellungs-Tipps, wie ich für meinen Case am besten mit einem NAS umgehe.

    3 Mal editiert, zuletzt von Smack0r ()

    Vorweg: Ich habe iSCSI noch nie benutzt. Daher kann ich dir deine wichtigste Frage, warum iSCSI so langsam ist, nicht beantworten.

    Das macht aber nichts, s. u..

    Zitat von Smack0r

    Was check ich nicht? Warum ist es irrelevant für das iSCSI-Laufwerk, ob SSD-Caching an oder aus ist?

    Es ist jetzt nicht ein Programm, das die Dateien auf die Magnetscheiben bringt, sondern es sich eine Reihe von Programmen, die man sich in Schichten liegend übereinander vorstellen kann.

    (Die Nummern der Schichten habe ich für die Erklärung gerade eben erfunden und die sind in der Literatur so nicht anzutreffen. Außerdem kann man noch mehr Schichten sehen, was für die Erklärung unwichtig ist.)


    Schicht 0, die unterste: Magnetisierung der Scheibe den Informationen der Bits nach, umgekehrt magnetische Informationen in Bits umwandeln.

    Schicht 1: Zusammenfassung der Bits zu Spuren und Blöcken, aussortieren defekter Spuren

    Schicht 2: Kommunikation mit der Festplatte und Abbildung der Blöcke als Block-Device

    Schicht 3: (Dateisystem) Zuordnung der Blöcke zu Verzeichnissen und Dateien.


    Schicht 0 wird von der Hardware der Festplatte erledigt.

    Schicht 1 wird von der Software der Festplatte (dem Controller) gemacht.


    Bei iSCSI wird

    Schicht 2 im NAS und Schicht 3 im Mac abgehandelt.


    Bei SMB/AFP/NFS werden sowohl Schicht 2 als auch Schicht 3 im NAS erledigt.


    Der Cache ist Teil der Schicht 3. Das heißt, bei SMB erledigt das NAS dieses. iSCSI findet aber auf niedrigerem Niveau statt und kennt diesen Cache nicht. Um den Cache nutzten zu können, müsstest du die Cache-SSD ebenfalls als iSCSI freigeben, und die Software auf dem MAC müsste dieses iSCSI-Gerät als Cache für das iSCSI der Festplatten nutzen. Mir ist keine Software auf dem Mac bekannt, die dieses kann.


    => Kein Cache mit iSCSI. Das ist nicht möglich. Das ist kein Fehler, sondern liegt am Konzept.


    Mein Tipp:

    Vergiss iSCSI. Das ist nicht, was du willst. Auf eine iSCSI-Freigabe kann nur ein Gerät gleichzeitig zugreifen. Das ist wie eine USB-Platte, die über das Netzwerk bereitgestellt wird. Das ist in Firmen interessant, wenn irgendein Rechner schnell mal lokalen Plattenplatz braucht, der aber zentral verwaltet werden soll. Im Heimbereich sehe ich da keinen Gewinn.


    Nimm SMB. Dann hast du nicht nur deine Performanceprobleme behoben, sondern kannst auch die Vorteile des NAS nutzen, mit mehreren Geräten darauf zugreifen zu können.

    Zitat von Smack0r

    - Jumbo Frames 9000 hat für das iSCSI Laufwerk nichts gebraucht und für das SMB-Laufwerk die Schreibgeschwindigkeit halbiert, daher habe ich es deaktiviert.

    Bei mir ist es anders rum: Jumbo Frames ändern nichts an der Schreibgeschwindigkeit, verdoppelt aber die Lesegeschwindigkeit bei SMB. Bei AFP und NFS ist der Effekt der Jumbo-Frames hingegen minimal.


    Damit Jumbo-Frames etwas bringen, müssen alle Geräte in der Kette, NAS, Switche und Mac/PC, diese eingestellt haben und nutzen. Bei NAS und Mac muss man dies einstellen, beim Switch meistens nicht nötig, aber bei einigen Managed Switchen müssen sie manuell aktiviert werden.


    Kann nicht die ganze Kette Jumbo-Frames, funktioniert es idR. auch, ist aber kontraproduktiv für die Geschwindigkeit.

    Zitat von Smack0r

    - Die Thunderbolt 2 (20GBit/s) - Verbindung ist (in meinem Anwendungs-Case mit dem alten Mac) kein limitierender Faktor

    Vielleicht doch. Die Thunderbolt-Geschwindigkeit kann nicht 1:1 in Ethernet-Geschwindigkeit umgesetzt werden. An einem Mac mit Thunderbolt 3 komme ich auf 925MByte/s, also nur etwas unter dem theoretischen Maximum, an einem älteren Mac mit Thunderbolt 1 (10GBit/s) komme ich auf 650MByte/s. "Schuld" ist jeweils der 10GbE-Adapter.


    Wenn du wissen willst, wo die Grenze deines Adapters liegt, musst du iPerf installieren.

    Zitat von Smack0r

    Wenn ich mal beim anderen Laufwerk (dem SMB-Laufwerk) SSD-Cache ausschalte, merke ich erstens: einen Einbruch der Schreibleistung, nämlich von 600MB/s auf 270MB/s, aber keinen Einbruch der Leseleistung -

    Der Blackmagic Speed arbeitet mit sehr großen Dateien. Da bringt der Cache beim Lesen nichts. Der Cache bringt was bei oft genutzten kleineren Dateien. (Ich nutze übrigens keinen Cache, sondern habe die SSDs lieber direkt als eigenes Laufwerk eingebunden.)

    Zitat von Smack0r

    die SSDs sind ebenfalls mit Raid-1 miteinander verbunden, nicht mit Raid0 (werde ich aber wohl noch ändern,

    Das kann ich nicht empfehlen. Das macht viel Ärger beim Auswechseln einer SSD, bringt dafür zu wenig (bessere Schreibleistung, aber keine bessere Leseleistung - für deine Anwendung (Fotos) interessiert nur die Leseleistung).

    Und wenn die SSDs im Raid 0 der Cache für ein Festplatten-Raid sind, geht damit der Ausfallschutz auf das ganze Volume verloren.

    Zitat von Smack0r

    eh das beste, meine Lightroom-Bibliothek am Laptop zu haben, aber die Fotos (TIFFS und RAWs sowie JPEGs) auf das schnellere Netzlaufwerk auszulagern. Geht das?

    Ja, das geht. Ist überhaupt kein Problem.

    Zitat von Smack0r

    - Habe gehört, Lightrom-Bibliothek auf Netzlaufwerk geht nicht. Aber nur die Fotos allein müssten ja via SMB gehen, oder?

    Das habe ich auch gehört, LR-Bibliothek auf Netzlaufwerk geht nicht. Grund ist, dass die Bibliothek keine parallelen Zugriffe (durch zwei Rechner) abkann. Sie könnte dadurch korrupt werden.


    Wenn du die Bibliothek auf dem Mac hast, die Bilder auf dem NAS, und dann betrachtest du die Bilder mit dem PC, so siehst du nicht die von dir vorgenommenen Bearbeitungen, sondern nur die Originale.


    Lösungsmöglichkeit 1:

    Nach der Bearbeitung exportierst du die Fotos in LR als jpg erneut auf das NAS, wo sie dann vom PC, Smartfone, Fernseher und anderen Bildbetrachtern angesehen (aber nicht geändert) werden können.


    Lösungsmöglichkeit 2:

    Mach dir ein Startskript für LR auf MAC und PC, welches erst die Bibliothek vom NAS auf den Mac/PC kopiert, dann LR startet und nach dessen Schließen die Bibliothek wieder auf das NAS kopiert.

    Zitat von Smack0r

    - Und - anders als beim iSCSI-Laufwerk, das ich wohl zwingend auf MacOS Extended (journaled) formatieren muss (und auch NUR auf MacOS Extended. Eine Formatierung auf APFS geht bei mir aus irgendeinem Grund nicht und bricht hab. Weiß da auch jemand warum?),

    APFS geht nur auf SSDs, nicht auf Festplatten. Dies ist von Apple so gewollt. Grund: APFS würde sehr viele Bewegungen des Lese-/Schreibkopfes verursachen und wäre damit sehr ineffizient. APFS ist nur für SSDs gemacht-

    Zitat von Anthracite

    Auf eine iSCSI-Freigabe kann nur ein Gerät gleichzeitig zugreifen.

    Falsch!

    Es können durchaus auch mehrere Geräte zugreifen, solange die aber nicht geclustert sind, sollte man das tunlichst vermeiden ;).


    Gruss

    Ach, das ist ja gut zu wissen!

    Danke für die Infos; dann kann ich natürlich lange auf Fehlersuche gehen, warum die iSCSI-Geschwindigkeit langsamer ist, wenn Caching einfach technisch gar nicht möglich ist. Klingt tatsächlich, als wäre iSCSI für meinen Heimgebrauch unpraktikabel. Ich kam ursprünglich durch das Firmennetzwerk drauf, wo eine Vielzahl solcher externer HDDs permanent eingebunden ist, als wären die HDDs lokal, was mich dann auch für daheim faszinierte.


    Auch bei anderen Themen bin ich bislang nicht so in der Materie drin, daher ist es auch interessant zu wissen, dass das APFS-Filesystem für SSDs gedacht ist und die Installation auf den Toshiba HDDs deshalb verweigert.


    Jumbo Frames soll auf macOS Big Sur wohl nicht aktivierbar sein? Da könnte ein Fehler in der Kette liegen, warum bei mir das System langsamer wurde, als ich auf dem NAS auf 9000 gestellt hatte.


    Zu den Bildern: Ja, ich denke, ich werde dann nach der 1. Methode verfahren, da ich leider zu viele Bilder (mittlerweile 3,58Tb) habe, um sie vor Arbeitsbeginn von Ort A zu B und zurück zu verschieben.


    Fand die Infos richtig aufschlussreich, Anthracite - vielen Dank dafür und den zeitlichen Aufwand für die ausführliche Rückmeldung :)

    Zitat von Smack0r

    Jumbo Frames soll auf macOS Big Sur wohl nicht aktivierbar sein? Da könnte ein Fehler in der Kette liegen, warum bei mir das System langsamer wurde, als ich auf dem NAS auf 9000 gestellt hatte.

    Auf dem Mac musst du Jumbos auch einstellen, sonst ist das Blödsinn.


    Big Sur habe ich hier nicht zur Verfügung.

    Bei High Sierra findest du das unter Systemeinstellungen -> Netzwerk, links den 10GbE-Adapter auswählen, dann rechts "weitere Optionen" -> Hardware und dort bei MTU Jumbos einstellen.

    Zitat von Smack0r

    Zu den Bildern: Ja, ich denke, ich werde dann nach der 1. Methode verfahren, da ich leider zu viele Bilder (mittlerweile 3,58Tb) habe, um sie vor Arbeitsbeginn von Ort A zu B und zurück zu verschieben.

    Verständnisfehler: Die Bilder dürfen immer auf dem NAS bleiben. Da brauchst du nichts zu kopieren. Die dürfen auf einem Netzlaufwerk liegen. Es geht ausschließlich um den Katalog selbst, der sich (bei LR 6) unter ~/Pictures/Lightroom befindet. Bei mir ist das 1GB für den Katalog und 20GB für die Vorschauen. Die Vorschauen brauchst du möglicherweise gar nicht zu kopieren - das sind eh' nur temporäre Dateien - oder du kannst deren Platzbedarf auf der Platte in den LR-Einstellungen ändern.


    Zitat von Smack0r

    Fand die Infos richtig aufschlussreich, Anthracite - vielen Dank dafür und den zeitlichen Aufwand für die ausführliche Rückmeldung

    Gern geschehen.