kleine Dateien iSCSI

    eine Menge kleinerer Dateien (auch 0-Byte-Dateien) zu kopieren ist auf meinem TS653D eine extrem langsame Qual von 3-25 Byte (kein Tippfehler) pro Sekunde bis maximal 4KB/sec. ;(


    Ich wünsche mir Tipps, was ich noch machen kann. Oder ich schmeiß mich oder die QNAP aus dem Fenster ;)


    Ich habe schon alle Threads zu dem Thema durch und hoffentlich den entscheidenden Tipp übersehen.


    Stelle ich ein Raid-1 auf iSCSI um, geht das blitzschnell mit der o.g. Dateiübertragung. Auch andere Dinge wie ein Resync läuft mit 160mb/sec.

    Mein letzter Versuch war es das iSCSI auch als Remotedatenträger von der QNAP selbst zu mounten, um so in beiden Welten mit denselben Dateien arbeiten zu können. Allerdings sehe ich auf der QNAP nur die Dateien der QNAP und auf Win10 nur die Dateien vom Win10. Nur bei der Ersterstellung sieht die QNAP Daten vom Windows.

    Ich habe alle Apps gestoppt, die man stoppen kann, also daher nur die Minimal-Software auf der QNAP.

    Firmware ist vom 21.04.2023. (hab gesehen, dass gerade eine neue da ist)


    TS-653D mit 16 GB Ram

    4x4TB IronWolf

    2x16TB IronWolf

    Win10 home (daher kein NFS)

    2x2,5GB LAN via 10GB-Switch am PC mit 10GB-NIC

    Coral EdgeTPU via USB

    QNAP QM2-2P-244A mit 2x Samsung 980 1TB

    Zitat von marph

    iSCSI auch als Remotedatenträger von der QNAP selbst zu mounten, um so in beiden Welten mit denselben Dateien arbeiten zu können

    ?? Bitte genauer erklären, was Du damit meinst.

    iSCSI ist ein Block-Storage Protokoll, kein Netztwerk-Protokoll!

    Eine iSCSI LUN gleichzeitig auf verschiedene Hosts mit unterschiedlichem OS zu mounten, ist i.d.R. eine sehr schlechte Idee!

    Da sind Inkonsistenzen vorprogrammiert.

    Selbst, wenn man die iSCSI LUN an mehrere Hosts mit dem gleichen OS mountet, muss ein Clusterdienst den Zugriff regeln.

    Ich kann mich noch gut erinnern, das frühere Windows Versionen die SAN Policy "Online all" hatten, Hat man aus Versehen einem falschen Hosts die LUN zugeordnet, poppte beim Aufruf des Gerätemanagers gleich das Fenster zur Initialisierung der neuen Disk auf. Hat man das bejaht, waren das fatale Folgen.


    Gruss

    Ich kenne nur eine Lösung, dein Ziel Laufwerk müsste statt einer HD eine SSD sein. Bei meinen NAS ist der Geschwindigkeitsvorteil erheblich.

    Ich kopiere mit "robocopy" viele kleine Dateien auf das NAS

    - mit Ziel HD ca. 40 min

    - mit Ziel SSD ca. 2 min

    FSC830 es war ein verzweifelter Versuch iSCSI so einzurichten, dass PC und QNAP dieselbe LUN nutzen können. Ich hab's verworfen. Es war nur eine fixe Idee, da iSCSI so blitzschnell am WIn10 funktionierte. Aber ich suche ja eine NAS-Lösung, damit alle möglichen Clients die Daten nutzen können. Von daher hast Du natürlich recht. Ich wollte es nur erwähnen, dass die iSCSI-Variante so abartig schnell war, dass ich mir nur einen Bruchteil davon beim Umgang mit kleinen Dateien via SMB wünsche.

    Mod: Unnötiges Volltext-/Direktzitat gekürzt! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

    Zitat von Becker2020

    Ich kenne nur eine Lösung, dein Ziel Laufwerk müsste statt einer HD eine SSD sein.

    Da müsste ich dann 48TB HDD's rausschmeissen und etwas mehr als 2.200 EUR für SSD's installieren. Das ist mir zu heftig.

    Für das Kopieren habe ich sowohl Win10 als auch UltraCopier genutzt, was keinen großen Unterschied gemacht hatte.

    Vielleicht hat ja jemand noch Erfahrung im Bereich NFS vs. SMB auf Windows? Meinen Recherchen zur Folge ist NFS deutlich (wenn auch nicht unsagbar) schneller als SMB.

    2 Mal editiert, zuletzt von marph () aus folgendem Grund: Ein Beitrag von marph mit diesem Beitrag zusammengefügt.

    Zitat von marph

    Da müsste ich dann 48TB HDD's rausschmeissen und etwas mehr als 2.200 EUR für SSD's installieren. Das ist mir zu heftig.


    Du hast aber doch 2 SSD im NAS zum Testen oder nutzt Du die SSD als Cache :?:


    Deine vielen kleinen Dateien werden doch keine xx GB groß sein.

    Ja, mach ich. Aktuell läuft noch ein Resync, weil ich das auch noch ausprobieren wollte. Ich sehe aber beim Atto Benchmark, dass der ab und an einbricht und ich vermute es liegt am Resync.

    Aktuell habe ich noch eine NVME als Single-Volume konfiguriert und auch da sind es 5 Byte/s beim Copy.

    Aber ich melde mich nochmal, sobald ich die Benchmarks fertig habe.

    q.tip Super und vielen Dank !!!

    Protokollierung war an und nachdem es aus war, hatte ich definitiv schon mal einen deutlich Geschwindigkeitsschub.

    Dein System Volume ist also auch auf den HDs, dann ist es kein wunder, das jeder Zugriff x random IOs erzeugt die bei HDs in einem entsprechend langsamen Datenübertragungsverhalten resultieren.


    Cache ist ja ganz nett, bringt aber nur in ganz wenigen Fällen wirklich einen Vorteil.

    Besser ist es hart aufzuteilen, HD und SSD Volumes und dann die SSDs auch für das Systemlaufwerk inkl. Logs, DBs, VMs, Contis usw. zu verwenden.

    Crazyhorse Cache hatte ich nur mal kurz probiert und auch den Artikel gelesen. Habe da keine Besserung gespürt, wie es auch in dem Artikel stand.

    Aber ich kann ja die beiden NVME-SSD's auch als Speicherpool einrichten. Ich weiss allerdings noch nicht, wie ich die Systemplatte dann auf diesen Speicherpool bekomme.

    Sieht gut aus - bei kleinen Dateien! Wenn du ein 2,5GbE-LAN nutzt, sind die Datenraten bei großen Dateien etwas dünn!

    Welches PC-BS benutzt du? Welche NIC steckt im PC? Läuft da noch der Cache? Bei mir lag es damals an dem Treiber dieser NIC, dass ich nicht die max. Schnittstellengeschwindigkeit erreichen konnte.

    Mein Bauchgefühl sagt mir, dass es nicht am LAN liegt. Gestern habe ich auch die SSD's als iSCSI getestet und das war megaschnell.

    Was ich überlege ist den Tipp von Crazyhorse umzusetzen und die Systemplatte auf den SSD's unterzubringen . Der benötigt allerdings mehr Vorlauf.

    Also Voll-Backup, Platten raus. System neu aufsetzen.

    Aber ich beherzige auch Deinen Tipp und werde dabei dann mir auch nochmal NIC und LAN im Allgemeinen ansehen. Sobald mein Lieblingsprodukt endlich lieferbar ist, stelle ich ohnehin auf TP-Link Omada um und entsorge den üblichen Fritz.box, Switch- und Router-Krempel.

    Backup auf Stand bringen, dann das HD Volume sicher entfernen, das sollte gehen, ging bei mir seinerzeit jedenfalls.

    Das gleiche mit der SSD die nicht das System Laufwerk werden soll.


    Dann die Standardfreigabeordner wiederherstellen:

    pasted-from-clipboard.png


    Apps neu installieren, da jetzt die SSD das System Volume ist, werden auch hier die Apps installiert.

    Einige kann man umziehen, andere muss man neu installieren, wenn man das Volume wechselt.


    Dann als letzter Schritt die HD Volumes wieder einhängen:

    pasted-from-clipboard.png

    Ich bekomme es nicht hin. Kann es sein, dass auf die Erweiterungskarte QM2-2P-244A für NVME-SSD's keine Systempartition erstellt wird? Die beiden NVME's sind im Raid-1, aber die Systemplatte wird immer nur auf den Speicherpools 1+2 (bestückt mit HDD's) installiert.

    OK, nach dem zigsten Mal des rumprobierens und x Neustarts, hat die zickige QNAP, die Systempartition auf die NVME's gepackt.


    Ein weiteres Problem ist, dass von dem iSCSI-Versuch immer noch der Eintrag im File-Explorer sich hält. Obwohl iSCSI und LUN gelöscht, kommt der EIntrag im FileExplorer immer wieder hoch (natürlich nciht aufrufbar, weil er ja nicht mehr existiert)

    Einmal editiert, zuletzt von marph ()