SSD-Caching für esxi

  • Hallo zusammen,


    es soll lokaler Speicher, an 2 Server, mit esxi abgelöst werden gegen ein neues Nas mit SSD-Caching via 10gb Sfp Anbindung (TS-435XeU)

    Verbaut werden sollen 4 × 14 TB Enterprise Platten und zweimal M.2 mit je 2 TB.


    Wie werden die beiden M.2 am zweiten am besten ver- /angewendet für die VMs, via Nfs, Iscsi?

    Es stehen ja theoretisch 4 TB Cache wenn auch unbuffered zur Verfügung,


    PS: Der lokale Speicher ist recht performant mit den großen Dell Raid Controllern mit 2 GB Cache.


    VG

    Einmal editiert, zuletzt von jogovogo ()

  • Meine persönliche Erfahrung ist, dass NFS etwas performanter ist, allerdings nicht im Zusammenspiel mit 10GbE und Virtualisierung. Klassisch wäre da ja wohl iSCSI die Wahl.


    Aber egal ob Volume oder block based LUN, Du kannst beidem SSD-Cache zuweisen, direkt im Speichermanager des NAS. Bei Read-Write-Cache würde ich auf jeden Fall die 2 M.2 mit RAID1 betreiben. Um noch mehr Performance aus dem SSD-Cache herauszuholen empfiehlt QNAP Over-Provisioning zu verwenden. Den optimalen Wert kann man mit dem SSD-Profiling Tool (QNAP-App Center) ermitteln.

  • Ich würde eher auf eine: TS-977XU-RP setzen, diese am ESXi Host mit Mellanox karten per iSCSI RDMA anbinden und den ESXi host cache verwenden. Falls du bei diesem Gerät auf Caching setzt, würde ich es eher als QTier in einem solchen fall einsetzten. Was hat der Dell server für eine Power?


    Beim TS-435XeU würde ich es als NFS konfigurieren, da Software iSCSI ordentlich CPU Power benötigt und die Mve als cache verwenden.

  • Vielen Dank für eure Antworten,


    die TS-977XU-RP liegt preislich vierfach, die Frage ist ob sich das lohnt...


    Spaßeshalber mal bei einem Back-up nas, TS-451U, ein Volume konfiguriert und ein soft iscsi Adapter beim einen host konfiguriert und es war erstaunlich schnell.


    Es sind Dell R640 mit je 2x Xeon E5 mit 512Gb Ram. Ein paar DCs und überwiegend RDS Server. Kein großer Traffic oder Iops, eher Cpu Performance.

  • die TS-977XU-RP liegt preislich vierfach, die Frage ist ob sich das lohnt...

    Deine Entscheidung. Der Vorteill gerade bei iSCSI liegt darin, dass du die LUN als RAW Disk gleich dem client zuweisen kannst. Bei zwei ESXi Server kannst du so nahtlos im Fehlerfall zwischen den ESX Hosts switchen. Bei Hardware Acelleration (iser) hast du natürlich nochmalls ca 40-60% mehr performance, bedinngt aber, dass du eine RDMA fähige infrastruktur hast.


    Übrigends falls du dich für iSCSI entscheidest lohnt es sich mehrere iSCSI kernel Ports zu öffnen. Pro ESX Host würde ich aus performance und Redundanz gründen gleich vier generieren und die 10GB/s ports auch gleich als Multipath hinzugeben, soo hast du ordentlich Leistung

  • Ja, die Rdma Struktur ist aufwändiger.


    Weisst du wie viel Overhead ca. bei iscsi generiert wird gegenüber einem NFS Share?


    Die Frage ist ob sich das in der Real World bemerkbar macht in einer RDS Umgebung.


    Raw Hdds via iscsi ist für uns ideal in der Anwendung.

  • Weisst du wie viel Overhead ca. bei iscsi generiert wird gegenüber einem NFS Share?

    Müsste bei software ISCSI gleich sein. MTU 1500 ergeben ca. 1460 Bit Transport PDU pro session. Bei Software iSCSI hast du sicher einen schnelleren Session aufbau wenn du mit Mutipath und mindestens 2 Kernel ports arbeitest ist die Übertragung schneller und stabiler. Bei NFS könnte es dir in die Hände spielen wenn du NFS v4 mit RDMA einsetzt, da die Voraussetzungen für die Netzwerkinfrastruktur kleiner ist und mehr CPU Power für die VM`s zur verfügung steht, jedoch verzichtest du dann auf die RAW Disk was bei Hostcache configuration auch nochmalls eine Rolle spielt. Da du auf dem dell Server einen Hardware raidcontroller hast würde ich an deiner stelle mit Host cache und iSCSI Lun arbeiten und die beiden ESXi host mit dem vCENTER pairen, so kannst im Fehlerfall eines Hosts auch gleich nahtlos switchen und die XEON hat ja ordentlich power um Software iSCSI wegzustecken.

  • Euch vielen Dank für die schnellen und kompetenten Antworten!


    Diese Forum ist immer wieder sehr hilfreich zur Zielfindung.


    VG