Beiträge von NightStalk3r

    Bei uns in der Firma haben wir eine kommerzielle Software, diese nennt sich "Veeam".

    Über Preise kann ich nichts sagen.

    Läuft unauffällig auf den Arbeitsplatzrechnern und macht 1x am Tag ein inkrementelles Backup auf ein NAS.

    Mehrmals im Jahr wird testweise ein Backup zurückgespielt, bis jetzt gabs nie Probleme.


    Sollte es auch für QNap geben, da in der Firma das NAS von einem anderen Hersteller ist.

    Portbündelung bringt nach meiner Erfahrung nur etwas, wenn mehrere Benutzer auf eine Ressource zugreifen. Dann wird die Last verteilt.


    Kurzer Erfahrungsbericht von meinem Umzug auf ein neues NAS:

    Stand vor dem selben Thema. Kopieren über Umweg Windows Rechner ist blöd, da diverse Dateinamen inkl Ordner zu lange sind -> Windows zickt da rum und kopiert die Daten nicht.


    Die Lösung war die HBS 3 Software von QNap, und zwar die Synchronisierung in eine Richtung.


    Btw. Wenn man normale Platten im Raid 5 oder 6 hat, reicht 2,5 Gbit Lan völlig aus. Durchschnittliche Kopierrate lag bei 285 Mb/s.

    Nachdem die 10 GBit SFP+ Karte gekommen war noch mal ein kleiner Test, die Platten machen bei ~330 Mb/s dicht.

    Über SSD ging deutlich mehr, da waren es etwa ~880 Mb/s.


    SSD Cache nur mit USV. Und der bringt dann aber auch nichts mehr, wenn der Cache vollgeschrieben ist, da Platten zu langsam.


    Interessantes Phänomen:

    Mit der Filestation und einem SMB Mount auf das alte NAS lag die Kopierrate nur bei 120-140 MB/s.

    Da ist HBS3 mit RRTR wohl sehr ressourcenschonend und effizienter.


    Wenn das nur eine einmalige Sache ist... mit GBit leben. Wenn das alte NAS so wie bei mir dann als Backup mit HBS synchronisiert wird, reicht dann eigentlich auch 1 GBit,

    denn dann werden ja nur Daten aktualisiert/gelöscht.

    Wenn ich mich recht erinnere, ist der WLAN Gastzugang und je nach Konfiguration Port 4, bereits vom regulären (Heim)Netz getrennt.


    Wenn du alles trennen willst brauchst mindestens ein SOC mit drei LAN Ports -> APU2D


    Meiner Meinung ist der Gastzugang ausreichend, außer du willst DNS und URL Filter einsetzen.


    Pfsense würde ich auch nehmen.

    Es gibt noch IPFire... da gibt's meiner Meinung aber zu viele Addons etc.

    Ist die Frage wie oft und wie lange man dieses VPN nutzt:

    Man nehme einen OrangePi nano, kostet mit GEhäuse etwa 15€. Dazu noch eine kleine SD Karte.

    Armbian Image draufbügeln, System starten.

    Dann OpenVPN draufmachen. Es gibt mittlerweile auch Installationsscripte - Google zeigt da einige an.

    Mit den Scripten lässt sich auch einfach ein Client.ovpn erzeugen.

    VPN Port definieren, am Router auf den OrangePi weiterleiten und gut ist.


    Der Orange Pi ist keine Höllenmaschine. Um ab und zu mal ins sichere Heimnetz zuzugreifen oder übers Heimnetz zu surfen reicht es aber allemal.

    Kleine Dienste wie PiHole oder Zeitserver lassen sich auf dem kleinen Ding auch wunderbar realisieren.

    PiHole läuft übrigens sehr gut drauf. Keine Latenzen oder Lags bei der DNS Auflösung. Trotz kleiner CPU.

    Auch als "Laie" kann man da wenig falsch machen - das Image ist fertig, das VPN gibts als Script. Eine Fehlkonfiguration ist beinahe ausgeschlossen.


    Stromverbrauch ? Habe ich nicht gemessen. Glaube so 2,5 bis max. 5 Watt.

    Wenn die Datei auf der selben Partition verschoben wird, dann ist es auch so, dass es "intern" abgearbeitet wird. Also streng genommen wird ja lediglich der Pfad geändert.

    Wenn ich die Datei auf eine andere Partition kopieren, nimmt der Windows Explorer den Umweg über den PC.


    So, anscheinend den Fehler gefunden:

    Ich habe den PCI-E getauscht, ein Slot weiter nach oben. Nun passt alles. Warum auch immer ?

    Meine mal was gelesen zu haben dass der zweite Nvme Slot sich die PCI-E lanes mit dem letzten Slot teilt, je nach CPU und Anzahl der Lanes.

    Also der Intel i7-7820X hat 28 Lanes..... und tataaa.... das Kleingedruckte vom Asus X299 Mark 1:

    Mod: Zitat ohne Quellenangabe ... gelöscht! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    Damit wäre das Phänomen geklärt. Ende 2017 habe ich noch nicht an eine zweite Nvme gedacht, geschweige denn an eine 10 GBit NIC.

    x1 Fach Mode kommt den 300 MB/s ganz gut hin.

    Wenn ich mich da nicht verkuckt habe - die 28 Lanes stimmen aber auf alle Fällr.

    Mod: Zitat ohne Quellenangabe ... gelöscht! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    Die Kopierrate bewegt sich von NAS Raid6 verschlüsselt auf PC SSD verschlüsselt bei ~450 MB/s

    Vom NAS SSD unverschlüsselt auf PC SSD verschlüsselt ~550 MB/s

    Die Verschlüsselung frisst schon etwas Leistung. Aber das ist es mir persönlich Wert. Im alltäglichen Gebrauch merkt man von Veracrypt praktisch nichts.


    Alle Daten trage ich noch mal in schön ein. Mittlerweile ist es etwas unübersichtlich.


    Benötigt man 10 GBit Lan unbedingt Zuhause ? Wenn man nicht gerade als Hobby das Filmen hat und alles unkomprimiert in 4K aufnimmt, kann man meiner Meinung darauf verzichten.

    Selbst bei zwei großen NAS:

    Wenn man die Datensicherung richtig einrichtet, ist die inkrementelle Sicherung sehr viel kleiner und schneller. Es dauert lediglich das erste Mal länger... wie so oft beim ersten Mal :/.

    Der Vorteil vom Stromsparen ist echt minimal und macht sich erst vielen Ports bemerkbar:

    Pro SFP+ Port mit 10 GBit Lwl sind das 1 Watt.

    Pro SFP+ Port mit 10 GBit Kupfer etwa 4-6 Watt.

    Da wird so ab 15-20 Ports welche alle mit 10 GBit laufen interessant.

    Hiho,


    das ist natürlich simpel.. NAS <-> PC. Werde ich auch mal testen.

    Habe jetzt den Ersatz PC fertig. Siehe da..... TOP Werte.

    Vom NAS SSD zu Ersatz SSD. Habe jetzt nicht die schnellsten SSD im Schreibvorgang, daher die sind die ~860 beinahe das Maximum. Die Crucial SSD schafft max. 950 MB/s im Schreiben.

    pasted-from-clipboard.png


    Zitat


    Deine 550-600 MB/s von RAID auf SSD waren doch eigentlich eine interne Kopie ohne Netzwerkkontroller als möglichen Flaschenhals!?

    Wenn man es genau nimmt: Die Kopie ging von dem Raid über das Netzwerk zum PC und dann wieder zurück auf die NAS SSD.

    Sprich, mit Umleitung übern PC. Das hat auch funktioniert, Traffic ist tatsächlich geflossen.


    Jetzt nehme ich erst Mal meinen PC vor um zu schauen was da für ein Mist los ist mit den 300 MB/s


    Kurzes Fazit:

    Das Raid6 im NAS hat mich positiv überrascht - dachte nicht dass es so schnell im lesen/schreiben ist.

    Ohne Nvme SSDs reizt man das 10 GBit Lan fast nicht aus -

    Könnte es sein dass bei dem 5Gbit USB Adapter schlicht und einfach die CPU immens viel rechnen muss ? Der USB Adapter könnte ja keinen zusätzlichen Prozessor draufhaben.

    So ähnlich wie beim Software Raid wo die CPU die Prüfsummen berechnen muss.


    Bei der internen 10Gbit Netzwerkkarte von der TS-1232XU bemerkt man bei entsprechender Auslastung in der GUI auch ein gewissen Lag. Meiner Meinung nicht so tragisch wenn der Rest flüssig läuft. Man ist ja nicht 24h im NAS eingeloggt und arbeitet mit der GUI produktiv.... oder hab ich was verpasst?

    So, der letzte Test stand heute an, habe noch mal eine Nvme SSD am "Arbeitsplatzrechner" entschlüsselt.

    Nunja, also:

    Von PC SSD unverschlüsselt, zu NAS SSD unverschlüsselt: ~290 MB/s

    Von NAS SSD unverschlüsselt, zu PC SSD unverschlüsselt: ~ 300 MB/s


    So, aktuell bin ich etwas ratlos..... das NAS und den Switch schließe ich jetzt mal aus. Denn der "umgeleitete" Kopiervorgang von der NAS SSD, über den Arbeitsplatzrechner, zurück aufs Raid6 und umgekehrt hat ja sehr gute Transferwerte zurückgegeben.


    Jetzt muss ich mal mein Versuchs-Server-Board klar machen, um zu schauen ob dieses auch dieses Phänomen mit den 300 MB/s hat. Kann mir nicht erklären wo diese Limitierung herkommt. Die Mellanox Connect-X2 Lankarte ? Das Asus X299 Mark 1 Mainboard ?


    Alles sehr nervig, aber trotzdem interessant die Fehlerquellen Stück für Stück zu eliminieren.

    Update:

    Habe den guten TP-Link T1700G-28TQ mal zum Fehler ausschließen angeschlossen. Natürlich auch gleich die Packetsize auf Jumbo Frames gestellt. Nun ja, es ist wie verhext. Irgendwas limitiert die Leistung, diese steht immer am Anschlag von ~390 Mb/s von den NAS Nvme,SSDs zu Nvme.SSD.


    Ja klar, die knapp 400 Mb/s lesend vom NAS bzw. 290 Mb/s schreibend aufs NAS sind so gesehen okay,

    Habe jetzt die zwei Nvme SSDs im NAS als Raid 0, also gestrippt - für den Test natürlich nur. Ergebnis: Keine Änderung :cursing:. Leistung wie die letzten Male. Trotz Raid 0 !


    Jetzt wirds ganz verrückt - ich habe einfach mal aus Spass von meinem NAS, dem Raid6 Volume über meinen PC, dem Windows Explorer eine Dummydatei auf die SSD kopiert - und umgekehrt.

    Dass die Schreibleistung auf das Raid 6 nicht berauschend sein wird, ist ja klar. Im Schnitt waren es aber trotzem so 300 MB/s.

    pasted-from-clipboard.png


    Nun vom Raid0 aufs Raid6 - Holla die Waldfee:

    pasted-from-clipboard.png

    Okay, leichte Schwankungen am Anfang, aber der Speed bewegt sich um die 550 MB/s -600 MB/s.

    pasted-from-clipboard.png


    Diese Werte waren jetzt mit dem TP Link Router, ein weiterer Vergleich mit dem Mikrotik CRS305-1G-4S+IN brachten im Schnitt vom NAS SSD mit Windows Explorer kopieren auf NAS Raid6 ca. 20 MB/s bessere Schreibleistung. Also statt ~270 MB/s waren es ~290 MB/s.


    Jetzt noch vom NAS Raid6 Kopie per Windows Explorer auf das NAS SSD. Die Werte sind wie beim TP Link, im Schnitt 550 MB/s -600 MB/s, allerdings auch minimale höhere Geschwindigkeit.


    So, erster Teil der Odyssee beendet - jetzt muss ich mal nach meinen Arbeits/Gaming PC schauen.

    Wenn etwas Spieltrieb vorhanden ist (Im Sinne vom rumprobieren von Konfigs etc.), wären da noch die Mikrotik Switches.

    Hab einen 5 Port Switch: 1x Uplink 1 GBit Kupfer und 4x SFP+ Cages für 10 Gigabit, Kupfer oder LWL. Was man halt haben will.


    Der CR326-24G-2S+RM sieht echt nicht übel aus, und wirklich verdammt günstig. dazu noch 2x SFP+ Cages die 10GBit fähig sind. Also auch gut für die Zukunft gerüstet: Werbung entfernt, siehe Forenregeln!

    Meinen Mikrotik 5 Port hab ich verdammt günstig bei Alternate bekommen (Rückläufer, B Ware). Statt 130€ lediglich 80€.


    Aber wie ich das in Erinnerung habe, wirst durch Port Trunking (oder LACP, egal welche Art) nicht die doppelte Geschwindigkeit bekommen !

    Das Port Trunking hilft nur wenn z.B. zwei User eine Datei runterladen - dann teilt das NAS die Downloads auf zwei Netzwerkkarten auf.

    Ich glaube es geht nicht, dass wenn Rechner A (Die Bandbreite von Rechner A einfach mal 2x1 GBit, verbunden mit LACP) eine große Datei zieht, der Traffic auf beide Netzwerkkarten geteilt wird. Du wirst bestenfalls die ~113 Mb/s bekommen:

    Auf die Schnelle leider nur auf Englisch gefunden:

    LACP will not split packets across multiple interfaces for a single stream/thread. For example a single TCP stream will always send/receive packets on the same NIC.

    See the following post for reference:

    Link aggregation (LACP/802.3ad) max throughput

    Hope this helps.

    Lange Rede, kurzer Sinn:

    Wenn mehr Speed gewünscht, könnte z.B. zwischen den beiden NAS'en dieses USB 3.0 5 GBit Lan Adapterkabel genommen werden, ich denke genau da kommt es dir drauf an ? Die regelmäßigen Backups schnell zu kopieren ?

    Um "nur" die Last zu verteilen, falls einige Personen auf das NAS zugreifen, funzt das LACP oder noch besser, das "balance-rr".



    Sollte das oben Geschriebene nicht stimmen, klärt mich auf. Das Ganze ist auch schon endlos lange her wie ich das ausprobiert habe.

    Nochmal genauer:

    Für was ist die Trennung der Netze ? Bzw. für was soll diese strikte Abtrennung gut sein ?

    Lassen wir mal die virtuellen Maschinen und den virtuellen Switch außen vor. Ob das gut oder schlecht ist, muss jeder selber entscheiden.

    Eine Firewall bzw. Gateway würde ich aus Sicherheitsgründen nie als VM laufen lassen. Okay, die Verhältnismäßigkeit sollte auch eine Rolle spielen. Aber ein gutes SOC Mainboard kostet jetzt nicht die Welt und braucht wenig Strom.


    Von der Ferne würde ich immer noch sagen:

    Kauf die einen Switch der VLan kann. Das ist das Einfachste und Schnellste. Mittlerweile bekommst so ein managed Switch
    Werbung entfernt, siehe Forenregeln!

    Ggf. wenn das nicht willst, kannst dir mal Sphinx Firewall Control Windows 10 damit kannst entsprechende Regeln erstellen. Eigentlich ganz easy.

    Entsprechende IP Ranges und Subnet sperren und gut ist.


    Überlege dir das noch mal mit Teamviewer. Das Programm hat jetzt die letzten Jahre nicht gerade mit zuverlässiger Sicherheit geglänzt. Was spricht gegen ein VPN ? Das kann das NAS auch. mit dem VPN kannst du auch ganz gut die IP Ranges/Subnet absichern.


    Z.B.: Ein APU2D4 Board (Board hat 3 Netzwerkkarten), da drauf den VPN Server. Durch die 3 NICs könntest du dein Lan nicht nur Virtuell trennen.

    Ohne Werbung zu machen..... ich trenne mich von meinem TP Link T1700G-28TQ. Ist ein managed Switch, folglich sind die ganzen Späße mit Portbündelung möglich.

    Du benötigst das da um genau zu sein.

    pasted-from-clipboard.png

    Theoretisch könntest in die TS-473 eine extra SFP+ Netzwerkkarte einbauen, Modul da rein und in den Switch und du hast schon mal dass Arbeitstier mit 10 GBit angebunden.

    Bin mir sicher, man braucht keine Original QNap NIC, die ist sauteuer.

    Das Ganze hört sich für mich leicht verwirrt an (Kann auch an der Uhrzeit liegen).

    Ich verstehe nicht so recht was du mit "isoliert" meinst, bzw. wieso das Ganze.

    Mit VLan sollte das eigentlich recht einfach gehen. Wenn ich mir die QNap Anleitung anschaue, geht VLan bzw. VLan IDs auch im virtuellen Switch.

    In wie weit dass dann funzt, kein Plan. Denn du kannst ja mit den VLans nur im NAS Arbeiten.


    Die Lösung von Crazyhorse ist im Endeffekt auch in Ordnung. Wenn ich mich recht erinnere, geht aber auch absolut 0 vom Lan ins Gastlan und umgekehrt.

    Je nachdem für das diese virtuellen Dosen brauchst - mit SSH, Telnet, Remotedesktop kommst nicht drauf. Und Portfreigaben gabs damals auch nicht für SSH z.B.

    Tatsächlich konnte man die MTU nur im RouterOS ändern. Diese stand noch auf 1500. Es hat sich minimal verbessert, Kopie von NAS auf PC ging auf ~390 MB/s hoch.

    Kopierleistung RAID6 vs. Nvme SSD übrigends gleich, also ~390 MB/s.

    Von PC auf Raid 6 ~290 MB/s und PC auf SSD ~290 MB/s.

    Hätte nicht gedacht dass sich das Raid6 so gut schlägt beim Schreiben, da ja die Paritätsberechnungen viel höher ausfallen.


    Irgendwas limitiert noch, aufgeben tu ich noch nicht :).

    Fazit nach der ersten Testrunde - irgendwas wirkt hier sehr stark limitierend. Ich werde noch mal im laufe der Tage den TP Link testen.

    Für mich sind die 350 MB/s jedoch völlig in Ordnung, wenn man bedenkt was der Mikrotik Switch kostet und was man damit alles machen kann.

    Interessant ist, dass die Verschlüsselung mittlerweile so gut wie keine negativen Auswirkungen mehr auf den Datentransfer hat.

    Hiho allerseits,


    mal ein paar Quick&Dirty Tests bezüglich Leistung bei einem 10 GBit Lan. Von den Kosten her wird das ja immer erschwinglicher. Ob es was bringt umzusteigen ? Das bleibt jedem selbst überlassen !

    Ich verzichte extra auf Umrechnungen und doppelte Benennungen. Alles wird in Megabyte/s angegeben - einfacher zu lesen.

    Nur einmalig:

    100 Mbit ~12,5 MB/s

    1000 Mbit ~125 MB/s

    10000 Mbit aka 10 Gbit ~ 1250 MB/s


    Grundlagen:

    Nas: QNap TS-1232XU, betrachtet werden die M2.SSDs (2x Samsung 970 EVO 250 GB), sowie das verschlüsselte Raid 6, bestehend aus 8x HGST Ultrastar He10 SATA 512e 10TB (HUH721010ALE604). Anbindung logischerweise mit einem SFP+ GBit Modul

    Switch: Mikrotik CRS305-1G-4S+IN, mal übersetzt: Switch mit 1x GBit Uplink und 5x 10GBit SFP+ Ports, 2 SFP+ Ports mit 10 GBit Modulen belegt

    Workstation: Asus TUF X299 Mark 1, I7-7820X, Netzwerkkarte Mellanox ConnectX-2 mit 10 GBit SFP+ Modul, 1x SSD 960 EVO 250GB (250 GB, PCI-E 3.0 x4), 1x CT1000P1SSD8 (1000 GB, PCI-E 3.0 x4), SSDs verschlüselt mit Veracrypt


    Btw, da es so verdammt günstig war natürlich alles auf LwL. Kupfermodule sind mir persönlich zu teuer. Nebenbei, was eigentlich bei 4 SFP+ Modulen zu vernachlässigen ist, LwL verbraucht deutlich weniger Strom pro Port.

    Bei 10 Modulen oder mehr schaut das dann aber wieder ganz anders aus. Die Latency LwL vs. Kupfer lassen wir mal außen vor.

    Quelle Glasfaser vs. Kupfer in Englisch


    Testdatei ~100 GB generierter Datenmüll. Kleine Dateien betrachte ich jetzt mal (noch) nicht.


    Szenario 1:

    100 GB vom verschlüsselten Raid6 auf beide verschlüsselte SSDs auf der Workstation: ~350 MB/s

    Mhh... ja nun.... das ist so gesehen von einem Raid6 (Was eigentlich relativ langsam ist), gar nicht mal so übel.

    Von Workstation auf NAS macht sich das Raid6 im Schreiben aber leicht bemerkbar, hier erreiche ich "nur" ~250 MB/s


    Szenario 2:

    Aaaaber, ich habe ja noch die zwei 970er Evos im QNap, die eigentlich fürs cachen sind. Also die mal schnell umgeändert auf ein Raid 0, danach auf ein Raid 1.

    Mit einem Raid 0 sollte das eigentlich abgehen wie nochwas. Ernüchterung folgte, ebenso gleiche Werte wie Szenario 1, lediglich Schreiben ging auf ~350 MB/s.


    Folglich könnte es eine Limitierung vom Mikrotik Switch geben, oder was ich eher glaube, von der Veracrypt Verschlüsselung.

    In der Richtung könnte man mich Paranoid nennen das NAS oder den PC zu verschlüsseln. Es sei allerdings gesagt dass ich auch auf Google Drive und ähnliche Dienste verzichte (Stichwort Nextcloud@Home auf einem kleinen Raspi4).

    Seis drum. Meinen alten TP Link T1700-TG werde ich ggf auch mal anschließen um den Mikrotik Switch auszuschließen - meinen Rechner wollte ich eh mal plätten. Bevor der wieder verschlüsselt wird, wird getestet.


    Szenario 3:

    Rechner frisch mit Windows 10 Pro, alle Treiber etc drauf. Aber keine Verschlüsselung aktiviert.

    Kopiervorgang vom NAS, Raid6 Volume auf die unverschlüsselten SSDs ~350 MB/s, umgekehrte Richtung ~300 MB/s. Hier scheint sich wohl, auch wenn es nur 50 MB/s mehr sind, etwas getan zu haben.

    Kopiervorgang vom NAS, unverschlüsseltes SSD Raid 0 Volume ~350 MB/s , umgekehrte Richtung ~350 MB/s. Nunja, das hätte ich jetzt nicht erwartet - spielt der Mikrotik Switch doch eine größere Rolle ?



    Update 20200507:

    Fehler Mb/s - MB/s korrigiert. Thx@LHB für den Hinweis