Ein Erfahrungsbericht eines IT-Amateurs mit dem Heimnetzwerk.
Die Motivation für diesen Bericht kommt aus meiner Beobachtun der letzten Wochen und Monate hier im Forum,
wo immer wieder Anfragen zu 10 GB Netzwerken gestellt wurden, ob der Umbau rentiert und nicht zuletzt
gab es viele Benutzer die über die erreichten Transferraten enttäuscht waren und hier Hilfe suchen und
Hardware oder Konfigurationsfehler vermuten.
Kurz zu meiner Vorstellung.
Als ich studiert habe (Kernphysik) da gab es den Begriff Informatik, PC, IT etc. noch gar nicht.
Geschweige denn ein entsprechendes Studium. Wir hatten noch mit Lochkarten in Fortran an Maschinen
programmiert die mehrer Tonnen schwer waren. Ein Plattenlaufwerk (10 MByte) beanspruchte einen ganzen 19 Zoll Schrank.
Für einen Experimentalphysiker wie ich, ist ein Computer ein Arbeitsgerät aber auch gleichzeitig ein Spielzeug.
Um meinem spezial Hobby der astronomischen Bildverarbeitung in der Pension nach gehen zu können braucht es
viele Spielzeuge - vor allem potente Spielzeuge. Wenn ich von PC´s spreche, meine ich Workstations mit 2 Xeon
Prozessoren, mindestens 24 Kernen und über 48GByte Memory. Im Wesentlichen werden meine Aussagen aber auch auf
einfache Desktop Systeme zutreffen, weniger aber auf Notebooks.
Um meine persönliche Vorstellung zusammen zu fassen: Ich bin ein IT-Amateur, ich spiele mit Betriebssystemen
und Netzwerk Konfigurationen. Dies beinhaltete Zuhause PDP´s, VAX und Alpha Computer von DEC unter VMS und Digital Unix
und heute mehrer Workstations unter Windows.
Zur System Konfiguration:
Das Netzwerk besteht aus einer Baumstruktur mit 4 Blättern/Knoten. In der Ausgangssituation ist alles mit 1GB verbunden.
Die Switche sind managebare 24Port GB Switche. Die NAS Boxen sind via LACP Portbündelung (je 2x 1GB) angeschlossen.
Der Datentransfer untereinander läuft mit 110 bis 115 MByte/sec und entspricht dem erwarteten Maximum bei einem 1GB Netz.
Die Verkabelung ist CAT6 und CAT7. Die Verbindungen zwischen den Switchen liegen zwischen 10 und 50 Metern CAT7.
Abstellraum: SWITCH
SS-439 (6TB, R5) Storage (6Gbit/sec SATA III Anbindung)
TS-859 (19TB, R5) Storage (6Gbit/sec SATA III Anbindung)
TS-859+ (26TB, R5) Storage (6Gbit/sec SATA III Anbindung)
TVS-863+ (27TB, R5) Storage (6Gbit/sec SATA III Anbindung)
TS-328 (8TB, R5) Storage (6Gbit/sec SATA III Anbindung)
WHS-2011 (1TB) DNS, DHCP
Büro: SWITCH
HP WS (Bildverarbeitung) (6Gbit/sec SATA III Anbindung)
HP WS (Multimedia) (6Gbit/sec SATA III Anbindung)
WLAN AP
TV Nebenzimmer
Wohnzimmer: SWITCH
WLAN AP
TV
Medienplayer
Bluray Player
Teleskop Steuerung im Wintergarten
Keller: SWITCH
7 HP WS (Storage Systeme) gesamt: 105TB R5 (HW Raidkontroller 6Gbit/sec SATAIII Anbindung)
1 HP WS Windows Server 2012R2, DNS, DHCP Backup, 24TB R5 (HW Raidkontroller 6Gbit/sec SATAIII Anbindung)
Daten und Backups liegen auf den NAS Boxen im Abstellraum sowie Kopien der Backup Images und Replikate der Daten im Keller.
Im Abstellraum liegen die Daten/Backups einfach, im Keller 2 fach verteilt zwischen den Maschinen. Jeweils am Montag
Vormittag findet automatisch ein Backup aller Maschinen, Daten und Replikate statt. Danach ist der Keller für eine Woche
"cold storage".
Es ist klar, dass das 1 GB Backbone vom Abstellraum bis in den Keller hier der Flaschenhals ist. Wenn mehr als eine Maschine
Daten über das Backbone schickt, müssen sie sich die Bandbreite teilen und der Durchsatz sinkt.
Schritt 1:
Der erste Verbesserungsschritt war die Switches durch solche aus zu tauschen die 2x10GB Ports und je 8x1GB Port hatten.
Der Rest lief immer noch auf 1GB. Nun konnten bis zu 10 Geräte gleichzeitig mit voller 1GB Geschwindigkeit (110-115 MByte/sec)
miteinander komunizieren. Das führte zu einer deutlichen Reduktion der Kopier, Backup- und Replikations Zeiten.
Schritt 2:
Da die TVS-863+ schon eine 10GB Karte eingebaut hatte, wollte ich zumindest zwischen dieser Box und dem Win. Server 2012 R2
im Keller 10GB realisieren. Also hat die Servermaschine eine 10GB Karte bekommen. Diese wurde am offene 2. 10GB Port des
Switches im Keller angeschlossen. Die NAS Box ihrerseits am offen 2. 10 GB Port des Switches im Abstellraum.
Resultat:
Der Transfer über die 10GB Karten läuft mehrere Minuten mit 430 - 480 MByte/sec - danach fällt die Rate auf etwa
230 - 250 MByte/sec ab. Das lässt sich damit erklären, dass der Cache voll gelaufen ist und nun die Transferrate der
Platten im R5 Verbund die Geschwindigkeit bestimmen. Die Platten sind Desktop Platten mit 7000RPM.
Lösung im NAS: Einbau einer 512 GByte SSD als Cache device. Danach sank die Transferrate erst nach etwa 30 min auf den niedrigeren
Wert.
Schritt 3:
Eigentlich ein Zwischenschritt. Da die WS schon 2x 1GB Ports auf dem Mainport haben und noch mehrere Dualport Serverkarten mit
je 2x 1GB vorhanden waren habe ich den Workstations im Keller je eine zusätzliche Dualport Karte eingebaut und somit 4x 1GB
pro System zur Verfügung gehabt. Neben den 10GB-Switch habe ich auch noch die 24Port GB Switche im Keller für den Anschluss
der nunmehr 8x4 Ports verwendet.
Ab Windows 8 und Windows Server 2008 R2 verwendet Windows automatisch SMB3 Multichannel für den Datentransfer zwischen Windows
Systemen. Eine Konfiguration ist hierfür nicht notwendig, Windows handelt sich mit dem Partner selbständig aus ob mehrere
Pfade vorhanden sind. Wenn Ja, wird der Verkehr parallel über alle vorhandenen Schnittstellen geführt. Es braucht keine
speziellen Switche oder eine Portbündelung, auch keinen Eintrag im DNS.
Resultat:
Der Transfer mit den jeweils 4x 1GB Schnittstellen geht zwischen den Windows Maschinen mit 380 - 420 MByte/sec was der zu
erwartenden Maximalrate bei 4 Schnittstellen mit je 110 MByte/sec und etwas Overhead entspricht. Auch wurden die jeweils
4 Streams pro Maschine sauber über das 10GB Backbone im ganzen Netzwerk erreicht. Auch beim Verkehr von 4x 1GB auf die
einzelne 10GB Karte des Windows Servers werden die 380 - 420 MByte/sec zwischen den R5 Speichern erreicht, bis der Cache
voll ist, danach sinkt die Rate auf die 230 - 250 MByte/sec ab.
Unter Linux Systemen gibt es SMB3 Multichannel leider erst im experimentellen Statium, g.h. auf den NAS Boxen läuft das nicht,
noch nicht.
Schritt 4:
Vollständige Umstellung auf 10GB. Das betrifft nur die Workstations, da die älteren NAS Boxen nicht auf 10GB aufgerüstet werden
können. Dazu wurden in den WS die Dualport Serverkarten gegen 10GB Singleport Karten ausgetauscht. Von den beiden Onboard 1GB Ports
wurde nur einer für WOL an den GB Switch angeschlossen, der 2. Port deaktiviert. Diese 10GB Karten können kein WOL deshalb die
zusätzliche 1GB Verbindung.
Resultat:
Es ist wenig erstaunlich - aber das Resultat entspricht genau dem von Schritt 3. Also zuerst 380 - 480 MByte/sec bis der Cache
voll ist, danach 230 - 250 MByte/sec.
Fazit:
Im Heimnetzwerk erreicht man mit einer kompletten Umstellung auf ein 10GB Netzwerk zwar kurzzeiting bei kleinen Dateien (bis 20 GByte)
etwa die 4 fache Geschwindigkeit, will man aber 10 TB von einem System zum Anderen kopieren bekommt man Netto auf Dauer nur etwa die 2.5 fache
Geschwindigkeit. Aber das heisst auch, dass so ein Kopiervorgang von 10 TB nicht 12 - 14 Stunden braucht, sondern über Nacht erledigt ist.
Im Heimbereich ist die SATA III Anbindung mit 6Gbit/sec der wesentliche Flaschenhals bei Raid Systemen, aber auch bei schnellen
SSD Platten. Mit 6Gbit/sec sind Netto nicht viel mehr als 500 - 540 MByte/sec möglich. Dann folgen natürlich die magn. Festplatten.
Bei 5000 oder 7000 RPM gehen die Transferraten auch nicht wesentlich über 200MByte/sec hinauf.
Mit 2.5 Zoll Platten erreicht man schon bei 100 MByte/sec die natürliche Grenze.
Man sollte sich nicht durch hohe Raten von über 600 -900 MByte/sec täuschen lassen die beim Kopieren von Platte zu Platte im PC
erreicht werden, das ist lediglich die interne Cache-Rate. Beim Kopieren einer 1TByte grossen Datei zeigen sich dann ganz andere Werte - 5 bis 10 Mal kleiner!
Hardware:
Netzwerkswitche mit 10 GB Ports gibt es "relativ günstig" wenn man die Multispeed Versionen nimmt. D.H. zum Beispiel 2x 10GB Ports
und 8x 1GB Ports. Diese Switche arbeiten ohne Lüfter und sind dadurch geräuschlos - werden aber recht Warm. Die Preise liegen bei
etwa 300€ pro Switch. Reine 10GB Switche mit 8 bis 12 x 10GB Ports sind laut, da Lüfter die Gehäuse kühlen und dadurch nur für
den Abstellraum oder Keller geeignet sind. Die Preise liegen hier bei etwa 600€.
Meine Empfehlung:
Wenn man ein gemischtes System hat mit NAS Boxen und PC´s (Win oder Mac) dann ist 10GB die einzige Möglichkeit die Geschwindigkeit
zu erhöhen. Aber es wird natürlich nicht der so oft zitierte Faktor 10 erreicht! Da gibt es zuviele Flaschenhälse im System.
Mit 12Gbit/sec System Anbindung wird es in Zukunft sicher besser werden - aber das wird noch etwas dauern.
Wenn man im Wesenlichen die hohe Geschwindigkeit nur zwischen Windows PC´s braucht empfehle ich ab Windows 8 SMB3 Multichannel
zu verwenden. Das ist günstig, braucht nur 20€ Switche und 50€ für die GB Zusatzkarten und man kann bis zur 4-fachen Geschwindigkeit
erreichen. Berichte und Empfehlungen zu SMB3 Multichannel sind zuhauf in Google zu finden.
Viel Vergnügen bei eigenen Experimenten.
Gruss Klaus
,
.
