Testbericht – TVS-473e-4G Teil 6: Benchmarks, Stresstest, Performance

… oder die Frage: Wie bringt man eine TVS-473e an ihre Grenzen.

Nach 5 Teilen Testbericht wollte ich die TVS-473e nicht so einfach davonkommen lassen. Nach so vielen Tests, denen sich das NAS stellen musste, konnte ich bis jetzt nur den Arbeitsspeicher an seine Grenzen bringen, was mit 4 GB allerdings weder verwunderlich und noch wirklich schwierig war.

Also habe ich mir noch ein paar andere Gemeinheiten für die TVS-473e ersonnen.

Ich habe den Test ausführlich beschrieben, damit Ihr den Test Zuhause nachvollziehen und nachstellen könnt. Ich würde mich hier sehr über Vergleichswerte und Eure Erfahrung freuen, auch von anderen QNAP Modellen.

1. Stresstest die Erste

Dass die TVS-473e mit einem PC / Notebook über einen 1GbE Anschluss nicht in schwitzen zu bringen ist, da hier der Netzwerkanschluss der limitierende Faktor ist, habe ich schon im Teil 3 Punkt 5. Performance beschrieben. Aber wie sieht es mit 3 PC / Notebooks gleichzeitig aus?

Die TVS-473e ist netterweise mit 4 Netzwerkadaptern ausgerüstet, die sich über den virtuellen Switch in ein Netzwerk bzw. zu einem physischen Switchersatz zusammenfassen lassen. Wie dies funktioniert, habe ich in diesem Artikel Schritt für Schritt erklärt: Netzwerk – Die QNAP als Switch verwenden.

01 Virtual Switch.png

Meine Idee: Wenn 3 PC gleichzeitig Daten lesen bzw. schreiben über je 1 GbE-Anschluss und die TVS-473e auch noch den virtuellen Switch steuern muss, sollte sie dies an ihre Grenzen bringen. Also habe ich gleichzeitig je von einem Gerät eine 15 GB große Testdatei auf die TVS-473e geschrieben bzw. von selbiger gelesen. Die Messwerte habe ich dem Ressourcen-Center der WebGUI entnommen.

Die Werte sind stark schwankend und entsprechen leider in etwa der Summe der Werte der einzelnen Geräte, wenn diese alleine lesen oder schreiben. Die beiden älteren Notebooks scheinen hier nicht mithalten zu können. Verflixt. Mehr Geräte stehen mir in meiner Testumgebung leider nicht zur Verfügung. Das NAS hätte ja noch eine 4. Netzwerkadapter. Aber noch gebe ich mich nicht geschlagen. Also muss ich das Ganze methodisch angehen und herausfinden wo hier der Flaschenhals steckt und ich diesen überwinden kann.

2. Die Eisenwölfe – Seagate ST2000VN004

Auch wenn ich die Festplatten des NAS schon kurz angetestet habe, habe ich im neuen „Speicher & Snapshots“ Menü erweiterte Möglichkeiten zum Testen der internen Festplatte des NAS gefunden. Hier wird zusätzlich zur sequenziellen Geschwindigkeit auch die IOPS getestet. Diese werden auch sehr schön in einem Graphen dargestellt.

02 Festplattentest.png

03 Festplattentest Ergebnis IOPS.png

Man sieht hier, dass eine einzelne Festplatte hier nicht die maximalen 250 MB/s vom Test erreichen könnte, sondern besten Falles knapp 180 MB/s und dass dies nur auf Grund des RAID5-Verbundes möglich ist. RAID hat also durchaus auch Performance-Vorteile und dient nicht ausschließlich der Ausfallsicherheit (und nein, RAID ist immer noch keine Backup-Ersatz ).

Man sieht hier auch gut, obwohl alles die selben Festplattenmodelle sind, dass nicht jede Festplatte die exakt gleiche Geschwindigkeit erreicht. Ich habe den Test mehrfach durchgeführt mit dem selben Resultat. Auch die Festplattentests aus Teil 3, die ich mit anderen Programmen durchgeführt habe bestätigen dies.

04 Festplattentest.png

05 Festplattentest.png

Gerade bei den IOPS-Werten haben auch moderne HDD aktuellen SSD-Modellen nichts entgegenzusetzen. Hier liegen die Werte gut und gerne schon mal bei 340'000 IOPS. Bei den sequenziellen Werten sind SSD mit bis zu 3'000 MB/s in beide Richtungen ebenso weit davon gezogen. Allerdings ebenso mit den Preisen.

Mit diesen Werten liegen die Ironwolf-Festplatten wohl irgendwo im normalen Rahmen von NAS-Festplatten. Enterprise HDD Modelle erreichen hier gerne mal an die 300 MB/s. Die drehen aber auch schon mal höher und leise zu sein ist hier kein Verkaufsargument.

3. Netzwerkdurchsatz

Nach dem Testen der Festplatten des NAS bin ich mir ziemlich sicher, dass die TVS-473e mehr kann. Also teste ich den Netzwerkdurchsatz, ob hier bei den Notebooks das Problem liegen könnte. Mit dem Tool „iperf“ lässt sich der Netzwerkdurchsatz sehr gut testen. Hier wird nur die Geschwindigkeit von Netzwerkkarte zu Netzwerkkarte getestet. Das Tool muss sowohl auf der QNAP (lässt sich aus dem Club App-Center nach installieren) als auch auf den Client-PC (im Ubuntu Repository vorhanden) installiert werden. Das von mir verwendete Tool ist ein Terminal-Tool, sprich ohne graphische Oberfläche. Das Tool gibt es auch für Windows und Mac, wohl auch einige mit graphischer Oberfläche.

3.1. Die Befehle

Auf der QNAP lässt sich das Tool nach der Installation unter Putty mit dem Befehl

iperf -s

starten. Auf dem PC unter Ubuntu / Linux mit dem Befehl

sudo iperf -c <ip-Adresse-QNAP>

z.B.

sudo iperf -c 192.168.2.202

Mit dem Befehl

sudo iperf -c <ip-Adresse-QNAP> -d

lässt sich ein bidirektionaler Test durchführen.

3.2. Ubuntu-Notebook-1

Einfacher Test von Client zu QNAP:

Client connecting to 192.168.2.202, TCP port 5001

TCP window size: 85.0 KByte (default)

------------------------------------------------------------

[ 3] local 192.168.2.100 port 37127 connected with 192.168.2.202 port 5001

[ ID] Interval Transfer Bandwidth

[ 3] 0.0-10.0 sec 1.07 GBytes 921 Mbits/sec

[ 3] 0.0-10.0 sec 1.07 GBytes 922 Mbits/sec

[ 3] 0.0-10.0 sec 1.07 GBytes 920 Mbits/sec

[ 3] 0.0-10.0 sec 1.07 GBytes 920 Mbits/sec

[ 3] 0.0-10.0 sec 1.07 GBytes 920 Mbits/sec

Bidirektionaler Test:

------------------------------------------------------------

Client connecting to 192.168.2.202, TCP port 5001

TCP window size: 408 KByte (default)

------------------------------------------------------------

[ 5] local 192.168.2.100 port 37137 connected with 192.168.2.202 port 5001

[ 4] local 192.168.2.100 port 5001 connected with 192.168.2.202 port 52104

[ ID] Interval Transfer Bandwidth

[ 5] 0.0-10.0 sec 1.04 GBytes 893 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

[ 5] 0.0-10.0 sec 1.04 GBytes 889 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 933 Mbits/sec

[ 5] 0.0-10.0 sec 1.04 GBytes 891 Mbits/sec

[ 4] 0.0-10.0 sec 1.08 GBytes 929 Mbits/sec

[ 5] 0.0-10.0 sec 1.04 GBytes 895 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 932 Mbits/sec

[ 4] 0.0-10.0 sec 1.04 GBytes 895 Mbits/sec

[ 5] 0.0-10.0 sec 1.09 GBytes 932 Mbits/sec

3.3. MacBookPro

Einfacher Test von Client zu QNAP:

------------------------------------------------------------

Server listening on TCP port 5001

TCP window size: 128 KByte (default)

------------------------------------------------------------

[ 4] local 192.168.2.101 port 5001 connected with 192.168.2.202 port 33986

[ ID] Interval Transfer Bandwidth

[ 4] 0.0-10.0 sec 1.09 GBytes 935 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 935 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 935 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 935 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 935 Mbits/sec

Bidirektionaler Test:

------------------------------------------------------------

Client connecting to 192.168.2.202, TCP port 5001

TCP window size: 281 KByte (default)

------------------------------------------------------------

[ 6] local 192.168.2.101 port 50378 connected with 192.168.2.202 port 5001

[ ID] Interval Transfer Bandwidth

[ 6] 0.0-10.0 sec 932 MBytes 782 Mbits/sec

[ 4] 0.0-10.0 sec 899 MBytes 752 Mbits/sec

[ 6] 0.0-10.0 sec 894 MBytes 749 Mbits/sec

[ 4] 0.0-10.0 sec 821 MBytes 687 Mbits/sec

[ 6] 0.0-10.0 sec 892 MBytes 748 Mbits/sec

[ 4] 0.0-10.0 sec 819 MBytes 685 Mbits/sec

[ 6] 0.0-10.0 sec 889 MBytes 746 Mbits/sec

[ 4] 0.0-10.0 sec 816 MBytes 683 Mbits/sec

[ 6] 0.0-10.0 sec 891 MBytes 747 Mbits/sec

[ 4] 0.0-10.0 sec 817 MBytes 684 Mbits/sec

3.4. Ubuntu-Notebook-2

Einfacher Test von Client zu QNAP:

------------------------------------------------------------

Client connecting to 192.168.2.202, TCP port 5001

TCP window size: 85.0 KByte (default)

------------------------------------------------------------

[ 3] local 192.168.2.102 port 49070 connected with 192.168.2.202 port 5001

[ ID] Interval Transfer Bandwidth

[ 3] 0.0-10.0 sec 1.09 GBytes 938 Mbits/sec

[ 3] 0.0-10.0 sec 1.09 GBytes 938 Mbits/sec

[ 3] 0.0-10.0 sec 1.09 GBytes 938 Mbits/sec

[ 3] 0.0-10.0 sec 1.09 GBytes 938 Mbits/sec

[ 3] 0.0-10.0 sec 1.09 GBytes 938 Mbits/sec

Bidirektionaler Test:

------------------------------------------------------------

Client connecting to 192.168.2.202, TCP port 5001

TCP window size: 298 KByte (default)

------------------------------------------------------------

[ 5] local 192.168.2.102 port 49084 connected with 192.168.2.202 port 5001

[ 4] local 192.168.2.102 port 5001 connected with 192.168.2.202 port 53710

[ ID] Interval Transfer Bandwidth

[ 5] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

[ 5] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

[ 5] 0.0-10.0 sec 1.09 GBytes 933 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 936 Mbits/sec

[ 5] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 936 Mbits/sec

[ 5] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

[ 4] 0.0-10.0 sec 1.09 GBytes 934 Mbits/sec

Wie man an den Werten sehen kann, liegt es nicht an der Netzwerkverbindung. Trotz zum Teil schon etwas älterer CAT5e Netzwerkkabel wird der theoretische Nettowert von Gigabit-Ethernet erreicht.

4. Schreib- und Lesetest

Also benötige ich nun exakte Werte vom Lesen und Schreiben von den einzelnen Geräten auf das NAS. Für Windows gibt es unzählige Programme, z.B. CrystalDiskMark. Unter Linux und Mac sind die etwas dünner gesät. Gelandet bin ich schlussendlich bei „dd“, einem Festplatten-Testprogramm für die Konsole. „dd“ ist sowohl unter Ubuntu als auch unter MacOS standardmäßig installiert. Da man bei „dd“ einen Ordner zum Testen angibt kann hier auch ein Ordner des NAS zum Testen verwendet werden. Vorteil bei „dd“: Die interne Festplatte des PC wird hier außen vor gelassen, da hier eine Testdatei erzeugt wird und auch beim Zurücklesen nichts auf die lokale Festplatte kopiert wird.

4.1. Die Befehle

Unter Ubuntu / Linux:

In der Konsole zuerst in den freigegeben Ordner der QNAP wechseln. Mit dem Befehl:

dd if=/dev/zero of=tempfile bs=1M count=1024 conv=fdatasync,notrunc

wird eine 1 GB große Datei in den aktuellen Ordner der Konsole erzeugt. Mit dem Befehl:

dd if=/dev/zero of=tempfile bs=1M count=4096 conv=fdatasync,notrunc

wird eine 4 GB große Datei in den aktuellen Ordner der Konsole erzeugt. Mit dem Befehl

dd if=tempfile of=/dev/null bs=1M count=1024

wird die 1 GB Datei aus aktuellen Ordner der Konsole gelesen. Mit dem Befehl:

dd if=tempfile of=/dev/null bs=1M count=4096

die 4 GB Datei. Wichtig ist beim Lesen, dass nach jedem Durchgang der Cache mit folgendem Befehl geleert wird:

echo 3 | sudo tee /proc/sys/vm/drop_caches

Unter Mac:

Unter Mac sehen hier die Befehl ein wenig anders aus. Auch hier zuerst in den Freigabeordner der QNAP wechseln. Schreiben:

dd if=/dev/zero of=tempfile bs=1m count=1024

Lesen:

dd if=tempfile of=/dev/null bs=1m count=1024

Mit welchem Befehl hier der Cache geleert wird konnte ich leider nicht herausfinden. Aber es funktioniert auch einfach die Datei neu zu erstellen.

4.2. Ubuntu-Notebooke-1

Schreibwerte bei einer 1 GB Datei wenn mit NFS verbunden:

1073741824 Bytes (1.1 GB) kopiert, 9.85353 s, 109 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.67290 s, 111 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.65270 s, 111 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.62684 s, 112 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.66811 s, 111 MB/s

Schreibwerte bei einer 4 GB Datei wenn mit NFS verbunden:

4294967296 Bytes (4.3 GB) kopiert, 41.6096 s, 103 MB/s

4294967296 Bytes (4.3 GB) kopiert, 38.2177 s, 112 MB/s

4294967296 Bytes (4.3 GB) kopiert, 38.6852 s, 111 MB/s

4294967296 Bytes (4.3 GB) kopiert, 41.4880 s, 104 MB/s

4294967296 Bytes (4.3 GB) kopiert, 39.1068 s, 110 MB/s

Werte beim Lesen einer 1 GB Datei wenn mit NFS verbunden:

1073741824 Bytes (1.1 GB) kopiert, 9.24052 s, 116 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.26780 s, 116 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.15043 s, 117 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.15181 s, 117 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.15221 s, 117 MB/s

Werte beim Lesen einer 4 GB Datei wenn mit NFS verbunden:

4294967296 Bytes (4.3 GB) kopiert, 36.5421 s, 118 MB/s

4294967296 Bytes (4.3 GB) kopiert, 36.6004 s, 117 MB/s

4294967296 Bytes (4.3 GB) kopiert, 36.6015 s, 117 MB/s

4294967296 Bytes (4.3 GB) kopiert, 36.6414 s, 117 MB/s

4294967296 Bytes (4.3 GB) kopiert, 36.5855 s, 117 MB/s

Schreibwerte bei einer 1 GB Datei wenn mit SMB2.1 verbunden:

1073741824 Bytes (1.1 GB) kopiert, 12.5887 s, 85.3 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.67147 s, 111 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.58817 s, 112 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.65468 s, 111 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.59438 s, 112 MB/s

Werte beim Lesen einer 1 GB Datei wenn mit SMB2.1 verbunden:

1073741824 Bytes (1.1 GB) kopiert, 9.28047 s, 116 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.27379 s, 116 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.24086 s, 116 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.31096 s, 115 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.27265 s, 116 MB/s

Das SMB-Laufwerk ist hier über den Befehl:

sudo mount -t cifs -o user=user-abc,domain=WORKGROUP //<IP-Adresse-QNAP/Freigabeordner

z.B.

sudo mount -t cifs -o user=user-abc,domain=WORKGROUP //192.168.2.202/Test /media/SMB-Test

eingebunden. Hierzu muss vorher das Tool:

cifs-utils

aus dem Repository von Ubuntu nach installiert werden.

NFS und SMB scheinen sich hier nicht so viel zu nehmen. Wird in meinem Fall das Freigabelaufwerk einfach über Nautilus per SMB eingebunden, erhalte ich Werte um die 45 MB/s.

4.3. MacBookPro

Schreibwerte bei einer 1 GB Datei wenn mit NFS verbunden:

1073741824 Bytes (1.1 GB) kopiert, 10.456303 s, 97,9 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.723755 s, 95,4 MB/s

1073741824 Bytes (1.1 GB) kopiert, 12.173013 s, 84,1 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.155721 s, 101 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.217848 s, 100 MB/s

Schreibwerte bei einer 4 GB Datei wenn mit NFS verbunden:

1073741824 Bytes (1.1 GB) kopiert, 10.177679 s, 101 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.172649 s, 101 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.163594 s, 101 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.196794 s, 100 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.184673 s, 101 MB/s

4.4. Ubuntu-Notebook-2

Schreibwerte bei einer 1 GB Datei wenn mit NFS verbunden:

1073741824 Bytes (1.1 GB) kopiert, 10.2534 s, 105 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.4941 s, 102 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.78345 s, 110 MB/s

1073741824 Bytes (1.1 GB) kopiert, 10.2128 s, 105 MB/s

1073741824 Bytes (1.1 GB) kopiert, 9.75956 s, 110 MB/s

Schreibwerte bei einer 4 GB Datei wenn mit NFS verbunden:

4294967296 Bytes (4.3 GB) kopiert, 40.2620 s, 107 MB/s

4294967296 Bytes (4.3 GB) kopiert, 40.0548 s, 107 MB/s

Wie man hier ganz gut sehen kann sind alle Werte recht gleich. Das bedeutet, dass der Flaschenhals bei meinem ersten Stresstest die interne Festplatte der älteren Notebooks ist.

5. Stresstest die Zweite

Nun ist der Fall klar und ich mache den 2. Stresstest mit „dd“ um den Flaschenhals der internen Festplatten der Notebooks zu umgehen. Ich führe diesen Test mit NFS verbunden Laufwerken mit einer 4 GB Datei aus. Ich beschränke mich hier auf das Schreiben auf die QNAP, da dies belastender für die QNAP ist. Natürlich hinkt dieser Test ein wenig, da es mir natürlich nicht 100% exakt möglich ist auf allen 3 Geräten gleichzeitig den Test zu starten, aber es zeigt dennoch interessante Einblicke.

Im Ressourcen-Center der WebGUI sieht man, dass die Werte der Netzwerkkarten und des gesamten Durchsatzes sehr stark schwanken. Hier erreicht die TVS-473e kurzzeitig beeindruckende Spitzenwerte von bis zu 320 MB/s – was schon wieder der Gesamtsumme der Notebooks entspricht.

Bitte bedenkt, dass bei diesen Tests immer mit einer einzigen großen Datei getestet wurde. Werden viele kleine Dateien kopiert, wie es im Alltag wohl häufiger vorkommt, sehen diese Werte wieder total anders aus. Diese Werte entsprechen am ehesten dem Kopieren einer großen Filmdatei.

6. Zwischenfazit

Die TVS-473e wehrt sich mit Händen und Füßen - wie man so schön sagt, wenn sie denn welche hätte – gegen die Offenbarung ihrer Grenzen und Schwächen. Um sie in der Praxis in dieser Konfiguration mit Dauerbeschuss an die Grenzen zu bringen benötigt man schon min. 3 PC mit 1 GbE Anschluss (und entsprechenden Festplatten :D) und die QNAP muss mit min. 3 Netzwerkadaptern mit Portbündelung an einen entsprechend konfigurierten und leistungsstarken Switch angehängt werden. Alternativ eine 10 GbE PCIe-Erweiterungskarte für die QNAP und passenden Switch, was in der Praxis in den meisten Firmen noch nicht so häufig vorkommt und Zuhause schon gar nicht. Um die Spitzenwerte zu erreichen werden eigentlich schon 4 PC und 4 Gb/s benötigt. Werden die HDD durch SDD ausgetauscht kann das Spiel noch weiter getrieben werden, denn im Moment scheinen die HDD-Festplatten der limitierende Faktor zu sein.

Performance: 

Bevor ich im letzten Teil der Testreihe zum großen Finale komme: Sind noch irgendwelche Dinge die getestet werden sollten oder die ich übersehen habe? „Wie verhält sich die TVS-473e mit 10 Windows 10 VM“ wäre zwar durchaus ein testwürdiges Szenario, aber wenn der Arbeitsspeicher schon nicht für eine Windows 10 VM reicht... Es sei denn QNAP würde mir noch 64 GB Arbeitsspeicher zukommen lassen. Diesen Test würde ich durchaus noch gerne machen.