RTRR Backupgeschwindigkeit

    Hi Zusammen!


    Ich habe folgendes Verhalten und das finde ich jetzt nicht so berauschend. Sicherung von Daten von einem TVS-882 auf ein TVS-882T, beide mit I5 Prozessor und 16GB Speicher im Gigabit-Netz. 6x WD-Red Platten zu je 3TB im Raid 5 Verbund, 2x 515 ssd als Schreib-Lese-Cache, 2x512 ssd als Q-Tier beim Sender, beim Empfänger-Nas gleich bis auf Q-Tier, das kommt dort nicht zum Einsatz.


    Die Geschwindigkeit die beim Test angezeigt wird beträgt ca. 110MB/s der Job startet dann auch mit ca. 110MB/s fällt aber recht bald auf 36MB/s zurück. Das ist doch ziemlich enttäuschend wie ich finde.


    Ist das normal?


    Hier noch ein Sreenshot vom Ressourcenmonitor des sendenden NAS. Man sieht, dass es schnell beginnt aber sehr bald abfällt. Aber die CPU langweilt sich, daran liegt es wohl nicht.


    qnap_ressourcenmonitor.png

    Wie sind die Daten zusammengesetzt? Mehr kleine oder große Dateien?

    Habe auch schon gelesen, dass sich Q-Tier negativ auf (große) Backup-Jobs auswirken kann.

    Das ist zwar enttäuschend, aber ein ganz normaler Vorgang. Die Geschwindigkeit ist unterschiedlich, je nachdem welche Dateigröße(n) kopiert werden. Große Dateien generieren hohe Übertragungsraten (auch mit Qtier), bei kleinen Dateien bricht die Übertragungsrate dann zusammen.


    Den selben Zustand hat man auch z. B. wenn Daten von HD auf USB-Stick oder sonst wohin kopiert werden.


    Zum Trost: Bei mir sieht es ähnlich wie bei dir aus.;) Aber immerhin sind 110 MB/s möglich. :)


    Grüße

    Ralf

    Mal eine Frage


    Zitat von PuraVida

    6x WD-Red Platten zu je 3TB im Raid 5 Verbund, 2x 515 ssd als Schreib-Lese-Cache, 2x512 ssd als Q-Tier beim Sender

    Wieso hast du einen Cache wenn du Qtiering nutzt? Kingt für mich erstmal unsinnig, aber evtl sehe ich den Vorteil hier nicht....

    Das ist eine berechtigte Frage QRACKZ . Ich habe damals wie ich es eingerichtet habe auch hier gefragt aber es gab keine wirkliche Antwort. Und aus Qnap Infos wurde man auch nicht schlau. Qnap hat auf jeden Fall das QTier in den Himmel gelobt also habe ich es auch installiert. Die Idee soll ja sein, dass das QTier automatisch "weiß" welche Daten häufig gebraucht werden und diese auf die SSD lädt. Während der Cache ja nur sowas wie ein schneller Puffer ist. Von daher könnte das schon Sinn machen.


    Was man aber so liest macht es keinen Sinn sondern QTier verlangsamt nur alles.

    Also für mich macht hier ein "entweder oder" Sinn. Qtiering alleine passt oder man nutzt nen SSD Cache. Je nach Anwendungsszenario.Aber beides zusammen? Wenn es um die Tier 1 Daten geht dann werden die ja von den SSDs abgerufen und dann nochmal mit SSD gechached... Irgendwie unnötig. Da würde ich leiber alle SSDs für den Tier 1 nutzen.

    Qnap dürfte aber empfehlen beides einzusetzen:


    Qtier mit SSD-Cache für konstante Beschleunigung

    Qtier unterstützt uneingeschränkt gleichzeitiges Tiering und SSD-Caching. In diesem Modus überwacht Qtier konstant die I/O-Aktivität und behält aktive Daten, die kleine, meist zufällige Lese-/Schreiboperationen erfordern, im Nur-Lesen- oder Lesen/Schreiben-Cache der SSD; andere Tiered-Daten werden automatisch zwischen geeigneten Tiers verschoben. QNAPs Unified- und Tiered-Storage ist ein intelligentes, automatisiertes Speichersystem zur kosten- und leistungsoptimierten Verwaltung der Datenplatzierung in Multi-Tier-Konfigurationen.


    https://www.qnap.com/solution/qtier-auto-tiering/de-de/

    Wie man an der Grafik erkennt werden hier aber nur Tier 2 und Tier 3 Daten im Tierung behandelt. Tier 1 ist her nicht vorhanden!

    ralf54321


    Das kann ich so leider nicht bestätigen. Die Geschwindigkeit bricht ein und bleibt auch eingebrochen. Sie erholt sich nicht mehr. Ich sichere gerade ca. 3TB Daten und das dauert rund 24 Stunden.


    Große Dateien und kleine Dateien sind ziemlich relative Angaben. Was ist für dich eine große Datei und was eine kleine?

    @QRack: Welche Grafik meinst Du?

    PuraVida

    Stimmt schon, die Definition ist relativ. Es gibt ja auch nicht nur die zwei, groß und klein, sondern auch eine Menge dazwischen.


    Groß wäre für mich ab ca. 50 MB, klein alles unter ca. 1 MB (nur als grobes Beispiel)


    Wenn ich also z.B. ein Videofile (2,9 GB) vom NAS auf den PC kopiere, dauert das 17 sec.

    Wenn ich 362 Files (ca. 8 MB, also auch ca. 2,9 GB) aus einem TimeMachine Backup auf den PC kopiere, dauert das 25 sec.


    Je kleiner die Dateien werden, desto größer ist auch der Verwaltungsaufwand: kopieren anfordern, kopieren ausführen, ende bestätigen (sehr einfach ausgedrückt). Bei 362 Files dauert allein das schon länger als bei einem File.

    Jetzt spiegelt mein Kopiervorgang natürlich nicht wirklich den Unterschied wieder, da ich vom NAS auf eine SSD kopiert habe, beim RAID müssen zusätzlich noch Paritätsdaten geschrieben werden.


    Bei Benchmark-Programmen die mit unterschiedlichen Dateigrößen testen kann man das schön sehen.


    Grüße

    Ralf

    Zitat von PuraVida

    Ich habe damals wie ich es eingerichtet habe auch hier gefragt aber es gab keine wirkliche Antwort.

    Echt, wann war das?

    Ich lasse normalerweise keine Gelegenheit aus immer wieder zu betonen, dass QTIER auf den kleinen NAS'en langsamer läuft als ohne !!!


    Das gilt auch für die TVS-882, die habe ich auch und habe auch beim Support nachgefragt, weshalb die 882 mit QTIER langsamer geworden ist.

    Die Antwort ist weniger erbauend:

    Zitat von QNAP Support

    Apologies for reply in English, our German colleague is out of office.


    Unfortunately it's not possible to disable or uninstall the Qtier without starting from scratch.
    The reason Qtier is not speeding up the performance is because youconfigured 2 SSD in raid 1 they have a much lower speed then the
    raid 5 with 5 HDD's. Qtier will because of this configuration only decrease the performance.


    I'm very sorry for this inconvenience.

    Ganzer Threat dazu: QTier deaktivieren NICHT mehr möglich!


    D.h. für dich jetzt, falls du Performance willst, NEU aufsetzen ! QTIER kann nicht mehr deaktiviert werden.

    Entweder du lebst ab jetzt mit der hochgelobten "Bremse" oder du investierst ein WE und setzt neu auf (ich habe mich für letzteres entschieden und freue mich wieder über die 112Mb/s (bei großen Dateien, so ab 100 MB aufwärts).

    RedDiabolo : Das war am 17 März 2017. :) Qtier oder Cache-Beschleunigung oder Beides?


    Also sehr viel früher als Dein Thread, den ich aber natürlich kenne. Sehr hilfreich, Danke fürs Teilen.


    Das eine habe ich schon ohne QTier aufgesetzt und beim anderen sichere ich gerade die Daten nochmals (sicher ist sicher) und mache es dann auch platt und setze neu ohne QTier auf. Mal schauen wie schnell dann das zurücksichern funktioniert.


    ralf54321 : Mir ist natürlich bewußt, daß viele kleine Dateien die Geschwindigkeit hemmen. Aber das sind doch eher mehrheitlich sehr große Dateien. Sind viele RAW-Files mit ca. 70MB pro Datei.

    PuraVida : Bei der Dateigröße sollte das natürlich nicht so sein, dass die Geschwindigkeit einbricht.


    Allerdings sollte selbst ein RAID 1 aus 2 SSD immer locker 100-200 MB/s Schreib-Leserate schaffen. Verstehe da die Aussage des Qnap Supports nicht so ganz. Natürlich kann ein RAID 5 aus 5 Platten Schneller als eine SSD sein, aber bei RAID 1 können theoretisch beide SSD´s zum lesen genutzt werden und die sollten dann schon wieder schneller als das RAID 5 sein.:?:

    Zitat von ralf54321

    aber bei RAID 1 können theoretisch beide SSD´s zum lesen genutzt werden

    Theoretisch ja, aber praktisch nein. Das was du da gerne hättest wird mit RAID10 umgesetzt, Sicherheit vom RAID1 und Geschwindigkeit vom RAID0.


    In den meisten Hardwareraidcontrollern und Softwareimplementierungen wird auf diese Feature verzichtet, da es auf Kosten der Sicherheit geht. Sektorfehler könnten dadurch lange unbemerkt bleiben, wenn genau an der Stelle wo der Fehler ist, die Daten von der zweiten Platte gelesen werden.

    Fällt dann die "gute" Platte aus, hat die andere noch immer den Fehler, der dann voll zuschlägt.


    Da QNAP keine RAID-Controller sondern Software-RAID verwendet, tun sie gut daran, eben nicht von beiden Platten zeitgleich zu lesen.


    Es ist auch egal, ob man die Aussage des Supports "versteht", solange das RAID1 so implementiert ist, ist es langsamer als das RAID5 mit mehr als 4 Platten, Punkt aus.

    So ein Update für alle interessierten:


    Jagnix  ralf54321 : Ich habe das NAS neu initialisiert. Für die Datenrücksicherung stehen ein TVS-882 und ein TVS-882T im gleichen Gigabit-Netz (Unifi Switches), SMB 2.1, MTU 1500, KEIN QTier auf beiden Geräten, bei beiden ein SSD-Cache mit Raid 10.


    Hier aktuelle Werte:


    rtrr_neu.png


    Das ist noch immer eine traurige Geschichte finde ich, dürfte aber an dieser speziellen Sicherung liegen.


    Andere gesicherten Daten gehen ein wenig schneller, hier ein Screenshot nach Umstellung auf SMB 3.0 Es liegt aber nicht an SMB3.0, auch mit SMB2.1 habe ich solche Werte ca. gesehen. (Wenn man über Tage mehrere TB hin und her schaufelt hat man Zeit zum schauen :) )

    rtrr_neu1.png


    Man kann auf jeden Fall sagen, dass das weglassen von QTier eine große Verbesserung brachte.

    Jagnix: Ja, wenn man "nur" eine 1GBit-Verbindung hat, dann schon. Ich bin da erst mal grundsätzlich von dem Leistungsvermögen der HDs + SSDs ausgegangen.


    RedDiabolo : Ich hatte nur von der Möglichkeit gelesen, wie Qnap das letztendlich umsetzt weiß ich nicht. Wichtig für mich ist, dass die Daten sicher sind und dann ist Qnap mit der von dir beschriebenen Methode auf der richtigen Seite.


    PuraVida : Bei solchen Datenmengen muss man einfach dem NAS Zeit geben, die Geschwindigkeit ist aber immerhin fast doppelt so hoch wie vorher. :) Vermutlich gibt die Hartware dann nicht mehr her. (?)


    Grüße

    Ralf