Rsync mit HBS3 tierisch langsam

    Hallo zusammen,


    ich habe seit Langem eine One-Way-Synchronisation von meiner TS-453A auf eine TS-219PII eingerichtet. Läuft jeden Samstagvormittag ein paar Stunden wunderbar. Seit einigen Wochen reicht das Wochenende nicht mehr für die Sicherung. Ich habe HBS3 in Verdacht. FW 4.3.6.0993 und 4.3.3.0998. Auf der 453A ist weder CPU noch Memory ausgelastet und zwischen den Geräten liegt eine Gigabit-Verbindung,


    Hat noch jemand die Erfahrung gemacht? Ideen dazu?


    Danke Euch

    Hans

    Schwankt zwischen 5 und 19 MB/s, im Schnitt ca. 17 MB/s. Ich weiß nicht, wie der Wert vorher war. Das Datenvolument hat sich kaum verändert, so etwa 1,8TB.


    Hat HBS vielleicht inkrementell synchonisert, also nur die Deltas kopiert, und HBS3 kopiert immer alles?

    Mit einer usb 3.0 hdd usb ich's gerade probiert. Da lief es mit 100mb/s. Als nas habe ich nur eine alte ts110, da geht's auch nur mit maximal 20

    Gehe mal auf HBs2 runter, die 3er war auch bei mir total langsam und die sonst 8h dauernde Sicherung war dann noch nicht im Ansatz fertig.

    Hm, das neue HBS3-Feature, eine Folge von Sicherungen zu definieren anstatt für jede einen Zeitpunkt festzulegen, wollte ich jetzt eigentlich nicht aufgeben.


    Wie krieg ich denn HBS2 wieder? Im App Center wird's ja nicht angeboten.

    Wenn dann ist die hbs3 wohl nur über das Netzwerk so langsam, usb finde ich mit 105mb/s eigentlich ganz ok

    Ich beobachte ebenfalls die langen Sync-Zeiten. Ich vermute, dass Qnap (aus welchen Gründen auch immer) rsync unterdessen in HBS3 standardmäßig mit der Option "-c" aufruft, was die Konsequenz hat, dass alle Dateien per Prüfsumme verglichen werden, die erst einmal berechnet werden muss.

    Ich hab mal alte Log-Files angesehen:

    ich sichere u.a. meine MP3-Files, bei denen sich in den letzten Monaten keine Änderung ergeben hat.

    • am 23.8.; "Installed Hybrid Backup Sync 3.0.190812"
    • bis zum 31.8.: Sicherungszeit 9 Sekunden, weil es keine Deltas zu sichern gab.
    • am 31.8.; "Installed Hybrid Backup Sync 3.0.190829"
    • Danach ging es mit den Probemen los.
    • Z.B. für die MP3s Sicherungszeit zwischen 90 Minuten und 3 Stunden.


    Das kann nicht die Prüfsummenberechnung sein.

    Vielleicht doch. An meinem eigenen PC beobachte ich auch sehr lange Zeiten, wenn ich mein ganzes Homeverzeichnis mit der Option "-c" sichere.

    Super, in HBS3 hab ich keinen EInfluss auf die Option.

    Einmal editiert, zuletzt von d019420 ()

    Hallo zusammen,

    ich muss heut abend mal nachschauen, aber auch ich hatte am Anfang lange Sync Zeiten nach dem Umstieg auf HBS3.


    Dann hab ich eine Option umgeschaltet und seit dem läuft es schneller.

    Das war irgendwas mit Änderungen....wenn man die Option liest nimmt man an, man muss sie aus machen....


    Sorry dass ich hier aktuell nicht mit konkreterem dienen kann, aber bei mir ist es definitiv so, dass nur die Änderungen übertragen werden und das auch noch recht schnell festgestellt wird.
    Eine Prüfsummenberechnung würde ich höchstwahrscheinlich deutlich zu spüren bekommen, denn das ganze läuft über eine DSL Leitung mit 30MBit Upload....und die Daten die gesynct werden haben mehrere hundert GB.


    Ich meld mich heut abend nochmal...noch ist glaub nix verloren... ;)


    S.

    Verloren ist auch nix. Nur dauert mein Backup volle 3 Tage statt 2-3 Stunden.


    Falls Du was findest, wär das Klasse!

    Oh MIst jetzt weiß ich was ich gestern vergessenhabe...sorry...ich hoff ich denk heut abend dran :)


    So nu aber....

    Erstmal die Eckdaten:

    - RSYNC Job von einer TS473 auf eine TVS871

    - TS473: FW 4.3.6.1050

    - TVS871: FW 4.3.6.1070

    - Auf beide die aktuellste HBS3

    - Verbunden über ein VPN das auf der einen Seite 100/30 und auf der anderen Seite 200/20 MBit hat


    Auch ich hab am Anfang ziemlich gekämpft weil eben immer riesen Datenmengen (nämlich schlichtweg jede Datei) übertragen wurde.


    Hier die Einstellungen meines Jobs mit denen nur die geänderten Daten übertragen werden:

    OPt1.pngOpt2.png


    Die Option die letztenendes den Erfolg brachte war "Exclude duplicate files"....


    Mein Wissensstand war der, dass rsync nur die Teile einer Datei überträgt, die sich geändert haben (z.B. eine 10MB große Textdatei und es ändert sich ein Zeichen...dann wird nur der Block übertragen).


    Wenn man den Text so liest hatte ich das so verstanden, dass mit aktivierter Option eine recht umfangreiche Methode verwendet wird, ob sich die Dateien unterscheiden.
    Aber nur mit aktivierter Option werden tatsächlich nur die geänderten Dateien überhaupt und dann auch nur die veränderten Blöcke übertragen.

    Mach ich die Option aus, werden - zumindest bei mir - jedes mal alle Dateien neu übertragen.


    Vielleicht hilft euch diese Info ein wenig weiter

    S.

    Einmal editiert, zuletzt von firefox_i ()

    Gefällt mir 1

    Unglaublich! HInter "Exclude Duplicates" verbirgt sich der inkrementelle Backup!


    Jetzt flutschen die die Sicherungen in Sekunden und Minuten statt Stunden.


    Vielen Dank!

    Freit ich dass ich helfen konnte.


    Kleiner Fun Fact:
    In früheren Versione der HBS gab es eine ähnlich benannte Optionen die man damals aber auf gar keinen Fall aktivieren durfte, denn sonst wurde zuerst der komplette Dateiinhalt von der Platte gelesen um festzustellen was sich geändert hat....


    Mir scheint dass QNAP unter der neuen Option irgendwie Dinge kombiniert hat...

    S.

    Ich habe ein ähnliches Problem, daher danke an den TE für das Thema.

    Hierbei geht es um einen völlig banalen Backupjob auf einem TS-251+ (8GB Ram).


    Wie erkennbar dedup aus, Verschlüsselung aus, trotzdem benötigt das hbs3 Ewigkeiten für lächerliche 30GB.

    Wenn ich die Datei mit dem Browser in Google one hochlade, geht das binnen weniger Sekunden.


    Mir scheint das wieder mal so ein typisches QNAP Software Produkt, viel Versprechend und nicht vielversprechend.


    Kann jemand mal den Sinn oder Nutzen dieses Produktes (hbs3) erläutern wenn Backups mit 3,29 Mb/s verarbeitet werden.

    Was genau macht das QNAP hbs3 mit dem Upload?


    Danke an das Forum für erhellende Antworten!



    QNAPSINNFREIWIEIMMER001.jpg