Rsync mit HBS3 tierisch langsam

  • Schon daher hatte ich ja geschrieben, ähnliches Problem beim Backupjob nicht bei RSYNC.

    Desweiteren "dedup" aus, ergo "Exclude Duplicates" ist bei mir wie geschrieben aus.

    Der Backupjob war "schon" nach 9Stunden und 38 Minuten erledigt. Das nenn ich effizient.

    Daher nochmal meine Bitte, wenn sich jemand auskennt und eine Ahnung hat was hbs3 da schlaues mit den Upload Daten in die Cloud anstellt, wäre ich dankbar für eine Erleuchtung!

  • Hallo,

    ich kenne nun die Backup Funktionalität von QNAP nur wenig, da ich für Datensicherung eine andere Toolchain einsetze.
    Daher ist mein Usecase für HBS reinses Synchronisieren.


    Aus dieser Sicht von mir nur die Anmerkung:

    Wie beschrieben wird bei einer deaktivierten Option immer alles übertragen und das würde ja auch zu deiner Backup-Dauer passen.

    Hinter der Option "Exclude Duplicates" scheint - zumindest bei SYNC Jobs - QNAP also die Funktionität dahinter zu haben, nur Unterschiede zu übertragen,

    Ich hab den Eindruck, dass mit diesem einen Haken, eben mehrere Eingriffe in die Parameter der einzelnen dahinter liegenden Prozesse stattfinden.


    Was passiert denn, wenn Du den Haken setzt?


    Ein Punkt den ich bei QNAP immer nerviger finde:
    Es gibt tolle neue Funktionen und Features, aber die Doku ist schlichtweg nicht existent.
    Alle Doku die ich finden konnte zur HBS ist noch die 2-er......


    S.

  • Aus dieser Sicht von mir nur die Anmerkung:

    Wie beschrieben wird bei einer deaktivierten Option immer alles übertragen und das würde ja auch zu deiner Backup-Dauer passen.

    Mod: Zitat ohne Quellenangabe! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    Das verstehe ich nicht, wenn die Deduplication Option aus ist, genau genommen ist es egal ob an oder aus hab beides getestet, inwiefern sind knapp 10 Stunden für einen Cloud Upload "passend"?

    Wie schon beschrieben lade ich in die Google Cloud 30GB via Browser hoch, benötige ich bei meiner Bandbreite ca. 2-3 Minuten.

    Daher frage ich mich was genau macht hbs3 da, wieso wird nach Stunden 140% Fortschritt angezeigt? Das ist offensichtlich Sinn frei und wenig schlüssig. Wie Du geschrieben hast, ist die Dokumentation ist völlig lausig und es ist nicht klar wie das hbs3 mit und ohne Optionen funktioniert.

  • Zur Info, bei mir ändern diese Punkte nix, die Sicherungs- und Syncjobs hängen einfach über Tage ohne das gesichert oder gesynct wird. QTS 4.4.1 1086, TVS-882, HBS 3

  • Wie schon beschrieben lade ich in die Google Cloud 30GB via Browser hoch, benötige ich bei meiner Bandbreite ca. 2-3 Minuten.

    30 GByte benötigen bei einer Bandbreite von 1Gbit ca. 4 Minuten.
    Du willst das in 2-3 Minuten erledigt haben.....da kann was nicht passen.


    Das verstehe ich nicht, wenn die Deduplication Option aus ist, genau genommen ist es egal ob an oder aus hab beides getestet, inwiefern sind knapp 10 Stunden für einen Cloud Upload "passend"?

    Welche Option ist denn genau aus ? Die "Exclude Duplicate Files" ist NICHT Deduplizierung.


    S.

  • 30 GByte benötigen bei einer Bandbreite von 1Gbit ca. 4 Minuten.
    Du willst das in 2-3 Minuten erledigt haben.....da kann was nicht passen.

    Doch passt scho, bei einer 4GB Leitung funktioniert das prima. Ich hab das File hochgeladen und hernach Browsercache gereinigt und wieder heruntergeladen, Checksummen passen und Datei ist komplett.

    Die Bandbreite ist wie gesagt nicht das Thema.


    Im Routerprotokoll kann man nachvollziehen, dass nur KB grosse "Häppchen" heraufgeladen werden, keine Ahnung was das soll, oder was das für eine Funktion ist. Es ist ja leider nichts dokumentiert, wenn man vom Tutorial bei der Neuinstallation absieht.

    Es ist eben egal ob die Optionen "Exclude Duplicate Files" ein oder aus sind, oder ob die Dedup App auf dem Windows System läuft. Es geht eben um ein Datenbackup, also File in die Cloud laden, keine Synchronisation, keine Prüfung auf Duplikate, alles aus. Trotzdem dümpelt hbs3 total langsam vor sich her und macht irgendwas, nur nichts heraufladen.Mein Eindruck ist, dass die aktuelle hbs3 einen Backupjob fasst und das gleichbedeutend mit einer Filesynchronisation ist, inkl. Duplikationsprüfung und allen anderen "Checks".

  • bei einer 4GB Leitung funktioniert das prima.

    Okay, sorry, dass ich davon ausgegangen bin, dass es wie bei 99.99999999999% aller Poster hier um eine normale Leitung ging und keine Glasfaser Standleitung.


    Dann bleibt wohl nur der Weg über den Support von QNAP, denn ich bin raus.
    Ich kann nur sagen, dass bei mir diese Option was gebracht hat.

    Welche QTS Version ist denn drauf ?



    Wie es bei 4.4.1 ist wie bei PuraVida kann ich nicht sagen.

    S.

  • Ja Versionen sind alle aktuell, OS 4.4.1.1081, hbs3 aktuellste Version.

    In jedem Falle besten Dank.


    Vielleicht hat ja jemand hier im Forum eine funktionierende Lösung Qnap via hbs3 mit Google One Cloud Backup.

  • Gibts die 1086 noch nicht für dein NAS?

    Wenn ja teste die noch mal, bevor du zu radikaleren Maßnahmen greifst.

  • Na das gibt doch aber ein Bild:


    Bei einigen anderen und mir mit HBS3 und QTS 4.3.6 scheint es zu laufen und die Optionen Wirkung zu haben,


    Bei Dir und PureVida mit QTS 4.1.1 werden extremst langsam Daten übertragen.


    Klingt für mich eher nach nem QTS Thema.....


    BTW:

    Es klingt bei QO so, als ob auf nem P-System im Business Einsatz mit der QTS 4.1.1 gearbeitet.
    Finde ich ehrlich gesagt sehr sehr mutig.....ich bin bei uns mit FW Versionen auf P-Systemen mindestens 1 Quartal hinterher.

    Bei Main releases sogar 2Qs.


    S.

  • Gibts die 1086 noch nicht für dein NAS?

    Wenn ja teste die noch mal, bevor du zu radikaleren Maßnahmen greifst.

    Tatsächlich bietet mir das NAS (251+) kein passendes Update an, das andere NAS hat das Update gefunden. An einem anderen Standort hab ich das gleiche 251+ zeigt keine Updates an.

  • Manuell auf der QNAP Seite runter laden, schon mal da nach gesehen?

    Man sollte sich die Firmware sowieso auf die Seite legen, falls man mal zu einer früheren zurück muss, sucht man die sonst wie blöde.


    So ist man ein paar Klicks später auf dem Weg zum wieder funktionierendem System.

  • Na das ist ja ein Firmware Chaos.

    Da soll mal jemand durch blicken.


    Also zurück auf 4.3.6 oder abwarten.

  • Ein RSYNC Job ist ein One-Way-Sync, oder?

    Habe die Einstellungen genauso wie im Post, nur ohne die "Remove additional files" und "Compress Files" Option und er kopiert einfach jedes mal die 5TB unveränderter Daten.


    HBS ist 3.0.191016 und QNAP läuft unter 4.4.1.1101. Ich sichere von einem TS-432XU auf ein identisches im selben Netzwerk.


    Bin etwas ratlos 🤔

  • Ich war mit HBS3 auch erst seit den letzten 2-3 Versionen zufrieden, zudem musste ich die Sync. Jobs neu anlegen.


    Hast du mal folgende Optionen Probiert?

    pasted-from-clipboard.png

    Damit läuft das bei mir sehr gut und vor allem extrem schnell.

  • Hm, sobald ich die Option "Doppelte Dateien ausschließen" aktiviere dauert es lange. (14h mit 100mb/s da 5,2 TB).


    Wenn ich die Option deaktivieren flutscht der Job in 15 Sekunden durch.


    Ich wollte eigentlich folgendes erreichen:

    - NAS1 Videorohdaten

    - NAS2 Sicherung dieser Rohdaten


    Die wollte ich One-Way-Syncen, falls also auf NAS1 etwas gelöscht wird darf es auf NAS2 nicht gelöscht werden.


    Falls auf NAS1 eine Datei versehentlich überschrieben wird darf diese auf dem NAS2 nicht überdchrieben werden.


    Falls auf NAS1 eine Datei gewollt verändert wird soll das aber auf NAS2 ankommen.


    Die Optionen "Dateien im Zielordner löschen" und "Doppelte Dateien ausschließen" lesen sich für mich eigentlich genau so wie ich es brauche.


    Aber vielleicht ist der "echte" Backup Job ja doch die richtige Wahl 🧐 Die Frage ist jetzt nur... Wenn der für ein inkrementelles Backup auch 15 Stunden braucht ... (Option doppelte Dateien ausschließen 🤔) ist das ja auch was, was man nicht über Nacht laufen lassen kann. Man müsste also NAS1 auf NAS2 syncen und dann auf NAS2 ein lokales Backup fahren. Das ist ja auch bescheuert... 🙈


    Edit: Eine Doku zur 3er gibt es nicht, oder? Vielleicht bedeutet "Doppelte Dateien ausschließen" ja auch, dass zwei identische Dateien (zB Videofile.mp4 und Videofile (Kopie 1).mp4 nicht doppelt übertragen wird. Aber d019420 sagt, dsss sich hinter der Option das inkrementelle Backup verbirgt 🤔 Ich bin nur noch verwirrt 😂 Vor allem weil die Optionen unterschiedliche Dinge bei unterschiedlichen Personen bewirken ... 😂

    Einmal editiert, zuletzt von sneudi ()

  • Hallo zusammen,

    also um hier die Sache etwas auseinander zu sortieren sollten eventuell einige Zusatzinfos mit angegeben werden:

    - QTS Version

    - Art des Jobs (RSYNC oder RTRR)


    Mir scheint, dass hier zu viel durcheinander geworfen wird und es scheint ja auch so zus ein, dass es zwischen den 4.3.6 und 4.4.1 er Versionen einen Unterschied gibt.


    Ich kann für mich nur sagen dass

    - QTS 4.3.6

    - RSYNC Jobs

    - Option "Exclude Duplicates" aktiv


    nur die Änderungen überträgt.



    S.

  • Aktuell hat sich mit neuer Firmware 4.4.1.1117 die Performance beider effektiven Übertragung verbessert, aber der Prozess an sich dauert immer noch eine gefühlte Ewigkeit.

    Dies deshalb, da HBS3 vor der eiigentlichen Datenübertragung ewig lange vor sich her rödelt, für was auch immer. Da es nur ein Backupjob ist verstehe ich das nicht wirklich. Bei einem manuellen Upload spare ich immer noch erheblich Zeit.

    Vermutlich ist HBS nur für differentielles Backup oder inkrementelles Backup gedacht, aber nicht für simple vordefinierte Backup Datenpakete.