HBS3 Sync zum anderen NAS überträgt Daten obwohl nichts verändert

    Hallo liebe Leute,


    ich steh vor einem Rätsel:

    QNAP QTS 5.0.1 2248: Volume ca 30 TB > rsync > Syno
    HBS3 21.1.1227

    Der Job läuft täglich unter der Woche abends und schließt auch erfolgreich ab.

    Obwohl keine Daten verändert werden, werden trotzdem jedes mal mittlerweile 2,15 TB Daten synchronisiert.
    Es wächst auch langsam immer mehr heran, vor 15 Tagen waren es noch 1,94 TB die immer synchronisiert wurden.
    Lt. HBS3 Log sind das auch immer dieselben Daten die da synchronisiert werden. In dem Fall sind das .mov Files, Änderungsdatum eines dieser Files ist der 20.1.23.
    Bildschirmfoto 2023-01-29 um 19.39.08.png

    Wenn ich im Job dann auf Details klicke, steht bei übertragene Größe: 289 MB (was bedeutet das?)
    Bei verarbeitete Dateien die: 2,15 TB
    Bildschirmfoto 2023-01-29 um 19.48.54.png


    Der Job läuft auch seine 5 1/2 Stunden, obwohl keine Daten verändert wurden.

    Werden Daten verändert bzw. kommen neue hinzu, verändert sich die übertragene Gesamtgröße von den 2,15TB + neue Daten und der Sync dauert dann auch entsprechend länger.

    Hier meine Einstellungen von HBS:

    Bildschirmfoto 2023-01-29 um 19.56.19.png


    Alle anderen Kontrollkästchen darunter sind nicht aktiviert.

    Ich kann mich erinnern, dass das früher nicht so war, bevor ich mein QNAP neu aufgesetzt hatte. Da lief der Sync ohne veränderte Daten eigentlich schnell durch.
    Was habe ich übersehen? Ist das ein Bug oder mache ich was falsch?

    Bin über jeden Tipp dankbar.

    Dateiinhalte prüfen ist der Übeltäter.

    Es wird zwar sogesehen nur das übertragen, was du erwartest, aber durch diese Option werden die Dateien komplett verglichen, was halt erfordert dass die Daten zum Vergleich übertragen werden, das dauert eben sehr lange.

    ok, verstehe ich nicht ganz. Wieso werden dann immer die selben 2,15 TB Daten verglichen?

    Nur zum Verständnis: wird das "Dateiinhalte prüfen" deaktiviert, werden veränderte Datensätze (zB wird ein Word-Dok verändert) nicht überschrieben wenn sich das selbe File am Ziel-NAS befindet?

    HBS ersetzt immer und immer nur veränderte Daten (und ergänzt zusätzliche). Wird die Option deaktiviert werden die Dateiinhalte aber nicht verglichen, sondern "nur" Größe und Änderungsdatum, das reicht idR vollkommen aus.

    Mit der Option muss er natürlich immer alles vergleichen, genau das ist ja das Ziel der Option.

    ok danke dir, dann deaktiviere ich mal die Option und check erneut.

    tiermutter was passiert hier?

    ich habe "Dateiinhalte überprüfen" deaktiviert - jetzt scheint er den kompletten Sync von vorne zu beginnen und alles zu überschreiben?

    Bildschirmfoto 2023-01-29 um 23.00.01.png
    Müssten da normal nicht Dateien übersprungen werden, wenn Quelle und Ziel gleich bleibt?

    Einmal editiert, zuletzt von sammy229 () aus folgendem Grund: Ein Beitrag von sammy229 mit diesem Beitrag zusammengefügt.

    Das ist in der Tat merkwürdig, kann ich mir gerade auch nicht erklären ?(

    Lass ihn doch erstmal laufen, dann schauen wir mal wie es beim nächsten Durchlauf aussieht... Habe aber noch nicht erlebt oder gehört dass es nach der Änderung der Option so läuft...

    Soll ich nicht lieber abbrechen und das nächstes WE über den 2,5 GbE machen? Das dauert ja sonst Tage bis der 30TB gesynct hat. Während der Woche kommen ja neue Daten dazu bzw. werden welche gelöscht.

    Update: habe übers WE die kompletten 30TB Daten ohne "Dateiinhalte prüfen" aufs andere NAS gesynct. Hat knapp 40 Stunden gedauert.

    Nach erneutem Starten des Syncs überträgt er nun wieder komplett alle Daten, ohne dass er welche überspringt.

    Ich habe in der Zwischenzeit auch bei QNAP ein Ticket dazu aufgemacht mit sehr ernüchternden Ergebnis. Nach genauem Erklären des Problems wollten sie externen Zugriff aufs QNAP welches ich mit Bauchweh genehmigt hatte.

    Nach 24h bekam ich dann die Antwort:


    Zitat von QNAP Support

    Guten Tag.
    Vielen Dank, dass Sie den technischen Support von QNAP kontaktiert haben.
    Sie habe 2,6 TB verarbeitete Dateien darum dauer es ca. 6 stunden.
    "Verarbeitete Dateien sind Dateien, die sich zwischen dem lokalen und dem entfernten Repository unterscheiden und die erfolgreich in das andere Repository übertragen wurden. Die angezeigten Zahlen spiegeln die Gesamtzahl und Größe der Dateien an ihrem ursprünglichen Speicherort ("[Lokal]" oder "[Remote]") vor der Übertragung wider."

    Vielen Dank

    Wow - als ob ich das nicht schon wüsste und schon in der Problemstellung stand.

    Da bleibt mir wohl nichts anders übrig als die Option "Dateiinhalte prüfen" wieder zu aktivieren und hoffen, dass sich nicht wieder Daten anhäufen die er immer wieder übertragen möchte, obwohl sie sich nicht geändert haben.

    Liebe Grüße,

    Sammy

    Zitat von sammy229

    Da bleibt mir wohl nichts anders übrig als die Option "Dateiinhalte prüfen" wieder zu aktivieren

    Das dauert oft aber länger als wenn gleich alles übertragen wird. Schließlich müssen hier die Daten zum Vergleich auch komplett übertragen werden, nur passiert dies (sehr wahrscheinlich) erstmal in umgekehrter Richtung, also vom Ziel zur Quelle, damit HBS die Daten hier vergleichen kann.



    Interessanterweise lese ich zuletzt öfter davon, dass bei einem Sync mit RSYNC Daten übertragen werden, die nicht übertragen werden müssten.

    Vielleicht mal ein anderes Protokoll wählen und schauen wie es damit aussieht...

    Hi,

    Zitat von sammy229

    Nach erneutem Starten des Syncs überträgt er nun wieder komplett alle Daten, ohne dass er welche überspringt.

    Du schreibst, alles wird komplett neu übertragen, QNAP antwortet Dir, es sind 2,6TB (statt 30TB) geänderte Daten, die synchronisiert werden.

    Zitat von sammy229

    Wow - als ob ich das nicht schon wüsste und schon in der Problemstellung stand.

    Versteh ich da was nicht richtig?


    Zitat von sammy229

    Da bleibt mir wohl nichts anders übrig als die Option "Dateiinhalte prüfen" wieder zu aktivieren und hoffen

    Nee, das ist bei mir deaktiviert, und HBS3 funktioniert wie gewünscht. Und flott ist es auch, wenn es kaum Änderungen gegeben hat. Unter 1 Minute bei 2,3 TB


    VG Konrad

    Zitat von konrad_58

    Du schreibst, alles wird komplett neu übertragen, QNAP antwortet Dir, es sind 2,6TB (statt 30TB) geänderte Daten, die synchronisiert werden.

    Das hatte ich so gedeutet, dass nach 2,6TB manuell abgebrochen wurde und deshalb nicht alles rüber ist...

    Ansonsten wäre zu prüfen um welche Dateien es sich handelt und was hier "nicht stimmt".

    Ich bin mir ziemlich sicher, dass bei HBS3 RSYNC was verbugt ist. Ich hatte bislang noch nie Probleme, und der Sync war inkl. "Dateiinhalte prüfen" nach ca. 2h fertig und hat wirklich nur Daten übertragen, welche sich auch verändert hatten.

    Ich habe ja vor einem Monat auch 2x hintereinander den Sync gestartet und es haben sich 0 Bytes verändert, weil auch niemand am Server tätig war. Es ist dann schön langsam immer mehr geworden, bis der Sync dann bei 2,6TB täglich angekommen ist, obwohl sich keine Daten zum Vortag geändert haben.

    Naja seis drum - auf ein Neues!


    Zitat von konrad_58

    Du schreibst, alles wird komplett neu übertragen, QNAP antwortet Dir, es sind 2,6TB (statt 30TB) geänderte Daten, die synchronisiert werden.

    genau, nur das die 2,6 TB nicht stimmen. Das hat sich langsam auf diese Größe aufgeblasen.
    Er überträgt komplett alles neu, wenn ich die Option "Dateiinhalte prüfen" weglasse. Dies hab ich jetzt auch übers WE gemacht und beim erneuten Sync überträgt HBS3 wieder alle Daten ohne welche zu überspringen.


    Zitat von konrad_58

    Versteh ich da was nicht richtig?

    vermutlich

    Zitat von tiermutter

    Das hatte ich so gedeutet, dass nach 2,6TB manuell abgebrochen wurde und deshalb nicht alles rüber ist...

    OK, da ist mir wohl die Vorgeschichte "flöten" gegangen.

    Vllt.hängts ja auch mit der Größe zusammen. Auf 30TB komm ich hier natürlich nicht. Da fehlen mir auch die Recourcen (und die Notwendigkeit). Sind ja rein private Daten

    Hast du mal Datum & Zeit der Quell- und Zieldateien verglichen und haben beide NAS die gleiche Zeitreferenz?

    Es könnte doch sein, dass irgendein Client die Dateien "touched" und damit das Änderungsdatum erneuert, ohne Inhalte zu verändern.


    Wenn "Dateiinhalte prüfen" aktiv ist, werden dann dieselben Dateien übertragen?


    Wenn alles nichts hilft, dann könntest du ja mal per SMB-Job snychronisieren. Evtl. liegts ja an irgendeiner Inkompatibilität der Rsync-Implementierungen der beiden NAS.

    Zitat von tiermutter

    Dateiinhalte prüfen ist der Übeltäter.

    Es wird zwar sogesehen nur das übertragen, was du erwartest, aber durch diese Option werden die Dateien komplett verglichen, was halt erfordert dass die Daten zum Vergleich übertragen werden, das dauert eben sehr lange.

    Bei mir ist die Checkbox auch aktiv, aber es werden nur wirklich die geänderten Dateien übertragen.

    pasted-from-clipboard.pngpasted-from-clipboard.pngpasted-from-clipboard.png

    Zitat von gkobler

    Bei mir ist die Checkbox auch aktiv, aber es werden nur wirklich die geänderten Dateien übertragen.

    Ja von der Quelle zum Ziel werden nur die geänderten übertragen, aber zuvor müssen die Daten von Ziel zu Quelle übertragen werden, damit verglichen werden kann. Es sei denn HBS arbeitet hier mittlerweile mit Prüfsummen, dann wäre die Bezeichnung "Dateiinhalte prüfen" aber irreführend.

    Zitat von tiermutter

    Ja von der Quelle zum Ziel werden nur die geänderten übertragen, aber zuvor müssen die Daten von Ziel zu Quelle übertragen werden, damit verglichen werden kann

    Aber bei mir werden ja nur die Dateien übertragen die geändert haben, was man ja auch im Bild "Bericht" an der "übertragene Gesamtgrösse" sieht. Auch sind bei mir die Laufzeiten des Backupauftrags ganz unterschiedlich. Mal sehr kurz, mal etwas länger.

    Zitat von warpcam

    Hast du mal Datum & Zeit der Quell- und Zieldateien verglichen und haben beide NAS die gleiche Zeitreferenz?

    Es könnte doch sein, dass irgendein Client die Dateien "touched" und damit das Änderungsdatum erneuert, ohne Inhalte zu verändern.


    Wenn "Dateiinhalte prüfen" aktiv ist, werden dann dieselben Dateien übertragen?

    ja, das habe ich schon gemacht und die Quell- und Zieldateien haben das selbe Erstellungs- bzw. Änderungsdatum und es wird trotzdem synchronisiert.

    Ich muss jetzt im Log nochmal nachschauen ob es sich wieder um die selben paar Daten handelt.
    Dass ein Client die Dateien "touched", davon gehe ich nicht aus weil es teilweise um Dateien eines Projektes handelt, welches seit einem halben Jahr ruhend auf dem NAS siecht.

    Update folgt