HBS kopiert wiederholt unveränderte Dateien bei Syncjob

    Hallo,


    ich habe einen HBS3 One-Way-Sync Job, der auf eine externe Festplatte (ntfs) die an einem wlan-router hängt und per smb freigegeben ist, kopiert. Der wlan-router + platte stehen in einem anderen Gebäude und und sind auch nur über wlan angebunden. Daher ist die Übertragung auch nur bei 7MB/s was aber nicht das Problem ist.


    Das Problem ist: es werden ~190.000 Dateien mit ~1.6tb synchronisiert. Aber jedes Mal wenn der Job wiederholt wird, werden erneut ~48.000 Dateien mit rund 340GB kopiert, obwohl die sich nicht geändert haben und nur z.B. 100 Dateien neu sind.


    Leider kann ich nicht erkennen, welche Dateien da immer wiederholt kopiert werden. Es sind am Ende jedenfalls alle da und nichts doppelt. Leider dauert der Job damit immer gut 15 Stunden, obwohl die eigentliche Differenzmenge nur wenige Minuten ausmachen sollte.


    Woran kann das liegen?

    Du kannst ins HBS3 in den Protokollen durchaus sehen, welche Dateien übertragen wurden. Das wäre der erste Step: Daten finden und feststellen, ob sie vielleicht doch geändert wurden. Hier reicht eine Abweichung im Änderungsdatum aus, damit die Datei als "anders" angesehen und übertragen wird.

    Mm ok,


    aber wo? Ich finde im HBS3 zwar die Berichte über den Vorgang selbst. Da steht dann wieviele Dateien und welche Größe und Zeit verbraucht wurde. Im Protokoll steht nur Start und Stop drin, aber nicht was kopiert wird.

    Habe auch gesehen, dass es Einstellungen zum Dateiverlauf gibt, aber da kann man nur einstellen, wann dieser Verlauf gelöscht werden soll. Der Verlauf selbst ist nicht zu sehen? Am Auftrag selbst kann ich eine Protokollgröße einstellen, aber wo das Protokoll landet sehe ich da auch nicht.

    Im QuLog-Center sehe ich auch nichts. Wahrscheinlich Tomaten auf den Augen.


    Liegen die lokal auf irgendeinem Volume?

    Hallo,

    nach den Ausführungen von tiermutter wirst Du Dich jetzt fragen wie Du da hin kommst?

    - HBS3 öffnen.

    -auf der linken Seite auf das Symbol von den Synchronisierungen anclicken.

    -dann den gewünschten Job anclicken, wo Du den Bericht anschauen willst.

    -dann in der Mitte oben, steht Bearbeiten / Bericht. Unter Bericht kommst auf das Bild von tiermutter.

    Ttatsache ..


    man bin ich blöd. .. gut .. dann gucke ich mir mal diese Dateien an.


    Scheint quer über alle Zeiträume und Ordner zu sein.


    Danke erstmal an alle.

    Hallo,


    renozeross hast du eine Lösung gefunden? Ich habe dasselbe Problem mit dem Unterschied, dass ich die Logs nicht öffnen kann. Bekomme jedes Mal einen Server Error wenn ich es versuche. Ich nehme an, dass die Protokolle zu groß sind. Bei mir werden jede Nacht etwa 3TB übertragen. Das ist auch deutlich mehr als das womit wir arbeiten (haben in der Firma zwei 12 Bays und einen Synch der alle 24 Stunden anspringt). Der überträgt selbst 2,92TB am Wochenende wo hier niemand arbeitet.


    Da ich nicht in die Logs komme um mir das anzugucken wäre es interessant zu wissen woran es bei dir gelegen hat.

    Du findest die Logs auch unter den 3 Punkten oben rechts in HBS. Ist nur etwas mühsam da beim ersten Mal durch zu blicken.

    Den Fehler beim Aufruf der logs hatte ich auch mal bei nem Job, weiß aber nicht warum...

    Fehlerbericht ;)

    Da kommt dann eine zip Datei mit einigen Ordnern... Wirst schon was finden, einfach mal darin umschauen.

    Auf den Gedanken hätte ich auch kommen können. Hab die Logs. Danke dir! :D


    Beim durchsehen fallen mir zwei Sachen auf die mich stutzig machen:

    Zum einen sind das so gut wie ausschließlich Daten aus dem Papierkorb (@Recycle). Teilweise aber aus Subordnern wo ich der Einzige bin mit Zugriff drauf und ich weiß, dass ich die gestern nicht gelöscht habe. Kann es sein, dass das die Daten sind die "im entfernten Ordner entfernt werden"? (Der Papierkorb löscht sich nach 30 Tagen bei uns selbstständig. Könnte also sein, dass das die Daten sind).


    Außerdem akzeptiert der meine Dateifilter nicht. Ich habe in den Filtern eingestellt, dass keine .dvcc Dateien übertragen werden, aber die meisten der 90k Files haben diese Dateiendung (Davinci Resolve Cache Daten, falls es jemanden interessiert ;) )

    Da fehlt glaube ich ein Sternchen/Wildcard vor der Dateiendung.

    Hast Du Systemdateien ausgeschlossen? Das solltest Du mal tun.

    Hi Tiermutter,


    ich glaube das war ein guter Tipp, jetzt scheint er allerdings noch einmal ALLE Daten zu übertragen. Er ist zumindest jetzt seit 1,5 Tagen dran (am Wochenende sind keine Daten dazu gekommen).

    Ich verstehe ehrlich gesagt aber nicht so ganz warum das so ist.

    Ahhhh ja. Das erklärt auch warum er alles noch einmal von vorne macht. Das wird der dann ja wahrscheinlich jedes Mal machen, oder? Hatte die Funktion für mich neu entdeckt am Freitag und dachte das sei ja ganz praktisch :D

    "Von vorne" macht er das sogesehen nicht, er muss aber alles lesen, das dauert...

    Zitat von tiermutter

    Dateiinhalte prüfen:
    Normalerweise werden lediglich Größe und Änderungsdatum einer Datei geprüft um zu entscheiden, ob eine Datei verändert wurde. Ist diese Option aktiviert wird der gesamte Inhalt einer Datei gelesen und geprüft ob sich die Dateien unterscheiden. Das erhöht die Datenkonsitenz im Backup, gleichzeitig wird aber auch die Dauer eines Jobs massiv erhöht.

    Stark! Ich danke dir für die Hilfe! Das vergessene "*" war bei mir scheinbar wohl wirklich das Problem und der hat jede Nacht den Cache übertragen. Das habe ich abgestellt und jetzt funktioniert es so wie ich es mir vorgestellt habe.