HBS3 Sync zum anderen NAS überträgt Daten obwohl nichts verändert

    Wenn QNAP beim Dateivergleich zwischen 2 Systemen tatsächlich vollständige Dateien überträgt, sind sie unfähig. Ich kann es nicht glauben...

    Eine richtige Vorgehensweise wäre es, auf beiden Systemen Hashwerte zu bilden und nur diese zu übertragen.


    Tschau

    Uwe

    Zitat von uweklatt

    Eine richtige Vorgehensweise wäre es, auf beiden Systemen Hashwerte zu bilden und nur diese zu übertragen.

    Jo, so würde es auch erklären warum die Option bei manchen keine / nur sehr geringe Unterschiede bei der Durchlaufzeit macht.

    Dann kann ich mir aber nicht erklären, warum es sonst dazu führt, dass es etwa so lange dauert wie wenn alle Daten übertragen werden.

    :/

    Zitat von tiermutter

    Dann kann ich mir aber nicht erklären, warum es sonst dazu führt, dass es etwa so lange dauert wie wenn alle Daten übertragen werden.

    Bei kleinen Dateien wird es keinen grossen Unterschied geben.

    Erst bei grossen Dateien lohnt es sich.


    Tschau

    Uwe

    Ich habe heute Morgen ja den Backup-Job erneut gestartet mit "Dateiinhalte prüfen".
    Läuft nun schon 11 1/2 Stunden und ist bei 32%.

    Bildschirmfoto 2023-02-13 um 20.15.19.png


    unten bei den Details lädt er Files hoch, mit über 200MB/s über die 1GbE-Leitung? Oder liest er da nur das File aus? Wie kann man das verstehen?

    Bildschirmfoto 2023-02-13 um 20.16.09.png

    Bin schon gespannt wie sich der Sync beim erneuten Starten verhält.

    Ergänzend möchte ich noch dazu sagen, dass der Sync von einem Synology NAS ursprünglich kam, als ich das QNAP neu aufgesetzt hatte. Die Daten hat er mir per 5GbE ca. innerhalb 24h auf das QNAP überspielt. Dann habe ich einfach nur den Backup-Job umgedreht. Anfangs hat es ja auch gut funktioniert, nach ca. 2h war alles fertig und hat nur "kb" übertragen. Dann ist es langsam herangewachsen.

    Würde es Sinn machen die Files von der Syno zu löschen und alles erneut vom QNAP auf die Syno zu syncen?

    Zitat von uweklatt

    Eine richtige Vorgehensweise wäre es, auf beiden Systemen Hashwerte zu bilden und nur diese zu übertragen.

    Wie macht man sowas?


    LG Sammy

    Zitat von sammy229

    mit über 200MB/s über die 1GbE-Leitung? Oder liest er da nur das File aus? Wie kann man das verstehen?

    HBS gibt immer die Verarbeitungsgeschwindigkeit an, nicht Übertragungsrate. Was genau hier gerade verbreitet wird ist ja die große Frage....

    Zitat von sammy229

    Wie macht man sowas?

    Wir gar nicht, das müssen die HBS Entwickler machen ;)


    Ich schaue mir das Thema morgen vielleicht mal genauer an...

    Gestern wurde der Sync erfolgreich abgeschlossen.

    Ich war gespannt wie sich HBS nun verhält beim nächsten Start und siehe da, er überträgt nun wieder fast alles komplett. Der Sync dauert so etwas mehr als 2 Tage.


    Bildschirmfoto 2023-02-16 um 14.42.26.png


    Was würdet ihr an meiner Stelle nun tun?
    Ich hab mir überlegt die Daten beim Ziel mal komplett zu löschen und alles neu zu übertragen.

    Mit oder ohne "Dateiinhalte prüfen?"
    Macht das Sinn? Weil sie ja ursprünglich vom Ziel aufs QNAP kamen und ich hab bloß den Backup-Job umgedreht.

    Was hab ich sonst noch für Möglichkeiten?
    Ich könnte auch testweise einen neuen Job anlegen und den Sync nur mal mit einem kleineren Ordner testen, bevor ich mich wieder an die 30TB wage.

    achja...

    Zitat von tiermutter

    Ich schaue mir das Thema morgen vielleicht mal genauer an...

    habe ich gemacht..


    RTRR:

    rtrr.PNG


    RSYNC:

    rsync.PNG


    Bei RTRR sieht man schön, wie beim zweiten Durchlauf gelesen und auch geschrieben wurde. Bei RSYNC hingegen wurde fast gar nichts gemacht.

    Das klärt allerdings nicht auf, sondern verwirrt noch viel mehr: Schreibt RTRR wirklich alles komplett und wird bei RSYNC überhaupt was geprüft? Eventuell arbeitet RSYNC aber auch entsprechend mit Prüfsummen.


    Demnach...

    Zitat von sammy229

    Was hab ich sonst noch für Möglichkeiten?

    RSYNC probieren.

    Ich würde die Option "Dateiinhalte prüfen" aber abstellen, sofern es nicht bewusst entsprechende Situationen gibt, die entsprechende Dateien verursachen (Änderung des Inhalts ohne Anpassung Größe und Datum).

    :D dann weiß ich auch nicht...

    Vielleicht mal den Support kontaktieren und fragen wie genau das läuft...

    Das habe ich schon hinter mir, ich habe ihnen auch mit Bauchschmerzen einen Fernzugriff eingerichtet damit er mir sagen konnte, dass 2,6TB Daten übertragen wurden. (Damals)

    Dann bin ich eben selbstständig geworden und habe "Dateiinhalte prüfen" entfernt, dann hat er 1x komplett fast alle Daten übertragen, und beim 2ten Anlauf jetzt wieder.

    Ich glaube ich entferne am Ziel mal alle Daten und sync sie nochmal rüber. Ich würde das gern über die 5GbE Schnittstelle machen, weil das einfach flotter von der Hand geht.

    Dafür müsste ich aber dann im Nachhinein einen neuen Sync-Auftrag erstellen, weil man beim Sync-Job die IP des Ziel-NAS (dann über 1GbE) nicht ändern kann. Das kann man nur beim Erstellen vom Job einmalig auswählen. Zumindest hätte ich diese Option nicht gefunden. Und dann habe ich die Befürchtung, dass es wieder nicht klappt.

    Aber ich werde das Ganze einfach mal mit einem kleinen Ordner vorher versuchen und schauen, wie sich HBS verhält.

    Keep you updated.

    Zitat von sammy229

    weil man beim Sync-Job die IP des Ziel-NAS (dann über 1GbE) nicht ändern kann.

    Doch doch. Das machst du dann unter dem Menüpunkt "Speicherziele" (frei übersetzt), also nicht im Job.


    Bei mir jedenfalls laufen mehrere RTRR Syncs ohne die Option und es werden nur die paar geänderten Daten übertragen.

    Zitat von sammy229

    Keep you updated.

    Danke dafür. Das Thema ist schon interessant für alle.


    Ich habs nochmal bei mir kontrolliert: NAS->angeschlossene SSD über USB, Synchronisation nur in eine Richtung macht schon was es soll. Ein "entferntes" NAS hab ich halt nicht. Ich mach nur Online Synchronisationen auf SSD und Offline Synchronisationen auf HDD. Ist schon komisch die Geschichte

    Dann werde ich das demnächst vielleicht nochmal genauer untersuchen, bevor meine Testsysteme einrosten :)

    Zitat von tiermutter

    Doch doch. Das machst du dann unter dem Menüpunkt "Speicherziele" (frei übersetzt), also nicht im Job.

    Sorry hab mich falsch ausgedrückt. Ich meine die IP des lokalen NAS kann im Job nicht geändert werden. Da ist die IP von 1GbE und 5GbE ja unterschiedlich

    Ja und die kannst du einfach ändern. Egal ob 1G,5G oder ein komplett anreres Gerät...

    ich kann es mir gerade nicht anschauen aber ich konnte damals die Quell IP nicht im Job ändern, nur das Ziel! Aber ich schau später mal drüber.

    Dann verstehe ich wohl nicht recht... Quell IP? Wofür ist die relevant? Was genau ist nochmal der Plan?

    Zitat von sammy229

    aktiven Ein-Weg-Sync Auftrag,

    Oder ist mit "aktiv" tatsächlich ein active Sync gemeint? Also QNAP holt sich die Daten von woanders?

    Einmal editiert, zuletzt von tiermutter () aus folgendem Grund: Ein Beitrag von tiermutter mit diesem Beitrag zusammengefügt.

    Das ganze errinnert mich an das selbe Problem welches ich vor drei (!) Jahren schonmal hatte.


    Beitrag
    RE: Schnell und sicher backup erstellen
    Ich hab so einen Job auf die Syno am laufen. Macht irgendwie so keinen Spaß.

    forum.qnapclub.de/wsc/attachment/28081/

    Neue Dateien sind es pro Tag nur 9 Stück. Alles Abbilder von VMs.
    Das Häkchen bei "Regeln" -> "Richtlinien" -> "Dateiinhalte prüfen" ist schon deaktiviert.
    rednag

    Es gibt einen anderen Thread, den ich wegen was Ähnlichem aufgemacht habe.


    Bei mir dauert das RSYNC zu einer Synology NAS auch immer viele viele Stunden, auch wenn es bspw. nur 1.5 GB in 3 mkv-Dateien sind.


    Was mir geholfen hat, war der Tipp, es mal mit SMB-Backup zu versuchen. Das war ein voller Erfolg, seitdem dauern die Sachen wieder nur paar Minuten, wenn es im Bereich 1-2 GB sind.