Synchronisation zwischen 2 Nas-Laufwerken funktioniert nicht richtig

    Hallo,

    habe 2 Nas-Laufwerke an unterschiedlichen Standorten über RTRR-Protokoll miteinander Verbunden. Habe die Synchronisierungs-Jobs erstellt -> läuft.

    Da das ganze aber ca. 5TB sind, wir nur ein 100Mbit/s Internet haben, habe ich mir die mühe gemacht und die Daten mittels Bandlaufwerk übertragen.

    Wenn ich jetzt die Jobs starte, überträgt er trotzdem die kompletten 5TB, wie wenn er die Dateien im externen Nas nicht sehen würde !?!

    Unter Regeln -> Richtlinien habe ich "Dateiinhalte prüfen" angehagt. Zuerst dachte ich, "Komprimieren während der Übertragung" macht mir die Probleme. Aber egal ob angehagt oder nicht, er macht immer den Selben Mist.

    Des weiteren lädt er nur mit 780KB/s hoch ! Warum so langsam ? Upload laut Fritzbox 34Mbit/s !!

    Wer hätte mir da eine Lösung ?


    mfg

    Gerd

    Moin, schau mal hier:

    Datensicherung vom QNAP - "Hybrid Backup Sync 3" kurz vorgestellt


    HBS überträgt niemals alles, außer initial natürlich. Der Haken bei Dateiinhalte prüfen sorgt dafür, dass es so lange dauert, als wenn alles übertragen wird, daher besser den Haken entfernen.

    Das kann dann auch den langsamen Upload erklären, denn es müssen ja auf beiden Seiten alle Daten gelesen und verglichen werden.

    HBS und andere Backup-Programme prüfen an Hand von Dateigröße und Dateidatum, ob eine Datei geändert wurde oder nicht. Wenn durch das Kopieren auf Band und von Band wieder auf Platte das Erstelldatum der Dateien geändert wurde (passiert bei Unix/Linux leicht), dann gelten alle Daten als geändert und werden neu übertragen.


    Wenn das Backup in ein anderes Verzeichnis erfolgt als du erwartest hast (z. B. weil noch irgendwo ein anderer Pfadbestandteil hinzu kommt), gibt es natürlich beim ersten Male auch ein Vollbackup.


    Ich habe die Probleme umgangen, indem ich das NAS für den fernen Standort zuerst bei mir hatte und ich dann im lokalen Netzwerk das initiale Backup machen konnte mit denselben Jobs, die später für das externe Backup vorgesehen waren. Da haben die paar TB Daten nur das LAN belastet, was nicht gestört hat. Erst nach dem initialen Backup ist das NAS an seinen vorgesehenen Standort gekommen. (Das heißt jetzt nicht, dass es wie bei dir mit Band nicht funktionieren würde.)


    Die Geschwindigkeit des Backups ist durch deine Upload-Geschwindigkeit begrenzt, und die ist beim 100MBit-Anschluss vermutlich langsamer.


    Und die Erfahrung, dass das Backup deutlich langsamer ist, als es von der Netzgeschwindigkeit her sein könnte, habe ich auch gemacht (auch lokal ohne Netzwerk ist das so). Sämtliche Verzeichnisse müssen neu erstellt werden, für sämtliche Dateien kommen neue Verzeichniseinträge, egal ob geändert oder nicht, und das dauert.

    erstmal danke für die infos.


    @tiermutter, dein Blog ist sehr interessant und aufschlussreich. Habe deinen rat befolgt, und den Haken beim Dateiinhalt prüfen entfernt. Leider jedoch ohne jeglichen Erfolg, es dauert immer noch ewig. Allerdings überträgt er jetzt immerhin nicht mehr mit 780KB/s sondern mit 940KB/s.

    @Anthracite, Upload laut Fritzbox 34Mbit/s möglich. Somit währe erheblich mehr möglich. Wahrscheinlich werde ich es halt doch so machen wie du auch, und das Nas hier im Betrieb das erste Backup erstellen lassen. In der Hoffnung das es dann wieder funktioniert.

    Die Uploadrate ist aber trotzdem gruselig. Läuft das über VPN? (Alles andere wäre fatal!) Eventuell muss dann mal bei der VPN Verbindung geforscht werden.

    Welche Fritzbox ist es denn?

    Nutzt du hier die VPN Site to Site Koppelung?


    Bei den 64/74er Modellen ist AES noch nicht in Hardware möglich, damit sind die mega langsam und voll ausgelastet wenn VPN Daten schieben soll.


    Die neueren haben dieses Problem nicht mehr, kämpfen aber weiterhin mit dem total veraltetem IKEv1 IPsec.


    Dann spielt die Latenz noch eine Roll, je höher desto länger benötigt er für den Abgleich einer einzelnen Datei.

    Die reine Übertragung ist bei RTRR jedoch sehr gut WAN optimiert und lastet dann, wenn das VPN es her gibt, den Upload auch voll aus.


    Was du machen kannst, einen Job erstellen auf dem Remot NAS den Ordner auswählen, starten und nach Sekunden wieder abbrechen.

    Jetzt sind auf dem Ziel die Ordner angelegt und nun packst du über die File Station die Inhalte in die richtigen Ordner.


    Mit ein wenig Glück, hat er die Ordner nur angelegt aber den Inhalt noch nicht geprüft und du kannst ihn auf dem Wege überlistet.


    Das könnte dir dann z.B. sparen alle 5TB zu schieben, aber ein paar GB werden es trotzdem sein.

    Habe die beiden NAS nun neben einander stehen. Somit sind sie auch im gleichen Netzwerk. Habe beiden einen neuen 4GB Arbeitsspeicher spendiert. Jetzt sind sie viel schneller. Leider läuft der Synchronisier-Job nicht durch. Letzter Abbruch war nach 2 Dateien mit 55,35GB. Jedoch ohne Angabe eines Fehlergrundes. Gibt es irgendwo eine Einstellung bezüglich max. GB Übertragung pro Synchronisation ?

    Nein, aber du hast ggf. ein erweitertes Log wo du schauen kannst.

    Was hilft ist Systemdateien gar nicht erst in den Job zu integrieren, muss man aber per Opt In aktivieren, per Default sind die im job mit drin.

    Wo finde ich die erweiterte Log ? Ich finde nirgends etwas, wo drin steht, warum das Backup abgebrochen wurde !?! Von 5 Synchronisierungs-Jobs laufen 3 fehlerfrei durch, die 2 anderen brechen immer ab.

    Warum die abbrechen steht nirgends, nur Fehler.

    Die Logs findest Du in HBS unter den 3 Punkten oben rechts (Fehlerbericht). Durch die .zip Datei musst Du Dich dann mal durchwühlen, es gibt Ordner die entsprechend den Jobs benannt sind.

    Fehler gefunden. War ein "Schreibfehler" im Zielordner. Jetzt läuft das Backup. Allerdings immer noch sehr langsam. Weiß jemand einen Trick, wie man es irgendwie schneller hin bekommt ? Upload aktuell mit nur 908,78KB/s ! Möglicher Upload laut Fritzbox 34Mbit/s !!

    Zu der Uploadrate sind noch ein paar Fragen aus Post #5 und #6 offen...