Dauer RTRR Sync?

    Nehmen wir mal an man hat zwei entfernte Server über Internet und der RTRR Serverfunktion "gekoppelt". Netzgeschwindigekeiten sind am QNAP 1 16/1 MBit und der QNAP 2 100/6 MBit. Somit sind die Uploadgeschwindigkeiten jeweils 1 und 6 MBit.
    Kann man ungefähr abschätzen, wie lange ein reiner Synclauf benötigt, wenn Quell- und Zielverzeichnisse auf gleichem Stand sind? Also nur der reine zeitgesteuerte "Überprüfungslauf" zweier Verzeichnisse, die aber bereits auf gleichem Datenstand sind?


    Hintergrund: Zwei gleiche Server QNAO 459+ werden einmalig mit jeweils ca. 1,5 TB Daten "von Hand" manuell auf gleichen Datenstand gebracht. Danach sollen sie über das Internet mit der Funktion RTTR Server syncron gehalten werden. Nun ist es nicht praktikabel die ganzen 3 TB über das Internet zu schaufeln. Aber nur der reine Überprüfungslauf dürfte um einiges schneller sein. Danach werden pro Woche nur geringe Datenmengen geschrieben und so syncron gehalten. So sollte doch zumindest dieser Lauf in wenigen Stunden erledigt sein.


    Hat das schon mal jemand probiert? Wie sind da die Praxiserfahrungen?

    Ich nutze den RTTR Sync bei der Synchronisierung von 2 QNAP 119+ II im gleichen internen Netz. Mit der Q-RAID1-Funktion habe ich die beiden Platten initial auf den gleichen Stand gebracht. Da ich in der Woche nur überschaubare Datenmengen hinzubekomme, nutze ich den RTTR Sync Betrieb nicht in Echtzeit sondern einmal wöchentlich zeitgesteuert in der Weise, dass der 2. QNAP nachts hochfährt und nach der Synchronisierung nach einigen Stunden wieder runterfährt. Die eigentliche Synchronisierung dauert nur einige Minuten bis max. eine halbe Stunde.


    LG Andreas

    Das kannst Du doch dann leicht ausrechnen ?


    Ausgehend von einer durch den Internetanschluss limitierten Upload-Datenrate von


    1Mbit/sec = 125 KB/sec, 6 Mbit/sec = 750 KB/sec


    dauern 10GB etwa 22h / 4h
    dauern 20GB etwa 44h / 8h


    Jetzt würde ich aber nur mit höchsten 80% effektiver Netz-Datenübertragungsrate rechnen, also noch etwa 25% Zeitaufwand zuschlagen.


    Sollten zwischen Quelle und Ziel keine Datensatzunterschiede bestehen, sollte der reine Abgleich in wenigen Minuten erledigt sein, innerhalb eines Gbit-Heimnetzwerkes macht RTRR das bei mir für einige TB in wenigen Sekunden.


    GLG GBD

    Jetzt muss ich in der Stelle nochmal heinhaken :)


    Ich hab festgestellt, dass diese Echtzeit RTTR echt geil ist und viel besser funktioniert als die remote replication.... ABRER:


    Jetzt stelle ich alles von replication auf RTTR um .... alle Ordner sind auf beiden NAS vorhanden und auf dem gleichen Stand, warum kopiert er jetzt alles neu rüber ?


    Bis das fertig ist vergehn bei mir Tage, als wäre das 2. NAS gänzlich leer, kann man das irgendwie umgehen ?


    --- EDIT ---


    Warum erkennt RTRR nicht, dass die Dateien alle schon da sind, sonder kopiert das alles neu rüber !?!?!?!?!


    Hilfffeeee

    Einmal editiert, zuletzt von GorillaBD () aus folgendem Grund: Doppelte Beiträge vermeiden, siehe Forenregeln!

    Hallo Jeff,


    aus Deinen Beschreibungen werde ich nicht schlau, was Du da treibst. ;)


    Können wir vielleicht zunächst mal die Begriffe klären ?


    Remote-Replikation...
    ...ist bei QNAP der Sammelbegriff für die beiden Sicherungsprogramme RSYNC und RTRR


    RTRR (Real Time Remote Replication)...
    ...ist bei QNAP der Begriff für das Sicherungsprogramm RTRR, dieses kann geschehen
    - in Echtzeit oder
    - nach Zeitplan
    - durch manuellen Anstoss
    auf andere Geräte, NAS-intern, extern an die NAS angeschlossene Geräte sichern und zwar via
    - RTRR-Server oder
    - FTP


    Wenn Du also schreibst, Du hättest von "Remote-Replikation" nach "RTRR" umgestellt, erklärt das so für mich erstmal gar nichts. ;)


    Vielleicht erklärst Du vor dem Hintergrund der Begriffe mal etwas genauer, was Du nun von wo nach wo umgestellt hast ?



    GLG GBD

    :)


    Also: Ich habe zu Beginn meiner Doppellösung die normale Remotereplication genutzt um 1. Mal die Woch alle dateien von einem Server auf den anderen zu sichern.


    Jetzt habe ich mich heute mal hingesetzt und geschaut wie das mit der RTRR funktioniert (in Echtzeit) und finde es ist viel sinniger, weil alle Dateien auch wenn Sie im Ordner verschoben werden geänder sind und nicht einfach als Duplikat in dem anderen Ordner weiter erscheinen.


    Jetzt ist es halt so, dass auf dem 2. NAS was als Sicherrungsziel verwendet wird alle Daten vorhanden sind, er Sie aber dennoch beim neu anlegen eines RTRR alles neu rüber kopiert.


    Ich hoffe das ist jetzt verständlich :)

    Ich versuchs mal: :mrgreen:
    Ich gehe jetzt mal davon aus, dass Du unter "normaler Replikation" den RSYNC oder den RTRR nach Zeitplan bzw. manuellem Anstoss des Jobs meinst.
    Und unter "Doppellösung" versteht Du vermutlich die möglichst gleichartige Spiegelung Deiner 1079 auf die 879 oder vice versa, richtig ?


    Auch bei diesen RSYNC- oder RTRR-Verfahren nach Zeitplan oder manuell ist es möglich, durch die Regel "Überschüssige Dateien löschen" des jeweiligen Jobs das Backup auf dem gleichen Stand wie dem der Quelle zu halten. So habe ich meine RTRR-Jobs (Zeitplan / Manuell) nämlich alle eingestellt.


    Beim Echtzeit-RTRR ist die Regel "Überschüssige Dateien löschen" standardmässig gesetzt und auch nicht abschaltbar, weil es nicht im Sinne und Wesen einer Echtzeitreplikation (vergleichbar mit einem RAID1) wäre, wenn die Datenstände nicht exakt gleich gehalten würden. Die Gefahr dieser Echtzeitreplkationen (wie beim RAID1 auch) ist halt, dass Du bei einer versehentlichen Löschung, Änderung oder Überschreibung des Originals auch "instant" die Kopie veränderst, für ein Backup taugt diese Methode imho also so viel oder so wenig, wie ein RAID1.


    Wenn also Dein Ziel ist, bei Backupläufen Deine Kopie 1:1 zur Quelle zu bekommen, ist hierfür keine Echtzeitreplikation erforderlich, das kann der RTRR auch in der Zeitplan- oder manuellen Methode.


    Warum der Echtzeit-RTRR nun in Deinem speziellen Fall den Inhalt der Kopie leider nicht bereits zu berücksichtigen scheint, kann ich derzeit nicht erklären. Der Zeitplan-RTRR (wobei der ja auch den manuellen Anstoss einer Sicherung beinhaltet) tut das in jedem Fall, zumindest auf meinen NASsen mit FW 3.7.x und FW 4.0.2.


    Welche anderen Jobparameter sind bei Deinem Echtzeit-RTRR denn noch gesetzt ?


    GLG GBD

    hier habe ich dir mal die Einstellungen zusammengefasst.





    Zum Thema Real-Time kann ich nur sagen, dass die Kisten nur beide laufen wenn, ein Datenabgleich stattfinden soll. Wenn nur eine Kiste läuft habe ich das Timeout auch auf 2. Mal gestellt damit das erste NAS es garnicht weiter probiert sein Ziel zu suchen. Das ganze nach Zeitplan ist schön und gut, aber wenn ich nicht zuhause bin bleibt alles aus.


    NACHTRAG: Es ist nach wie vor so, dass alle Ordner eigentlich identisch sind auf beiden NAS. Er kopiert munter weiter alles neu rüber ......, wobei der Löwenanteil eh schon geschafft ist.

    Die Settings liefern (mir) keine Anhaltspunkte, warum der Echtzeit-RTRR ein neues Vollbackup durchführt. Der Zeitplan- oder manuelle RTRR würde das nicht tun.
    Also möglicherweise eine spezielle Eigenart des Echtzeit-RTRR, zunächst nochmal ein vollständiges Backup durchzuführen, falls das so sein sollte, in meinen Augen ein Bug.


    Bei mir zuhause funktioniert das so:


    Quell-NAS ist per Energiesparplan auf meinen Lebensrhythmus eingestellt:
    Fährt sich hoch, kurz bevor ich abends nach Hause komme und runter, wenn ich üblicherweise schon längst im Bett bin.
    Am Wochende läuft sie tagsüber durch.


    Backup-NAS fährt sich alle 1-2 Tage nachts um 01:00h hoch und um 01:15h wieder runter.
    Zeitplan-RTRR ist auf 01:05h eingestellt und holt so nach dem Hochfahren das Backup von der Quell-NAS ab.
    Gibt es nix zu tun, fährt die Backup-NAS nach Energiesparplan um 01:15h runter.
    Gibt es mehr als 10min Dauer zu backuppen, verzögert der RTRR das Runterfahren und die Backup-NAS fährt nach Abschluss des Backups runter.


    Den Echtzeit-RTRR habe ich in diesem Konzert noch nicht versucht, weil der imho nicht gut mit einem solchen Konzept gut zusammenarbeitet, der ist in meinen Augen die richtige Wahl für NASse, die beide zeitgleich online sind. Ausserdem würde mich auch die sofortige Duplizierung von Fehlern oder Irrtümern stören.


    GLG GBD

    RTRR legt keine Datenbank an, wo die veränderten Dateien geloggt werden. Damit schaut sich das System jede Datei an, das dauert...
    Dazu kommt noch die Zwangstrennung, dann fängt das System neu an, so zumindest bei mir.


    Da ich viele, viele kleine Dateien habe, kann ich beide Lösungen nicht richtig nutzen.


    Ich suche daher immer noch nach eine Lösung, wo aber genau das passiert.


    - geänderte Daten auf beiden Server loggen
    - NUR geänderte Dateien vergleichen (Uhrzeit)
    - neuere Datei kopieren
    - fehlende Datein kopieren


    Das würde den Traffic erheblich vermindern, das RTRR wirklich akzeptabel schnell machen (übers Internet)


    Vieleicht hat ja einer eine Idee...


    VG
    Ralph