RSYNC / RTRR / RESILIO - technische Unterschiede und Geschwindigkeiten

  • Hallo liebes Forum, diese Anfrage richtet sich an die technisch versierten unter Euch. Ich versuche ein Offset Backup aufzubauen zwischen einem Mac mini als Quelle und einem QNAP NAS TS-431K als Ziel (1GB RAM, 1,70 GHz Annapurna Labs AL214 Quad-Core-Prozessor). Beide Geräte sind über eine VPN-Verbindung, welche zwischen zwei Fritzboxen gespannt wird, permanent verbunden sind. Verbindung DSL 50/10.


    Der Weg der Daten ist also dieser:

    MacMini --> Fritzbox (VPN) --> DSL 50/10 --> Fritzbox (VPN) --> Qnap TS 431K


    Datenumfang: ca. 6TB in ca. 600.000 Dateien


    Erster versuch: Rsync

    Über den Carbon Copy Cloner, welcher meines Wissens auf Rsync basiert, habe ich die Übertragung zum entfernten NAS ohne Probleme aufbauen können, aber: ES IST GROTTENLAHM. Das liegt nicht mal an den zu übertragenen Datenmengen sondern daran, das RSync Datum und Größe jeder einzelnen Datei auf dem Ziel-NAS abfragt und diese nur dann überträgt, wenn es etwas geändert hat. Funktioniert auch alles, aber selbst wenn sich am Datenbestand nichts geändert hat, benötigt allein der Abgleich 600.000 Dateien ca. 24 Stunden!!


    Zweiter Versuch: Resilio

    Etwas anders schein Resilio zu arbeiten. Resilio legt eine Datenbank an in der Dateiänderungen protokolliert werden. Dadurch ist es nicht mehr nötig, wie bei Rsync jede Datei einzeln abzugleichen. Außerdem läuft der Datenverkehr nicht über das VPN der Fritzbox, sondern Resilio verschlüsselt selbst und baut eine direkte Verbindung über einen speziellen Port auf. Auch das hat soweit funktioniert. Als Problematisch könnte sich die Datenbank herausstellen, denn die ist bei 600.000 Objekten recht groß und wächst auch über die Zeit immer weiter, da auch für gelöschte Dateien ein Eintrag in der Datenbank geführt wird. Für den MacMini mit 16GB RAM ist das kein Problem . Das NAS, welches leider nur 1GB RAM hat und nicht erweiterbar ist, scheint aber etwas zu schwach zu sein: es müsste die Datenbank, die mehrere GB groß werden kann, aus dem RAM auf die Festplatte auslagern. Ich denke das könnte zu Problemen mit der Geschwindigkeit führen, lasse mich aber gern eines besseren belehren.


    Dritte Möglichkeit: NAS zu NAS-mit RTRR

    Der kürzeste Weg für ein 1:1-Backup scheint mir RTRR zu sein. Die läuft freilich nicht auf dem MacMini, aber dann würde ich dem MacMini eben noch ein zusätzliches NAS zur Seite stellen, so dass der eigentliche Offsite-Transfer zwischen zwei NAS erfolgen würde. Leider habe ich zu RTRR keine technischen Hintergründe in Erfahrung bringen können. Macht RTRR auch einen Einzel-Datenabgleich wie Rsync oder führt es eine Datenbank wie Resilio? Und welche Hardwareanforderungen sollte man für den RTRR-Server bzw- den RTRR-Clienten beachten bezüglich RAM und Prozessor?


    Vielleicht hat jemand ähnliche Verhältnisse und Datenmengen und kann hier seine Erfahrungen teilen, wie man das Offsitebackup idealer Weise einrichtet. Interessant wären auch technische Hintergründe zum RTRR-Protokoll.


    Besten Dank!, Stefan

    2 Mal editiert, zuletzt von rising () aus folgendem Grund: Details ergänzt

  • Nur so nebenbei: bei VPN ist die Fritz eine echte Spassbremse. Mit Glück erhältst Du etwa 10% der verfügbaren DSL Geschwindigkeit.

    Wenn Du mehr benötigt (bei 6TB und einer Dauerverbindung würde ich das sofort bejahen ;)), dann stell eine vernünftige Modem/Router Kombination auf beide Seiten, und Du kannst quasi die volle DSL Geschwindigkeit auch über VPN nutzen.

    Als Denkanstoss: DrayTek Modem und Netgate PfSense als Router. :)


    Gruss

    Einmal editiert, zuletzt von FSC830 ()

  • TS 421 und Backuphilfe


    Hier gibt es aktuell ein ähnliches Thema in Bezug auf Daten vergleichen und übertragen. Habe dazu vorhin ein paar Screenshots der Berichte aus ein paar Tests eingestellt auf denen auch die Geschwindigkeiten zu sehen sind. Kann das gerne noch um RTRR ergänzen. Geräte befinden sich im LAN, wobei das Ziel nicht die potenteste Hardware hat...

  • habe ein ähnliches szenario. 2TB momentan auf Fritzbox.

    Für 30GB Testdaten hat das Teil 10h gebraucht.


    Arbeite momentan mit HBR3 (Active Sync per HTTPS RTRR) , weil es für die Anwender eine GUI hat, auf der alles vorbildlich abgebildet ist.


    Wenn die Replikation nur vom admin überwacht wird, würde ich persönlich natives rsync verwenden. Aber Achtung, da gibt es gefühlt 100te Optionen


    https://linux.die.net/man/1/rsync


    hierzu mal in übergreifenden Profiforen (server fault und co.) suchen

  • Das mit der VPN Bremse der Fritzbox ist mit dem neusten Update auf 7.20 bei der 7590 behoben. Andere wie z.B. 7490 kommt wohl später.

    habe nun volle 40MB/s Upload. Macht nun richtig Feuer und nimmt wenn mal es zulässt die ganze Bandbreite!!

  • Krass, damit habe ich nicht gerechnet... Und an Protokoll / Verschlüsselung soll sich wohl auch einiges getan haben...


    Wie ist denn bei dir verschlüsselt?

  • OMG und ich habe die 7590 schon seit 8 Monaten im Schrank zu liegen!

    Dann wird es wohl Zeit für ihren Einsatz. An der Gegenstelle ist noch eine 7490, aber wenn da was kommt, dann muss man da nichts ersetzen.



    DANKE für die SUPER INFO

  • Es bleibt aber weiterhin ein „Ich scheiße auf Sicherheit und nutze IKev1 Aggressiv Mode mit PSK und DH2“.


    Dagegen steht dann ein aktueller IKEv2 mit Mobile Support und DH14 aufwärts und Anpassungsmöglichkeiten bei allen Parametern wenn man was gescheites einsetzt.

    Schon eine sauber gesetzte MSS kann hier einen Unterschied aus machen.


    Da noch ein sauberer Limiter und ich merke es nicht, wenn im Hintergrund die Leitung bis zum Anschlag ausgelastet wird.


    Alles möglich mit einer pfsense/opnsense usw.


    Über meine beiden Netgates dauert ein Abgleich mit RTRR und 360-370k Dateien 30min, bei beschissener 30-50ms Latenz.

    Da RTRR aber sehr git WAN optimiert überträgt, gehen da die vollen 50MBit Upload dauerhaft durch, die 6490 auf der Gegenseite war eine Katastrophe.

    Ich sichere so in der Stunde über 15GB rüber, bei der Fritz waren max 30GB pro Tag drin, also Faktor 10+.

    Einmal editiert, zuletzt von Crazyhorse ()