RSYNC legt Internetleitung lahm bei mehr als zwei Jobs

  • Hallo und einen schönen Nachmittag


    Ich habe lange nach brauchbaren Einträgen hier gesucht, aber nun muss ich doch einen eigenen Beitrag erstellen. Also folgendes.
    Ich sichere Daten per RSYNC von einer TS-859 zu einer anderen TS-859 und das über eine 10MBit/s SDSL. Die Menge ist nicht soo viel, sind aber schon einige GB pro Nacht. Nun kommt es aber vor, dass (was man leider nicht auf der GUI der QNAP steuern kann) zwei oder mehrere RSYNC-Jobs gleichzeitig laufen. Entweder dauert einer einfach länger oder die Internetleitung war andersweitig in Benutzung. Kommt es nun dazu, dass mehr als zwei RSYNC-Jobs gleichzeitg laufen bricht fast die Internetverbindung zusammen. Die Antwortzeiten schnellen mal schnell über 3000ms inkl. unzähliger Abbrüche (Timeouts). Die Bandbreite ist per Firewall und Bandbreitenmanagement auf max. 5MBit/s limitiert. Das hilft aber nicht, da nicht einmal annährend diese Bandbreite benutzt wird, weil (jetzt kommt es) nur der Datenabgleich läuft, BEVOR die (eigentlichen) Datenübertragen werden, welche noch am Ziel fehlen.


    Ist das ein bekanntes Problem mit RSYNC oder weiß jemand eine Lösung dafür, welche die Internetleitung nicht "abschaltet"?


    Danke und viele Grüße
    doemin

  • Schau doch mal nach, ob man bei RSYNC die Bandbreite pro Job begrenzen kann. Ich verwende RTRR und da gibt es entsprechendes. Weitere Möglichkeit wäre die Jobs zeitversetzt zu starten.

  • Zitat von "Dinosaurier"

    Schau doch mal nach, ob man bei RSYNC die Bandbreite pro Job begrenzen kann. Ich verwende RTRR und da gibt es entsprechendes. Weitere Möglichkeit wäre die Jobs zeitversetzt zu starten.


    Leider kann man RSYNC auf der QNAP nicht in der Bandbreite beschränken. Die Jobs läufen alle schon zeitversetzt. Aber wie gesagt, es kommt häufig zu Überschneidungen, weil unsere Internetleitung sehr stark beansprucht wird und dadurch die Jobs oft auch länger laufen.


    Funktioniert RTRR ähnlich wie RSYNC, also überträgt auch nur Änderungen und nicht die kompletten Dateien? Ich übertrage viele zig-GB große *.vmdk Dateien.

  • Das Problem mit rsync kenne ich aus der Firma.
    Hier werden auch in der Nacht die Daten von einem Standort zum anderen kopiert.


    Wir haben das mir den länger laufenden rsync - job über ein script, gelöst, das per Cronjob aufgrufen wird.
    Das Script macht nichts anderen und schaut nach ob noch rsync - jobs laufen und stoppt dann diese.