Frage zur rsync Funktion

    Wenn man zwei gleiche NAS mit gleichen Datenständen erstnmalig syncroniseren will, wie lange dauert der Abgleich?


    Hintergrund: Geplante syncronierung zweier NAS per VPN über relativ langsames DSL.

    Da rsync unter anderem für solche Fälle entwickelt wurde, einfach mal schauen (ggfls. mit Zuhilfenahme von Tools) wie groß (MB,GB, etc) der Unterschied zwischen den Datenbeständen ist. Der "Organisationsoverhead", d.h. der Vergleich der Dateien, ob sie identisch sind, geht relativ schnell. Wenn ich schätzen würde, sagen wir 10 bis 15 min bei 1,5 TB, jenachdem wieviele Dateien es sind.

    Mein Gedanke ist -
    es ist natürlich nicht praktikabel, 1,5 TB Daten über ein normales DSL zu kopieren. Daher sollte der Datenbestand vorher schon manuell abgeglichen sein. Aber rsync wird ja erstmalig prüfen müssen. Das geht sicher auch schnell, wenn beide NAS via eSATA verbunden sind.
    Die Frage wäre genau: Wie lange wird es dann dauern, wenn die VPN Verbindung eingerichtet ist und sich die NAS erstmalig darüber "sehen"?
    Und wird ein Sync-Lauf immer komplett wiederholt, wenn sich die beiden NAS nachts zu festgelegten Zeiten synconisieren sollen?


    Wenn die Ersteinrichtung über mehrere Tage läuft, ist das ja nicht so schlimm. Aber nicht das ein Abgleich in einer Nacht bei unserer eher langsamen Datenverbindung nicht fertig wird.
    Das ist mal unabhängig zu sehen, wenn tatsächlich Daten auf einem der beiden NAS geschrieben werden und diese dann kopiert werden. Da spielen die Dateigrößen natürlich eine Rolle. Ich gehe davon aus, dass im Durchschnitt wenige MB täglich dazu kommen werden.

    Hallo,


    wie gesagt, so um die 10 15 Minuten über den Daumen gepeilt, abhängig von der Anzahl und Größe der Dateien. Logischerweise muss dieser Synclauf jedes Mal neu komplett über den Datenbestand laufen, woher sollte er sonst wissen, welche Daten sich geändert haben.


    Ich würde empfehlen, einfach mal ausprobieren. Denn, welche Alternativen gäbe es sonst, einen Datenbestand über eine "schwachbrüstige" Leitung einigermaßen synchron zu halten?

    Hallo zusammen,


    Ich möchte hier das Theme NAS zu NAS sync ansprechen.....
    Ich habe 2 NAS ein TS439Pro und ein TS659Pro+ und habe mal ein paar Tests gemacht weil ich das gefühl hatte es sei etwas zu Langsam.


    TS659Pro+ --> TS439Pro (ein Kat.6 RJ45 direkt verbunden) gleiche Datei (mkv.12GB) = 34MB/s
    TS659Pro+ --> Win7 --> TS439Pro (Copy via windows share von z.b. E:(TS659Pro+) nach F:(TS439Pro)) gleiche Datei (mkv.12GB) = 90MB/s+


    Das Backup wurde so eingerichtet das, das Backup nur über NIC2 läuft also freie bahn.
    Weiss jemand ob der Rsync eine Begrenzung drin hat oder ist das Rsync einfach misst ??


    Gruss
    Joebar

    Hi,


    ich möchte mich dem Thema auch anschließen hinsichtlich der Übertragungsrate NAS zu NAS unter Verwendung von rsync.


    Genauer:
    ich schiebe gerade per rsync Daten von meinem "alten" NAS (TS-639 Pro mit RAID5) auf das neue NAS (TS-659 ProII mit RAID5), beide Geräte hängen an einem GB-Switch, TP TL-SG1016D.
    An dem Switch hängen auch ncoh eine WinPC mit GB-Anschluss sowie diverse andere Geräte.


    Transferrate beim rsync von NAS zu NAS: ~22MB/s
    kopiert wurden mehrere große ISO Dateien (215 GB innerhalb von 165 Minuten), daher grob gerechnet


    Transferrate beim kopieren Win7 auf NAS (TS-659 ProII): ~55MB/s
    kopierten wurden mehrere ISO Dateien (29 GB), mit TotalCommander auf SMB


    Die NAS sind jeweils mit einem GB Port am Switch verbunden, somit kein Port-Trunking, MTU bei 1500.
    Die NAS haben jeweils eine fest IP und sind mit 1000Mbps fest eingestellt in den Netzwerkeinstellungen.


    Weiß jemand Rat?


    VG
    mücke71

    Der Rat ist, zwischen zwei NASsen, die das können, jeweils den RTRR-Backupserver zu aktivieren und dann einen RTRR-Backupjob aufzusetzen.


    Wesentlich schneller als RSYNC. Ich sauge so Daten mit meiner 659ProII mit 60-100MB/sec von meiner 119PII (grosse Files).


    Wenn Du dann auch noch die Netzwerk-Schnittstellen einzeln betreibst und per Dienstbindung SMB und RTRR auf zwei verschiedene Ethernet-Ports aufteilst, kannst Deine 659 mal rennen sehen. :D


    Meine zieht so mit 70-90MB/sec Daten von der 119PII per RTRR (auf eine Einzeldisk) und mit gleicher Geschwindigkeit schiebe ich noch gleichzeitig Daten vom PC auf eine andere Einzeldisk der 659. Da fliessen dann so maximal bis zusammen 180MB/sec auf die NAS, an einem 08/15-Switch ganz ohne Porttrunking. :thumb:


    So schnell geht es natürlich nur, wenn mehrere Laufwerke oder Laufwerksgruppen in der NAS sind und die Datenströme der beiden Ethernetports auch auf physisch andere Disks zugreifen. Mit einem RAID5x6 könntest Du das schon wieder knicken.



    GLG GBD

    Hi GorillaBD,


    das war ja mal 'nen erstklassiger Tipp! Meinen herzlichen Dank, lt. Ressourcenmonitor geht der Peek bis auf 88MB/s hoch.
    Das ist ein Traum :thumb: :thumb: :thumb:


    Nur noch ne andere Verständnisfrage:
    1. ich habe auf beiden NAS den RTRR aktiviert (dies wurde beim RSYNC nur auf einem vorgenommen) richtig?
    2. ich habe bei beiden NAS die Serviceanbindung getrennt wie von Dir vorgeschlagen, d.h. die RSYNC und RTRR laufen jeweils auf Eth2, alles andere auf Eth1
    2.1. das Empfänger NAS bezieht die Daten aber über Eth1 während bei dem Sender NAS alles über Eth2 geht, ist das korrekt?
    2.2. oder muss/kann ich noch andere Einstellungen vornehmen das bei beiden NAS ausschließlich die Eth2 genommen wird für RSYNC/RTRR
    3. ist es egal von welchem NAS die Datenoperation ausgeht, als neues NAS zu altem NAS Daten saugen oder umgekehrt?


    Der Job läuft jetzt bereits mit ∅53,9 MB/s -> yeahaa
    Vielen Dank


    VG
    mücke71

    Freut mich, dass Du Deinem Ziel schon näherkommst ! :thumb:


    Die erreichbare Datenrate für einen RTRR-Job hängt aber auch von den Fähigkeiten des schwächsten Partners, den verbauten Festplatten, deren Konfiguration und natürlich der kopierten Dateigrösse/-art ab.


    Zu Deinen Fragen:


    1) Richtig
    2.1) Eigentlich nicht. Der RTRR-Verkehr sollte nur über die definierte Schnittstelle laufen, auf beiden NAS
    2.2) Das kann ich leider nicht testen, weil ich nur EINE 2-Schnittstellen-NAS habe, siehe aber auch unten
    3) Nach meinen Versuchen sollte möglichst die stärkere NAS den Job ausführen, sprich die Daten saugen oder pushen


    Wenn die Dienstaufteilung auf die gewünschten Schnittstellen nicht funktionieren sollte, bitte folgendes probieren:
    - alle Dienste und Clients sollten vor der Umdefinition der Dienstbindung deaktiviert/ausgeschaltet sein
    - NAS nach der Umdefinition der Dienstbindung neu starten
    - helfen die beiden ersten Massnahmen nicht, dann Dienstbindung an den Schnittstellen vertauschen


    GLG GBD

    Die RTRR Jobs laufen prima, derzeit erreiche teilweise Peeks von über 100 MB/s (bei vier gleichzeitig laufenden Jobs). :D:D:D:D:D


    Leider klappt das mit der Service-Bindung nicht so, wie ich es mir vorgestellt habe. :-/
    Bei beiden NAS habe ich sämtliche Dienste gestoppt, das andere NAS während der Konfiguration ausgeschaltet, neu konfiguriert und alles neu gestartet.
    Egal von welchem NAS ich die Daten pushe bzw. sauge, immer wird bei dem NAS, bei der Job aktiviert wurde auch nur die Eth0 benutzt, die Eth1 hat keinen Traffic.
    Das andere NAS, auf das zugegriffen wird läuft wunderbar über die zweite Schnittstelle


    Ich hätte mir gewüscht, das jeweils der Service auch nur über die entsprechende Schnittstelle läuft, egal ob ein Service aktiv auf dem NAS läuft oder von einem anderen NAS hierauf zugegriffen wird.
    Zur Kontrolle hatte ich mir auch noch die Datei:

    Code
    /etc/config/service_bindings.conf


    angesehen, auch hier sind die Zuordnungen richtig übernommen worden.


    Vllt ist das auch so gewollt?
    Ansonsten wäre das ein Wunsch von mir zur Änderung :idea:


    VG
    mücke71