Remote Replikation langsam

  • einen schönen guten morgen
    gestern am abend konnte ich endlich meine 409er wieder in betrieb nehmen. das defekte netzteil ist getauscht. soweit so schön. die 409er hat 4x500gig drinnen. die laufen im striped modus. also 2tb (in etwa). da ich auf ihr keine kritischen daten ablegen werde, ist eine hohe verfügbarkeite nicht notwendig. ich hab mich dann gestern noch mit der remotereplikation gespielt. wäre doch ganz nett, wenn die 419er in der nacht ein paar daten rüberschiebt.
    vorerst hab ich es nur mit einem ordner, der etwa 2gig belegt versucht. für diese kleine datenmenge hat der prozess an die 6 minuten gedauert. ich hab verschiedene einstellungen probiert. es war egal, ob ich beim server typ "nas-server" oder "rsync" ausgewählt habe. es ist nicht schneller geworden. prozessorauslastung bei beiden eigentlich nicht kritisch. bei der 409er etwas höher als bei der 419er. beide hängen an einem kleinen tausender switch. der kann nicht viel, aber ist ausreichend.
    ich hab mir dann überlegt, wie lange die kompletten 600gig brauchen würde. dann hab ich am pc (hängt am welben switch) mit einem dos-batch über robocopy von der einen auf die andere box kopiert. wow, das geht zügig dahin. die 2gig hat er in etwa in 2-3 minuten rübergesaugt. also um längen schneller.
    jetzt stellt sich für mich die frage, warum dieser box-eigene prozess so langsam ist. nach meinem verständnis sollte das soch viel schneller als über einen win-pc, der über samba die daten hin und her schaufelt.
    ich versteh es irgendwie nicht. ihr?

  • Hi,


    technisch habe ich keine Erklärung, aber: Nach dem ersten syncen werden ja wohl nur noch die dann jeweils neuen Daten gesynct, von daher ist das erste mal vielleicht langsam, dann aber flott.

  • Zitat von "Doc HT"

    Nach dem ersten syncen werden ja wohl nur noch die dann jeweils neuen Daten gesynct, von daher ist das erste mal vielleicht langsam, dann aber flott.


    das ist mir klar. trotzdem ist diese geschwindigkeit sehr unbefriedigend. vorallem wäre es sehr einfach hand zu haben und auch flexibel. und wenn da mal auf der 419er große datenmengen dazukommen dann dauert auch der inkrementelle sync lange.

  • eine Technische Erklärung hab ich dafür auch nicht, aber das Phänomen ist bekannt! find ich auch ziemlich doof! Ich repliziere auch daten von meiner 119 auf meine 509 damit die nicht den ganzen tag laufen muss!

  • Hi,


    was als Workaround gehen könnte: Man kann den sync so einstellen, dass das NAS auf sich selber sichert. (Ziel-IP 127.0.0.1) Wenn man dies tut, kann man sogar explizit inkrementell sichern, so dass alles schön kompakt bleibt. Dann müsste man nur noch das Verzeichnis, in das man hinein sichert, auf das andere NAS kopieren - das dürfte flotter gehen.


    Einziger Haken: Es ist quasi eine Bastlerlösung, und sie kostet Platz. :-/ Aber sie ist wirklich inkrementell und wahrscheinlich flotter... :)

  • Zitat von "Doc HT"

    Aber sie ist wirklich inkrementell und wahrscheinlich flotter...


    auch nicht. die ersten tests hab ich mit "nur kopieren" gemacht, weil sich
    1. nichts geändert hat
    2. auf dem ziel sowieso noch nichts da war, und
    3. ich einfach wissen wollte, wie lang er braucht.


    inkrementel dauert noch einen tick länger, ist aber dann auch schon vernachlässigbar.

  • hi skorpio,


    da 2xPro Station hast, würde ich mit einem NFS-Mount probieren.
    Also das Verzeichnis der 409 auf die 419 mounten. Dann sollte es per NFS gehen und das ist Standart zur Verbindung zweier Linux-Rechner.
    Ist eben nur eine Idee.

  • ja, das würde funktionieren. ich hab mich gestern dann doch dazu entschlossen, alles was in backupjobs zu verpacken. es muß ja nicht alles jeden tag gesichert werden, weil sich da nicht immer was ändert. andere verzeichnisse schon. das war gestern so gegen 21:45, wo ich all mit "replicate now" gestartet hab. sind insgesamt 12 jobs. noch ist er nicht fertig, kann aber nicht mehr lange dauern. ich denke er wird in etwa 24 stunden +/- brauchen. und dann werden nur mehr die änderungen kopiert.


    eine andere frage hätt ich noch.
    es gibt bei der jobdefinition die einstellung "Delete extra files on remote destination". wenn ich da den haken setze, werden dann am ziel dateien gelöscht, die auch auf der quelle gelöscht wurden? bzw. wenn ich bei der quelle verschiebe (ist ja auch nur ein copy/delete) tut er das dann am ziel auch? das wäre nämlich sehr wünschenswert.

  • Zitat von "skorpion"

    es gibt bei der jobdefinition die einstellung "Delete extra files on remote destination". wenn ich da den haken setze, werden dann am ziel dateien gelöscht, die auch auf der quelle gelöscht wurden? bzw. wenn ich bei der quelle verschiebe (ist ja auch nur ein copy/delete) tut er das dann am ziel auch? das wäre nämlich sehr wünschenswert.


    Ja so ist es.

  • meine vermutung war richtig. nach ziemlich genau 24 stunden war die erstreplikation zu ende. im nachhinein betrachtet ist es gar nicht so schlimm. es sind in etwa 520gig.
    die ersten 3:00 uhr jobs hat er auch hinter sich. es sind nur 3, die täglich laufen. die dauern insgesamt nur eine minute. und da um 3:00 schon einige standard jobs eingeplant sind (darum hab ich auch 3:00 uhr gewählt) fahren die platten auch nicht unnötig hoch.
    ich denke ich werde es so lassen. gefällt mir gut. aber auch danke für die hinweise.