Platzbedarf für Backup (synchronisieren)?

    Hallo,


    ich habe ein QNap TS-110 mit einer 2-TB-Platte (ext4 formatiert) und wollte diese über eSATA synchronisieren. Belegt sind derzeit 995 GB auf dem NAS und der externe Datenträger (1,5 TB-Platte, auch ext4) ist 1332 GB groß.


    Das synchronisieren läuft sehr langsam, aber das wusste ich vorher. Ich wusste auch, dass die %-Angabe häufig (immer?) zu hängen scheint und dann plötzlich auf 100% schnellt.


    Mein Problem: Derzeit läuft gerade das synchronisieren. Der Platzbedarf auf der externen Platte ist schon größer, als ich erwartet hatte. Ich hatte erwartet, dass der temporäre Platzbedarf 995 GB + Größe der größten Datei (ca 50 GB) beträgt. Das ist aber weit überschritten. Von 1332 GB sind gerad noch 200 GB übrig und synchronisieren läuft immer noch.


    Kann es passiern, dass der Platz der Ziel-HD nicht ausreicht? Mit kopieren hatte es gereicht. Ich wollte jedoch lieber einmal länger warten und bei weiteren Backups Zeit einsparen. Außerdem hatte ich Bedenken, weil auf dem NAS neben Windows-Daten auch mein Linux-Home-Verzeichnis gesichert ist und es beim Kopieren mit den "."-Dateien problematisch sein kann. Das kann ich jedoch nicht bestätigen und es betrifft möglicherweise nur NTFS-Ziel-HDs.


    Gruß
    Lanxy

    Eigendlich sollte der Platz reichen......


    wobei,...... es gibt unter NTFS immer das plroblem mit der Clustergröße,..... eine Datei mit 1k größe belegt immer 4k (ein Cluster),.... so oder so ähnlich.
    ich weis aber nicht ob Linux EXT dies auch so macht.


    soll heißen, wenn viele kleine Dateien draufgepackt werden, kann mehr Speicherplatz belegt sein als eigendlich in der Summe ser reinen Dateien nötig wäre.

    Die Clustergröße dürfte nicht der Grund sein. Habe beim Formatieren keine besondere Clustergröße gewählt (falls ext4 das überhaupt zulässt) und defaultmäßig müsste im Zweifel die größere Platte (im NAS) auch die größere Clustergröße haben und damit mehr Platz verschwenden als die kleinere Ziel-HD.


    Was ich noch in Erwägung ziehe: Ich sichere einige Windows-PCs und einen Linux-PC. Die Linux-Software sichere ich mit einer Versionshistorie von 3 Monaten. Hierbei werden bei unveränderter Datei jeweils Hardlinks erstellt.


    Ist es möglich, dass der Kopiermodus (= cp) hiermit keine Probleme hat, aber beim "Synchronisieren" (=rsync) die Dateien wegen der Hardlinks mehrfach gesichert werden?

    Hi,


    Zitat von "Lanxy"

    Ist es möglich, dass der Kopiermodus (= cp) hiermit keine Probleme hat, aber beim "Synchronisieren" (=rsync) die Dateien wegen der Hardlinks mehrfach gesichert werden?


    Das ist möglich, da bei rsync expliziet der Parameter "-H, --hard-links, preserve hard links" gesetzt werden muss.

    Thx, frosch2,


    kann ich überprüfen (und ggf. sogar ändern!), welche Parameter an rsync bei der Sicherung über die Admin-Oberfläche übergeben werden?

    Zitat

    Du kannst dir aber alternativ rsnap angucken viewtopic.php?f=293&t=16262

    Habe mir rsnap angeguckt und habe hohe Erwartungen an das Teil ;)
    Sicherung ist nämlich fehlgeschlagen wegen fehlendem Plattenplatz und ich bin überzeugt, dass die Hardlinks daran schuld sind.


    Werde nun wohl auf rsnap "umsteigen". Komme vermutlich aber erst am Wochenende dazu. Die screenshots sehen aber sehr vielversprechend aus!


    Gruß
    Wolfgang

    Über ein Feedback würde ich mich freuen.

    Servus,


    habe gerade im Forum gestöbert und habe hierzu einen Tipp, da ich letztes Jahr vor dem gleichen Problem stand.
    Wir sichern unsere Server per rsync auf der QNAP unter Zuhilfenahme der Hardlinks. (rsync eines zentralen Sicherungsservers/Vermittlers daher kein Problem).
    Einmal die Woche schließen wir einen externen Datenträger (eSATA1) an unsere QNAP an und synchronisieren die auf der QNAP liegende Sicherung auf den externen Datenträger (per "backup -> external drive -> synchronize"), der anschließend wieder das Gebäude verlässt (*falls doch mal das Bürogebäude abfackelt :shock: )


    Wer möchte, dass das QNAP rsync (OTC und Backup -> External Drive -> Synchronize) Hardlinks unterstützt, sollte in Skript
    /usr/bin/rsync die -H Option einfügen.


    Code
    exec /usr/bin/rsync.qnap -W -H -ogtv "\$@"


    Achtung:
    - so alleine ist das nicht bootfest (Script wird nach jedem Reboot zurückgesetzt)
    - Um es Bootfest zu machen "Suche im Forum" benutzen oder per PN fragen
    - Nicht geeignet für Datenträger mit NTFS/FAT FileSystem :!: ;)
    - wer nach Hardlinks fragt, wird sich sicherlich mit Konsole und Co. auskennen :thumb: daher gehe ich nicht darauf ein



    Gruß und denkt bitte daran: alle Änderungen auf eigene Gefahr ;)

    Habe aus Zeitgründen rsnap noch nicht getestet. Will mir ohnehin ne größere externe Platte anschaffen (als weiteres Backupmedium) und habe vorübergehend direkt ein Backup mittels "rsync -av -H --delete Quelle Ziel" erstellt. Lief zwar gähnend langsam. Ca 2 Tage für rund 1 TB Daten (ohne Berücksichtigung der Hardlinks). Aber nur beim ersten Backup. Weitere laufen sehr flott. Laut Log wurden allein vom Linux-Rechner 1,6 TB Daten gesichert, zuzüglich rund 1 TB für die anderen Rechner. Da sieht man mal, was Hardlinks bringen ;)


    Unterm Strich kann ich hardlinkfähige Backup-Software nur empfehlen. Man sollte aber auf gewisse Einschränkungen gefasst sein. Beispielsweise kann ich nicht mit beliebiger Software ein Voll-BU des NAS erstellen, da die Daten nicht mehr auf eine gleich große HD passen (außer die Software verwendet ebenfalls Hardlinks).


    Gruß
    Wolfgang