Schnell und sicher backup erstellen

  • Da ich am Wochenende Probleme mit meinen Daten und kein aktuelles Backup hatte, widme ich mich dem Thema jetzt mehr.


    Ich habe ein TS253a (2 x 6 TB mit Raid1) und ein Synology DS213j (2x3 TB im Verbund). Jetzt möchte ich eine Sicherung von Qnap auf synology. Hab ich aktuell mit RTRR und smb Freigabe auf dem synology. für 650GB werden 4-5 Stunden veranschlagt, was mir ein bischen lange dauert. Die NAS sind beide mit LAN im Gbit Netzwerk.

    Gibt es einen schnelleren Weg fürs Backup?


    Gruß oekomat

  • Ich hab so einen Job auf die Syno am laufen. Macht irgendwie so keinen Spaß.


    q1.PNG


    Neue Dateien sind es pro Tag nur 9 Stück. Alles Abbilder von VMs.

    Das Häkchen bei "Regeln" -> "Richtlinien" -> "Dateiinhalte prüfen" ist schon deaktiviert.

  • Ich Synce hier mit VPN und 30-50ms Latenzen in 30 min 300k Datein und 6TB Daten wenn sich kaum was ändert.


    Da stimmt eine Einstellung noch nicht.

    Denn ich vermute du hast beide NAS vor Ort im Lan mit GBit und <1ms Latenz.

  • Ich weiß leider nicht wie ich den Job noch "optimieren" könnte.

    Hängt alles mit 1GBit am Switch. Alle Geräte in einem vLAN. Übertragungsraten von und zur NAS rund 113MB/sec.


    q1.PNG

    q2.PNGq3.PNG


    Edit: Ich hab eben nochmal nachgesehen. Wenn der Job läuft sehe ich im Ressourcenmonitor unter "Netzwerk" durchgehend 100MB. Und das obwohl der Job um 0:00 Uhr startet und nur 9 neue Dateien sichern soll. Und die größte davon ist rund 45GB groß. Allso alles im Rahmen.

    Einmal editiert, zuletzt von rednag ()

  • Er sichert bei dir mal wieder alles.


    Ich habe noch als Optionen Symlinks erkennen aktiv.

    Verstreute Dateien aktiv und sonst die gleichen Einstellungen.

  • mal wieder

    Ach, kommt das öfter vor? Bei mir war das seit ich den Job eingerichtet habe.

    Und langsam wurmt es aber doch. Für gesamt etwa 80GB 12 Stunden ist doch Usus.

  • Lösche den mal und lege den neu an, denn ohne Inhalte prüfen sollte er die nicht voll übertragen.


    So sieht der Job bei mir aus:

    Code
    Message: [Hybrid Backup Sync] Finished Sync job: "Backup-NAS". Folder Pairs: 10, Total Files: 347355, Total Folders: 20451, Skipped Files: 331851, Synced Files: 59, Total File Size: 6.05 TB, Average Transmit Speed: 157.4 KB/s
    Dauer 29min

    Einmal editiert, zuletzt von Crazyhorse ()

  • Ok, hab grad Probleme mit Schwierigkeiten....


    NAS neu initialisiert und wieder eingerichtet.

    Leider ist das Fehlerbild das gleiche. Konnte aber Unterschiede bzgl. der Übertragungsrate ausmachen.

    Mit SMB wird der Ordner mit rund 100MB/s. gesichert. Über rsync der gleiche Ordner mit etwa 50-60MB/sec.

    Der Job ist heute um 07 Uhr gestartet und war um 08:14 Uhr fertig. 230GB sind gesichert worden.

    Hab den Job nochmal neu angeschmissen. Es sind keinerlei neue Dateien hinzu gekommen oder geändert worden.

    Die Übertragungsrate steigt auf 60MB an, und es wird wieder so wie es scheint komplett gesichert. Unerheblich ob die Files bereits am Ziel vorliegen. Und hier ist es auch egal ob über rsync oder SMB. Er fängt immer wieder von vorne an.

  • Danke für die Screenshots. Langsam zweifel ich an mir selbst.

    Die Einstellungen sehen bei mir identisch aus. Egal wie (SMB, rsync) und mit oder ohne Filter.

    Es wird immer wieder alles gesichert.


    Edit: Bei mir geht ja nur Synchronisierung, weil bei "Sicherung" automatisch von RTRR ausgegangen wird. Das kann aber Syno nicht. Also kann ich so einen Auftrag nur bei Ein-Weg-Synchronisierung oder Aktiver Synchronisierungsauftrag angelegt werden.

    Einmal editiert, zuletzt von rednag ()

  • Ich nutze hier RTRR, da wird dann da der Unterschied liegen.


    Jagi solltest du mal anschreiben, er hat doch eine QNAP noch als Backup.

  • Jagnix Bist Du hier?! :)


    s.PNG


    Im Endeffekt dient mir die QNAP nur noch als Backup für einen Hypervisor mit Proxmox.

    In Summe laufen auf diesem 8 VMs. Diese VMs werden jede Nacht per NFS auf die QNAP geschrieben.

    Pro VM werden 20 Backups vorgehalten. Bei Backup von 21 wird die früheste Version gelöscht. Es sind also immer pro VM max. 20 Tage Restore möglich. Dieses Verzeichnis wird zur Sicherheit nochmal an eine Syno geschickt. Und genau da stehe ich an. Wenn ich bei Vollausbau bin (8Vms x 20 Tage =160) wird die QNAP nicht mehr fertig, weil 24 Stunden überschritten werden. Es ist mir ein Rätsel warum immer wieder von vorne begonnen wird. Ich kann gerne übermorgen nochmal einen Screenshot einreichen. Die Zeit zwischen Start und Ende wird immer mehr. Völlig egal ob schon "alte Stände" auf dem Ziel legen. Einfach stur nochmal von vorne....


    Edit: Ich habe gesten mehrere Jobs mit "Ein-Weg-Synchronisierung" angelegt. Allen ist das selbe bescheuerte Verhalten gleich.

    Die "Sicherungen" sind schon mehrmals "durchgelaufen" Egal ob ich den Job manuell oder per Planer zeitgesteuert starte: Einfach alles wieder von vorne.... Selten so einen Schwachsinn erlebt. Und ich schimpfe nicht gleich über QNAP. Solch ein Verhallten ist generell kaputt. In Zeiten von TB werden einfach so jeden Tag aufs neue solche Mengen durch die Gegend kopiert? Ne, echt nicht.

    Einmal editiert, zuletzt von rednag ()

  • HBS3 bekam ja nach ein paar Wochen pause jetzt in kürze gleich 2 Updates.

    Ist das Verhalten immer das gleiche, egal welche Version?

  • Ich habe neue Erkenntnisse. Leider keine die mich weiterbringen.

    Hab etliche Jobs mal mit CIFS/SMB und rsync angelegt und mich mit den Parametern beschäftigt.

    Wenn ich einen fertig synchronisierten Job unmittelbar im Anschluß erneut starte, wird wieder alles synchronisiert.

    Völlig egal ob die Dateien schon am Ziel sind. Auch egal welcher Art oder mit welchen Parametern.

    Also Backup kann QNAP auch nicht. Langsam wird die Luft sehr dünn. Es ist mir unverständlich wie man ein so derart kaputtes System auf den Markt bringen kann. Ganz große Leistung....


    Ist das Verhalten immer das gleiche, egal welche Version?

    Ja, das ist in der aktuellen und vorherigen Version schon so gewesen.


    Nachtrag: Bin ich der einzige User der per SMB/CIFS oder rsync an ein externes (aber innerhalb des LANs) NAS synchronisieren/sichern will?

    Einmal editiert, zuletzt von rednag ()

  • Scheint so.


    Ich meinte aber mal die älteren Versionen.

    Schaue morgen mal was ich noch finde und sende dir nen Dropbox Link.


    Die aktuelle funktioniert bei mir wieder, die 2-3 davor war trotz Autojob auf den manuellen Start abgewiesen.

  • Für nen sync an ein qnap nutze ich "externes NAS", keine Ahnung was dahinter steckt :S für Backup an einen anderen qnap RTRR, derartige Probleme hab ich bei beiden nicht.

    Könnte wenn ich morgen Zeit hab mal nen paar entsprechende Jobs anlegen und berichten falls es Dich weiterbringen kann...

  • Danke Crazyhorse :thumbup:


    Ich befürchte allerding das dies nicht viel bringen wird.

    So wie es scheint ist es per Design so.

    Und ich kaufe mir jetzt bestimmt keine zweite QNAP nur wegen RTRR.


    Datenbestand von A nach B unter Berücksichtigung bereits vorhandener Daten am Ziel (B).

    Scheint 2020 eine echte Herausforderung zu sein.


    tiermutter . Auch Dir ein großes Dankeschön.

    Sicherung an ein externes NAS inkludiert bei QNAP RTRR.

    Ich muß in meiner Konstellation leider "Synchronisierung" wählen. Es gibt nur CIFS/SMB und rsync als gemeinsamen Nenner QNAP und Synology. Wen Du da ein paar Testjobs machen willst, wäre das hilfreich für mich.

  • Bin ich der einzige User der per SMB/CIFS oder rsync an ein externes (aber innerhalb des LANs) NAS synchronisieren/sichern will?

    Habe für das Sichern zwischen 2 QNAP NAS immer RTRR verwendet. Im Moment habe ich HBS garnicht mehr im Einsatz.


    Du könntest anstelle SMB mal NFS versuchen, auch wenn es auf den ersten Blick wohl nicht der Grund sein kann. Damit kann sowohl QNAP als auch Syno.