HBS3 Backup to Onedrive mit Verschlüsselung => System Volume um 450Gb angewachsen

    Hallo Zusammen,


    Ich mache versionierte Backups meines PCs auf das NAS mittels Backup4all. Diese Backups sind durchaus große ZIP Dateien im 2-stelligen Gb Bereich und eine Datei hat sogar knapp 280Gb. Ingesamt sind es knapp 680Gb.


    Diese wollte ich nun über einen Backup Job über HBS3 in die Onedrive Cloud kopieren für ein automatisches Offsite Backup. Ohne Versionierung, Komprimierung oder QuDeDup, allerdings mit Verschlüsselung.


    Am Anfang hat auch alles geklappt, aber auf einmal ist das System Volume immer voller und voller geworden bis ich den Backuptask gestoppt habe bevor es voll war.

    Interessant ist, dass ich einen ähnlichen Backuptask mit obigen und zusätzlichen Daten auf eine externe Festplatte mache (ebenfalls verschlüsselt) und diese nicht zum volllaufen des System Volumes geführt hat.


    Was könnte schief gelaufen sein? Dupliziert HBS3 die gesamten Dateien auf dem System Volume für die Verschlüsselung und löscht diese erst nach dem der Backup Job fertig ist?


    Wie könnte eine bessere Strategie für das beschrieben Szenario aussehen? In der Theorie könnte ich ZIP Dateien direkt verschlüsselt erzeugen lassen. Das habe ich allerdings historisch nicht so gehandhabt, da zu Beginn keine Backups außer Haus gelagert wurden und ich auch gerne auf die nächstgelegenen Backups ohne spezielle Software Zugriff haben will.


    Besten Dank im Voraus.


    Christoph

    Zitat von maehmann

    Was könnte schief gelaufen sein? Dupliziert HBS3 die gesamten Dateien auf dem System Volume für die Verschlüsselung und löscht diese erst nach dem der Backup Job fertig ist?


    Hallo,


    ist kein Fehler sondern so vorgesehen (siehe Punkt 12).


    Einen Sicherungsauftrag erstellen | Hybrid Backup Sync (qnap.com)


    HBS3 verschlüsselt die Dateien vor dem Senden ans Ziel. Dazu wird im App-Verzeichnis (meist System-Volumen) eine Kopie erstellt. ;)


    Du könntest HBS3 auf ein anderes Volumen mit mehr Platz verschieben. ;)

    Danke für die Antwort. Das habe ich gefürchtet.


    Aber wäre es nicht sinnvoller, dass HBS3 die Datei verschlüsselt, hochlädt und dann wieder vom Systemvolume löscht?

    Anscheinend wird ja erst nach der Beendigung des Jobs alles gelöscht.


    Auf ein anders Volume kann ich HBS3 schon verschieben, aber dann liegt es am gleichen Speicherpool wie die Daten selbst und auch auf einem HDD Raid und nicht mehr auf einem SSD Raid. Dann dauert alles viel länger ;)


    Gehe ich richtig in der Annahme, dass die Dateien nur einmal verschlüsselt werden müssen und sobald sie in der Cloud liegen nur mehr die neu dazukommenden ZIPs (aus dem Backup vom PC) verschlüsselt und hochgeladen werden?

    Oder anders formuliert, kann ich jetzt einmalig für den ersten Durchlauf das Systemvolume deutlich vergrößern, das Backup laufen lassen und dann wieder verkleinern, oder habe ich bei jedem Lauf diese Menge an Daten die erzeugt wird?


    Danke!

    Das Problem dürften deine zip-Dateien (280 + 680 GB) sein. :/


    Wenn auch nur eine der Dateien in der zip-Datei geändert wird, dann sieht HBS3 die ganze zip-Datei als neu an. :(

    Alle Dateien zusammen haben 680Gb und darin gibt es eine sehr große ZIP Datei mit 280Gb. Der Rest hat dann max. 10-15Gb ohne jetzt alle angesehen zu haben.


    Das kann Gott sei Dank nicht so einfach passieren, da Back4all eine neue ZIP Datei anlegt, sollten Daten dazukommen bzw. alte Daten geändert werden. D.h. die großen Zip Dateien sind (sollten) nur beim ersten Backup entstanden.


    Was natürlich theoretisch passieren kann, ist, dass eine Zip Datei (aus welchen Gründen auch immer) also neu erkannt wird. Könnte QTS selbst etwas an den Files ändern? Ich sehe so ein Phänomen selten bei JPG oder CR3 Dateien, dass diese neu gebackupt werden mit Backup4all obwohl diese nicht angegriffen wurden und auch beide Dateien, aus dem Backup wiederhergestellt, leserlich sind.

    Ich nutze Macrium Reflect und da kann ich gezielt einstellen wie groß eine einzige Datei werden soll bevor aufgeteilt wird.

    Bei Backups über WAN macht was handliches Sinn, in meinem Fall 2GB.

    Jeder Verbindungsabbruch und er fängt mit der Datei neu an, so sind nur ein paar Minuten Datenübermittlung zu wiederholen.

    280GB würde 12-13h bedeuten.


    Aus diesem Dedup über System Vol. verwende ich QuDedup gar nicht.

    Das nutzt die SSD nur sinnlos ab.

    Komprimieren kannst du bei diesen Daten eh nix, sind sie ja schon vom Backup so erstellt worden.

    Besten Dank für die Antwort.


    Die Option nach X Gb zu splitten bietet Backup4all auch, wie ich gerade gesehen habe. Wie ich das Backup damals aufgesetzt habe, war von Cloud Backups noch keine Rede und diese Option daher nicht relevant.


    Am sinnvollsten ist es wohl, dass ich die Backups komplett neu aufsetze und:


    1) Die ZIP Dateien nach 2Gb splitten lasse

    2) Direkt beim Backup aufs NAS verschlüsseln lasse


    Dann brauch ich nur mehr die ZIP Dateien 1:1 in die Cloud kopieren lassen.


    Ärgerlich ist halt, dass ich damit alle alten Versionen der Backups verliere. Ein klassischer Fall von schlecht geplant bzw. nicht 100% durchgedacht beim Aufsetzen. :ziped:

    Die alten Versionen kannst Du ja trotzdem aufheben bis sie nicht mehr benötigt werden...

    Danke. Das ist eh klar. Es sind halt 680Gb die ich am NAS fürs erste einmal verdoppeln muss ;)


    Rauszufinden, wann ich sie nicht mehr brauche, ist das Problem. Die Daten sind mein Fotoarchiv seit gefühlt 100 Jahren.


    Wie finde ich ohne viel Handarbeit heraus, ob alle Fotos noch da sind und nichts unabsichtlich gelöscht wurde bzw ob alle Daten am PC auch noch lesbar sind?


    Zumindest ob alle Fotos da sind, kann ich mit Lightroom verifizieren, da alle Datein in Lightroomkatalogen sind und dieser darauf hinweißt, wenn Originale fehlen.

    Zitat von maehmann

    Rauszufinden, wann ich sie nicht mehr brauche, ist das Problem.

    Naja bei einer Versionierung werden alte Versionen ja üblicherweise nach einer bestimmten Zeit gelöscht, je nachdem halt. Bei mir passiert das in den meisten Backups für die meisten Daten nach 12 Monaten, in einem Backup nach 24 Monaten.

    Zitat von maehmann

    Wie finde ich ohne viel Handarbeit heraus, ob alle Fotos noch da sind und nichts unabsichtlich gelöscht wurde

    In der Regel gar nicht, jedenfalls nicht versionsübergreifend. Bei dem letzten Backup kann man ja einfach Anzahl Dateien und ggf Größe vergleichen.

    Zitat von maehmann

    bzw ob alle Daten am PC auch noch lesbar sind?

    In der Regel geht auch das nicht. Man kann das Backup lediglich gelegentlich auf Lesbarkeit / Funktion allgemein prüfen, nicht aber jede einzelne Datei. Da gibt es zwar auch Mechanismen für, aber damit vertraut man halt auch wieder nur der Technik.


    Mit einem Backup kann man idR ohnehin nicht gut leben, dass mehrere Backups gleichzeitig kaputtgehen ist unwahrscheinlich, nützt aber auch nichts, wenn defekte Quelldaten gesichert werden... da kommt dann wieder die Versionierung ins Spiel... und irgendwo hat dann halt jedes Backup seine Grenze sodass man unter bestimmten Umständen dennoch einen gewissen Datenverlust hinnehmen muss.

    Danke.


    Wie immer, ein Kompromiss aus Datensicherheit und Speicherplatz ...


    Eine letzte Frage habe ich noch ;)


    Mein aktueller Backup Flow sieht so aus: PC => NAS (per Backup4all, regelmäßig) => Externe HD (per HBS3, seltener dafür wird HD extern gelagert)

    Neuer Backup Flow soll so aussehen: PC => NAS (per Backup4all, regelmäßig) => Cloud (per HBS3, regelmäßig)


    Jetzt kann ich natürlich im neuen Flow auch per HBS3 weiterhin das PC Backup auf die Externe HD sichern. Sinnvoller (aber mühsamer) wäre es wohl, eine zweite Backup4all Sicherung PC => Externe HD aufzusetzen und diese händisch zu machen, wenn ich die Platte zur Hand habe. Damit ist dann sichergestellt, dass ich zwei echte unabhängige Backups der Daten habe.


    Steht sich der Aufwand dafür?


    Und macht es Sinn, dass die Snapshots vom QNAP auch noch ins Spiel zu bringen, und wenn dann wie?

    Zitat von maehmann

    Steht sich der Aufwand dafür?

    Es geht also nur um Daten die vom Rechner gesichert wurden und somit 2 Backups existieren (1x auf NAS, 1y in Cloud)?

    Dann täte ein weiteres Backup auf HDD jedenfalls nicht schlecht, hier könnte man dann darüber nachdenken ob das zwingend extern gelagert werden muss.


    Zitat von maehmann

    Und macht es Sinn, dass die Snapshots vom QNAP auch noch ins Spiel zu bringen, und wenn dann wie?

    Macht für Backupdaten keinen Sinn, da die Snapshots dadurch unheimlich groß werden können.

    Perfekt. Besten Dank für die Antworten. Ich kenn mich glaub ich jetzt gut genug aus um die "Strategie Neu" zu implementieren.

    Du kannst auch vom NAS als Quelle verschiedene Jobs von den gleichen Daten auf verschiedenen Ziele mit verschiedenen Parametern ausführen.


    HD ist ja günstig uns groß, als hier Quartalsweise für 2-4 Jahre aufheben möglich, eine 18TB HD kann ja x mal deine paar GBs lagern.


    Dann wöchentlich automatisch in die Wolke und gut ist.

    HBS3 kann auch ohne QuDedup Option verschlüsseln.

    Ich verschlüssel jetzt direkt die Backups vom PC auf das NAS, dann braucht die kleine CPU vom NAS das nicht übernehmen. HBS mit Verschlüsselung ohne QuDedup habe ich schon gefunden.


    Ich werde trotzdem die Sicherung auf die HD direkt vom PC aus machen, denn sonst würde ich ja unter Umständen ein defektes Backup vom NAS auf die HD kopieren. Sollte zwar nicht passieren können, da die das Backup am Ende immer getestet wird. So macht der PC immer ein frisches Backup. Der Kompfortgewinn ist auch recht überschaubar, wenn ich die externe HD nicht mehr am NAS anstecke. Lediglich den PC muss ich aufdrehen, wenn er nicht eh läuft.


    Danke nochmals für die Tipps.