Backup großer VMs, wie?

  • Hallo zusammen,


    ich habe eine VM mit zwei virtuellen Platten. Insgesamt sind diese um die 600GB groß. Ich frage mich nun, ob ich das Backup über die Backupfunktion der Virtualization Station mache und dann die VM immer stoppen lasse oder ob ich das Backup über HBS 3 mache und dann eben als Quelle die beiden virtuellen Platten angebe. Würde letzteres gehen oder ist das eher schlecht, da die VM dabei ja läuft? Habe halt auch die Hoffnung, dass ich über HBS 3 inkrementelle Backups machen kann, damit ich nicht jedes mal die ganzen 600GB überspielen muss.


    Vielleicht weiß ja jemand besser Bescheid.


    Vielen Dank.

  • Bei mir werden Backups in der VM Station auch im laufenden Betrieb erstellt. Da muss nix gestoppt werden.


    Musste vor Kurzem mal ne Ubuntu VM aus nem Backup wiederherstellen da die täglichen Snapshots immer noch zu Fehler führten (die Vollbackups haben dann einwandfrei funktioniert)


    Je nachdem was die Gast Maschine macht, kann man ja auch Backups via dieser pushen (z.B. via Veaam)

  • Ich bin halt etwas unsicher, da meine VM halt so groß ist. Sind jetzt sogar etwas über 800GB. Da kann ich nicht mal eben ein Sync nach S3 oder in eine sonstige Cloud machen. Also bleibt mir ja nur der lokale Backup. Dafür habe ich halt eine 8TB HDD angeschlossen. Aber der Backup von 800GB dauert auch dort mehrere Stunden. Gibt es vielleicht sonst noch irgendwelche Tipps, welche mir helfen könnten? ich hatte inkrementelle Backups erwähnt. Das ist mit der Backupfunktion von der Virtualization Station ja nicht möglich. Aber es ist wohl auch generell nicht möglich, da ich ja nur die eine feste Datei für mein VM habe und eben nicht einzelne Files, richtig? Das würde dann höchstens aus der VM heraus gehen. Liege ich richtig?

  • Muß denn die VM selber so groß sein?

    Würde es nicht gehen, daß die VM nur das System und die Programme enthält und die Daten auf dem NAS selber als Freigabe liegen?

    Dann hättest Du eine schlanke VM, die sich problemlos sichern läßt und die Freigabe auf dem NAS kannst Du dann inkrementell sichern lassen.

  • War da nicht auch was, das VMs ab einer bestimmten Größe nicht mehr restored werden konnten?

    Da gab es doch einen Bug im HBS!? :/


    Oder ist der in der Zwischenzeit behoben?


    Gruss

  • Es gibt noch eine schnelle Methode, aber diese Methode ist kein richtiges Backup in dem Sinne da es innerhalb des QNAP gemacht wird und es klappt nicht wenn du Snapshots benutzt


    Du machst eine Kopie des Images, innerhalb der SSD. So hast du dein 800GB "Backup" unterhalb von 50min (gerade getestet) Willst du das Backup benutzen erstellst du eine neue VM mit den gleichen Angaben nur das du "Bestehendes Abbild verwenden" benutzt und den Pfad zum Image angibst.

    Deswegen benutze ich keine Snapshots sondern mache immer so schnell meine Backups und bei wichtigen Änderungen kopiere ich diese auch auf extern im Hintergrund :-).


    Wenn du eine NVMe benutzt sollte es noch um einiges schneller gehen, ich benutze nur eine normale SATA SSD

  • Würde es nicht gehen, daß die VM nur das System und die Programme enthält und die Daten auf dem NAS selber als Freigabe liegen?

    Es handelt sich um eine Nextcloud VM und die Daten lagern dadurch auch in einer Datenbank. Daher würde es glaube nicht gehen. :/


    Wenn du eine NVMe benutzt sollte es noch um einiges schneller gehen, ich benutze nur eine normale SATA SSD

    Wie kommst Du darauf, dass ich SSDs nutze? Bei einem NAS ja eher unüblich. Tatsächlich habe ich aber im NAS SSDs. Darauf kann jedoch kein Backup gemacht werden. Für den Backup habe ich eine 8TB HDD. Eine SSD ist mir aktuell zu teuer. Denn diese sollte dann ja schon 4TB haben für min. 3 Backups...

  • So ein Mist, warum kann man auf einem Tablet nicht quoten?


    Das ist also eine fertige VM mit allem drum und dran? Das ist natürlich blöd, denn eigentlich kann man auch eine Datenbank auf ein Freigabelaufwerk auslagern.

    Aber ein Backup von einer laufenden Datenbank ist natürlich sowieso so eine Sache.

    Normalerweise bietet eine Datenbank ja auch Tools zur Onlinesicherung selber an, so kenne ich es zumindest von Oracle. Bei einer Oracle Datenbank ist es jedenfalls so, daß nur dann wenn wirklich alles gleichzeitig kaputt geht, Daten verloren gehen, ansonsten kann es nicht passieren.

    Aber wahrscheinlich kommt man bei einer solchen fertigen VM gar nicht an die Datenbank direkt heran, oder?


    Das hier habe ich gerade ergoogled: https://forum.proxmox.com/thre…atte-erstellen-wie.91065/ (es war gleich der erste Treffer)

    Es muß also funktionieren, daß man die eigentlichen Daten in der Cloud von dem Rest trennt und damit ein vernünftiges Backup machen kann.

  • Das geht schon einfacher...


    Die Daten liegen auch in der VM in einem Dateisystempfad. Das Volumen macht nicht die Datenbank, sondern die Files innerhalb der Nextcloud.


    Warum lagerst Du die Files nicht direkt auf eine Freigabe des NAS aus und mappst diese Freigabe innerhalb der VM über NFS oder SMB? So hättest Du eine deutlich kleinere VM und kannst auch die Files besser einzeln im Backup verarbeiten.

  • Warum lagerst Du die Files nicht direkt auf eine Freigabe des NAS aus und mappst diese Freigabe innerhalb der VM über NFS oder SMB? So hättest Du eine deutlich kleinere VM und kannst auch die Files besser einzeln im Backup verarbeiten.

    Danke für den Vorschlag. Aber die Daten der Nextcloud sind doch auch in einer Datenbank und das ist doch dann nur eine Datei? Also kann ich die dann ja auch nicht die einzelnen Files im Backup verarbeiten. Genutzt wird auch ZFS.

    Es wäre alles viel einfacher, wenn die Festplatten und meine Internetleitung 10x so schnell wären. :(

  • Also, ich bringe mal etwas Klarheit rein:


    Die Datendateien liegen unter /data im Hauptverzeichnis der Nextcloud - außer in der config.ini wurde das Datenverzeichnis verschoben.


    Zusätzlich existiert noch eine Datenbank (SQLite oder MySQL), in der Verweise auf die Daten, Links, Benutzer etc. stehen. Die Datenbank sollte ebenfalls regelmäßig gesichert werden, ist aber in der Größe nur ein Bruchteil der Daten (bei meiner Nextcloud ist die Datenbank knapp 1 GB groß, die Daten haben ein Volumen von über 500GB).


    Wichtig wären 2 Sachen:


    1. Verlagern des Datenverzeichnisses aus der VM auf eine Freigabe des NAS.

    2. Regelmäßige Sicherung (Dump) der Datenbank auf eine Freigabe des NAS. Dies geht bei MySQL sehr gut mit mysqldump.

  • Da ich per Tablet nicht quoten kann, schreibe ich hier einen Kommentar zu xelayx.

    xelayz
    Nach diesem Artikel hier: https://decatec.de/home-server…en-ueber-das-dateisystem/ und auch dem Kommenar von Ihsei werden die Daten ganz einfach im Dateisystem gespeichert. Eine Datenbank für so unterschiedlich große Binärdateien wäre auch sicher nicht sinnvoll.

    Es muß also irgendwie ohne so eine riesen VM gehen!

  • Ich habe eine Win10 VM am laufen. In dieser VM läuft ein SQL-Server 2014.


    Die VM läuft auf einem Raid 1 aus 2 SSD's. Die Plattengrösse der VM beläuft sich auf 438GB, genutzt wird deutlich weniger aber es wurde halt diese Plattengrösse beim Erstellen gewählt. In der VM werden ca. 90GB als genutzt angegeben.


    Es wird täglich ein Back-Up der VM ausgeführt. Dies erfolgt durch Sichern und Wiederherstellen unter VirtualizationStation3. Bei jeder Sicherung wird auch ein Snapshot angelegt. Weiss nun nicht mehr ob das so eingestellt wurde oder einfach so ist.


    Der Snapshot wird täglich überschrieben und wird eigentlich auch nicht gebraucht. Die Funktion Snapshot in VS3 wurde nach einigen Versuchen verworfen weil sie nicht funktioniert.


    Die Back-Ups werden jeweils für eine Woche behalten (7 Aufträge). Die Back-Ups werden auf eine einzelne 10TB Festplatte geschrieben und danach auf ein zweites NAS synchronisiert. Zur Zeit werden dafür 1.67TB genutzt.


    Das Back-Up der VM für Sonntag wird zusätzlich auf ein drittes NAS synchronisiert. Laut HBS3 werden hier etwas mehr als 220GB Daten verschoben.


    Im LAN (1GBit) dauert eine Synchronisierung etwa 35Minuten. Nach extern über VPN ca. 13 Stunden. Das Back-UP der VM benötigt ca. 25 Minuten.


    Das Wiederherstellen der VM aus den Back-Up's hat bis anhin immer funktioniert. Es nimmt mehr Zeit in Anspruch als das Erstellen des Back-Up, was ich aber nicht als kritisch empfinde.