Backup-Strategie

    Hallo zusammen,


    ich tüftel gerade an meiner Backup-Strategie. Dazu ein paar Infos:


    1. Webbackup
    Ich fahre ein tägliches Backup von ein paar Statisikdateien (LMO-Ligadateien) auf meinem Webserver. Daraus wird ein nettes tar.gz mit aktuellem Tagesdatum. Diese Dateien benötige ich ggf. zur Wiederherstellung erneut. Diese Dateien werden für zwei Monate vorgehalten und automatisiert gelöscht.
    Dann sicher ich monatl. meinen kompletten Webserver (aktuell 800 MB) und auch hieraus erstelle ich automatisert ein tar.gz und lösche alte Datensicherungen von vor 6 Monaten.


    Diese Daten landen alle unter /share/Sicherungen (ist eine Freigabe) in ein entsprechendes Verzeichnis.



    2. Datenbackup
    Die Daten wollen nun ja auch gesichert werden. Die meisten Daten liegen unter public. Kann sein, dass ich noch eine Freigabe je Benutzer mache, ist aktuell aber nicht vorgesehen.
    Somit linke ich ln - /share/public /share/Sicherung/public.
    Selbiges gilt für Qmultimedia.




    Das Backup will ich mit Hilfe einer externen Festplatte ein mal monatl. durchführen (und dann ab in die Garage). Nun würde ich als Sicherungsort /share/Sicherung angeben und dort liegen dann alle wichtigen Daten oder sind zumindest verlinkt. Ich gehe dann davon aus, dass die Daten automatisch gesichert werden?


    Aber was ist nun mit mySQL-DB, Webserver, CVS und SQLLite zum Beispiel. Als ich laß, dass auch CVS mit der QNAP möglich ist, war ich hellauf begeistert, aber wie sicher ich das ganze Zeug??? Aktuell sichr ich nur private Daten und die "Websicherung".


    Hat jemand eine Idee?

    Ein paar Tipps zu Deiner aktuellen Konfiguration und Hardware. 8-)
    Wobei mir ein 2tes NAS für die Redundanz lieber wäre als 1x im Monat 'ne externe dranhalten, da Du im "schlimmsten" aller Fälle, einen kompletten Verlust bis auf 1 Monat zurück hättest. :shock:
    Ich hoffe dann mal für die Externe, das Deine Garage auch im Winter beheizt ist, und die Luftfeuchte (Morgentau) nicht so hoch ist... :roll:
    Aber nun zum eigentlichen. ;)


    1) mySQL, CVS, SQLLite: Um diese DB's zu sichern, musst Du ebenfalls diese DUMPEN, sprich einen DUMP erstellen. Weiteres findest Du mit der SuFu des Forums. ;) (Wobei ich noch nie mit CVS gearbeitet habe, da ich SVN nutze, das Prinzip ist aber garantiert das gleiche)


    2) Den WebServer (DocumentRoot) sicherst Du genau so, wie Deine Dateien. 8-) Es macht keinen sinn, den "WebServer selbst" zu sichern, sondern nur die Daten, falls Du dies meintest. (Beispiel: /share/Qweb, oder wo sonst Dein DocumentRoot hin zeigt)

    Schon mal many thanks...


    Will dann doch mal mehr zu erklären: Es ist ein privates Netzwerk. Ich würde auch lieber eine volle Synchronisation erzielen, diese versuche ich eventuell auch noch durch einen täglichen FTP-Upload zu erzielen, zumindest der Dokumentdateien... Bilder, Videos und Musik sollten da ganz klar raus gehen.


    Da ich hier nachgelesen habe, dass genau diese Dateien einen hohen Sicherungsaufwand in Sachen Zeit bei einer USB Sicherung darstellen und ich einen Datenträger auslagern möchte, ist genau das zweite NAS nicht hilfreich. Ich hab extra ein RAID 1 eingerichtet. Das hilft mir natürlich nicht, wenn beide Platten defekt sind. Passieren kann es, aber ich hoffe doch, dass dieses Risiko sehr gering ist. Wenn also beide Platten defekt sind, will ich einen min. 1 Monat alten Stand irgendwo extern lagern können, sprich Fotos und Co. sind gerettet. Und ich gehe davon aus, dass die Technik der QNAP so ausgereift ist, dass mir beide Platten eher durch einen Brand abrauchen, damit hat sich das zweite NAS auch erledigt...


    Welche Dokumententypen ich sicher und per FTP uploade will ich mit find rausfinden, das ist aber noch in Arbeit, bzw. ist noch nicht gescriptet... An dieser Stelle eine weitere Frage, ob es möglich wäre diese Dateien noch extrem zu verschlüsseln. Mir fällt gerade nur TrueCrypt ein, aber gibt doch bestimmt noch andere schicke Dinge?!?


    Und ja, ich meinte www-root und nicht den Webserver an sich.


    Richtig klasse wäre es doch, wenn man im Internet einen Server findet, wo man alle wichtigen Daten uploaden kann, aber bei den Größenordnungen echt nicht so toll.


    Ich bin für weitere Tipps gerne offen und zu haben... Wenn jemand schon ein Script hat, womit nur die Dokumentdateien (doc, xls, txt, etc.) gesichert werden, dann immer raus damit, ansonsten wärn das mehrere find Befehle mit exec, wo die Dateien temporär hinkopiert, getart und gezippt werden. Am Ende noch eine Verschlüsselung drüber ziehen und fertig.


    Aber an dieser Stelle noch die Gegenfrage: Ist es häufiger vorgekommen, dass eine QNAP zwei Platten zerschossen hat? Oder die QNAP den Geist aufgibt (selbst wenn, die Platten müssten dies ja überleben)...

    FTP ist ja sowieso immer eine unsichere sache, darum gibt es ja definitiv neuere Methoden dafür (WebDav) zum Bleistift. ;)
    Und vorallem, wie lange dauert es bei Dir 20 GB irgendwo hoch zu laden? Esseitdem, Du wohnst direkt neben einem RZ, und hast deine eigene Leitung.. :D


    Was die Platten angeht, wenn die von der gleichen Charge sind sind diese also "auf dem selben Band produziert worden, ohne Stopp, stoppt das Band so gibt es eine neue Charge", geht die 1. Platte flöten, so wechselt man generell beide aus, da die andere meist kurze Zeit darauf ebenfalls "flöten" geht.
    Darum und aus noch mehreren Gründen würde ich auch Dir empfehlen, zumindest einen Raid verbund zu nutzen. Kurz, zu spiegeln, da die Wahrscheinlichkeit doch höher ist als Du denkst, das beide Platten "durchhauen" und sei es der Controller, der irgendwann "wegflutscht" und die Platten mit in die "Verdammnis" reisst. :D (Siehe auch Armee der Finsternis) :D


    www-root = nur den Benutzername & die Benutzergruppe, so aber auch nicht bei QNAP. :D
    Das ist das DocumentRoot. ;)


    Truecrypt.... Dazu äußere ich mich jetzt lieber nicht, da eine solche verschlüsselung eigentlich nix bringt, und nur IN ist. (Wie bei der Bildzeitung IN and OUT) 8-) Sensibele Daten bleiben hier im Hause. :roll:


    Warum möchtest Du Deine Textdateien "finden", wenn Du eine Ordentliche Ordnerstruktur hast, und Beispielsweise Dokumente unter Documents abspeichest, dann kannst Du doch direkt den kompletten Pfad sichern.... :roll: :mrgreen:

    weil es verschiedene User-Ordner gibt und von Vereinen Textdateien, dann mal Doc's und mal PDF's geliefert werden. Wenn Du einen Hausbrand überlebt hast, weißt Du, dass sensible Daten bei dem besten RAID und 2 NAS nix bringen. Ich habe Jahrelang RAID 15 betreut und selbst wenn die Controller abgeraucht sind, blieben die Platten unangetastet davon. Nun gut, es waren keine Software-Raids. Wenn eine Platte abraucht, habe ich meiner Meinung nach eine Reaktionszeit und man wartet ja nicht 10 Wochen... Ich hoffe auch, dass SMART und QNAP mir den Health-Status der Festplatte ordentlich anzeigen und ich vielleicht vorher merke, dass die Platten abrauchen... Es gibt halt keine 100%, vor allem nicht im Low-Level Budget (und wenn der Meteor kommt, ist eh alles wesch). Deshalb soll es ja auch immer noch eine externe Sicherung geben, aber nur monatl. Wenn die Synchronisation gut und schnell läuft, dann auch gerne häufiger, aber ich habe hier durchaus von längeren Zeiten gelesen.


    Truecrypt ist schon eine Modesoftware, aber eben weil es zu viele neugierige Nasen gibt und auch eben wenn man etwas online stellt, was nicht jeder sehen soll, dann erfüllt diese Software ihren Sinn. Ich hab es mal angetestet und nutze es heute nicht mehr. Ich bin ja auch für Alternativen offen... .htaccess sollte es alleine nicht sein!


    Ich will und sprach auch nur von Dateien, die nach einem gzip-Lauf recht klein sind. Zusätzlich zur Abfrage, ob es sich um DOC's und Co. handeln, ist es ja kein Ding die Größe abzufragen... Deshalb habe ich ja auch gesagt, dass ich Multimediadateien wie Musik und Filme ausgrenze... Wenn mein Webserver nur FTP kann und keine andere Protokolle unterstützt, ist das mein Pech... Aber so kann ich zumindest was halbwegs sicheres bauen, oder alles weiter schlecht reden :)

    Zitat

    Wenn Du einen Hausbrand überlebt hast, weißt Du, dass sensible Daten bei dem besten RAID und 2 NAS nix bringen


    Keine sorge, genau dies beachte ich immer (redundanz und backup) Ich habe hier z.B. einen 639 und in der Fa. auch noch was, diese synce ich via VPN, wobei die Daten in der Fa. ebenfalls noch einmal redundant sind.... :P


    Aber Du kannst Doch z. Bleistift im Documents einen ordner Verein, Privat, Arbeit erstellen... Spielt doch keine rolle, ob es ein PDF oder DOC ist, will ja beides gebackupt werden? :P


    Ich z.B. nutze auch VPN & SCP oder WEBDAV (alles über VPN). Die verbindung selbst sollte ja schon getunnelt werden.... Und nicht einfach nur 'ne Kennwortabfrage, FTP oder sonst was... ;)
    Sprich derzeit ist VPN die Einzigst saubere Methode. Auch empfehlen kann ich Dir einen Beitrag von Jody. Diesen findest Du hier:
    http://forum.qnapclub.de/viewtopic.php?f=95&t=1754

    Da ich nicht ganz unbedarft mit Firewalls bin, danke für den Tipp, kenn ich aber schon.
    Da ich in einem der größten Rechenzentren Deutschlands arbeite ist das schlecht mit VPN zur Arbeit, denn bei uns führt so etwas zur sofortigen Kündigung und alles wird protokolliert wegen eben sensibler Daten. Da bist Du um Deine Möglichkeiten zu beneiden, aber anstatt frech zu grinsen und teilweise freche Antworten zu geben, solltest Du Dich mal an die Gegebenheiten richten, die bei mir momentan kaum veränderbar sind.
    Auf der Arbeit arbeiten wir nur mit SFTP. Da dürfen wir nicht mal simples LDAP oder SMTP so einfach nutzen, es muss alles Secure sein. Deshalb würde ich Deinen Vorschlag auch total genial finden, wenn ich die Möglichkeiten hätte.


    Vielleicht reden wir einfach mal von meinen Gegebenheiten und dann darfst Du gerne eine geniale Idee bringen, die ich dann auch gerne umsetzen kann... Und danke für die Verbesserung mit www-root, klar meinte ich DocumentRoot... :oops: Das war mal eher peinlich...


    Meine Gegebenheiten sind ne Wohnung und ne Garage als Lagermöglichkeiten. Eine QNAP mit 2 X 1 TB mit RAID 1. Zwei Schlepptops, die meist in der Nähe des QNAP betrieben werden und zu wenig Speicherplatz bieten.
    Weiterhin hab ich nen bissl Webspace, nicht der Rede wert, aber eben ein bissl... Ich möchte Daten auf dem Webserver nur in verschlüsselter Form lagern...

    Also probleme die ich in einem Find sehe, ist, ich bei vielen Daten, kann das schon einmal ziemlich lange dauern, darum hatte ich nach einer geordneten Ordnetstruktur gefragt.
    Nächstes Problem wäre dann das komprimieren, da läuft der CPU & der MEM voll, den Speicher wieder freigeben funkte auch nicht, und nach dem Komprimieren musste ich immer neustarten, oder 'ne Lahme "Kiste" in kauf nehmen. :( Das sind meine erfahrungen mit einem 109 gewesen, der ist von der CPU & RAM Baugleich.


    Ein FTP Shellscript mit Cron ist durchaus möglich, jedoch müssen wir da mal schauen, in wie fern eine Komprimierung möglich ist (das noch verschlüsselt).
    Darum wäre eine "geordnete" Ordnerstruktur ohne Komprimieren für's uppen "einfacher". ;)


    Kannst Du mal einen USB Stick an deinem Nas anschließen, und ein paar daten in das Qusb ziehen, mal auf die copy taste drücken, und sagen, wie lange so etwas dauern würde? Also für Deine DOC's PDF's? Das hatte ich beim 109 noch nie probiert. 8-)


    Ich denke nämlich, fast, das dies (USB Stick) oder unkromprimierter upload die fast einzigst saubere Lösung in Deinem Fall wäre. Bei dem das NAS vorallem auch noch stabil weiter läuft. :thumb:

    Dann mal eine andere Frage:
    Wenn ich die Backup-Taste so einstelle, dass ich auf Synchronisieren stelle, wie synchronisiert der dann? Beidseitig, oder in eine Richtung auf die USB-Platte? Letzteres wäre besser meiner Meinung nach!


    Werde wohl nur auf USB sichern und mal schauen, wie das Syncen funktioniert. Wenn das per Tastendruck schnell geht, dann ist das ja prima. Und wie sehe ich, wann der Backup-Vorgang abgeschlossen ist? Muss erst mal die QNAP voll räumen und meine Skripte alle fertig machen, ist ja doch einiges, was ich damit machen will. Ich missbrauche die schon...

    Wie gesagt, bei der USB-Copy Taste kann ich Dir nicht behilflich sein. (Nie genutzt, und aktuell habe ich ein komplett anderes Betriebssystem auf den 639 :D ) Probiere es erst mal aus, ob es überhaupt was taugt, dann weißt Du auch wie es sich verhält, wie lange es dauert.
    Ich würde einfach mal auf den LED vom Stick Schauen, Bzw. HDD LED bei dem NAS. Wenn er fertig ist, hört es auf zu Blinken.


    Write back, wie es funktioniert. ;)