zwei NAS übers Inet synchronisieren

  • Folgende Vorstellung:


    Ich besitze 2 NAS von QNAP, die räumlich hunderte Kilometer voneinander entfernt stehen.


    Es werden täglich auf jeden NAS Dateien verändert, hinzugefügt.


    Nun möchte ich, dass auf beiden NAS die Datenbestände konsistent sind (d.h. ändere ich Daten auf NAS (A) müssen die Daten auch auf NAS (B) kopiert werden, sowie wenn ich Daten auf NAS (B) ändere/hinzufüge müssen die Daten auch auf NAS (A) konsistent sein..


    Die Daten selbst sind nur simple Files, keine Datenbankdateien.
    Möchte halt nur dass ich auf beiden NAS´s die selben Daten habe (täglich?).


    Wie kann ich das mit Remotebackup bzw. Rsync am Besten erledigen?


    Achja, die Datenmenge die täglich geändert bzw. hinzugefügt wird ist kleiner/gleich 1GB, Internetspeed spielt keine Rolle!


    Kann mir jemand einen Tipp geben?



    btw. es kommt bald ein drittes NAS hinzu, das ebenfalls eine exakte Kopie der beiden ersten NAS (A + B) sein sollte,


    Lösungsvorschläge ??
    :idea:

  • Hallo mcric,


    am besten du gehst nach der Anleitung für die Fernreplikation auf der QNAP-Seite vor: http://www.qnap.com/de/pro_application.asp?ap_id=137

    Zitat

    Was ist Remote-Replikation?
    Remote-Replikation ist der Informationsaustausch über ein Netzwerk, um die Übereinstimmung zweier verschiedener Speicherstandorte, z.B. Speicherserver, sicherzustellen. In anderen Worten eine Art von Datenspiegelung über Distanz.


    Einer der wichtigsten Vorteile der Spiegelung ist es, dass bei Datenverlust am Primärstandort auf den Remote-Standort zugegriffen werden kann, der dann genauso weiterarbeitet, wie der Primärstandort vor dem Datenverlust. Das bedeutet nicht nur eine komplette Datensicherung, sondern auch, dass Ihr System kontinuierlich betriebsfähig ist und mit der geringsten Ausfallzeit arbeiten kann.


    Oder du liest es im Handbuch nach im Kapitel 3.6.3 Remote-Reproduktion nach.
    Die neueste Version 3.1.2 des Handbuchs findest du auch auf der QNAP-Seite:
    http://www.qnap.com/de/downloa…1&p_mn=108&ct_name=Manual


    Gruß Complicated

  • Hallöle,


    die genannten Optionen sind aber imho Einwegreplikationen!
    Das von Dir genannte Szenario ist da schon etwas anspruchsvoller, insbesondere wenn eine Dritte und ggf. weitere Stationen dazukommen.
    Da die Internetspeed gem. Deiner Aussage keine Rolle spielt, würde ich das Problem eher wie folgt versuchen zu lösen:


    Einen Standort als "Zentrale" definieren und dort per VPN direkt auf dem NAS arbeiten, Änderungen fallen somit nur auf einem NAS an.
    Nun kann außerhalb der Betriebszeiten die Replikation mit den externen Standorten durchgeführt werden, welche bei Ausfall der Verbindung die Arbeitsfähigkeit gewährleisten kann.


    Dies entspricht zwar nicht der von Dir preferierten Lösung, dürfte ihr jedoch am nächsten kommen!


    Grüße
    Jody

  • Zitat von "Complicated"

    Hallo mcric,


    am besten du gehst nach der Anleitung für die Fernreplikation auf der QNAP-Seite vor: http://www.qnap.com/de/pro_application.asp?ap_id=137


    Complicated
    Vielen Dank, das ist mir schon klar.
    So habe ich auch die 'Grundbetankung' des 2. NAS im lokalen Netz durchgeführt - bevor ich es an den anderen Standort brachte.
    Ist aber wie Jody schon beschrieben hat eine 'Einweglösung'


    EDIT:


    Zitat von "jody"

    Hallöle,
    die genannten Optionen sind aber imho Einwegreplikationen!


    Einen Standort als "Zentrale" definieren und dort per VPN direkt auf dem NAS arbeiten, Änderungen fallen somit nur auf einem NAS an.
    Nun kann außerhalb der Betriebszeiten die Replikation mit den externen Standorten durchgeführt werden, welche bei Ausfall der Verbindung die Arbeitsfähigkeit gewährleisten kann.


    Grüße
    Jody


    jody
    Vielen Dank.
    Dies habe ich auch schon überlegt, Problem dabei ist aber bei der VPN-Lösung die niedrige Übertragungsrate übers Inet (schon mal versucht ein DVD-Video übers Inet von einen entfernten Netzwerk ohne Aussetzer anzusehen?)

    Einmal editiert, zuletzt von christian () aus folgendem Grund: Doppelte Beiträge sind zu vermeiden, siehe Forenregeln!

  • Hi,


    das versteh ich nicht mehr: DVDs übers web sind keine kleinen Datenmengen, das dürften mehrere GB sein - kleiner Widerspruch zu der obigen Angabe 1 GB.


    Was ist das technische Problem, das du lösen möchtest? Geht es um das synchronisieren von Dateien, die insgesamt < 1 GB sind, und kommt es nicht auf die DSL-Leistung an, oder eben doch?


    Wenn du Dateien einfach synchronisieren möchtest, brauchst du eigentlich einen zentralen Server. Verbindungen könnte man via https laufen lassen, so dass das schnell genug wäre.


    Ich teste gerade mit Joomla auf meinen NAS, Ziel hierbei: Dateiverwaltung via Joomla, dabei möchte ich in Joomla verschiedene Ziel"server" (lokal, WebDAV, ...) mit Doorway-Sites einbinden. Vielleicht wäre das für dich auch eine Lösung? Ich habe zur Zeit nicht die rechte Zeit, das schnell zu testen, wenn ich fertig bin, melde ich mich damit.


    Ansonsten (nichts gegen die NASse) würde ich mal überlegen, ob du dir einen "echten" Webserver mit schneller Anbindung mietest - den könnten man dann auch via rsync mit den NASsen syncen.


    :shock: 700!

  • Zitat von "mcric"


    jody
    Vielen Dank
    ... Problem dabei ist aber bei der VPN-Lösung die niedrige Übertragungsrate übers Inet ...


    Hallöle,


    gern geschehen!
    Aber Deine Aussage widerspricht sich etwas mit der ersten Aussage, aber lassen wir das. ;)
    Eine VPN-Lösung muss nicht zwingend langsam sein! Die Frage ist vielmehr, welche Kosten könnten u.U. enstehen, wenn man es richtig macht?
    O.G. Ansatz zugrunde legend kämen vielleicht folgende "Leistungen" in Betracht:


    - SDSL-Anschlüsse an allen Standorten
    - VPN-Router an allen Standorten ggf entsprechende Lizenzen dazu.
    - DynDNS (ist für komerzielle Geschichten leider kostenpflichtig!)


    Nun brauchst Du noch jemanden der das "Gesamtnetz" einmal entwirft, die Tunnel konfiguriert und das entsprechende Routing auf die Maschinen bringt.


    Mir ist vollkommen klar, dass die dafür anfallenden Kosten nicht mal eben aus der Portokasse genommen werden können, sondern sich da schnell ein 5-stelliger Betrag ergibt, aber wenn Zuverlässigkeit und Sicherheit gefragt sind...


    Vielleicht könntest Du Dein Vorhaben mal dahingehend präzisieren, was Du genau vorhast, dann könnte man auch genauer Auskunft geben!


    Grüße
    Jody

  • Vermutlich unterschätz du den Aufwand.


    Wenn die Daten wirklich konsistent bleiben sollen, musst du eine Datei auf Nas1 sperren, sobald sie auf Nas2 bearbeitet wird und umgekehrt. Wenn die Bearbeitung beendet ist, muss erst synchronisiert werden, bevor die Datei wieder freigegeben wird.


    Ich denke, dass ein Nas da überfordert ist. Oder gibt es dafür geeignete Software?


    Afaik geht das mit Windows Server 2008 R2, das aber erst Anfang nächsten Jahres kommt.

  • Ja ich verstehe auch nicht ganz den Sinn einer beidseitigen Synchronisation oder sogar an 3 Stellen in alle Richtungen.


    Sinnvoll ist es eine zentrale Datenablage zu haben die das was dort von alle Aussenstellen eingeht zentral verwaltet und in regelmäßigen Abständen sichert durch eine Replikation. Wozu das in beide Richtungen gehen soll oder sogar an 3 Standorten stattfinden soll auf 3 verschiedenen NAS ist mir unklar. Warum muss an jedem Standort vor Ort eine Kopie aller Daten verfügbar sein?


    Kannst du etwas mehr zu dem Nutzungsszenario schreiben zum Verständnis und warum du diese Lösung bevorzugst?

  • Zitat von "Complicated"

    Ja ich verstehe auch nicht ganz den Sinn einer beidseitigen Synchronisation oder sogar an 3 Stellen in alle Richtungen.


    Sinnvoll ist es eine zentrale Datenablage zu haben die das was dort von alle Aussenstellen eingeht zentral verwaltet und in regelmäßigen Abständen sichert durch eine Replikation. Wozu das in beide Richtungen gehen soll oder sogar an 3 Standorten stattfinden soll auf 3 verschiedenen NAS ist mir unklar. Warum muss an jedem Standort vor Ort eine Kopie aller Daten verfügbar sein?


    Kannst du etwas mehr zu dem Nutzungsszenario schreiben zum Verständnis und warum du diese Lösung bevorzugst?


    Ja, sorry, habe mich vielleicht unklar ausgedrückt.
    Ich habe zwei Wohnsitze, meine DVD- u. CD-Sammlung habe ich auf beiden Standorten auf Platte gerippt und streame sie lokal via PS3 oder AppleTV auf Plasma bzw. HiFi-Anlage.
    Kaufe ich mir eine neue DVD(oder BluRay) oder CD an Standort A und rippe sie dort aufs NAS möchte ich vollautomatisch eine Kopie auf Standort B auch haben und vice versa.....
    Da ich nicht jeden Tag eine neue CD/DVD rippe muss ich hier auch nicht täglich synchronisiseren.


    Änders verhält es sich mit Dokumenten (eingescannt) oder Bildern von einer DigiCam. Hier könnte schon ein täglicher Zuwachs anfallen.


    Als drittes Szenario habe ich auf beiden Standorten jeweils die Downloadstation bzw. den Esel am laufen. Ich denke hier wird die Sache schon komplizierter um zu synchronisieren?


    Achja, VPN-Router habe ich, und Windows kommt mir nicht ins Haus :)

  • Hmm also wenn ich mir dein Szenario anschaue, dann reicht dir eigentlich wenn du deine Daten per Webfile-Server verfügbar machst und nicht immer komplett kopierst. Das kostet dich ja zudem doppelten Speicherplatz.


    Vielleicht solltest du über einen Onlinespeicher nachdenken, wo dann deine Daten zentral verfügbar sind an allen Standorten. Auf welche Weise man das dann streamen kann und mit einem Upload-Cache für grosse Dateien versehen kann habe ich hier beschrieben: http://forum.qnapclub.de/viewtopic.php?f=80&t=6025
    Vielleicht wäre das ja eine Alternative zu deinem Ansatz die Daten immer wieder komplett zu kopieren. ;)


    Gruß Complicated


  • Das fällt flach, der Aufwand ist selbst für einen Windows-Liebhaber gross, kommt also für mcric schon 2mal nicht in Frage. ;)
    Ich hab momentan keine Infos parat, wie das in 2k8 R2 geplant ist, aber grundsätzlich würde ein solches Szenario schon in 2k3 R2 gehen.
    Allerdings muss jeder Replicationmember den DFS-Replication-Service am Start haben, du bräuchtest also an jedem Standort einen entsprechenden Server.


    Die Replication lässt sich full-mesh einrichten, so dass jeder member auf jeden member synced. Bei der einrichtung wird ein Server als pimär gesetzt, dessen Daten beim Init-sync auf die anderen member synchronisiert wird. Vorhandene Daten auf den anderen member werden dabei gelöscht. Man müsste also den gesamten Content erst mal übers netz schieben.
    Man kann eine Bandbreitenbeschränkung setzen und nach dem init-sync werden nur noch die datei-deltas komprimiert übertragen.
    Die Dateien werden dabei nicht gesperrt. Solange angeschlossene User nur read-only zugreifen und einer alleine in das rep-share schreibt, ist das kein problem.
    Wenn mehrere schreiben geht das nur ohne datenmüll, wenn man den sharepoint-service einbindet.
    Und wie gesagt, die Dienste müssten auf allen hosts verfügbar sein, die auch die in die replic eingebundenen shares beherbergen (also an jedem Standort ein winhost^^).


    Egal auf welchem Weg das gelöst werden soll, das mag mit mp3's und kleineren Dateien noch halbwegs sinnvoll sein. Wenn aber DVD's und BD's ins Spiel kommen sind die Datenmengen nicht mehr handlebar.
    Die Synchronisierung dauert dabei Tage je nach Upload-Rate des Anschlusses, und die Bandbreite für den Sync sollte man obendrein nochmals begrenzen, wenn man sich die Inetverbindung nicht selbst dicht machen möchte.


    Gruss Micha

  • Hat er doch um 7:48 heute Morgen - hast es überlesen? :mrgreen:

  • Hi,


    kann man die NASse so einstellen, dass sie ohne Raid laufen, und dann den Inhalt von Platte A des Rechners 1 auf Platte B des Rechners 2 sichern und umgekehrt?


    Also:


    Rechner A Platte 1 > Rechner B Platte 2
    Rechner B Platte 1 > Rechner A Platte 2


    ???

  • Zitat von "Complicated"

    Hmm also wenn ich mir dein Szenario anschaue, dann reicht dir eigentlich wenn du deine Daten per Webfile-Server verfügbar machst und nicht immer komplett kopierst. Das kostet dich ja zudem doppelten Speicherplatz.


    Vielleicht solltest du über einen Onlinespeicher nachdenken, wo dann deine Daten zentral verfügbar sind an allen Standorten. Auf welche Weise man das dann streamen kann und mit einem Upload-Cache für grosse Dateien versehen kann habe ich hier beschrieben: http://forum.qnapclub.de/viewtopic.php?f=80&t=6025
    Vielleicht wäre das ja eine Alternative zu deinem Ansatz die Daten immer wieder komplett zu kopieren. ;)


    Gruß Complicated


    @ Complicated
    Doppelter Speicherplatz ist kein Problem - kost ja fast nix - und habe dazu noch Redundanz...


    Onlinespeicher ?????
    Ca. 4 TB , Tendenz steigend?
    Nee danke, ich möchte meine Daten zu Hause haben.
    Was mach ich wenn gerade der ISP ein Problem hat und ich will mir eine DVD anschauen - dann guck ich durch die Röhre :)
    Aber danke für Deinen Tipp mit dem Upload-Cache......Wie komme ich zu den 1&1 Onlinespeicher 1TB kostenlos? Muss ich bei denen einen Internetanschluss haben *** grins ***
    Habe hier in Wien UPC-Chello :)


    EDIT:


    Zitat von "TrueFazer"


    Das fällt flach, der Aufwand ist selbst für einen Windows-Liebhaber gross, kommt also für mcric schon 2mal nicht in Frage. ;)
    Egal auf welchem Weg das gelöst werden soll, das mag mit mp3's und kleineren Dateien noch halbwegs sinnvoll sein. Wenn aber DVD's und BD's ins Spiel kommen sind die Datenmengen nicht mehr handlebar.
    Die Synchronisierung dauert dabei Tage je nach Upload-Rate des Anschlusses, und die Bandbreite für den Sync sollte man obendrein nochmals begrenzen, wenn man sich die Inetverbindung nicht selbst dicht machen möchte.
    Gruss Micha


    @ Micha
    Tja, ich möchte mir halt keine Windoof-Kiste hinstellen, die ordentlich Strom verbrät und wo ich vielleicht auch noch Ohrenschützer brauche.
    Deshalb habe ich mir ja 2 NAS zugelegt, die nicht soviel Strom fressen und kaum hörbar sind - somit 24/7 laufen können :)


    Bezüglich Synchronisation:
    Da ich sowieso nur an einen Punkt zur selben Zeit sein kann, werden ja nicht beide NAS zur selben Zeit von mir gefüttert ( ausser von den IP-Cams, das kann man aber vernachlässigen)
    Bandbreite:
    wenn der Sync für die DVD´s wöchentlich läuft kann man das ja drosseln, das müsste reichen

    Einmal editiert, zuletzt von christian () aus folgendem Grund: Doppelte Beiträge vermeiden, siehe Forenregeln!

  • Hi,


    ich schreib's noch mal: ein ordentlicher dedizierter Webserver leistet das wahrscheinlich einfacher!


    Wenn man's dann bequem haben will, lässt man von dem die NASse syncen, und schaut die Videos lokal mit den QNAPs. Und wenn man den Webserver so einrichtet, dass er die DVDs nach dem syncen löscht, muss der Sever auch nicht groß und teuer sein - ev. reicht ein Virtual-Server für ein paar Euro aus!!!


  • eol1
    Klingt zwar easy und einfach, aber das will ich nicht so!
    Dann habe ich ja wieder ein Durcheinander! :)


    Also die Daten sollen - egal in welchen Lokalnetz ich bin - immer im selben Verzeichnis vorzufinden sein (zB. /QMultimedia/DVD -->> hier und nur hier habe/will ich meine DVD´s)



    EDIT:


    Zitat von "Doc HT"

    Hi,


    ich schreib's noch mal: ein ordentlicher dedizierter Webserver leistet das wahrscheinlich einfacher!


    Wenn man's dann bequem haben will, lässt man von dem die NASse syncen, und schaut die Videos lokal mit den QNAPs. Und wenn man den Webserver so einrichtet, dass er die DVDs nach dem syncen löscht, muss der Sever auch nicht groß und teuer sein - ev. reicht ein Virtual-Server für ein paar Euro aus!!!


    eol1
    Dieser Idee muss ich mal nachgehen.
    Einen virtuellen Server habe ich ja auch noch ..
    Moment ich schau mal was ich da noch freien Platz habe..
    Oh, nur mehr 5,9 GB frei...
    Ich glaub das lass ich sein, oder upgrade auf mehr Plattenplatz, oder auf einen dezidierten Server :)
    Aber trotzdem Danke, die Idee ist nicht schlecht, vielleicht kann ich da mit Scripten auf dem Server was stricken.....


    EDIT:


    Hallo Jungs,
    oje, da habe ich ja eine Lawine losgetreten.
    So viele Vorschläge, aber nicht wirklich eine befriedigende Antwort.


    Ich dachte mir zuerst, da wird irgendwo ein Hakerl im Webfrontend zu setzen sein, und das wars :)


    Irgendwie drei Cronjobs (Grosse Dateien->/Qmultimedia/DVD-Ordner, Kleine Dateien->/Qmultimedia/Fotos+MP3,torrent+esel-Dateien->/QDownload) basteln und an verschiedenen Zeiten und Intervallen losschicken, und das wars im Prinzip?!?!

    2 Mal editiert, zuletzt von christian () aus folgendem Grund: Doppelte Beiträge vermeiden, siehe Forenregeln!

  • Hi,


    mal ein Lösungsansatz:
    Ein script, dass vom SERVER_A/VERZEICHNIS_A --> SERVER_B/VERZEICHNIS_A sychronisiert mit rsync ohne --delete und mit --update.
    Anschließend (im selben script) SERVER_B/VERZEICHNIS_A --> SERVER_A/VERZEICHNIS_A ebenfalls mit rsync ohne --delete und mit --update.
    Das script nur auf einem der beiden NAS regelmäßig laufen lassen.
    Den Nachteil, den ich sehe ist, dass gelöschte Dateien im VERZEICHNIS_A irgendwann wieder auftauchen.

  • frosch2
    aha, ich denke, ich werde mir mal ein verzeichnis zum testen anlegen und ein paar testdateien (datei1, datei2, datei3,....) da reinpacken und mit dem backup/replikationsscripten ein wenig herumexperimentieren....


    Ich danke Euch allen vorerst für die überaus zahlreichen Vorschläge :--)

    Einmal editiert, zuletzt von christian () aus folgendem Grund: Zitate bitte kurz halten!