Srategie für die erste Synchronisation bei großen Datenmengen

    Hallo zusammen, :)


    bin hier neu (im Forum) und stehe vor dem Problem der ersten Synchronisation (QSync oder FreeFileSync, das entscheidet sich gerade) von ca. 1,3TB Daten (alles Bilder, meistens RAW, ich fotografiere nebenberuflich)

    TLDR

    Will den ersten Sync machen, kann den PC aber nicht lange laufen lassen. Bin unsicher, ob ich unterbrechen darf. Überlege: soll ich erst alles kopieren und danach Sync konfigurieren oder gleich syncen?

    Trivia:

    Ich "lebe" seit rund 30 Jahren in der Softwareentwicklung, 20 Jahre beruflich, dennoch war mein privates IT-Leben bisher erstaunlich einfach: Der Haupt-Datenpool nur auf einem PC, automatische Backups aufs QNAP (Duplicati) und gelegentlich auf eine externe HDD (früher rsync, jetzt Duplicati). Nun arbeite ich seit einger Zeit zusammen mit meiner Frau und wir brauchen langsam aber sicher den Datenpool gemeinsam => Datenpool muss aufs NAS. Mit Sync-Tools im fortgeschrittenen Sinne hatte ich bisher nicht zu tun (außer eben mit Duplicati und rsync, aber es waren alles One-Way-Jobs und damit banal).

    Problem:

    Ich muss die 1,3TB aufs NAS schieben und erwarte, dass es trotz GBit-Netzwerk dauern wird. Es kann auch nicht auf einen Rutsch passieren, da ich den PC nicht mehrere Tage am Stück laufen lassen kann.

    Fragen an Euch:

    1. Kann ich mit QSync bzw. FFS den initialen Sync-Job zwischen durch anhalten und ohne Angst am nächsten Tag fortsetzen?
      (Ich habe in der IT schon Pferde kotzen sehen, daher bin ich ein wenig paranoid ;) )
    2. Würdet Ihr mir empfehlen gleich den Sync-Job zu starten oder die Daten erst Stückweise über Filestation, Robocopy, what ever, auf das assoziierte Netzwerklaufwerk zu kopieren und danach die Ordner paaren?
    3. Kann ich bei 2. davon ausgehen, dass Qusync/FFS die Daten in den anschließend gepaarten Ordnern als identisch behandelt oder kann es Ärger wegen Last Change etc. geben?
      Kann ich letzteres eventuell erzwingen (im Sinne von: Hash sticht Datum)?

    Wie gesagt, ich bin kein Laie, aber in dem speziellen Thema fehlt mir einfach die praktische Erfahrung.


    Beste Grüße und Danke im Voraus! :)

    Chris

    Zu 1:

    Das geht mit beiden, kein Problem.


    Zu 2:

    Direkt mit dem Sync starten.


    Zu 3:

    Geänderte Daten (meist anhand Größe und Änderungsdatum) werden neu übertragen, bei QSYNC hast du nicht viele Möglichkeiten, bei free file sync ne ganze Menge. Was genau da möglich ist müsstest du mal schauen.

    Würder erst 1 Weg Sync. PC -> NAS machen, wenn der durch ist kannst du auf beiden PCs mit dem 2 Wege Sync. anfangen.


    Kannst auch unterbrechen, wenn der PC nicht durch laufen kann.


    Kannst aber auch laufen lasse, monitor aus, sperren und runterfahren wenn fertig aktivieren.

    2-way habe ich jetzt gar nicht rausgelesen... dachte es soll nur von (2x) PC aufs NAS.

    Bei einem 2-way würde ich auch erst einen one-way aufs NAS machen, grundsätzlich würde ich von 2-way aber auch absehen, sofern möglich.

    Mit FFS ist 2 Way ganz easy möglich.

    Weil es ja einen Abgleich macht und dann zeigt was geändert wird.

    Hat man da ein Auge drauf geht nie was schief.


    Gleiche PC und Laptop so ab.

    Dropbox und iTunes sind da schon mal dabei wo man aufpassen muss. Ansonsten seit läuft das Problemlos seit das NAS da ist.

    Klar gibt es Möglichkeiten einen 2-way zu realisieren, oft ist halt frglich ob es überhaupt sein muss.

    Wie oft hatten wir hier Fälle wo jemand mit dem 2-way nicht zurechtkam und sich dann herausstellte, dass das gar nicht sein muss und stattdessen einfach direkt auf dem NAS gearbeitet werden kann, was die betroffenen Personen bis dahin gar nicht in Erwägung gezogen haben.

    2-way wäre dann eher was für Fälle, wo das Arbeiten aus der Ferne erforderlich ist, es aber nicht über VPN geht, weil nicht möglich oder Bandbreiten zu gering, etc.

    Ich gleiche so meinen User ab, sowie wichtige Software und die NAS und Firewall Backups und Firmware, inkl. Restore für den Notfall.

    Das habe ich auf beiden Kisten, auf dem NAS und im Backup, Offsite und zudem da noch mal Offline.

    Wenn schon paranoid dann auch richtig :D


    Das würde ich aber auch mit nichts anderes machen wollen als mit FFS!

    Hallo zusammen,


    vieeeelen Dank für die schnellen und hilfreichen Antworten. :)


    Zur Frage der 2-Way-Synchronisierung:

    Es geht nicht nur um ein simples Backup von zwei Systemen aufs NAS,

    Die Idee ist, an bestimmten Daten gemeinsam zu arbeiten (natürlich nicht gleichzeitig, aber doch in relativ kurzen Abständen) und da so ein Fotoshooting gerne bis zwei GB groß sein kann, wird es v. a. dann "witzig", wenn Batch-Methoden (z. B. Belichtungseinstellungen) an gleich 200 Files durchgeführt werden sollen. Die Datenhaltung ausschließlich auf dem QNAP (+ Backups im Hintergrund) wäre allein deshalb nicht wirklich empfehlenswert.

    Zitat von chrisatqnapclub

    Die Datenhaltung ausschließlich auf dem QNAP (+ Backups im Hintergrund) wäre allein deshalb nicht wirklich empfehlenswert.

    Kann man aber machen... Sicherlich kann man sich dann ein dateibasiertes, versioniertes Backup schenken (zumindest würden sehr viele Versionen deutlich auf die Kapa gehen) und sicherlich muss dann auch immer etwas im Backup rödeln, aber zwei GB sind nun echt nicht viel...

    Backups brauchst Du sowieso, denn wenn PCs und NAS syncen, dann werden auch kaputte Daten gesynct bzw. wenn was schief geht, dann gibt es die Daten plötzlich nirgendwo mehr.

    Ein Hinweis, falls MacOS File Tags ("Etiketten") verwendet werden, so werden diese Metadaten nur dann kopiert, wenn der Sync vom einem Mac ausgeführt wird. Einzige Ausnahme ist meines Wissens HBS, aber nur wenn die Option zum Kopieren von Extended Attributes aktiviert wurde.

    Zitat von tiermutter

    ...Backups brauchst Du sowieso,..


    Yup, Backup ist ein unabhängiges Problem. Das macht im Moment Duplicati (kann ich echt nur empfehlen) auf das gleiche NAS (aber logischerweise woanders) und eine externe HD. Wenn die Daten dann komplett auf dem NAS gelandet sind, werde ich eine der externen "fest" dran hängen und einen HBS3-Job über die Nacht oder jede zwei Tage aufsetzten. (Ransomware ist bei mir zwar sehr unwahrscheinlich, aber sicher ist sicher, da sollte man 1-2 Tage Puffer haben ;) ). Mit zwei anderen Externen einmal die Woche und einmal im Monat sollte es dann gut sein :-).

    Zitat von Variag

    ... falls MacOS File Tags ("Etiketten") verwendet werden...

    Danke für den Tipp. Ich habe schon vorgestern den Thread über die Nutzung von QSync auf hybriden Systemen (Mac + Win) gelesen, daher werde ich mich hierfür richtig ans Reißbrett setzten, gründlich recherchieren und v. a. testen. :)

    Einmal editiert, zuletzt von chrisatqnapclub () aus folgendem Grund: Ein Beitrag von chrisatqnapclub mit diesem Beitrag zusammengefügt.

    Zitat von chrisatqnapclub

    werde ich eine der externen "fest" dran hängen

    Das ist aber nicht nur bei Ransomware gefährlich, sondern auch bei Überspannung oder sonstigen Defekten am NAS... da kann so eine Disk schnell mal mit draufgehen. Ich würde sie nur manuell anstecken und anschließend trennen.

    Mit dem Realtime Sync von FFS habe ich noch nix gemacht aber ich glaube ich muss dem am Desktop mal testen.


    Beim arbeiten von 2 Personen an dem gleichen Projekt würde ich das aber rein auf dem NAS machen, da gibt es dann nur einen File ist der geöffnet kommt der andere nicht dran, dank oplocks.


    So gibts keine verfummelten Datensalat.

    Zitat von chrisatqnapclub

    und da so ein Fotoshooting gerne bis zwei GB groß sein kann, wird es v. a. dann "witzig", wenn Batch-Methoden (z. B. Belichtungseinstellungen) an gleich 200 Files durchgeführt werden sollen. Die Datenhaltung ausschließlich auf dem QNAP (+ Backups im Hintergrund) wäre allein deshalb nicht wirklich empfehlenswert.

    In dem Szenario - d. h. bei der Dateigröße - kann der Wechsel auf 10GbE lohnend sein. Dann spricht mMn. nichts dagegen, die Dateien auf dem NAS direkt zu bearbeiten.


    Zu bedenken ist hier aber, dass der Katalog einiger Programme wie Lightroom nicht auf dem NAS gespeichert werden kann und auch nicht von zwei Leuten gleichzeitig genutzt werden kann.


    Zitat von Crazyhorse

    Beim arbeiten von 2 Personen an dem gleichen Projekt würde ich das aber rein auf dem NAS machen, da gibt es dann nur einen File ist der geöffnet kommt der andere nicht dran, dank oplocks.

    Im Prinzip ist das korrekt, aber ob im gewünschten Programm der Effekt auch sichtbar ist, ist eine andere Frage. Wenn ein Programm zwischen Einlesen und Speichern die Datei nicht offen hält, gibt es auch keinen Lock.


    Was für die Speicherung direkt auf dem NAS spricht, ist, dass dort Änderungen sofort sichtbar sind, während dies bei einer Synchronisation durchaus einige Minuten dauern kann.