Probleme bei Backup auf externe USB Platte

    Hallo zusammen,


    Ich habe ein QNAP 219 Turbo Nas, bestückt mit 2x1TB Festplatten. Auf dem NAS sind ca. 600-700 GB Daten. Um die Daten nochmal zu sichern habe ich mir eine weitere externe 1TB USB Platte zugelegt. Die Platte habe ich auch über das NAS formatiert.


    Ich will jetzt über das Web-Interface des QNAP ein Backup der Daten anfertigen. Dieses brach aber zunächst bei immer der identischen Prozentzahl unter "current status" des Web-Interfaces mit der Meldung "Backup failed" ab. Die Logs sind ja sehr dürftig. Da steht keinerlei Grund, warum das Backup abgebrochen wurde! Also bin ich mal hergegangen und habe per SSH und scp die Daten auf die Platte kopiert (was wirklich EWIG dauert). Und siehe da, immer die gleichen Dateien konnten nicht kopiert werden! Bei genauerem Betrachten der Dateien viel mir auf, dass die Dateinamen Sonderzeichen oder Umlaute enthielt! Nach Änderung aller Dateiennamen auf Namen ohne Sonderzeichen und Umlaute funktionierte zunächst alles.


    Jetzt habe ich mir die neuste Firmware auf das NAS gespielt und ich bekomme bei Backups auf einmal wieder das alte "Backup Failed"! Leider fehlt mir jetzt die Idee was ich noch machen kann. Ein Kopiervorgang mir scp habe ich wieder angeworfen aber noch nichts beobachten können. Hat jemand eine Idee was noch die Ursache sein könnte?


    Grüße
    KaSchmi

    Spitze, das hat schonmal in sofern weitergeholfen weil ich tatsächlich auf einmal mehrere versteckte Verzeichnisse mit vorgestelltem "." habe. Keine Ahnung wo die herkommen! Die heißen aber irgendwas "._@_thumbnail" oder so. Komisch! Irgendwie muss ich die mal löschen und schauen was dann passiert. Oder kann ich den cp Befehl auch dazu überreden die Dateien zu kopieren? Wenn das geht mache ich das Backup von mir aus auch immer per Hand. Da habe ich kein Problem mit.


    *EDIT*
    Die Dateien sehe ich übrigens nur per "ls -al" direkt auf der NAS. Von Windows aus sehe ich die nicht. Wie kann ich die alle möglichst einfach löschen?

    2 Mal editiert, zuletzt von frosch2 () aus folgendem Grund: Volltextzitat entfernt

    Du könntest statt dem "cp" auch den "rsync" Befehl verwenden, der hat mit diesen Dateien keine Probleme und selbst wenn kann man eine ignore list definieren. Nachteil, statt 10-12 MByte/Sekunde beim "cp" schafft der "rsync" nur 4-6 Mbyte/Sekunde auf externe NTFS Medien. Dafür synct er und kopiert gleiche Dateien/Verzeichnisse mit gleichem Datum nicht erneut.


    Ich habe so die Backups immer von der Kommandozeile aus gemacht und in den Hintergund geschickt... da gibts in der aktuellen Firmware aber leider dieses Problem:
    http://forum.qnapclub.de/viewtopic.php?f=342&t=15994


    Am besten schreib mal an Qnap, das einzelne Dateien auf dem Qnap ein externes Backup ohne schlüssige Fehlermeldung verhindern können ist eigentlich schon ein Armutszeugnis für einen "Storage Spezialisten" wie sich Qnap selbst gerne nennt.

    Zitat von "Thesta"

    Du könntest statt dem "cp" auch den "rsync" Befehl verwenden, der hat mit diesen Dateien keine Probleme und selbst wenn kann man eine ignore list definieren. Nachteil, statt 10-12 MByte/Sekunde beim "cp" schafft der "rsync" nur 4-6 Mbyte/Sekunde auf externe NTFS Medien. Dafür synct er und kopiert gleiche Dateien/Verzeichnisse mit gleichem Datum nicht erneut.


    Das rsync das kann wusste ich garnicht. cp kannte ich eben schon. Synchronisiert der dann auch? Das suggeriert mir der Name irgendwie. Das würde ja bedeuten dass nur das erste Backup ewig braucht. Ich mache mich mal über rsync schlau...


    Zitat von "Thesta"

    Am besten schreib mal an Qnap, das einzelne Dateien auf dem Qnap ein externes Backup ohne schlüssige Fehlermeldung verhindern können ist eigentlich schon ein Armutszeugnis für einen "Storage Spezialisten" wie sich Qnap selbst gerne nennt.


    Werd ich machen. Ist schon echt arm!

    Zitat von "KaSchmi"


    Das rsync das kann wusste ich garnicht. cp kannte ich eben schon. Synchronisiert der dann auch? Das suggeriert mir der Name irgendwie. Das würde ja bedeuten dass nur das erste Backup ewig braucht. Ich mache mich mal über rsync schlau...


    Normalerweise macht rsync nen Hash der Datei und überträgt wirklich nur die Änderungen... haben sich an 10 Gb nur 2 Bytes geändert überträgt rsync auch nur diese 2 bytes beim Backup.


    Auf dem Qnap schaut rsync nur ob das Datum von Quelle und Ziel anders ist und übeträgt, falls dem so ist, IMMER die komplette Datei neu. Zwar noch ausbaufähig aber es spart nach einem initialen Backup schon sehr viel Zeit. Blöd ist eben nur wenn Programme wie Word etc. das Datum einer Datei ändern obwohl nichts geändert wurde, diese wird dann immer wieder neu kopiert.

    Zitat von "Thesta"

    Normalerweise macht rsync nen Hash der Datei und überträgt wirklich nur die Änderungen... haben sich an 10 Gb nur 2 Bytes geändert überträgt rsync auch nur diese 2 bytes beim Backup.


    Auf dem Qnap schaut rsync nur ob das Datum von Quelle und Ziel anders ist und übeträgt, falls dem so ist, IMMER die komplette Datei neu. Zwar noch ausbaufähig aber es spart nach einem initialen Backup schon sehr viel Zeit. Blöd ist eben nur wenn Programme wie Word etc. das Datum einer Datei ändern obwohl nichts geändert wurde, diese wird dann immer wieder neu kopiert.


    Ah ok, das probiere ich gleich mal. Zum Glück habe ich keinerlei Word Files, nur Musik, Bilder und Filme. Ich schneide sehr viele Filme. Die Musik und Bilder usw. liegen alle auf dem QNAP. Ist quasi mein Datenspeicher für die Schnipslerei meiner Videoaufnahmen.


    *EDIT*
    Achso, Mail an QNAP ist schon raus!

    Dann solltest Du das hier beachten:


    "Vorhandene Dateien erkennt er nur am gleichen Datum... hat aber z.b. ein Verzeichnis1 ein neueres Datum weil darin ein kleineres File geändert wurde, werden auch alle anderen (großen) Dateien innerhalb von Verzeichnis1 neu übertragen obwohl sich dort nichts geändert hat."


    //EDIT
    Das war aber nur zum Verständnis, rsync hilft schon sehr viel bei häufigreren Backups bzw. Syncs.

    Danke :)


    Ich habe jetzt nochmal meine Platte leer geräumt und wollte alles mal mit rsync anschmeißen. Ich habe jetzt aber ein Verzeichnis dass ich auch mit rm -rf nicht löschen lässt! Hat jemand eine Idee was ich da machen kann?

    Die Antwort von QNAP ist heute schon in meiner Mailbox. Allerdings ist sie etwas erbärmlich. Sie wollen von mir die genaue Festplattenbezeichnung meiner Platten. Als ob das was damit zu tun hat das QNAP es nicht auf die Reihe bekommt ein Backup-System auf das Web-Interface zu klatschen dass mit Sonderzeichen im Dateinamen umgehen kann!

    Zitat von "Thesta"

    "Vorhandene Dateien erkennt er nur am gleichen Datum... hat aber z.b. ein Verzeichnis1 ein neueres Datum weil darin ein kleineres File geändert wurde, werden auch alle anderen (großen) Dateien innerhalb von Verzeichnis1 neu übertragen obwohl sich dort nichts geändert hat."


    Das stimmt nicht.
    Die Verfahrensweise von rsync kannst du hier nachlesen: http://de.wikipedia.org/wiki/Rsync
    http://rsync.samba.org/ftp/rsync/rsync.html
    Genauer wird es hier beschrieben: http://rsync.samba.org/tech_report/node2.html


    Rsync vergleicht per default Datum und Größe jeder Datei. Erst wenn hier ein Unterschied gefunden wird, greift der rsync-logarithmus und es werden nur die Änderungen synchronisiert.
    Es findet kein bit zu bit Vergleich statt, sondern die Datei wird in Blöcke aufgeteilt. Diese werden dann verglichen und ggf. zum Ziel kopiert.
    Diese Funktionsweise hat nichts mit Versionen von rsync zu tun, sondern ist von Beginn an, Sinn und Zweck des Ganzen.

    Was Du beschreibst ist der "echte" rsync, auf dem qnap läuft davon jedoch nur eine "abgespeckte" Version. Einfach selbst ausprobieren, nimm eine beliebige größere Datei welche in einmal in Verzeichnis1 und einmal in Verzeichnis2 liegt. Ändere jetzt via HEX Editor oder mit einem Unix Befehl (z.B. "echo test >>Verzeichnis1/datei") die Datei aus Verzeichnis1 und mache den rsync auf Verzeichnis2 erneut. Es wird die komplette Datei erneut übertragen und nicht nur die Änderung.

    Einmal editiert, zuletzt von christian () aus folgendem Grund: Volltextzitat entfernt!

    Zitat von "Thesta"

    Es wird die komplette Datei erneut übertragen und nicht nur die Änderung.


    Wie stellst du das fest?

    Wie gesagt, Datei um ein paar Bytes verändert und anschliessend erneut rsync mit verbose Option gestartet... In den Ausgaben sieht man, dass komplett neu übertragen wird.

    Einmal editiert, zuletzt von frosch2 () aus folgendem Grund: Volltextzitat entfernt!