HBS 3: Datei(en) werden immer und immer wieder nicht zu Ende geschrieben

Hallo zusammen,

ich sichere ein Verzeichnis auf einem via Gigabit-Lan angeschlossenen WebDAV-Server (openmediavault 6). Der Auftrag wird nie fertig, da eine bestimmte Datei immer neu angefangen wird zu sichern. Sie ist 41GB groß und erscheint nicht bei übersprungene Dateien.

Ich habe schon auf "nur eine Datei gleichzeitig sichern" gestellt. Zuvor waren es standardmäßig 5. Dann finden sich 5 große Dateien die nie fertig kopiert werden und immer wieder von vorne anfangen.

Im log des Zielrechners finden sich dazu viele Fehlermeldungen wie:

apache-dav  | [Tue Aug 29 09:04:59.952589 2023] [dav:error] [pid 27:tid 139951375120064] (-102)Unknown error -102: [client 192.168.178.48:49970] An error occurred while reading the request body (URI: /pfad/zum/vereichnis/video.mkv)  [-102, #0]
apache-dav  | [Tue Aug 29 09:05:40.204638 2023] [dav:error] [pid 27:tid 139951366727360] (-102)Unknown error -102: [client 192.168.178.48:50024] An error occurred while reading the request body (URI: /pfad/zum/vereichnis/video.mkv)  [-102, #0]
apache-dav  | [Tue Aug 29 09:06:20.462293 2023] [dav:error] [pid 26:tid 139950494312128] (-102)Unknown error -102: [client 192.168.178.48:50072] An error occurred while reading the request body (URI: /pfad/zum/vereichnis/video.mkv)  [-102, #0]
apache-dav  | [Tue Aug 29 09:07:00.717420 2023] [dav:error] [pid 26:tid 139951811311296] (-102)Unknown error -102: [client 192.168.178.48:50124] An error occurred while reading the request body (URI: /pfad/zum/vereichnis/video.mkv)  [-102, #0]
apache-dav  | [Tue Aug 29 09:07:40.975366 2023] [dav:error] [pid 26:tid 139951702271680] (-102)Unknown error -102: [client 192.168.178.48:50178] An error occurred while reading the request body (URI: /pfad/zum/vereichnis/video.mkv)  [-102, #0]

Was ist da los und wie komme ich dem Fehler auf die Schliche?

Vielen Dank im Voraus,

Christian...

Mod: Unnötiges Volltext-/Direktzitat entfernt! Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

Nein, das ist ein Video. Das wird nicht verändert.

Zitat von tiermutter

Warum eigentlich WebDav?

---

Weil ich es dann in HBS3 einbinden kann. NFS wäre mir lieber.

Zitat von tiermutter

Achja... außerdem hat HBS ja auch ein Log... was sagt das denn?

Nichts, da ich es immer abbreche.
Die von HBS bisher abgebrochenen waren ungültige Dateinamen (DS_Store z.B.) die der WebDAV-Server abgelehnt hat. Das hat die Konfiguration am Server und auch die Löschung der Quelldateien gelöst.

Ich habe gerade besagte 41GB Datei mit dem Notebook erfolgreich kopiert. Hat 45 Minuten über WLAN gedauert. Vom NAS via cifs geholt (das ist genau besagte Datei) und via WebDAV auf den neuen Server.

Hat funktioniert. Das schließt Fehler im Netzwerk auch aus, wo ich schon Bedenken hatte, dass da was faul ist.

Zitat von tiermutter

Warum nicht rsync? Oder SMB? Kann OMV doch alles...

Ja, OVM kann das. Habe ich bei HBS aber nicht gefunden.

Zitat von tiermutter

Das richtige HBS Log auch berachtet?

Interessant. Jetzt finde ich Dinge wie:

ucc.exception.NetworkError: ('Connection aborted.', BrokenPipeError(32, 'Broken pipe'))
BakWorker][I][ReplicationBackupWorker][worker.py:_handle_error:259] : Backup task re-submitted: UploadTask({'save_md5': True, 'object_lock_retention_until': None, 'path':.....
None,5cfb1466-36f7-11ee-a7c1-0ea2c23139c7,warn,2023-08-10T14:51:15.582992+02:00,"[Hybrid Backup Sync] Backup job "Backup 1": Failed to upload file/folder from "/Multimedia/Video/Alte Videos/vdr/Archiv/Music/Fertig/Söhne_Mannheims_vs._Xavier_Naidoo - MTV_U/2009-12-31.16.55.22-0.rec/00002.ts". Target path does not exist. Check if folders were deleted while job was in progress."

Wie kann der Zielpfad nicht existieren, wenn er doch durch das Backup angelegt werden soll? Ich meine mich zu erinnern, dass ich "vs." im Pfad repariert hatte bei vorigen Fehlern. Aber das soll so ja auch nicht sein, das muss so kopiert werden können.

[2023-08-29 22:24:12,162][Dummy-1476][E][qnap.cloudconnector3.rest.app][app.py:handle_unauthorized_error:224] : Traceback (most recent call last):
File "/share/CACHEDEV1_DATA/.qpkg/HybridBackup/CloudConnector3/python/lib/python3.11/site-packages/flask/app.py", line 1811, in full_dispatch_request
rv = self.preprocess_request()
^^^^^^^^^^^^^^^^^^^^^^^^^
File "/share/CACHEDEV1_DATA/.qpkg/HybridBackup/CloudConnector3/python/lib/python3.11/site-packages/flask/app.py", line 2081, in preprocess_request
func(request.endpoint, request.view_args)
File "/share/CACHEDEV1_DATA/.qpkg/HybridBackup/CloudConnector3/python/lib/python3.11/site-packages/qnap/cloudconnector3/rest/auth.py", line 129, in request_auth_user
request_auth_sid(endpoint, values)
File "/share/CACHEDEV1_DATA/.qpkg/HybridBackup/CloudConnector3/python/lib/python3.11/site-packages/qnap/cloudconnector3/rest/auth.py", line 83, in request_auth_sid
raise UnauthorizedException('SID is invalid')
qnap.cloudconnector3.rest.auth.UnauthorizedException: SID is invalid

Zitat von tiermutter

Alternativ die Daten von OMV holen lassen, mache ich auch so.

Darüber hatte ich noch nicht nachgedacht.

Da der (so der Plan) ohnehin nur dafür da ist, könnte ich ihn abschließend auch runterfahren lassen.

Machst du das mit Boardmitteln oder womit? Gib mal Stichworte bitte wo ich da anfange, WebDAV scheint mir ohnehin zu lahm zu sein. Habe aber kein Benchmark gemacht.

Zitat von Crazyhorse

Ist das die aktuelle Version der HBS3?

HBS3 22.1.0717 auf TS453B mit QTS 5.1.0.2444

Zitat von tiermutter

Sonderzeichen, Gesamtlänge von Pfad und Dateiname, ...

Gesamtlänge kann es doch nicht sein, wenn Begonnen wird, oder? Dann hätte ich eine Verweigerung von vornherein erwartet. Aber ja, der Ordnername ist lang 😆

Den wollte ich aber erst ändern, wenn es einmal durchgelaufen ist, wir befinden uns immer noch nur in einem Testlauf.

Mod: Unnötiges Volltext-/Direktzitat entfernt! Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

Igitt, nein 😆 nicht OMV auf das NAS installieren.

Obwohl 🤔 ich geh' erstmal schlafen 😴

Zitat von ChristianKnorr

Ich habe gerade besagte 41GB Datei mit dem Notebook erfolgreich kopiert.[...]

Falsch. Zu früh gefreut. Hat in letzter Sekunde doch abgebrochen. Zweimal getestet.

Doch Dateigrößenbeschränkung auf Ziel-WebDAV? Muss ich mal gucken.

Zitat von tiermutter

Sonderzeichen, Gesamtlänge von Pfad und Dateiname, ...

Kann in dem Fall nicht sein, da die Ordner erstellt werden und eine weitere Datei darin mit exakt gleichem Dateinamen aber anderer Endung kopiert wurde.

Schon wieder an einer 13GB Datei hängen geblieben. Die habe ich anderweitig verschoben und schon wurde das Backup mit Warnung abgeschlossen. Die Warnung ist ja klar, aber immerhin abgeschlossen.

Ja. Es muss eine andere Lösung her 😆

Danke für die Hilfe 👍

Juhuu

Also: das QNAP NAS (Quelle) und openmediavault (Ziel) befinden sich nebeneinander via Gigabit-LAN am Switch verkabelt im selben Netz.

1) OVM, da es LVM von Haus aus kann und Debian-basiert ist. Habe Proxmox und TrueNAS Scale aus anderen Gründen verworfen

2) WebDAV, damit ich es in HBS3 einbinden kann. Möchte ich aber doch nicht mehr nutzen. Wie vorgeschlagen ist mein nächster Versuch nicht die Daten zu schieben, sondern von OMV holen zu lassen. Also kein WebDAV mehr.

3) HBS, weil es ein fertige Lösung von QNAP ist.

4) rsync habe ich einfach (noch) nicht in Betracht gezogen.

Mir geht es primär darum, mit wenigen Klicks ein Vollbackup des Datengrabes anzustoßen. Also habe ich aus alten Teilen ein "NAS" gebaut. Dieses wird neben der System-SSD 5 freie SATA-Ports für ausgediente alte HDDs frei haben. Meinen ersten Gedanken ZFS habe ich verworfen, da es sich nicht verkleinern lässt. Deshalb bin ich bei OMV mit LVM und ext4 gelandet. Im Moment noch XFS aber das war eine Fehlinformation, lässt sich nämlich nicht verkleinern.

Frage und erhelle mich gerne weiter falls ich ganz auf dem Holzweg bin

Zitat von tiermutter

Warum nicht rsync?

Guter Tipp bisher. OMV hat 202GB in 42 gezogen. Auf WebDAV schieben war extrem langsamer.

Nun gut, wir sind noch lange nicht mit Testen fertig...