Duplicati - Zu Amazon Cloud Drive - Fehler "Disk Full" nach Zählung der Dateien - TS-251@4.3.3 Beta

Hallo nochmal!

Ich habe mich nach einigem Hin und Her für Duplicati als Cloud-Backup auf Amazon Cloud Drive entschieden.

Mein Setup ist wie folgt: QNAP TS-251 mit 1X8GB RAM auf Beta-FW 4.3.3., mit 1XHDD Seagate IronWolf NAS HDD 8TB. Duplicati aus QNAP-Club-Store, aktuellste Version. Zu Backupen sind ca. 6.5 TB gemischte Daten; Von Video, Audio, EBooks, Software, Backups von Desktop/Laptop/Android, und Mirror meiner OneDrive und GDrive Accounts. Ingesamt ca. 6.5 TB verteilt auf ca. 1000000 einzelne Dateien.

Nach einigem Probieren habe Ich das Backup Profil in Duplicati eingerichtet, und auch eine funkionierende Verbindung bekommen.

Bei Start des Profils werden auch noch die zu verarbeitenden Dateien gezählt, aber danach bricht der Vorgang mit einem Fehler ab:

"Disk full. Path /tmp/dup-669f359f-dd86-45d4-bb3c-da68dfe25662"

Dieser Fehler scheint laut einer Google Suche wohl nicht nur bei mir aufzutreten, und eine Lösung fand Ich nirgends.
Da Ich mit dem kryptischen Logfiles gar nichts anfangen kann, bin Ich nun total überfragt.. Ich habe z.B. den oben zitierten Pfad versucht auf dem NAS zu finden, der dortige Temp-Ordner ist aber nur "tmp" geschrieben und enthält keinen Ordner names "dup-669f359f-dd86-45d4-bb3c-da68dfe25662"".

Auf dem NAS und der HDD ist auch noch knapp 1.5 TB übrig, und das sollte doch wohl alle Male für Temp-Files reichen, oder?
Ich bin nun völlig überfragt, und wäre sehr dankbar, wenn ihr mir mit der Analyse des Problems weiter helfen könntet,
Danke im Vorraus,
Steven

PS: Hier der Logfile des besagten Backup-Versuchs:

Feb 21, 2017 1:45 AM: Message
Fatal error
System.Threading.ThreadAbortException
  at (wrapper managed-to-native) System.Threading.WaitHandle:WaitOne_internal (intptr,int)
  at System.Threading.WaitHandle.WaitOneNative (System.Runtime.InteropServices.SafeHandle waitableSafeHandle, System.UInt32 millisecondsTimeout, System.Boolean hasThreadAffinity, System.Boolean exitContext) [0x0001b] in <a8460a77e67a430a8486a9751162e5f4>:0 
  at System.Threading.WaitHandle.InternalWaitOne (System.Runtime.InteropServices.SafeHandle waitableSafeHandle, System.Int64 millisecondsTimeout, System.Boolean hasThreadAffinity, System.Boolean exitContext) [0x00017] in <a8460a77e67a430a8486a9751162e5f4>:0 
  at System.Threading.WaitHandle.WaitOne (System.Int64 timeout, System.Boolean exitContext) [0x00000] in <a8460a77e67a430a8486a9751162e5f4>:0 
  at System.Threading.WaitHandle.WaitOne (System.Int32 millisecondsTimeout, System.Boolean exitContext) [0x0001c] in <a8460a77e67a430a8486a9751162e5f4>:0 
  at System.Threading.WaitHandle.WaitOne () [0x00000] in <a8460a77e67a430a8486a9751162e5f4>:0 
  at Duplicati.Library.Main.BackendManager+FileEntryItem.WaitForComplete () [0x00000] in <cd2c2f884c9d403f8bd187c4acfcd023>:0 
  at Duplicati.Library.Main.BackendManager.List () [0x00030] in <cd2c2f884c9d403f8bd187c4acfcd023>:0 
  at Duplicati.Library.Main.Operation.FilelistProcessor.RemoteListAnalysis (Duplicati.Library.Main.BackendManager backend, Duplicati.Library.Main.Options options, Duplicati.Library.Main.Database.LocalDatabase database, Duplicati.Library.Main.IBackendWriter log, System.String protectedfile) [0x0000d] in <cd2c2f884c9d403f8bd187c4acfcd023>:0 
  at Duplicati.Library.Main.Operation.FilelistProcessor.VerifyRemoteList (Duplicati.Library.Main.BackendManager backend, Duplicati.Library.Main.Options options, Duplicati.Library.Main.Database.LocalDatabase database, Duplicati.Library.Main.IBackendWriter log, System.String protectedfile) [0x00000] in <cd2c2f884c9d403f8bd187c4acfcd023>:0 
  at Duplicati.Library.Main.Operation.BackupHandler.PreBackupVerify (Duplicati.Library.Main.BackendManager backend, System.String protectedfile) [0x0006c] in <cd2c2f884c9d403f8bd187c4acfcd023>:0

Zur Info: Hatte versehentlich auf deine Antwort im anderen Thread geantwortet, deshalb hier nochmal um die Diskussion im richtigen Thread fortzusetzen, Sorry wegen dem unfreiwilligen Doppelpost:

@RubberDuck1983: Danke für den Tipp, probiere es gleich mal aus! .. So, er zählt jetzt wieder durch, das kann was dauern, melde mich später nochmal mit einem Update! Danke erstmal bis hier!
English is no Problem at all, one of the few things from my time in school i really liked. Would be too damn embarrassing though, if someone named Steven couldn't speak the language his name was taken from. Even if he still has no real clue, why his german mother and father took an english name. But I second my mother stating its better then Willhelm or Friederich or Friederich-Willhelm i suppose.. Coincidentally at the time i was born Steven Spielberg was at his A-Game. Maybe some subconscious freudian stuff. I dunno. The wild 80s.

UPDATE 1:
@RubberDuck1983: So, jetzt bin Ich verwirrt. Bis jetzt kein Abbruch, nur zählt der immer weiter die Dateien, anscheindend auch welche die gar nicht existieren. Will angeblich über 1200000 Dateien und damit über 10TB gezählt haben, bei 8TB großen HDD..
Ich bin mal gespannt, was noch so kommt..

UPDATE 2: Jetzt wirds RICHTIG lustig.. Oder auch nicht, je nach Perspektive:

ACD+DUPLICATI-FIXING-5.jpg

PS: Möglich wären etwas unter 7TB und um die 1.000.000 Files.

UPDATE 3: Laut Logfiles hat es sich bei dem Ordner meines OneDrive-Mirrors aufgehängt. Lösche den Ordner mal komplett, ist eh eigentlich unnötig da ich ein Full Disk Backup meiner System Disk inklusive dem OneDrive-Dir mache. Wird ein bisschen dauern, dann probier Ichs nochmal neu, und melde mich zurück!

Hey, da bin Ich wieder!

Ja, Ich mache die Dinge "gerne" unnötig kompliziert. Ist wohl der Asperger-Autist in mir..
Aber das hat mir keine Ruhe mehr gelassen, und Ich hab bis spät in die Nacht noch herum probiert. Hatte auch mal mit einem Ordner probiert, aber bei jedem Versuch kamen immer andere Fehler. Und die Logfiles sind ja für einen NAS/Linux-Neuling sehr kryptisch. Hatte dann Datenbankfehler, und auch neu erstellen brachte erstmal nichts.
ABER... Ich hatte schon resigniert gehabt, und die QPKG nochmal neu aufgesetzt. Dann als temp dir noch mal ein anderes neues versucht, diesmal ohne Leerzeichen, und dann ein neues Profil mit allen Ordnern außer den großen mit den Mediendateien erstellt, so ca. 1,5TB und 50000 Files.

Kurz und gut, hab es über Nacht laufen lassen, und.. TADA!

Bis jetzt rödelt es brav vor sich hin, auch wenn der Upload mit den 20 Mbit echt eine Zumutung ist (Ich weiß, Ich stehe im Vergleich noch gut da ).
Bis jetzt läuft es wie gesagt, und Ich drücke mir selbst mal die Daumen. Eine andere Alternative als Duplicati habe Ich eh nicht, außer Ich mache doch ein Dateibasiertes Backup, was Ich aber eigentlich ja vermeiden will.

Melde mich dann mal zurück, wenn Ich weiß, wie es ausgegangen ist!

Danke nochmal, und schönen Karneval (Wenn nicht gerade Sturm ist wie hier am Niederrhein )

Grüße
Steven

Okay, also scheint ACD da ja fehleranfälliger als z.B. ein Lokales LAN Backup zu sein..

Ja, hast schon recht die Backups aufzuteilen, alleine schon wegen des Verhältnisses von 20Mbit/S -> 7000GByte Daten. Das würde wohl Wochenlang dauern, und so einen Vorgang in einem Stück über mehrere Wochen laufen zu lassen ohne Abbrüche, Neustarts etc., darauf vertrauen möchte Ich dann doch nicht. Werde mir gleich mal eine gute Aufteilung auf Backup-Jobs überlegen. Danke für die Anregung!

Versioniesierung ist bei Dokumenten und anderen wichtigen Dateien auf jeden Fall sinnvoll denke Ich, zum Glück sind die bei mir im OneDrive sowie lokal auf Desktop, Android und Laptop gesynct. Das NAS ist mein Medien-Lager (Video, Audio, EBooks, Software jeder Art, etc.). Somit habe Ich da Glück, dass Ich in die Richtung keinen Bedarf habe, das macht die ganze Sache etwas weniger kompliziert für mich.

Das NAS ist kaputt? Na dann drücke Ich dir mal die Daumen, dass Duplicati brav und ohne Fehler das Backup erstellt hat.. Die Probe aufs Exempel. Aber wenn es das Tool der Wahl für die meisten hier ist, so wie es mir scheint, würde Ich dem ganzen einen gewissen Vertrauensvorschuss geben. Bleibt nur zu hoffen, dass der Fehlerpunkt Hardware nicht noch nen Strich durch die Rechnung macht. Hatte Ich vor kurzem mit einer externen HDD. Eine Woche nach Backup der Controller anscheinend kaputt, konnte zumindest die Daten noch Retten durch Einbau in PC (Selbst in nem Dock wollte sie nicht mehr hochdrehen), und SMART lief AMOK. Aber immerhin.
Hoffe es ist nur eine Softwaresache mit dem NAS... Hab meines durch FW-Update + Advanced Reset wieder richten können..
*Daumen gedrückt*

Ich habe aber auch noch eine neue Frage: Und zwar, ob und wie man bei Duplicati Optionen finden kann, womit man z.B. die aktuelle Upload-Geschwindigkeit, die gerade bearbeitete Datei, oder sonstige aktuelle Daten zum Vorgang AUSSER des Balkens der den Fortschritt anzeigt, bzw. die Logfiles. Wie im Ressource Monitor die Daten für das QNAP angezeigt werden, nur mit mehr Infos zu den aktuellen Daten des Duplicati-Backupvorgangs. Der aktuelle Upload würde mich besonders interessieren.
Auch wenn man den über den Gesamtupload des QNAP selber her abschätzen kann, ersetzt dies IMHO nicht, das ein Programm wie Duplicati solche grundlegenden Daten und Metriken anzeigt. Nur die Gesamt-%-Zahl und die Dateizahl ist ein bisschen sehr mager für solch einen langen und komplexen Vorgang..

Grüße

Steven

EDIT1: So, habe jetzt pro Shared Folder einen Backup-Job erstellt, und bis jetzt läuft alles super und ohne Probleme durch! Habe Duplicati wohl einfach total überfordert damit, mein gesamtes NAS auf einmal zu sichern..

Wobei ich jetzt noch ratloser bin, wo der Fehler genau lag. Habe in den Optionen nämlich bezogen auf die zusätzlichen default optionen, und damit auch auf das neue tempdir bezogen folgendes entdeckt:

NOTE: These options are not applied to the backups in the current version of Duplicati! This will be fixed in a later version.

Aber wie gesagt, Ich bin so oder so happy, denn es scheint wie gesagt nun endlich stabil zu funktionieren!
Danke nochmal + Grüße
Steven

EDIT2: Der Upload-Speed scheint mit SEHR langsam. Insgesamt werden fürs NAS ca. 400 KByte/S angegeben, und das beim Transfer von sehr großen Dateien (22GByte auf 6 Dateien verteilt). Beim File-Based-Sync mit Goodsync auf dem Desktop erreiche Ich da ganz locker die maximalen 2-2.5 Mbyte/S.
Habe versucht, eine Option zu finden, mit der man die Anzahl von parallelen Uploads einstellen kann (Also z.B. 2 Dateien gleichzeitig hochladen) um die Geschwindigkeit zu erhöhen. Hab aber nichts gefunden. Downloadstation ist gestoppt selbstverständlich.

Oder könnte es an der CPU-Auslastung liegen? Habe eh mit der Beta-FW fast immer 99%, und am wenigsten mal so 75%, aber auch das schnellt dann meist direkt wieder hoch auf 99%. Hatte da von nem Bug in der FW gehört..
Der Celeron sollte ja da bei meiner 20Mbit Upload eigentlich nicht der Flaschenhals sein, auch wenn Duplicati die Daten ja packt und verschlüsselt.. Oder täusche ich mich?

AN DIE MODS: Kann irgendwie das Thema nicht mehr bearbeiten und als erledigt markieren! Falls ihr das übernehmen könntet wäre toll!
Danke!

Zitat von RubberDuck1983

Hast du es mal mit kleinen Dateien probiert?!

Hey, habe nach all den Problemen mit Duplicati nun den Schritt zu CLI gewagt mit RClone, und bin nicht enttäuscht worden. Zu dem langsameren Speed: Scheint mir im Rückblick logisch, da die Dateien ja erst noch gepackt, verschlüsselt und aufgeteilt werden müssen. Bei dem Dateibasierten Sync mit RClone sieht es da vllt. automatisch anderes aus, obwohl auch hier ebenfalls viele kleine Dateien verschlüsselt und übertragen werden müssen. K.A. ob das Packen und Aufteilen auf die 50MB Pakete wirklich den Unterschied macht, oder ob Duplicati mit ACD einfach nicht gut zusammen spielt, wie es z.B. teilweise auf Reddit gepostet wird.
Sicher kann man den Ansatz von Duplicati bevorzugen, da dann nicht einzelne Dateien in der Cloud als solche erkennbar sind, nur die 50MB/100MB/Etc. Pakete. Aber RClone bietet auch eine 256 Bit AES Verschlüsselung von Inhalt und Namen der Files auf Wunsch. Und das wie gesagt bei mir ohne jeden Verlust bei der effektiven Geschwindigkeit. Und so ist für Amazon auch nicht ersichtlich, was Ich da hochlade. Und auch nicht per Hash "Flag-bar" wie von mir befürchtet.

Wie gesagt, Ich habe mich an RClone herangetraut, und bin nicht enttäuscht worden. Bis auf einige kleine Fragen und Feinheiten läuft alles tadellos, stabil, und am Maximum meiner 2,5 MByte/S Leitung..
Wirklich genial!

Zitat von dr_mike

Done!

Dank dir!