Backup (HSB3) auf lokale USB Festplatte sehr langsam

  • Hallo Forum


    Mit dem neuen Firmware 5.0.1.2248 werden wieder die externen Festplatten erkannt.

    Den wöchentlichen alternierenden Backupauftrag auf das direkt angeschlossene USB LW (3.0) musst ich neu anlegen.

    Ich habe keine Verschlüsselung aktiv.

    Die erste Sicherung ist extrem langsam ca. (60GB/Std.)


    Ich habe diese Platte komplett gelöscht (nicht neu formatiert)


    Wäre eine Neuformatierung sinnvoller?


    Dankeschön


    HoDam

  • Von welchem Dateisystem reden wir denn und wie sind weitere Optionen in HBS? zB Dateiinhalte prüfen aktiv?

    War es schon immer so langsam? TVS-473e? Nur den vorderen Port genommen oder auch die hinteren ausprobiert?

  • Tiermutter:

    Ja 473e, wie im Profil

    Die externen Platten nutze ich seit Jahren für die externe Sicherung.

    Die Platten sind NTFS formatiert und über einen hinteren USB-Port angeschlossen. (Damit ich zur Not auch mit meine Notebook auf die Inhalte zugriefen kann- deshalb auch nicht verschlüsselt)

    Hatte die Platten aber auch mal über den Front USB angeschlossen. Seit irgend einem Firmware Update wurden überhaupt keine USB Platten mehr erkannt.

    Seit dem letzten FW -Update werden sie wieder erkannt.

    Da ich den Job neue anlegen musste, habe ich die Platteinhalte gelöscht(nicht neu formatiert)

    Eine Sicherung auf ein zweites NAS-119+ (1 Gbit Netz) funktioniert einwandfrei.


    Ja, es werden nur aktualisierte Daten gesichert.- da ich aber den USB-Festplatteninhalt gelöscht habe wird natürlich jetzt bei dem neuen ersten Backup alles gesichert.

    Es läuft ja auch grundsätzlich. Nur extrem langsam. Ob das damals bei dem ersten Backup auch so war. weiß ich nicht mehr.


    Crazyhorse:

    Qudedup ist aktiv

    CMR Platten


    Danke

    HoDam

  • Qudedup aktiv?
    SMR HD als Ziel?

    Bei mir gehen viele kleine Daten auf USB 2 mit etwa 33MB/s durch, größere Daten auf USB 3 mit etwa 55MB/s. Beides NTFS ohne Dedup, Disks sind SMR.

    Wenn die Disk am Rechner hängt, wie schnell ist die Übertragung dann? Viele kleine oder wenige große Daten? Wie ist die Auslastung der CPU wenn das läuft?


    Halt, tatsächlich weiß ich gar nicht, was ich da momentan für Disks drin habe :|

    Einmal editiert, zuletzt von tiermutter () aus folgendem Grund: Ein Beitrag von tiermutter mit diesem Beitrag zusammengefügt.

  • Hmm, bei meinen Seagate Expansion Portable erreiche ich bei verschlüsseltem ext4 Dateisystem so im Durchschnitt 95 MB/s laut eMail von HBS3.

    Ich denke die NTFS Emulation braucht viel Power.

  • Ja denke auch dass NTFS hier langsamer ist... ich will es aber ebenfalls direkt an einem Windows PC lesbar haben.

  • 1.Fall exFAT


    Ich habe eine 3 TB als 3.Sicherung für relevante Daten, wenn wir mal ein paar Tage weg sind.

    Formatierung exFAT

    2 Sicherungsgänge (One-Way-Sync.)


    06.12.22 134360 Dateien 803 GB -> 54,29 MB/s

    11.12.22 156 Dateien 559 GB -> 99,16 MB/s


    Beim zweiten Mal war es die gleiche Quelle, nur hat er die unveränderten nicht kopiert.

    ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------


    2.Fall NTFS


    An meinem raspberry pi4 ist eine 2TB, auf der Video und Musik liegt, die ich gelegentlich "nachfülle", mit dem NAS-Inhalten synchronisiere:

    Formatierung NTFS


    1 Sicherungsgang (One-Way-Sync.)


    19.12.22 450 Dateien 114 GB -> 77,01 MB/s


    Gruß MarGol

  • Hallo zusammen,


    es hat sich jetzt so bei 40GB/Std eingependelt (12MB/s).



    Naja, bin ja froh, das die Platten überhaupt wieder vom NAS erkannt werden. Und da normalerweise ja nur geänderte Daten gesichert werden, ist das bei zukünftigen Backup-Jobs überschaubar.

    Wie gesagt NTFS wegen Lesen/schreiben mit Windows10/11 Rechner



    Wünsche euch schöne Festtage


    HoDam

    Einmal editiert, zuletzt von HoDam ()

  • Hallo zusammen,


    ich habe den Übeltäter gefunden

    "QuDedup ist aktiv"

    Job gestoppt, dedup deaktiviert Job neu gestartet

    und jetzt rennt es.


    pasted-from-clipboard.png


    Im Forum gibt es ein Info dazu

    Doku zu QuDedup - Backup & Sicherungsmanager - NAS Hilfe und Support Forum (qnapclub.de) von Zara-Toorox


    Dankeschön

    HoDam

  • Deshalb wurde ja nach Dedup gefragt... Deine Antwort darauf scheint aber untergegangen zu sein...

  • Auf meinem TS-228A sind die HBS3-Laufzeiten bei Sicherungsplatten mit NTFS extrem schwankend. Insbesondere das Erzeugen und Löschen großer Dateibäume aus Symlinks, wie HBS3 es bei aktivierter Versionierung zu Beginn jedes Sicherungslaufs macht, scheint die NTFS-Implementierung von QTS bzw. des zugrundeliegenden Linux massiv zu überfordern. Da kann es (muss aber nicht) schon mal ein oder zwei zwei Tage dauern, bis der Job anfängt tatsächlich zu sichern. Die tatsächliche Datenübertragung läuft dann relativ zügig.


    Ich persönlich finde es ja keine so gute Idee, auf einer NTFS-Platte mit großen Mengen von Hardlinks zu operieren. Aber QNAP hatte da offenbar keine Bedenken. Nunja.

  • Klappe mal die Details auf und beobachte eine gewisse Zeit die Transferrate bei großen und kleinen Dateien, dann kann mannwas dazu sagen.

  • Qudedup aktiv?

    Das verpackt zwar aber ist unglaublich langsam.


    Ich habe lieber eine reine Dateisicherung.

  • Ja aktiv, werde das jetzt so mal durchlaufen lassen.

    war unwissend….werde danach wohl auch deaktivieren und ein 1:1 Backup machen


    Dachte durch das Packen gehts schneller…..



    Heute morgen kam folgende Warnung:


    Code
    Message: [Hybrid Backup Sync] Backup job "Backup 1": The amount of data for backup is slowing down QuDedup. To speed up the process, migrate the HBS application to an SSD volume.


    Was habe ich falsch gemacht, weil das natürlich keine SSD was ich habe


    Seagate Expansion 4TB tragbare externe Festplatte, 2.5 Zoll, USB 3.0, inkl. 2 Jahre Datenrettungsdienst, Modellnr.: STGX4000400


    Ich werde das Backup wohl auch abbrechen und ohne QuDedup machen. ☺️



    Aktueller Stand:
    Ich habe es bei 47% abgebrochen und ohne QuDedup und ohne Zeitplan etc. neugestartet.

    Ich mache bei meiner Verwendung ein ganz "normales" 1:1 Backup.

    Danach werde ich wie empfohlen die Platte trennen und manuell "regelmäßig" ein Backup machen.




    So das ging schnell….allerdings habe ich folgende Meldung erhalten.


    Code
    Message: [Hybrid Backup Sync] Finished Backup job "Backup" with errors. Failed to copy all data and attributes.


    Kann dazu jemand weiter helfen? Was mach ich jetzt und wo/was prüf ich jetzt?

    Wie finde ich raus, was fehlt oder eben nicht kopiert werden konnte?


    Danke


    Ich konnte folgendes Finden, das ja schon eine nicht zu vernachlässigende Menge..... nur wo finde ich hierzu Details und an was könnte das liegen?

    Wie kann ich diese durch erneutes Backup ebenfalls sichern?


    Warnung.png


    Bin gespannt, wie oft ich meinen Post bearbeite.....

    Ich konnte eine CSV Datei finden und runterladen - hier sind die 22k Dateien enthalten mit dem Pfad.

    Den Grund verstehe ich aber nicht wirklich......

    Wer kann mir behilflich sein?


    Danke

    Fehler_1.png

    Fehler_2.png

    9 Mal editiert, zuletzt von Blackout ()

  • Das sind symbolische Links, die nicht auf dem Ziel gesichert werden können (und auch nicht müssen, da die Quelldatei immer dieselbe ist). Du kannst das quasi als "besondere" Verknüpfung betrachten. In den HBS Jobeinstellungen kann man symbolische Links ausschließen. Dann sollte Ruhe sein :)


    Es kann übrigens auch hilfreich sein, so einen Job auf mehrere kleine Jobs aufzuteilen, dann ist die Fehlersuche angenehmer. Außerdem kann man so zB unterschiedliche Versionierungen anwenden, falls relevant.

    Einmal editiert, zuletzt von tiermutter () aus folgendem Grund: Ein Beitrag von tiermutter mit diesem Beitrag zusammengefügt.

  • Ich versteh deine Antwort leider nicht, symbolische Links bedeutet was?

    Hab es mal abgeprüft - das Video ist tatsächlich unter dem Backup verfügbar.


    Also fehlen eigentlich keine Daten?

    Dann werde ich nochmal formatieren und ein neues Backup machen ohne die symbolische links.

    Einmal editiert, zuletzt von Blackout ()

  • Das Video (sofern es sich um die Originaldatei handelt) wurde entweder an der entsprechenden Stelle gesichert, oder nicht gesichert, weil der Job evtl vorher abgebrochen ist.

    Ein symbolischer Link ist nichts anderes als eine Verknüpfung, die braucht man idR nicht sichern, zumal sich die Pfade im Backup oft ohnehin zur Quelle unterscheiden, sodass man damit nicht viel anfangen kann... Ähnlich steht es um Systemdaten.

    Die übersprungen symlinks aus dem Log sind zB nur Vorschaubilder, bzw. die Links zu diesen. Die brauchst du ja nicht sichern... Also einfach mal deaktivieren und nochmal laufen lassen, dann können wir uns den Daten widmen die hätten gesichert werden sollen, aber ggf nicht wurden.