Backup von Nas auf externe Festplatte dauert ewig (Kopie auf externe Festplatte)

    Hallo

    Seit Tagen bald Wochen probiere ich Daten vom Qnap TS 451 auf eine externe Festplatte zu speichern.
    Zuerst habe ich es über den Hybrid Backup Sync probiert und die Externe Festplatte am NAS angeschlossen, aber mein NAS hat einfach zu wenig Arbeitsspeicher das es flüssig laufen würde.
    Dann wurde mir geraten das ich es mit kopieren und einfügen machen soll über den Desktop PC und die Externe Festplatte am PC anschliessen. Das dauert aber auch Tage.
    Dann habe ich heraus gefunden das ich die "Bremse" an meinem PC lösen kann. Über cmd habe ich folgendes gemacht:

    Mod: Nicht deklariertes Zitat ohne Quellenangabe ... korrigiert! :handbuch::arrow: Forenregeln und Die Zitat Funktion des Forums richtig nutzen

    Zitat von [PDF] Kopieren auf Netzlaufwerke dauert zu lang

    In die Konsole geben Sie nun folgendes ein und bestätigen abschließend mit Enter: netsh interface tcp show global. Darauf zeigt Ihnen das Fenster die aktuellen TCP-Parameter an. Dort finden Sie auch den aktuellen Zustand des „Autom. Abstimmungsgrad Empfangsfenster“. Standardmäßig steht diese Option auf „normal“. Um den automatischen Abstimmungsgrad zu deaktivieren, tippen Sie netsh int tcp set global autotuninglevel=disable ein und quittieren die Eingabe mit der Enter-Taste.


    Jetzt sehe ich das es etwas schneller die Daten vorbereitet aber doch nicht wirklich weiter kommt.
    Warum muss es überhaupt Daten vorbereiten wenn ich dem System sage es soll alles kopieren?

    Wo liegt denn mein Problem?
    Hat da jemand eine Idee?

    Bei einem Umzug packt man sich auch nicht den gesamten Haushalt in eine Tasche und rennt los. Zuerst sichtet man, dann sortiert man, dann werden Listen erstellt, dann packt man Kisten, danach bestellt man Transportplatz und erst dann geht die Schlepperei los ;)

    Machen meine Systeme auch so ;)

    Danke, dem Moderator für das korrigieren und Matselm und dolbyman für die Antworten. Werde die Links genau durch lesen und hoffe auf eine Lösung.

    Wie viel RAM hast du denn?


    HBS3 neigt aktuell dazu bei der ersten Sicherung ab einem Punkt x sehr langsam zu werden.

    Dann stoppt man den Job und startet ihn neu, dann läuft er normal weiter.

    Diese Hänger können auch ein paar mal auftreten.


    Du hast ernsthaft fast 5 Mil Dateien?

    Da muss man ja schon auf die Anzahl der iNodes achten damit das noch sauber aufs Zielmedium geschrieben werden kann.

    Was bei deinem NAS sicherlich extremst bremst ist QuDedup, das ist per default aktiv.


    Erstelle mal einen Job ohne diese Option, dann wird das schneller sichern.

    Hallo Crazyhorse

    Jetzt bin ich mal am probieren ob ich es schaffe die Sicherung 1 zu 1 zu kopieren ohne HBS3.
    Die externe Festplatte habe ich am PC angeschlossen.

    Aber auch da scheint es als blockiere nun alles wieder.

    Seit gestern Abend läuft nichts mehr.


    Crazyhorse, ich bin Laie - Es tut mir leid, deinen zweiten Absatz verstehe ich gar nicht.
    Ich weiss nicht was INodes sind und auch nicht was QuDedup ist.


    Ich glaube bald es gibt keine saubere Lösung mehr.
    Vor zwei Jahren habe ich das doch schon einmal gemacht und da war es ganz einfach.
    Festplatte an das NAS angehängt und alles markiert und kopiert und fertig.

    Das ganze dauerte nur ein paar Stunden.


    Irgendwie habe ich da den Faden verloren und komme nicht mehr mit.
    Ich bin jetzt schon seit über einem Monat an diesem Thema und langsam stinkt es mir.


    Aber danke für Deine Hilfe.:SX/

    Da hilft ein Blick in die Wiki:

    https://de.wikipedia.org/wiki/…de-Nummer%20identifiziert.


    https://www.qnap.com/solution/hbs-qudedup/de-de/


    QuDedup ist in HBS3 bei einem Backup Job per default aktiv.

    Ich schalte das immer ab, da die Sicherung damit:

    1. sehr langsam läuft, da hier die Dateien erst einmal vom Quellverzeichnis in das Systemverzeichnis kopiert werden, analysiert, dedubliziert und erst dann auf das Zeilmedium geschrieben werden.

    2. Ich einen solchen Job nicht einfach auf dem Zielmedium prüfen kann, hier wird ja alles in einem Container verpackt und ich traue dem Format einfach nicht. Da bei meinem Schwiegervater, der mit seinem NAS auf meines per VPN her sichert, der Job irgendwann hängen blieb und dann nicht mehr wollte. Ich den Container nicht mehr verknüpfen konnte und wir dann komplett neu sichern mussten.

    3. Ich nur mit einem Java basiertem Tool unter Windows an die Daten aus dem Conti ran komme.


    So habe ich die Möglichkeit, auf dem Backup NAS einen User an zu legen, diesen für SMB zu berechtigen und komme auf das Backup.



    Ein Backup hängt in der Dauer von gewissen Faktoren ab.

    Bandbreite und Latenz zum Zielmedium und der Optimierung der Backup Lösung.


    Ich sichere über VPN und da habe ich 30-40ms Antwortzeiten, das ist für SMB sehr problematisch da hier 10-15MBit übertragen werden können, mehr geht nicht.

    RTRR ist WAN optimiert und kann den vollen 50MBit Upload nutzen, da es auch mit hohen Latenzen klar kommt.


    Lokal im LAN dauert der Job von NAS to NAS wenige Minuten, wenn nichts geändert wurde, über VPN dauert das 30-40Min, einfach nur vergleichen, ohne Änderung.

    Weil der Job hier viel länger warten muss bis er eine Antwort bekommt ob Datei x noch immer HASH y hat und er die überspringen kann.


    Ich habe hier 400k Dateien, da ist es bei mir schon passiert, das der erste Durchlauf vom Job hängen blieb, weil er sich irgendwie überladen hat und nicht mehr klar kam. Ein Neustart schaffte da Abhilfe.

    Du hast mehr als 10 mal so viele Dateien, das ist eine gigantische Anzahl und da jede Datei für die Verarbeitung eine gewisse Rechenzeit und damit auch einen gewissen Speicherplatzbedarf hat, kann das zum Problem werden, wenn HBS3 nicht für so viele Dateien hin ausgelegt wurde.

    Da kennen ich aber nicht das Entwicklungsziel der Programmierer, müsstest du dich an den Support von QNAP wenden.


    Was die Inodes angeht, hier eine kleine Übersicht:

    pasted-from-clipboard.png


    Je nach Blockgröße kannst du mehr oder weniger Dateien auf dem Volume parken, je größer der Block, desto mehr Daten passen drauf.


    Das Bild stammt aus dem Assi für Volume-Erstellung im QTS.


    Das wird sich aber für ein ETX4 Laufwerk analog verhalten.

    https://de.wikipedia.org/wiki/Ext4


    Ich habe am NAS für das Backup die HDs über QTS selber mit EXT4 formatiert und da keine Problem feststellen können, das hat einfach funktioniert.


    Ggf. habe ich das überlesen, aber wie hast du die externe HD formatiert und mit welchem System?

    QTS ist teilweise ein wenig eigen, wenn der Name der ext HD nicht seinen eigenen Wünschen/Vorgaben entspricht.


    Edit:

    Sehe gerade, 1GB RAM kann bei der Anzahl an Dateien ggf. zu wenig sein, kannst du die Kiste aufrüsten? Hast du ggf. noch Ram rumliegen, da kommen ja auch nur SO-Dimms aus dem Mobilbereich rein.

    QuDedup wird nicht verwendet.


    Bei wenigen großen Dateien läuft es ohne Probleme, wenn man aber viele kleine Dateien (> 100000) sichern will ist das Programm eine Katastrophe.


    Die Sicherung musste 8 mal gestoppt und wieder gestartet werden. Erst dann war sie erfolgreich.


    Eine Versionsverwaltung ist so auch nicht möglich. Wenn die Versionsverwaltung aktiviert ist, wird bei jedem Stop/Start eine neue unvollständige Sicherung angelegt.



    Anmerkung:


    Da die USB-Festplatte eine Freigabe hat, kann man auch direkt vom Windows-PC darauf zugreifen. Die Geschwindigkeit wird nur durch das Netzwerk gebremst.

    Danke Crzyhorse und Becker2020
    Aber irgendwie komme ich da nicht mehr mit.
    Heute ist noch das ganze kopieren auf einmal abgebrochen und am PC hat den Explorer abgestürzt. Es sieht so aus als ob nun doch so ziemlich alles gesichert wurde. Aber ob dem so ist ????
    Wie auch immer. Es gibt wohl keine einfache Lösung für ein Laie.
    Ich belasse es wie es ist und kämpfe mich so durch.

    Danke für eure Hilfe ich schliesse damit für mich ab.
    Habe für den Moment keine Lust mehr.?(