"NAS to NAS" Backup nur mit 2MB/sec....ultralangsam

    Hallo Zusammen,


    habt ihr mir nen Artikel / Wiki-Link, wo ich die verschiedenen Backup-Arten der QNAP nachlesen kann?


    Folgendes Thema:

    Ich sichere gerade von meiner primären TS-453a (OS 4.3.4.0537) per "NAS to NAS" auf eine TS-412 (OS 4.3.3.0404) .


    Problem:

    Die Backup-Geschwindkeit ist gerade unterirdisch schlecht (2MB/sec)

    (Datenübertragungen von PC's auf beide NAS sind dagegen im 500-800mbit/sec. -Bereich, also 60-80mb/sec.)


    Das bedeutet gerade, dass das backup meinder (stetig anwachsenden) Film- und Musiksammlung aktuell ca. 20 stunden braucht um ca. 5Tbyte abzugleichen.

    Und das, obwohl ich in der Konfig "max. Gechwindigkeit auf 125000kb eingestellt habe und nur "nicht vorhandene Daten" auf das Ziel übertragen lasse, damit nicht alles konstant überschrieben wird.


    pasted-from-clipboard.png


    Könnt ihr mir nen Tipp geben, woran die schlechte Performance liegt...eventuell an dem "Vergleichen" von Quelle und Ziel?


    Anmerkung:

    Vor ein paar Wochen hatte ich wenigstens noch 10MB/sec...da hatte ich aber auf beiden NAS noch Disks verbaut mit 72000rpm. Nun habe ich auf der primären NAS 6Tbyte-disks mit 5400rpm.

    Doch 10MB/sec ist auch schon schlecht gewesen...


    Wäre für meinen "Bedarf" eine andere Sicherungsart besser, sprich "schneller"?


    Thanx for help,

    20 Stunden für 5 TB wären etwa 72 MByite/s, das würde ich jetzt mal als relativ gut bezeichnen.

    Du wechselst zudem auch in den EInheiten zwischen MB und mbit, das macht es nicht unbedingt leichter, dein Problem nachzuvollziehen.

    Und warum schaltest Du eine Geschwindigkeitsbremse ein, wenn Du doch mehr Geschwindigkeit haben möchtest?

    Mach ALLE Häckchen weg, insbesondere den mit "Dateien unterschiedlich", da schaut die NAS jede Datei an, um zu vergleichen, nur um dann festzustellen, dass nichts kopiert werden braucht ...


    Ich habe bei den Optionen nur das Löschen eingeschaltet, damit Dateien dich ich an der Quelle lösche, auch im Backup gelöscht werden ... Muss aber jeder selber wissen, ob er das mag, bzw. ob er selber löschen will und zur Sicherheit am Backup auch die gelöschten Daten haben will.

    sawachika:

    Ich glaube, ich habe mich falsch ausgedrückt.

    Ich habe aktuell 5Tbyte primär liegen...aber schon zuvor wurde von primär auf die Backup-NAS kopiert.

    Das heißt, der Großteil liegt gesichert bereits auf der Backup-NAS.

    Es sollte nur noch das kopiert werden, was primär neu dazu gekommen ist...also das "Delta" muss kopiert werden.

    das sind vielleicht 100 - 150gb. pro woche. Dann sind 20 Stunden lang.


    Die unterschiedlichen Geschwindigkeitsangaben mbit und mbyte sind eigentlich nicht besonders verwirrend.

    Du weißt ja, grob überschlagen sind 1mbyte = 8mbit

    Also bei einer 1gbit-LAN-Verbindung kann ich somit theoretisch bis zu ca. 128mbyte/sec übertragen


    RedDiabolo:

    Ich hätte jetzt gedacht, ...

    - ...wenn ich den Haken nicht setze bei "Dateien unterschiedlich", dann würde jedes Mal ein "Fullbackup" laufen, bei dem die Zieldaten wieder komplett überschrieben werden.

    - ...wenn ich die "max. Transferrate aktivieren" nicht wähle, dass der BAckup-job nur mit niedriger Priorität und somit niedriger Geschwindigkeit erfolgt.

    Von anderen Systemen kenne ich es, dass Backup-jobs immer hinter den produktiven aktiven Zugriffen in der Priorität zurück stehenm und somit mit geringerer Geschwindigkeit laufen.

    Zitat von bergr

    Ich hätte jetzt gedacht, ...

    Ja, wäre vielleicht der erste Ansatz, womöglich ist es auch nur der Übersetzung aus dem koreanischem Geschuldet ;)

    Mach die Hacken weg und gut ist ... die NAS priorisiert da nichts, die Prozessorleistung wird großzügig verteilt, bis dass sie auf Anschlag belegt ist ...


    Und so nebenbei bemerkt, sawachika ist einer der letzten, der MB/S und Mb/s nicht auseinanderhalten könnte.


    Es mag halt nicht jeder beim Reinlesen in einen Kommentar mit den Werten herumrechnen, das muss ohne Nachdenken ins Hirn rein und dann findet man auch Muse zu antworten ...

    Wenn ich da noch viel herumrechnen muss, verliere ich die Lust am Antworten ?(

    bergr: Richtig, sie sind nicht sonderlich verwirrend - die Erfahrung hat jedoch gezeigt, dass wenn die Einheiten wild gemischt werden auch sonst beim Thema das ein oder andere vermischt wird - daher lieber nochmal nachgefragt. :)


    RRTR ist in meinen Augen nichts anderes als ein aufgehübschtes rsync. Da würde ich den Haken "Nur Dateien kopieren, die sich (..) unterscheiden" als Schalter --checksum interpretieren. Dabei wird die Datei von beiden Seiten gelesen und die Prüfsummen verglichen.

    Die Option mit den verteilten Dateien wäre demnach --sparse und rechnet sich nur, wenn Du tatsächlich solche Dateien hast, andernsfalls frisst sie auch nur CPU-Power und zwar grundsätzlich immer auf beiden Seiten.

    Die Maximale Transferrate aktiviert die Option --bwlimit und sorgt dafür, dass sich die beiden Qnaps absprechen, dass sie bloß nicht zuviel Bandbreite nutzen, noch ein CPU Fresser, wenn auch ein kleinerer. Die Option ist dafür gedacht, wenn das Sicherungsziel im Internet hängt und man nicht seinen kompletten Upstream zknallen möchte.

    Solltest Du an irgendeiner Stelle noch Volume-Verschlüsselung einsetzen (Transportverschlüsselung hast Du ja offenbar aus), bremst das zusätzlich.

    Schau Dir doch mal an, was deine beiden Qnaps so treiben, wenn Du mit den Häkchen spielst.

    Mache bei beiden den Resource Monitor auf und habe einen Blick auf Netzwerk und CPU Auslastung, wenn deine Sicherung läuft. Vieleicht kann Dir das einen Hinweis geben, an welcher Stelle es hakt.


    RedDiabolo Danke für die Blumen - ich habe aber durchaus auch gelegentlich ein Talent zum Verwürfeln von mathematischen und physikalischen Einheiten. Frei dann nach dem Motto: Verstehe was ich meine, nicht was ich sage ;)

    hast bestimmt eine verschlüsselte Datenübertragung aktiviert, das hatte ich bei meiner TS419 auch, und kam dann auf ähnliche Werte.....

    Alles klar...wollte nicht besserwisserisch, bzw. belehrend daher kommen. :)
    Ist nur so...dass die Hersteller selbst diesen Mischmasch betreiben, da z.B.: bei den Performance-Anzeigen gerne die kbyte /Gbyte/MByte-Angabe, also die Datenmenge/sec. (z.B.: auch bei Windows und QNAP) verwendet werden, während die eigentliche Netzgeschwindigkeit in "kbit/mbit/Gbit" angegeben wird.


    Danke nochmals für die anderen Infos.

    Ich werde wie von euch empfohlen die Haken entfernen...


    Andreas1202 :

    Verschlüsselung habe ich bewusst keine aktiviert...auch nicht beim backup -> siehe Bild


    @sawachika :

    Also RRTR ist nach deiner Ansicht keine bessere/schnellere Lösung?

    Einmal editiert, zuletzt von bergr ()

    Nach meinem Dafürhalten ist RRTR nur eine grafische Oberfläche mit scheduling Option für rsync. Das macht es einfacher zu bedienen - schneller aber nicht. Langsamer macht es das ganze mutmaßlich aber auch nicht.

    hallo Zusammen,


    Status zu meinem backup:

    Nachdem ich die Anpassungen in den Optionen des jobs wie von euch vorgeschlagen, durchgeführt habe...ist das Ergebnis nicht besser, sondern schlechter geworden.

    1.)

    Der Job läuft mit ca. 3mb/sec. (das wäre ja 1mb/sec. schneller als vorher)

    -> Somit ist die Geschwindigkeit immer noch unterirdisch schlecht

    Da kann auch nicht die Ursache sein, dass ich auf der TS-543a Disks mit 5400rpm habe und auf der TS-412 Disks mit 7200rpm

    Wie schon erwähnt...direkte manuell über Explorer angestoßene Kopiervorgänge von "großen" (Film)dateien (5-6 gb), von PC auf jede der beiden NAS, laufen mit 70 - 80 mb/sec.


    2.)

    Die Joblaufzeit ist nun unterirdisch lange.

    - Job läuft seit 1 Tag 15 Stunden.

    - Veranschlagtes Ende Laufzeit: 13 Tage 15 Stunden !!

    pasted-from-clipboard.png

    Ich vermute, dass nun der komplette Source-bereich soeben wieder komplett übertragen wird und alles auf dem Ziel überschreibt

    Ich denke, der Vorschlag den Haken zu entfernen bei "Nur Dateien kopieren, die sich von den Dateien am Zielort unterscheiden" ist absolut "falsch".

    (der Check, was schon drüben ist benötigt weniger zeit, als der Kopiervorgang einer Datei von Filmgröße)
    Das scheint genau so sein, wie ich vermutet habe.

    Wird der Haken entfernt, dann werden alle Daten von der Source kopiert, egal ob sie auf dem Ziel schon existieren ..da wir nichts geprüft!!

    Ich jage jetzt aktuell somit bei ca. 3-4mb Geschwindigkeit nochmals komplett ca. 5Tbyte übers Netz...na Mahlzeit !!


    ?thumbnail=1





    Das löst für mich aber immer noch nicht das Problem, bzw meine Fragen:

    - Weshalb läuft der "NAStoNAS" Kopierjob so langsam, obwohl ein kopieren über Windows-Explorer (was ja nicht der schnellste Kopiervorgang ist) auf beide NAS mit 70-80 mb/sec läuft!

    -Gibt es eine von QNAP angebotene "Sicherungsart" mit mehr Geschwindigkeit / Bandbreite, damit ich eine derzeit schnell wachsende Filme-Sammlung schnellstens von der TS-453a auf die TS-412 über einen "scheduled job" sichern kann?

    Hast du RTRR mal ausprobiert? Der ist bei meinen NAS deutlich schneller. Damit RTRR funktioniert, musst du auf dem Empfänger-NAS den RTRR-Server aktivieren und ein Passwort vergeben. Danach kannst du einen Sicherungsjob mit dem Server verbinden.


    Welche Geschwindigkeit erreichst du wenn du per File Station eine Direktverbindung zwichen beiden NAS herstellst und damit eine große Datei kopierst?

    hmmm...

    also jetzt hab ich echt ein Verständnisproblem.


    Ich habe nun wie von "warpcam" vorgeschlagen, über file station nen job gestartet...mit einer 10gbyte testdatei. .... von TS-453a zu TS-412 (wie meine Backup-jobs)

    Parallel läuft der nochmals gestartete "backup-Job" NAStoNAS...

    Beides läuft natürlich dann über dieselbe Netzwerkanbindung (denselben LAN-Chip/adapter)

    Da bin ich gerade bei insgesamt 13mb/sec.


    Parallel...hab ich einen kopierjob von einem PC mit derselben Testdatei auf die TS-453a und auf die TS412 gestartet

    (Geschwindigkeit siehe Bild


    pasted-from-clipboard.png


    Entgegen meiner früheren Tests erfolgt der Kopiervorgang auf die TS-412 nun mit ca. 2,4 mb/sec, auf die TS-453a mit 111mb/sec

    Woran liegt das?


    Auf der TS-412 (sekundäre QNAP) habe ich Disks drin, welche vor Kurzem noch auf der TS-453a verbaut waren (mit 7200rpm)

    Auf der TS-453a (primäre QNAP) habe ich nun 6Tbyte Disks mit nur noch 5400rpm speed

    (Anmerkung: vor 1 Jahr hatte ich auf beiden NAS Disks mit 7200rpm und da lief der NAStoNAS mit mindestens 10mb/sec..was auch nicht berauschend ist)

    Beide NAS habe ich mit "Portbündelung" am Laufen

    Beide NAS-Anbindungen sind auf dem Gigabit-switch (Netgear) gleich konfiguriert.



    wer hat ne Idee..es muss ja wohl an der TS-412 nun liegen..oder?

    Schalte mal die Portbündelung testweise ab. Für die TS-412 bringt das eh nichts, dafür ist sie viel zu langsam. Ausserdem schafft das meist mehr Probleme als es hilft.

    Wie schaut es mit der Firmware und der SMB Version aus? Da habe ich noch nichts darüber von dir gelesen (oder ich habe es überlesen?).


    So schaut es bei meiner TS-412 aus, die mit WD Red 4GB 5400'er bestückt ist (an den Platten liegt es definitiv nicht!)


    TS-412_RAID5_v4.1.4.smb2.1.png


    Dazu verwende ich die SMB 2.1 Version mit der Firmware 4.1.4 !!!

    Alle höheren FW Version machen das TS-412 immer langsamer, ab der 4.3.x ist es komplett zu vergessen! RTRR Performance bei unterschiedlichen QTS-Versionen auf älteren NAS(en)


    2018-05-01 16_32_49-Microsoft Edge.png


    Und so sind meine Sicherungseinstellungen -> RTRR mit dem "altem" Sicherungsmanager, der in der 4.1.4 Version super funktioniert ;)


    2018-05-01 16_33_20-Microsoft Edge.png

    Hallo RedDiabolo,


    wie schon zu Anfang geschrieben...meine TS-412 läuft mit OS 4.3.3.0404.

    Dann muss ich wohl mal in der OS-version den Downgrade machen...mal schauen ob es dann wirklich wieder besser wird.

    Samba Version 4.4.16

    SMB 2.1
    pasted-from-clipboard.png


    warpcam: Portbündelung ist bei mir nur zwecks "Ausfallsicherheit" und parallelem Zugriff, da mehrere Rechner im Netz aktiv sind..

    hatte bis vor Kurzem zumindest 10mb/sec. mit denselben Einstellungen und (fast) demselben OS-Versions-Stand

    2 Mal editiert, zuletzt von bergr ()

    Zitat von bergr

    ...meine TS-412 läuft mit OS 4.3.3.0404.

    Dann muss ich wohl mal in der OS-version den Downgrade machen...

    SMB 2.1

    Versuch einen Downgrade auf 4.1.4, du wirst überrascht sein und dich ärgern, dass du es nicht früher gemacht hast (ging zumindest mir so)


    SMB 2.1 ist in Ordnung, das ist die schnellste, die du mit der TS-412 verwenden kannst, habe Stunden damit verbracht, verschiedenen Versionen zu testen, bin bei der 2.1 gelandet ...

    Zitat von bergr

    warpcam: Portbündelung ist bei mir nur zwecks "Ausfallsicherheit" und parallelem Zugriff, da mehrere Rechner im Netz aktiv sind..

    hatte bis vor Kurzem zumindest 10mb/sec. mit denselben Einstellungen und (fast) demselben OS-Versions-Stand

    Das ist aber trotzdem extrem langsam, es sei denn du kopierst nur viele winzige Dateien.

    Zitat von RedDiabolo

    Backup der Daten !!!

    Bitte bitte bitte schreibt das nicht immer ganz so pauschal, ohne darauf hinzuweisen, dass man ein bestehendes Backup dabei nicht unbedingt überschreiben soll. Also unbedingt ein anderes Medium nehmen. Ich war hier auch auf einen solchen Forenbeitrag gestoßen und habe dann dummerweise das Backup überschrieben und hatte danach einen Dateisystemfehler sowohl auf der internen als auch auf der externen Platte. Das muss Euch ja nciht auch passieren.