QNAP TS-253 Pro und weitere - Probleme mit VEEAM Backup zur am NAS-Server angeschlossenen USB-Festplatte - Geschwindigkeit bricht nach wenigen Minuten extrem ein

    Hallo zusammen,


    ich bin neu hier im Forum und freue mich, mit Euch zukünftig hier austauschen und helfen zu können.

    Leider komme ich gleich mit einem echten Problem daher, das ich auf mehreren Systemen habe.

    Grundsätzlich ist der Aufbau eigentlich fast immer identisch:


    - Server: HP Proliant DL380 mit je 8x SAS HDDs oder SSDs jeweils im RAID 10 Verbund

    - Microsoft Hyper-V-Host (Server 2012R2/2016/2019) VEEAM-Backup & Replication in der aktuellen Version installiert.

    - Verschiedene VMs (3-4 stück)

    - 1Gigabit-Netzwerk


    Manche QNAP-NAS-Server sind nur über eine Netzwerkschnittstelle mit dem Netz verbunden, in welchem sich auch der Hyper-V-Host befindet,

    manche haben über die weiter Netzwerkschnittstelle ein weiteres "Backup-Netzwerk" zugewiesen bekommen, also eine weitere Netzwerkschnittstelle mit eigenem IP-Bereich, eigenem Switch,

    am Hyper-V-Host wurde aktiviert und VEEAM darauf eingerichtet.


    Alle QNAP-NAS-Server (egal ob TS-253 (Pro), TS-251, und weitere) haben zwei Festplatten von WD (NAS-Ware) eingesteckt mit min. 4TB Speicherplatz im RAID1-Verbund.
    Auf allen QNAPs ist die aktuelle FW installiert.
    Die internen Festplatten werden per iSCSI dem Hyper-V-Host und somit VEEAM zugewiesen - hier gibt es bisher auch keine Probleme.

    Probleme habe ich damit, dass die Datenübertragung nach wenigen Minuten irgendwann zusammenbricht, manchmal sogar der Backup-Job komplett abbricht,

    wenn ich per SMB direkt auf die am NAS-Server angeschlossene USB3-Festplatte sichern möchte.

    Anfangs habe ich noch eine Datenrate von bis zu 100MB/s, die dann auf teilweise 1-2MB/s zusammenbricht.

    Das ist auch im Taskmanager des jeweiligen Hyper-V-Hosts schön ersichtlich.

    Anfangs läuft die jeweilige Netzwerkkarte auf bis zu 900MBit/s und schlagartig bricht es dann ein in KBit/s bis zu max 32MBit/s.

    Es geht hier um sog. Offline-Sicherungen, die mitgenommen werden sollen.

    Es werden in den meisten Fällen bis zu 4 Festplatten zum wechseln verwendet - für jede Woche im Monat eine Festplatte.


    Das Problem ist bei allen identisch und ich suche bereits seit zwei Tagen, warum das passiert, habe diverse Einstellungen in den Netzwerkkarten (Jumbo_Frame, etc.) geändert

    und auch alles wieder zurückgesetzt, da es keinen Erfolg brachte.

    Als Virenschutz kommt auf allen Servern Kaspersky Security für Windows Server zum Einsatz, welchen ich aber auf den Hosts bereits deaktiviert habe.
    Ausnahmen bezüglich VEEAM, etc. wurden jedoch gesetzt.

    Das Problem besteht schon länger, ich kann aber nicht genau sagen, seit wann genau.


    Ich weiß nicht mehr weiter und bin ehrlichgesagt der Verzweiflung nahe ||


    Habt Ihr Ideen oder Ratschläge für mich?


    Ah bevor ich es vergesse, es dauert immer etwa 30 Minuten, bis die Übertragung zusammenbricht.


    Grüße und lieben Dank


    Marcus

    Einmal editiert, zuletzt von Marcus.S ()

    So spontan würde ich das Problem bei der USB-Festplatte oder dessen Durchschleifung sehen. Deshalb etwas Ausschlussverfahren betreiben.


    Wenn Du die selbe Sicherung per SMB auf das NAS direkt machst passt alles?

    Welches Filesystem haben die externen Festplatten?

    Was sind das für USB-Festplatten? HDD, SDD, Marke?


    Wie werden die Backups mit Veeam gemacht? Ausschließlich Fullbackup, inkrementell oder auch mit periodischen Fullbackups?


    Aktuelle Firmware heißt QTS 4.5.1? Nicht für jedes NAS-Modell ist die aktuelle Firmware die gleiche Firmeware.

    Trat dieses Problem auch schon vorher auf oder erst seit der "aktuellen" Version?

    Dann mal Hallo.


    Steht auf Deinen Festplatten WDxxEFAX, dann ist der Schuldige gefunden.

    Das sind SMR-Platten in den Größen 2/3/4/6 TB. Die taugen nix für NAS und dauerhafte Datenrate.

    Mod: Zitate ohne Quellenangabe ... korrigiert! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen


    Hallo,


    vielen lieben Dank für Eure schnellen Antworten.


    Zitat von Mavalok2

    Wenn Du die selbe Sicherung per SMB auf das NAS direkt machst passt alles?

    Tatsächlich habe ich es direkt noch nicht versucht, auf die internen Festplatten des NAS per SMB zu sichern. Das ist tatsächlich eine Idee - danke dafür.
    Ich werde es testen.

    Zitat von Mavalok2

    Welches Filesystem haben die externen Festplatten?

    Die externen Festplatten hatte ich anfangs alle mit dem NTFS-Dateisystem installiert, zum Test jetzt auch mal mit EXT4, aber hier gabs keine Änderungen.

    Zitat von Mavalok2

    Was sind das für USB-Festplatten? HDD, SDD, Marke?

    Es sind unterschiedliche Platten, jedoch immer Festplatten, keine SSDs:

    Großteils sprechen wir über Western Digital USB3.0 Platten, 2,5" (My Passport und ähnliche), bei einem Fall kommen Samsung USB3.2 Platten im 2,5" Format zum Einsatz und bei einem anderen Fall haben wir Western Digital My Book 3,5" 6TB Platten, auch USB3.0 im Einsatz.

    Zitat von Mavalok2

    Wie werden die Backups mit Veeam gemacht? Ausschließlich Fullbackup, inkrementell oder auch mit periodischen Fullbackups?

    Auf die USB-Platten werden immer voll-Backups gemacht, sprich die Option "Rotated Drives" ist aktiviert.

    Zitat von Mavalok2

    Aktuelle Firmware heißt QTS 4.5.1? Nicht für jedes NAS-Modell ist die aktuelle Firmware die gleiche Firmeware.

    Trat dieses Problem auch schon vorher auf oder erst seit der "aktuellen" Version?

    Das stimmt, danke Dir, da wir aber eigentlich überall die Serie TS-2xx im Einsatz haben, ist tatsächlich überall die identische FW installiert.
    Das Problem tritt schon länger auf, leider kann ich den Zeitpunkt aber nicht genau bestimmen.

    Ich versuche da schon länger auf einen "grünen Zweig" zu kommen, habe dementsprechend auch immer als erstes beim erneuten Testen, die aktuelle FW geladen.


    Zitat von Matselm

    Steht auf Deinen Festplatten WDxxEFAX, dann ist der Schuldige gefunden.

    Hallo auch :)


    Also die externen Platten, die ich gerade vor mir liegen habe, bei denen das Problem auftritt, sind diese:


    4x Western Digital MyPassport Ultra, USB3.1, 4TB, 2,5", WDBBKD0040BBY-0A


    In meinem eigenen TS-253Pro sind zwei Western Digital WD100EFAX-68LHPN0 verbaut,

    jedoch funktioniert ja hier das Backup über iSCSI ohne jegliche Geschwindigkeitsprobleme.


    Grüße


    Marcus

    Es würde mich sehr wundern, wären die 2,5er Passports mit 4TB keine SMR.

    Damit sollte die charakteristisch einbrechende Übertragungsrate geklärt sein.

    Da WD sich mit Datenblättern ziert und ich deshalb !keinerlei! WD mehr kaufe:


    Mehr als 500 kilotracks/inch > sicher SMR

    Hoher Cache (256MB) bei kleinen Größen > deutliches Indiz SMR

    2,5er über 1TB > meist SMR

    2,5er 2TB+ > kenne ich keine ohne SMR


    Abhilfe sind geeignete Gehäuse wie Fantec DB-Alu3e-6G 3,5" oder i-tec U3HDDOCK für 3,5 und 2,5 und anständige CMR-Platten/SSD

    Dann rennt der Datenstrom auch mit Plattenmax rein und raus sofern es nicht lauter Knirzdateien sind.

    Da von Veeam nur eine einzelne Datei (Container) geschrieben wird und somit sequenziell ist, sollte SMR jedoch keine Rolle spielen. Und da ein Fullbackup bemacht wird muss auch die Differenz nicht gelesen werden. Durch einen lokalen Test mit Backup am PC / Server und einer entsprechenden Testsicherung könnte dies auf jeden Fall geklärt werden. Läuft hier die Sicherung ohne Probleme, werden es wohl nicht die USB-Festplatten sein, zumindest nicht alleine.


    Marcus.S

    Was Du auch noch versuchen kannst:

    Sicherung mit Veeam oder einer entsprechenden Datei intern auf das NAS per SMB. Von dort dann selbe Datei - File Station - weiter auf das am NAS angeschlossene USB-Device. Somit kann man ein paar weiter Teilbereiche ausschließen.


    Wie sieht es eigentlich mit der benutzten SMB-Version aus? Schon mal die verschiedenen SMB-Versionen versucht?

    Da die Sicherung mit iSCSI ja funktioniert, sind die beteiligten Netzwerkkomponenten wohl eher auszuschliessen.

    Teils sind in diesen to-go-Gehäusen auch noch übelste Controller eingebaut, auch wenn 3.0/1 aufgepickt ist und die Kabel ganz toll aussehen. Auch da gibt es gravierende Unterschiede, denn es werden selbst mit EsEs gezeichnete Kabel verkauft/beigelegt, die nur grottig sind. Habe hier selbst welche rumfliegen ... ;(

    Vielleicht kann Marcus ja ein gescheites Gehäuse mit gescheiter CMR-Platte auftreiben und dann berichten.

    Habe mit WD "Passport" und "MyBook" Festplatten eigentlich nicht so schlecht Erfahrungen gemacht. Kann mir eben nicht so wirklich vorstellen, dass diese bis auf 1 - 2 MB/s herunterfallen, auch gegen Ende nicht. Auf jeden Fall hatte ich dies nie.


    Erstmal ist Testen angesagt.

    Ein Inatek mit UASP tut es auch und rennt wie eine interne SATA HD.


    Stark schwankende Datenraten nachdem mehr als 10% der Laufwerkskapazität beschrieben werden gehts los. Dann ist der CMR Cache voll und das gegurke geht los.


    Kann das in meinem SATA Dock schön sehen.


    Monate lang kein Sync. auf die beiden 4TB HDs gefahren. Dann CMR 1h und SMR 6-8h, da hätte ich fast schneller löschen und alles neu schreiben können.


    Jetzt rate mal was passiert wenn du 5 alte Red wegen einer defekten mit einer neuen SMR mischt.

    Wenn nix bei Rebuild läuft nix, wenn da aber VMs, DBs und Contis random IOs mit als Last auf die SMR werfen, Boom!


    Als Archiv HD taugen die wegen der der guten Datenintegrität, aber man muss halt viel Zeit für den Weg dorthin ein planen.

    Man kann von Dortmund nach Berlin die BAB nehmen oder über die Dörfer gurken.

    Das triffts in etwa.

    Zitat von Crazyhorse

    Ein Inatek mit UASP tut es auch und rennt wie eine interne SATA HD.

    Ich frage mich da immer: Wie sieht es da mit der Temperaturentwicklung aus? Einmal 18 TB am Stück befüllen ohne jegliche Kühlung? Im NAS, Server, PC gibt es ja immer ein Luftstrom.

    Habe ich auch schon gemacht, aber nach einer halben Stunde oder Stunde werden die schon ordentlich warm. Nach 18 TB kann man dann vermutlich Spiegeleier braten.

    Habe eine 7200er in einem geschlossenen Fantec, die es auch mit Luftlöchern gibt. Bei liegendem Dauerrödeln unter Last stellt sich ein über SMART ausgelesenes T-Level von 47°C bei 20°C RT ein. Quer-Hochkant geht wegen der besseren Konvektion natürlich auch. Die Inateck könnten etwas besser abschneiden, da teilweise Luftschlitze vorhanden. Im i-tec stehen die Platten sowiso an der Luft.

    Allenfalls Heliumgefüllte Schnelläufer könnten wegen geringerer Temperaturtoleranz Probleme bekommen, aber die purzeln auch üblicherweise nicht in Wechselgehäusen rum.

    Steht bei mir im Rack auf einem Rackboden.

    Die 7200er wird recht warm aber auch die kann man noch anfassen.

    Die 5400er mit SMR bleibt kühl.

    Zur not kommt da ein Lüfter in die Nähe und gut ist.


    Aber 1 mal in der Woche oder 1 mal im Monat wird die HD das sicherlich noch ein paar mal mit machen.

    Die werden langsam eh zu klein.

    Guten Morgen allerseits,


    zuerst mal vielen Dank für Eure vielen Antworten.


    Ich habe gestern noch bei einem weiteren System, welches bisher noch keine Sicherungen auf ein NAS-System durchgeführt hatte - die USB-Platten wurden direkt am Server (Server 2012R2) eingesteckt und wöchentlich durchgewechselt - einen QNAP-Nas-Server in Betrieb genommen.

    Dieser stand dort schon ein paar "Tage" herum und hat auch jetzt nicht die aktuellste Firmware drauf:


    - Server: HP ProLiant DL380 G7 (ja, der ist alt) -> USB3.0 Karte nachgerüstet

    - Microsoft Hyper V unter Server 2012R2 (2 VMs unter Server 2012R2)

    - 8x HP SAS 2,5" 600GB im RAID10

    - Gigabit-LAN, cat7a-Verkabelung

    - QNAP TS-251+ mit 2x WD80EFAX-68KNBN0 - Netzwerk im TEAM-Modus -> FW-Version: 4.3.6.0933

    - 2x Samsung USB-HDD USB3.0, Samsung M3 Portable 4TB


    Backup-Umfang: etwa 2TB


    Die Sicherung lief bisher nachts bei einem Vollbackup auf die USB-Platten direkt durch in ca. 3 Std.

    Gestern also den NAS-Server in Betrieb genommen und das LUN per iSCSI am Server eingebunden.

    Veeam-Backup gestartet und über iSCSI einen Datendurchsatz von bis zu 55MB/s.

    Das Backup lief hier eindeutig langsamer, als bei den anderen Fällen über iSCSI - Gesamt-Backup-Zeit für 2TB, davon 711GB übertragen: 4:48:42
    VEEAM meldet: Bottleneck: Target.

    Dann anschließend die Sicherung auf einen USB-Datenträger gestartet:

    Datendurchsatz anfangs bei162MB/s, nach ca. einer Stunde brach dieser zusammen auf rund 32MB/s und nach zwei Stunden, 10 Minuten und gerade mal 1,1TB bzw. übertragenen Daten: 453,2GB, brach das Backup ab mit der schon bekannten Meldung:

    Code
    08.12.2020 22:13:54 :: Processing ATE-DC Error: Unerwarteter Netzwerkfehler
Failed to write data to the file [\\192.168.0.210\USBDisk\Backup Job - USB - Weekend\Backup Job - USB - WeekendD2020-12-08T221348_44A1.vbk].
Failed to download disk 'File.vhdx'.
Shared memory connection was closed.
Failed to upload disk.
Agent failed to process method {DataTransfer.SyncDisk}.

    Dann habe ich eine der 4 USB-Platten aus meinem Netzwerk gestern Abend an einem meiner Windows 10 PCs angeschlossen,

    eine Netzwerkfreigabe erteilt, diese in VEEAM-Backup am Server 2016 als neue Repository eingetragen und diese lief zwar durchgehend etwas "zögerlich" mit rund 63MB/s komplett durch.


    Ein weiteres System habe ich auch noch am laufen, wo kein NAS-Server zum Einsatz kommt:


    - HP Proliant 380G9 Server 2016 mit 4 VMs,

    - USB-Festplatten (WD identisch mit denen, welche ich einsetze)

    - Vollbackup (Rotatet Drives) 1,4TB -> 1Stunde 20Minuten.


    Mir sieht das irgendwie so aus, als wenn die Übertragung per SMB zum QNAP-NAS-Server irgendwie anfangs sauber läuft und dann irgendwann zusammenbricht - wie ein Speicherüberlauf oder sowas.

    Per iSCSI funktioniert es ja problemlos.


    Was ich heute noch testen werde, ist eine Sicherung über SMB auf die internen Platten eines der NAS-Server.


    Sobald ich hier Ergebnisse habe, melde ich mich.


    Grüße und Euch einen schönen Tag


    Marcus

    Da kannst Veeam aus der Gleichung der schuldigen raus nehmen, würde ich jetzt sagen.


    Kann auch sein, dass du hier bei der USB HD am NAS in einen Timeout läufst, vom SMB oder was auch immer.


    Jedenfalls ist das kein normales Verhalten.


    Das es bei iSCSI geht wundert nicht, hier werden die Blöcke ja direkt vom Quellsystem adressiert und die ganze Volume Logig selber verwaltet.

    Hallo,


    also, soviel kann ich jetzt schon sagen, das Backup über SMB auf die internen Festplatten des QNAP-Servers "rennt" wie nochmal was.
    Datenrate im Durchschnitt: 125MB/s. Von den 2TB sind jetzt nach gut einer Stunde schon 46% durch.


    Also es scheint wirklich ein Problem in der Kombination zu sein:


    -> SMB -> QNAP -> USB-Schnittstelle


    Wie Crazyhorse schon schreibt, sie es aus, als würde es da in einen Timeout laufen oder irgendein Speicher/Puffer volllaufen.


    Ich berichte nochmal, wenn das Backup abgeschlossen ist.


    Grüße

    Marcus

    Zitat von Matselm

    Es würde mich sehr wundern, wären die 2,5er Passports mit 4TB keine SMR

    Sind 100% SMR es gibt keine 4 TB als CMR als 2,5". Wenn ich mich im Moment richtig erinnere ist bei 2TB Schluß, alles danach ist SMR.


    Schließ bitte testweise eine normale CMR 3,5 USB an sonst raten wir nur ins Blaue, SMR funktioniert mal einwandfrei und danach wieder nicht, je nachdem wie die Platte befüllt / fragmentiert ist usw. bricht plötzlich die Datenrate voll ein. Bis zu einem gewissen Punkt können die Platten das abfangen, aber ab einer bestimmten Größe beim übertragen schlägt der Effekt voll zu und die Platte wird immer langsamer bis sie die Daten einmal komplett weggeschrieben und umgeschaufelt hat, danach läuft sie wieder normal bis diese wieder einbricht.


    Ich lieg voll bei Matselm und der Test mit einer anderen Platte ist ziemlich einfach zum ausprobieren. Aber bitte eine CMR

    unos:


    Wie finde ich eine CMR-Platte? Steht das irgendwo drauf?,


    -> Edit: 11:18: Backup über SMB auf den internen Festplatten ist jetzt nach ziemlich genau 2 Std, abgeschlossen.

    Backup: 2TB - übertragene Daten: 655GB


    Also liegts nicht am SMB-Protokoll zum QNAP-Server.

    Einmal editiert, zuletzt von Marcus.S ()

    Marcus.S

    Nach Abschluss der Sicherung kopier diesen mal manuell (File Station) von der internen Festplatte auf die externe. Würde wetten, dass dies ohne Probleme funktioniert.


    Welche Version von Veeam ist im Einsatz, Veeam Agent oder etwas größeres wie Backup & Replication?