Schlechte Performance bei verschlüsseltem Backup auf USB Festplatte

    Hallo zusammen,

    ich habe auf meinem NAS (TS-431X2) eine Freigabe auf einem verschlüsseltem Volume, die etwa 4 TB Daten enthält.

    Die Leseperformance der Freigabe, wenn man über das Netzwerk darauf zugreift, ist im erwarteten Bereich (ca. 250MB/s).

    Diese Freigabe möchte ich nun per USB auf eine externe Festplatte sichern, natürlich auch wieder verschlüsselt.

    In HBS 3 konnte ich soweit auch alles einrichten.

    Das Problem ist jetzt, dass die Sicherung ewig dauert, es werden über zwei Tage berechnet.

    Im Ressourcenmonitor sehe ich, dass die Datenrate der RAID Gruppe gerade mal 19MB/s beträgt.

    Das ist natürlich deutlich langsamer als erwartet.

    Ich sehe auch, dass die CPU von HBS 3 immer so zwischen 25% und 30% ausgelastet wird. Das deutet darauf hin, dass ein Prozess einen Core komplett auslastet.

    Hier könnte ich vermuten, dass die Verschlüsselung beim Backup komplett per CPU gemacht wird und es deshalb so langsam ist.


    Ist es normal, dass das Backup über USB so langsam ist?

    Kann man da was einstellen, dass die Verschlüsselung auch beim Backup die Hardwarebeschleunigung benutzt?


    Viele Grüße

    Das Problem ist nicht die Verschlüsselung an sich sondern das DeDupe im Job.


    Ich sichere auf eine verschlüsselte EXT4 HD und das mit 150-170MB/s im Schnitt ohne große CPU Last.

    Der Job nutzt aber ganz bewusst kein QuDedup!

    An Dedup habe ich zunächst gar nicht gedacht, sondern eher daran dass ein ARM Gerät AES verschlüsseln muss und das entsprechend dauert... dem ist aber nicht der Fall?

    Die ganzen ARM Chips können AES seit Jahren in Hardware, das ist hier nicht das Problem.


    Kannst ja bei QNAP im Performance Check nachsehen was das NAS mit einem verschlüsseltem Raid 5 an Bandbreite über SMB bereitstellen kann.

    Über SMB kann ich mit ca. 250MByte/s Daten von dem verschlüsselten Volume lesen, da scheint schon eine Hardwarebeschlunigung im Spiel zu sein.


    Was ist genau mit DeDupe gemeint?


    Ich habe ein ARM basiertes NAS, da steht QuDedup nicht zur verfügung.

    Ansonsten gibt es im Job nur die Option "Dateiinhalte prüfen", das habe ich so verstanden, dass es nach identischen Dateien sucht.

    Diese Option macht bei der Performance keinen Unterschied, es bleibt bei knapp 20MByte/s.


    Ich habe jetzt nicht wirklich was darüber gefunden, was "Clientseitige Verschlüsselung" genau bedeutet.

    Ist das wirklich AES, oder welcher Algorithmus wird verwendet?


    Die Hardwarebeschleunigung muss von der Software ja unterstützt werden.

    Ist das bei ARM und HBS3 überhaupt der Fall?

    Zitat von f.kiesel

    Was ist genau mit DeDupe gemeint?

    QuDedup. Das ist eine Funktion die automatisch aktiv ist, wenn man einen Backup Job erstellt.

    Die verlangsamt enorm, wie Crazyhorse ja schon schrieb. Im Wesentlichen passiert Folgendes:

    1. Die Dateien werden in ein Containerformat verpackt (blöd wenn man nur dieses eine Backup hat und dann die Hürde nehmen muss, das Backup auszulesen[spezielles Tool von QNAP erforderlich])

    2. Werden Daten dedupliziert, kurz gesagt wird versucht die Kapazität im Backup möglichst gering zu halten, was aber nur bei "bestimmten" Dateien bzw. deren Inhalten wirklich gut funktioniert... in jedem Fall erfordert das aber Power und das dauert entsprechend deutlich länger.

    Zitat von f.kiesel

    Ist das wirklich AES, oder welcher Algorithmus wird verwendet?

    Afaik wird AES 256 verwendet.

    Zitat von f.kiesel

    Ist das bei ARM und HBS3 überhaupt der Fall?

    Ich bin ja offensichtlich noch auf einem Stand, wo ARM gar kein AES kann :D :D

    => keine Ahnung :P

    Zitat von tiermutter

    ch bin ja offensichtlich noch auf einem Stand, wo ARM gar kein AES kann

    Hier mal eine ARMv8 A53 CPU:

    Code
    Hardware crypto    AES-CBC,AES-CCM,AES-GCM,AES-ICM,AES-XTS,SHA1,SHA256,SHA384,SHA512


    Und QuDedup schreibt erst alles auf das Systemlaufwerk, warum auch immer???

    Dann erst werden die Daten verpackt und dann weg gesichert.


    Total ineffektiv und ich verwendet es daher gar nicht mehr.


    Witzig ist der Kommentar, man möge doch SSDs ins NAS verbauen damit das Backup schneller läuft :evil:


    Dann lieber größere Backup HDs und hier konventionell drauf sichern, geht:

    1. schneller

    2. kommt man im Notfall auch mit einem Live Linux an die Daten, auch wenn das Laufwerk verschlüsselt wurde

    QuDedup ist echt schon ein Stückweit dusselig... Ich verwende es in einem versionierten Backup auch nur, damit ich die Jobs auf neuen Systemen/ nach Neuinstallation fortführen kann. Gededupt wird so ziemlich gar nichts von meinen Daten, würde keinen Unterschied machen ob ich nen halbes TB mehr Kapa habe oder nicht...

    So, ich habe nochmal etwas rumprobiert.

    Ein unverschlüsseltes Backup vom verschlüsselten Volume läuft mit ca. 125 MByte/s.

    Es muss also an der Verschlüsselung liegen.


    Die Verschlüsselung von HBS 3 scheint AES-CBC wie in openssl mit einem zusätzlichen Header zu sein:

    https://forum.qnap.com/viewtopic.php?t=150516


    Anscheinend wir die AES-CBC Hardwarebeschleunigung bei meinem Modell von HBS3 nicht benutzt :(

    Ich vermute mal, da kann ich dann nicht viel machen.

    Dann muss das Backup eben über einen Client laufen.

    HBS3 hätte ja auch den Nachteil, dass die Dateinamen nicht verschlüsselt werden. Das wäre in meinem Fall nicht so wichtig, kann aber schon relevant sein.


    Vielen Dank für eure Hilfe!

    Erstelle auf der USB HD ein verschlüsselte Volume und dann sichere auf Dabeibasis mit HBS3 rein, dann wird das auch rennen.


    Sobald aber HBS3 verschlüsselt, wird das im Kontainerformat mit QuDedup verpackt und dann gehts runter mit der Datenrate.


    Vor allem weil dann vom Volume gelesen wird, auf das Systemvolume geschrieben um dann wieder davon gelesen zu werden und die Daten auf das Zielmedium zu übertragen.