QuTS Hero Deduplizierung ohne Effekt

    Hallo zusammen,


    wir haben bei uns große Projekte mit viel Videomaterial. Wenn wir ein neues Projekt anlegen, was das selbe Material verwendet, kopieren wir diese großen Daten meist einfach, damit wir bei einer späteren Archivierung die Ordner unbesorgt auf auslagernde Festplatten kopieren können.

    Nun dachte ich, das wäre ein Grund, Quts Hero mit Deduplikation dem QTS vorzuziehen.

    Irgendwie hat das aber keinerlei Auswirkung.

    Ich habe via HBS-Synchronisation die Daten von einem anderen NAS auf das mit QuTS kopiert, keine Datenersparnis.

    Ich habe einen 6TB großen Ordner innerhalb des neuen Freigabeordners einfach mal in das selbe Verzeichnis kopiert, keine Datenersparnis. (Siehe Anhang; vor und nach Kopieren)

    Ich dachte dafür sei Deduplizierung gedacht, oder verstehe ich da etwas falsch?

    Ich verwende eine TS-873a mit 32GB ECC-RAM und 7x18tb HDD's

    Danke für jeden Input
    Beste Grüße
    noIdea

    Ich habe den Test mal bei mir nachgestellt und es funtioniert wie erwartet:


    dedup.jpg


    Vielleicht hast du zu wenig Speicher und QNAP macht dann stillschweigend einfach nichts? Der Speicherbedarf von Dedup soll ja enorm sein. Mach doch mal einen Test mit einem kleinen Folder.

    Zitat von binam

    Der Speicherbedarf

    Welcher? Ram? Es sollen ja 16GB Ram für Dedub reichen.


    Zitat von no1dea

    Ich verwende eine TS-873a mit 32GB ECC-RA

    Servus! Ich habe das TS-673A auch mit den welchen Ram verwendest du?
    Ich will mehr oder weniger das selbe machen wie du.

    Ich habe einen 32GB Kingston Server Premier DDR4-2666 SO-DIMM CL19 Single.
    Bis jetzt habe ich das Problem aber noch nicht lösen können.
    Kleine Folder werden auch nicht dedupliziert.
    Ich habe ein Support-Ticket eröffnet. Qnap wird demnächst was mit Fernwartung probieren. Ich bin jetzt aber erstmal über eine Woche im Urlaub und werde mich erst danach darum kümmern.

    Einmal editiert, zuletzt von no1dea ()

    Gefällt mir 1
    Zitat von Registrierung

    Welcher? Ram? Es sollen ja 16GB Ram für Dedub reichen.

    Ich meine den RAM. Ein Eintrag in der Dedup-Tabelle ist 320 Bytes groß und man braucht pro Block einen. Bei 128K Blockgröße wären das 2,5 GB RAM, um 1 TB Plattenspeicher zu deduplizieren, bei kleineren Blöcken entsprechend ein Vielfaches.


    32 GB RAM reichen also keinesfalls um 7x 18 TB HDD's zu deduplizieren.


    Der Rambedarf ist letztlich auch der Grund, warum Dedup nett aussieht, aber bei aktuellen Preisen von RAM und Platten keinen Sinn macht.

    Oh!

    Ich glaube mein Fehler war, dass ich den Freigabeordner auf Thick gestellt habe!
    Nun, wo er zu Thin konvertiert wurde, funktioniert es, glaube ich.
    (Hätte man bei dem Schalter in den Einstellungen nicht darauf hinweisen oder ihn ausgrauen können?)

    PS: Wenn ich bspw. mit 25 GB RAM 10TB HDD spare, reicht das voll aus.

    4 Mal editiert, zuletzt von no1dea ()

    Gefällt mir 1

    Es scheint auch an der RAM-Größe zu liegen. Folgendes kam von QNAP zurück:


    Mod: Nicht deklariertes Zitat ohne Quellenangabe ... korrigiert! :handbuch::arrow: Forenregeln beachten und Die Zitat Funktion des Forums richtig nutzen

    Zitat von QNAP Support

    This customer has 32GB RAM, and the number of dedup entries has exceeded 110 million. With a 32G RAM machine, the value can only reach near 50 million. Now it has more than doubled the dedup table, so the newly written data cannot be dedup. in this state, prune will also run for a long time, and cause txg slow, and currently it is impossible to use prune to clear infrequently used.
    For now, it is recommended that customers use fast copy to have the same effect as dedup, and it is faster, but the limitation is that it cannot cross datasets.