HBS3 - freier Speicherplatz wird schnell weniger - Backup-Ordner mit der Endung .K -

    Hallo Leutz!


    Mir ist leider kein besserer Titel eingefallen.


    TS-253; QTS 5.1.6.2722; HBS 24.0.0304


    Aktuelles Problem ist, dass der freie Speicherplatz vom Firmen-NAS seit Monaten erschreckend schnell schwindet. Als Ursache kommt eigentlich nur die Datensicherung via HBS3 in Frage.

    Folgende Strategie ist in Benützung:

    • Mehrere inkrementelle Backups
    • Strategie: ua. tägliche Sicherung; intelligente Versionierung ( 8 Tage, 5 Wochen, 120 Monate). Kein QuDedup. Das Protokoll hat keine Fehler angezeigt.

    Von Gefühl her füllen sich die Festplatten viel zu schnell. Jetzt ist mir aufgefallen, dass seit Jänner 2024 zusätzliche Backup-Ordner mit der Endung „.K“ in meinem Sicherungsordner angelegt wurden. ( siehe Schreenshot )


    Am Anfang ( 202401012306.K ) würde das Datum noch passen aber im März wird da für jeden Tag ein solcher Sicherungsorder angelegt, was garantiert nicht in meinem Sinn ist.

    Es schaut so aus, als ob seit dem März 2024 hier eine tägliche Sicherung gespeichert wird und auch gespeichert bleibt.

    Die Monatssicherungen, Wochensicherungen und Tagessicherungen werden nach wie vor gemacht und werden auch korrekt angezeigt.

    • Was bedeutet diese Endung .K?
    • Wie kommen diese Ordner zustande?
    • Gibt es eine Option in HBS3 beim Backup-Job, der diese Order erzeugt?
    • Kann ich die Ordner löschen ohne die Backup-Historie zu zerstören?
    • …. ??


    Bin ratlos und habe, wenn es wie bisher weitergeht, noch ca. 2 bis 3 Wochen, bis ich die Anzahl der Monatsbackups reduzieren muss, damit die ältesten Backups gelöscht werden.


    BRZLFIX

    Die .K Sicherungen habe ich auch noch nie gesehen, allerdings nutze ich HBS3 Backup Jobs schon länger nicht mehr, weil die App nunmal so desolat ist...

    Eventuell mal den Support befragen, habe dazu auch nix gefunden...


    Dass das Problem ist, ist aber schwer vorstellbar, denn wenn es von der Versionierung kommt, dann sind dort Hardlinks enthalten die keine Kapa wegnaschen, es sei denn Du hast so viele Änderungen an Dateien, dass sich das doch so sehr auf die Kapa auswirkt.

    Zitat von brzlfix

    Kann ich die Ordner löschen ohne die Backup-Historie zu zerstören?

    Davon würde ich abraten, aber auch mal den Support fragen.



    Was mich davon ab etwas verwundert: Du hast nur ein NAS Modell genannt, für ein Backup wären in diesem Fall aber zwei QNAP NAS erforderlich, was darauf schließen lässt, dass dies ein NAS-interner Job ist, was wiederum KEIN Backup darstellt!

    Hallo Tiermutter!


    Danke für die Rückmeldung. Du hast recht. Es handelt sich um eine interne Sicherung, falls versehentlich von den Usern Daten gelöscht werden. Das echte Backup erfolgt wöchentlich auf externe HD´s.


    Die Ursprungs-Datenmenge steigt kontinuierlich, jedoch nur langsam an. Nicht in dem Ausmaß, wie der Speicher knapp wird.


    Seit dem von mir oben genannten März hat sich die Datenmenge auf dem "Backup"-Laufwerk von ca. 4TB auf fast 8 TB erhöht und in diesem Zeitraum wurden vorsichtig geschätzt maximal 100 GB hinzugefügt. ( vom Gefühl her erheblich weniger )


    Die Relation stimmt hier nicht zusammen.


    Was ist Deine persönliche Empfehlung für eine Backup/Sync - Software für meine doch eher bescheidenen Anforderungen, die unter den Begriff "Gut und günstig" fällt?

    Für das Problem auf jeden Fall den Support kontaktieren oder nochmal weiter forschen wo genau die Datenmenge angestiegen ist.

    Zitat von brzlfix

    Was ist Deine persönliche Empfehlung für eine Backup/Sync - Software

    Wenn Du sonst ja auf (mehrere?) externe HDD syncst, dann passt das ja schonmal. Eine Versionierung hast Du ja intern, demnach dürften auf die Schnelle geschätzt alle Gefahren abgesichert sein.

    Drastisch optimieren könntest Du, indem Du statt das interne Backup zu fahren Snapshots nutzt und damit versionierst, das würde Unmengen an Kapa sparen.

    Wir hatten ein ähnliches Problem mit der obigen HBS Version. Die eigentlich bereits gelöschten Dateien wurden im Zielordner der Backups nicht gelöscht, obwohl dies so eigestellt war. Das lies sich auch nicht korrigieren, der Cloudspeicher wurde immer voller. Es half nur HBS mit der Vorgängerversion zu überschreiben. Siehe da, es geht alles wieder. Eben echt QNAP! Die alten Versionen sollte man sich aufheben, bevor man Updates macht.

    Die Supportanfrage habe ich gemacht und warte auf Rückantwort.


    Folgendes habe ich jetzt noch angesehen/gemacht/probiert.

    • Die Jobs sind auf 8 Tage / 5 Wochen und 120 Monate eingestellt. Mir fehlt eine Wochensicherung ( nur 4 Stück vorhanden ) und die Monatssicherung von Ende April. ( Für die dafür vorgesehenen Tage gibt es beide Male einen ".K"-Ordner. Alle Tagessicherungen sind vorhanden.
    • In HBS3 werden diese ".K"-Ordner in der Historie als tägliche Sicherungen angezeigt.
    • Ich habe daher von einem dieser ".K"-Ordner einen Restore-Auftrag gemacht und der hat problemlos funktioniert.
    • HBS3 bestätigt mir im Log ausnahmslos erfolgreiche tägliche Sicherungen. Unter der Woche sind es ca. 100GB, die übertragen werden. am Wochenende quasi Null. Da ja das "Rad" der 8 Tages- und 5 Wochensicherungen längst läuft, sollten somit pro Monat maximal 100 GB an Daten dazukommen. Ich spreche hier jedoch von einem Anstieg von 4,7 TB auf 8,7 TB seit März 2024.

    Gibt es eigentlich in HBS3 eine Möglichkeit, Einzelne Sicherungen manuell aus dem Sicherungsverlauf zu löschen und damit auch die zugrundeliegenden Daten zu löschen ?


    tiermutter

    Gibt es eine einfache Möglichkeit, wie ich feststellen kann, wo die Datenmenge angestiegen ist? In der Fileststion wird mir - trotz Hardlinks - immer die komplette/vollständige Ordnergröße angezeigt und die hilft mir nicht weiter bei der Frage, was da mit Links und was da an realen Dateien reinkopiert wurde. Es können jedoch nur diese ".K"-Ordner sein, da ich für diese NAS-internen Sicherungen ein eigenes Volume angelegt habe und auf diesem Volume befinden sich ausschließlich die Sicherungen.


    Hätte jemand die letzte(n) Version(en) von HBS3 für mich, damit ich mal versuchen kann ob sich mein Problem damit lösen lässt?


    BRZLFIX


    ps.: Ich habe mich gegen Snapshots und für ein Backup/Sicherungs-Konzept mit HBS3 entschieden. Falls das Ding korrekt funktionieren würde, hätte ich noch auf Jahre hinaus kein Platzproblem.

    Zitat von brzlfix

    Gibt es eigentlich in HBS3 eine Möglichkeit, Einzelne Sicherungen manuell aus dem Sicherungsverlauf zu löschen

    Nein.

    Entweder funktioniert der Job dann gar nicht mehr (so hatte ich es erlebt) oder es gibt Probleme bei der Versionierung wenn die Konvertierung von zB wöchentlich auf monatlich erfolgt, wenn ausgerechnet die Version gelöscht wurde, die konvertiert werden muss.

    HBS legt da ja auch nicht einfach nur Ordner an und weiß dann nichts mehr davon, sondern HBS merkt sich ja welche Versionen vorhanden sind, unabhängig davon was tatsächlich am Ziel vorhanden ist. Allein dadurch sind schon Probleme vorprogrammiert wenn man einfach was löscht.

    Vorgesehen ist sowas in HBS leider nicht.

    Zitat von brzlfix

    Gibt es eine einfache Möglichkeit, wie ich feststellen kann, wo die Datenmenge angestiegen ist?

    Das kommt jetzt darauf an, wie das NAS eingerichtet ist und genutzt wird. Wenn es sich hier um nur das eine Volume und nur eine Freigabe handelt, dann wird es schwierig...

    Zitat von brzlfix

    In der Fileststion wird mir - trotz Hardlinks - immer die komplette/vollständige Ordnergröße angezeigt

    Ja, das ist bei Hardlinks so... da müsste man über die Konsole gehen, sollte mit du -hc --max-depth=1 klappen.

    Zitat von brzlfix

    Hätte jemand die letzte(n) Version(en) von HBS3 für mich

    Ich nicht... durch Anpassung des aktuellen Download-Links (alte Versionsnummer und Datum) kommt man aber an ältere Versionen dran.

    Zitat von brzlfix

    Falls das Ding korrekt funktionieren würde

    Wenn das Ding korrekt funktionieren würde, dann hätte ich in den 10 Jahren seit ich QNAP nutze nicht schon 4 oder 5 Mal mein gesamtes versioniertes Backup auf den Müll schmeißen müssen und würde mich nicht damit rumschlagen mit welchen Systemen ich meine Backups zukünftig mache :evil:

    Hallo Leutz!


    Ich gebe jetzt mal Rückmeldung.


    Ursache für das Problem war, dass die eingestellte Anzahl der Backups bei der intelligenten Versionierung zu hoch war.


    Ich hatte 8 Tage / 5 Wochen / 120 Monate eingestellt und damit ist HBS3 nicht klar gekommen.

    Ich habe die Anzahl der Versionen in meinen Backup-Jobs auf auf 7 / 4 / 24 reduziert, bin nach Hause gegangen und am nächsten Tag waren alle Ordner mit der Endung .K verschwunden und ich hatte am NAS wieder 3 TB mehr Speicherplatz frei. Inzwischen bin ich auf wieder auf 8 / 5 / 40 Versionen gegangen und HBS3 funktioniert bis Dato immer noch.


    2 Dinge passen noch nicht.


    1) Die Monatssicherung vom Mai 2024 ist nicht vorhanden / wurde nicht gemacht, obwohl zu diesem Zeitpunkt garantiert noch genug Platz vorhanden war.

    2) Ich möchte/muss noch testweise einige Restores machen, um zu prüfen, ob nach wie vor Datenintegrität besteht.


    Als Begründung hat QNAP angegeben, dass das TS-253 ein kleines NAS ist, welches nicht auf eine derartige Anzahl von Backup-Versionen ausgelegt ist und dass eine grössere Versionsanzahl den "Firmen-NAS" von Qnap vorbehalten ist. Das möge verstehen, wer will! Meiner Meinung nach sollte einzig und allein der verfügbare Platz der limitierende Faktor sein, falls QNAP nicht mehrere unterschiedliche Versionen von HBS3 mit unterschiedlicher Funktionalität programmiert hat.


    Meine privaten NAS ( TS673 und TSL-569L) sind seit ewig und drei Tagen auf 8 / 5 / 120 eingestellt und haben zumindest in DIESER Hinsicht noch nie Probleme gemacht.


    Weiters verwundert es mich, dass QNAP zwar bei den Snapshots dezidiert auf die Limitierung der Anzahl hinweist, bei der Anzahl der Backups jedoch keinen Pieps von sich gegeben hat. Wenn ich in den Einstellungen von HBS3 die Anzahl 8 / 5 / 120 eingeben kann und der Backup-Job gespeichert und gestartet werden kann, gehe ich jedoch davon aus, dass diese Einstellungen auch erfolgreich verarbeitet werden können.


    Ich werde bei Gelegenheit mal die Anzahl der Monatsbackups hochfahren und prüfen, ab welcher Anzahl das TS-253 wieder anfängt zum Herumzicken.


    Zum Support von QNAP möchte ich noch anmerken, dass mich die Kommunikation positiv überrascht hat. Ich habe etwas geschrieben bzw. Unterlagen geliefert und am nächsten Tag war die Antwort da. Schneller wäre immer besser, aber ich möchte dem Support hier ein Lob aussprechen.


    BRZLFIX

    Zu den .K-Verzeichnissen:


    Mit deiner Logik "8 Tage / 5 Wochen und 120 Monate" heißt das, dass insgesamt 133 Versionen aufgehoben werden sollen. Da dein NAS noch keine zehn Jahre in Betrieb ist, hast du keine 120 Monatssicherungen. HBS sieht die Zahl von 133 Versionen aber nicht als Maximalwert, sondern als Idealwert an und versucht, so viele Versionen aufzuheben. Wenn das nicht nach dem gewünschten Muster geht - sind halt keine 120 Monate vergangen - dann werden zusätzliche Tages- und Wochenversionen aufgehoben, die eigentlich schon zur Löschung vorgesehen wären. Diese zusätzlichen Versionen erhalten statt D, W oder M ein K. Werden die insgesamt 133 Versionen erreicht, dann werden die K-Versionen automatisch gelöscht.


    Ich habe auch ein paar K-Versionen, aber nicht, weil die Zahl der Monatsversionen noch nicht erreicht wäre, sondern weil ich neulich nach Problemen mit HBS ein paar aktuelle Versionen per Hand gelöscht hatte.


    Die K-Versionen sind also kein Fehler, sondern ein Feature.


    Zum Speicherplatzverbrauch:


    Du benutzt kein QuDedup. Mache ich auch nicht, das hat mir bei der Arbeit schon mal "den Kopf gerettet", als ich Montag früh beim Kunden als allererstes meine VM kaputt gemacht hatte, und mit sftp konnte ich dann die ruinierten Dateien aus dem heimischen Backup wieder herstellen. Der Verzicht auf QuDedup hat aber nicht nur den Nachteil, dass alle Verzeichnisstrukturen für jede Version komplett gespeichert werden, sondern auch, dass nicht erkannt wird, wenn Dateien verschoben werden. Wenn du ein Verzeichnis umbenennst, dann sind alle Dateien dieses Verzeichnisses und der Unterverzeichnisse im Backup doppelt vorhanden und belegen doppelten Speicherplatz.


    Es bringt relativ wenig Speicherplatzgewinn, wenn man ein Backup aus der Mitte löscht, weil die darin befindlichen Dateien meistens ebenfalls im vorangegangenen oder nachfolgenden Backup vorhanden sind und damit weiterhin Plattenplatz belegen. Das Löschen des ältesten Backups bringt mehr, weil dann alte Dateien wirklich rausfallen.


    120 Monate aka. zehn Jahre sind eine verdammt lange Zeit. Wenn du ein Verzeichnis mit 500GByte Daten umbenennst oder verschiebst, dann belegen diese 500GByte zehn Jahre lang den doppelten Speicherplatz, bis endlich die alten Abbilder rausfallen.

    Hallo Anthracite!


    Vielen Dank für deine Rückmeldung


    Falls ich Dich richtig verstehe, wird die von mir voreingestellte Anzahl der Sicherungen mit diesen K-Sicherungen aufgefüllt ( bzw. diese Sicherungen werden nicht gelöscht ), bis die Gesamtanzahl - in diesem Fall 133 - erreicht wird.


    Das widerspricht meinem bisherigen Gedankengang, wie HBS3 funktioniert. Schliesslich habe ich ja die Eingabe „Anzahl der beizubehaltenen Versionen, bevor die obigen Einstellungen angewendet werden“ mit Null festgelegt.


    Weiters sind die K-Versionen verschwunden, obwohl ich die Anzahl der geplanten Monatssicherungen auf 40 angehoben habe und erst 22 tatsächliche Monatssicherungen vorhanden sind. Da müsste es im Moment eigentlich noch 18 K-Versionen geben.


    Weiters frage ich mich auch noch, warum in den Jahren 2022 und 2023 die K-Versionen nicht aufgetreten sind, obwohl ich bereits damals die Anzahl der Versionen mit 8 / 5 / 120 festgelegt habe. Das Problem an sich hat mit der Sicherung vom 2024-01-02 begonnen. Mit diesem Tagesdatum hat sich die erste K–Version eingenistet.


    Bez. 120 Monatssicherungen….. Meiner Meinung nach macht es überhaupt keinen Sinn, Backups über mehr als 2 Jahre, maximal 3 Jahre zu erstellen und aufzubewahren. Ich habe jedoch einen Chef, der diesbezüglich übervorsichtig ist. So lange also genug Platz vorhanden ist… Why not!



    BRZLFIX

    Zitat von brzlfix

    Falls ich Dich richtig verstehe, wird die von mir voreingestellte Anzahl der Sicherungen mit diesen K-Sicherungen aufgefüllt ( bzw. diese Sicherungen werden nicht gelöscht ),

    Ja, du hast mich richtig verstanden, diese Sicherungen werden nicht gelöscht ("auffüllen" trifft es nicht ganz)

    Zitat von brzlfix

    Schliesslich habe ich ja die Eingabe „Anzahl der beizubehaltenen Versionen, bevor die obigen Einstellungen angewendet werden“ mit Null festgelegt

    Das ist die Anzahl der letzten Versionen, die in jedem Falle aufgehoben werden, auch wenn sie eigentlich gelöscht werden müssten. Siehe hier.

    Zitat von brzlfix

    Weiters sind die K-Versionen verschwunden, obwohl ich die Anzahl der geplanten Monatssicherungen auf 40 angehoben habe und erst 22 tatsächliche Monatssicherungen vorhanden sind.

    Ich kann es dir nicht sagen. Ich habe HBS nicht programmiert, ich bin auch nur Anwenderin.

    Zitat von brzlfix

    Weiters frage ich mich auch noch, warum in den Jahren 2022 und 2023 die K-Versionen nicht aufgetreten sind,

    Vielleicht ist erst danach eine entsprechende Änderung in HBS vorgenommen worden? Im März gab es eine Änderung zu diesem Kontext.

    • Neu

    Ich gebe mal Rückmeldung, wie es bei mir im Moment aussieht.


    Ich habe die Anzahl der Monatssicherungen immer wieder um 12 hochgesetzt.


    NAS 1: TS-253

    Hier bin ich inzwischen sowohl bei der Tagessicherung als auch bei der wöchentlichen Sicherung ( 2 Jobs ) wieder bei 96 Monaten.


    NAS 2: TS.251 ( = Ersatz-NAS, falls das TS-253 ausfallen sollte )

    Hier bin ich bei der täglichen und der wöchentlichen Sicherung heute auf 72 Monate hochgefahren und bei der wöchentlichen Sicherung auf externe Festplatten auf 48 Monate.


    Bis jetzt ist alles ruhig, HBS3 arbeitet wie gewünscht und der Speicherplatz füllt sich in etwa so, wie es zu erwarten ist.


    Ich werde interessehalber die Anzahl immer weiter erhöhen, bis das Problem wieder ( oder auch nicht mehr ) auftritt.


    BRZLFIX