Settings für viele kleine Dateien

  • Hallo,


    ich bin auf der Suche nach einem geeigneten NAS und passenden Einstellungen, um sehr viele kleine Dateien zu speichern.


    Wenn es dazu bereits einen Guide gibt, wäre ich für einen Link dankbar. Der Rest meines Posts kann dann einfach ignoriert werden. :)

    Ich habe leider keinen Guide gefunden, der die relevanten Abwägungen auflistet mit ihren Pros und Cons für verschiedene Szenarien: Performance, Kosten, Flexibilität, Redundanz, ...


    Da ist zwar z. B. dieser Artikel, der mir etwas Hilfe gibt, aber nicht genug:

    https://www.qnap.com/de-de/how-to/tutorial/article/leistung-von-qnap-speicherlösungen-best-practice-anleitung

    Der passt wohl für ein professionelles Umfeld, ist aber für einen kleinen Privatuser nicht konkret genug.


    Mein Fall:

    • Artikelarchive von Zeitschriften mit vielen Jahrgängen, abgelegt als Webseiten, d. h. vielen kleinen Text- und Bilddateien. Bedeutet auch, dass ich auf die Ordnerstruktur (wie viele Dateien pro Ordner) wenig Einflüsse habe.
    • Aktuell abgelegt in Image-Files, d. h. das derzeit genutzte NAS sieht nur die großen Image-Dateien. Gut fürs NAS, unpraktisch für den Zugriff, weil immer erst das Image gemountet werden muss. Ich möchte die Dateien jetzt direkt aufs NAS legen.
    • Einzelnutzung, d. h. kleine Zugriffszahlen, kaum Parallelzugriffe, Kosten sind ein Thema.
    • Vor allem Lesezugriffe. Nach dem ersten Schreiben werden die Daten nicht geändert.
    • Zugriff über SMB-Share.


    Meine bisherigen Überlegungen:

    • SSDs zwar wünschenswert, aber zu teuer. Festplatten sind ausreichend schnell. SSD als Cache bringt auch keinen Mehrwert.
    • Static Volume tut alles, was ich brauche und ist die performanteste Variante.
    • Bytes pro iNode: So klein wie möglich wählen, um den Verschnitt zu reduzieren. aber die HDD-Größe noch bedient wird. Selbst 4K genügt für eine 16 TB-Platte.
    • Von Komprimierung und Deduplication erwarte ich wenige Vorteile im Vergleich zu den höheren Anforderungen ans NAS (CPU, RAM).
    • Backup soll gegen Festplattenausfall, Geräteausfall und versehentliche Löschung schützen. Kein Schutz gegen versehentliche Änderung nötig.
      Sync auf ein zweites QNAP NAS und Verwendung des Papierkorbs mit angemessener Lagerungsfrist im Papierkorb um die versehentliche Lösung zu erkennen.


    So dachte ich mir das. Ich habe mit 431P-Modellen experimentiert.

    • So Low-End diese Geräte auch sein mögen: Sie kommen prima klar damit, die wenigen großen Image-Dateien einzeln auszuliefern: Ich mounte direkt vom NAS aus lokal am Rechner. Dann navigiere ich am Rechner innerhalb der Image-Dateien, was letztlich auch wieder das NAS bedienen muss. Klappt, ist aber umständlich, und ich habe immer Sorge, dass mal ein Image korrupt wird und ich mit einem Schlag alle Daten verliere.
    • Wenn ich aber die Inhalte der Images direkt ins NAS-Dateisystem stelle, dann verschluckt sich das NAS bei nächtlichen Maintenance-Jobs: vs_refresh läuft über Stunden oder wird gar nicht fertig. Ebenso der Sync (HBS 3 Hybrid Backup Sync via RTRR) aufs zweite NAS: Selbst wenn gar nichts zu kopieren ist, also nur der Vergleich läuft, dauert das laaang.


    Empfehlungen von den Experten, wie ich die Daten doch direkt im NAS-Dateisystem gut handlen kann?

  • Also wie ich das deute, sind es nur zwei Probleme:

    dann verschluckt sich das NAS bei nächtlichen Maintenance-Jobs: vs_refresh läuft über Stunden oder wird gar nicht fertig.

    Das kannst Du deaktivieren, ich weiß aber nicht ob und wann dann die entsprechenden Daten aktualisiert werden, falls das dennoch erwünscht ist:

    pasted-from-clipboard.png


    Ansonsten wird sich daran wohl nichts ändern lassen.


    Ebenso der Sync (HBS 3 Hybrid Backup Sync via RTRR) aufs zweite NAS: Selbst wenn gar nichts zu kopieren ist, also nur der Vergleich läuft, dauert das laaang.

    Ist die Option "Dateiinhalte prüfen" aktiv? Diese deaktivieren. Wenn das schon deaktiviert ist, dann sehe ich hier Snapshot-Replika als Mittel der Wahl. Da diese blockbasiert sind, ist die Anzahl der Daten irrelevant. Dazu müsstest Du allerdings von statischem Volume auf einen Pool umstellen...

  • Hallo tiermutter .


    Das sind klasse Hinweise. Danke.


    Mit Pools habe ich mich bisher nicht beschäftigt. Tja, jetzt habe ich dazu einen Anlass.


    Wenn QNAP erlaubt, diese Refreshs abzuschalten, dann sind die ja nicht kritisch fürs System.
    Mal recherchieren, welche Funktionen damit auf der Strecke bleiben.

  • Naja damit wird Dir in QTS nicht mehr angezeigt wie viele Dateien und in welcher Größe diese auf den Freigaben liegen.

    Der Kapazitätsverlauf auf den Volumes sollte nicht betroffen sein, da sich dieser ja nicht auf Dateiebene berechnet.

    Tja, jetzt habe ich dazu einen Anlass.

    Nimm das: