Daten mit maximaler Archivgröße Packen

    Hi,


    gibt es eine Möglichkeit Daten von einem Ordner zu Packen um anschließend "mehrere" Archive mit einer Maximalgröße zu erhalten?

    Zwei Ideen:

    1. technisch relativ simpel

    - Man wählt einen Ordner an in welchen z.B. 10TB Daten sind und Packt diesen komplett während die Archive nicht größer als X (X ist in meinem Fall 100GB) groß sind.

    > sollte der Ordner größer sein, wird einfach ab X+1 ein 2. Archiv angefangen.

    ... das ganze kann ja WinRAR, 7zip...


    2. etwas aufwändiger dafür umso schöner

    - Ich wähle wieder meinen Oberordner aber das Tool greift für seinen Archiv jeweils die erste Ebene "subordner" um daraus ähnlich wie bei 1. Archive zu erstellen.


    kurz zum Grund. Ich Fotografiere viel und möchte mein Bilder Archivieren. Hier habe ich immer Datum und dann eine Kurbeschreibung z.B. 20200805_Zugspitze in dem Ordner sind dann zwischen 5GB und bei manchen Hochzeiten auf 3-4TB Bilder und auch Videos drin.

    Für die Sicherung möchte ich gerne in eine Cloud -> Azure oder S3... gehen, das Handling meiner Daten ist "online" aber einfacher wenn ich Pakete anstelle von zig Daten habe.


    Die QTS Sicherung z.B. legt tausende Files ab und wenn ich dann mal 20TB gesichert habe und aber nur den Ordner von der Zugspitze brauch, müsste ich erstmal 20TB herunterladen. So könnte ich eben "nur die Zugspitze" laden.


    Welche Tools gibts.

    Alternativ könnte man auch etwas auf dem Linux-System herumspielen <- aber meine Scriptfähigkeiten für Bash-Scripte sind jetzt auch nicht so überragend :/

    > hätte auch nichts gegen einer kostenpflichtigen Lösung


    Vielen Dank und Viele Grüße:?:

    Schon mal Tests gemacht, wie stark Deine Bilder und Videos komprimiert werden können? Bilder und Videos sind normalerweise schon komprimiert und lassen sich mit Archiv / Komprimierungstools kaum noch stärker komprimieren. Dann könntest Du das ganze Spiel genauso gut auch mit dem Ordner und den darin enthaltenen Einzeldateien machen.

    ja, Komprimierungen sind nicht mehr möglich... Mir ging es eher darum, die Daten "zusammenzufassen". Grund hierfür ist die Listengröße, welche in meinem Storage zu verarbeiten ist.


    Es ist einfacher 1000 Ordner zu verwalten, als 1 Millionen Dateien <- zumindest ist das bei meinem "günstigen" online Storage ein Problem.

    Gleichzeitig wollte ich eben kein Komplettpaket hochladen sondern eben Teilzugriff auf z.B. einen Teil der Bilder haben.


    gibt evtl. noch weitere Ideen?


    Vielen Dank

    OK, dass nicht alles an einem Stück sein soll verstehe ich. Das Zusammenfassen zu einen Teil-Archiv, hm ok, wenn Du das willst. Aber dann das Aufteilen in eine bestimmte Größe? Hat der Online-Speicher eine so keine Maximalgröße oder Du so riesige Archive?


    Und wie soll dies dann ablaufen? Du wählst einen Ordner aus und dieser wird dann in x-Teil-Archive in Größe y erstellt? Oder soll dies mit dem ganzen Datenbestand unter einmal passieren?

    Soll dies auf dem NAS direkt passieren, vom PC aus und dies dann direkt als Ziel der Cloud-Speicher oder mit Zwischenspeicherung?


    Edit:

    Ach ja, welches Betriebssystem hast Du im Einsatz?

    Hi,


    mein Onlinespeicher kann 250GB, ich möchte aber ~100GB Archive haben (auch wegen Upload-Dauer und so) - wie beschrieben, haben so manche Ordner Größen im TB-Bereich -> aber selbst bei 50GB möchte ich eben eine Datei statt 5000 Bilder hochladen.


    Ich nutze Windows10. Aber am liebsten wäre mir, wenn der Prozess auf dem NAS Verarbeitet wird. Hab das TS-1635AX. Haber auch über einen Raspberry4, als "adon" nachgedacht (bin mir aber unsicher, ob der solche Datenmengen verarbeiten kann).


    Grundsätzlich geht es hier um Sicherung, gleichzeitig aber auch im Handling... gibt es denn bessere Lösungen? Die daten einzeln hochladen ist leider nur bedingt schön, da (wie oben erwähnt) ich diese dann nur komplex einzeln herunterladen kann (ein zusammenfassen von mehr als 5000 Objekten funktioniert nicht).


    vielen dank für die Tipps

    Einmal editiert, zuletzt von baeri ()

    Ich würde das Ganze ja als automatische Synchronisation mit dem Online-Speicher machen. Aber bei Dir klingt es so, also ob Du die Daten von NAS in die Cloud verschieben willst und vom NAS entfernen. Sollte dies so sein, kann ich Dir nur empfehlen an andere Stelle ein Backup der Daten zu haben. Wie der Unfall vor ein paar Monaten in Frankreich beim dortigen größten Cloudanbieter gezeigt hat, können auch die Daten in der Cloud verloren gehen. Daten immer mehrfach gesichert haben.


    Eine vollautomatische Lösung auf dem NAS ist mir nicht bekannt. Es gibt aber Sicherungsprogramme und Komprimierungsprogramme, welche auf eine bestimmte Größe begrenzen und dann ein neues Archiv erstellen. Ich hatte vor Jahren ein solches Programm im Einsatz - allerdings auf einem Linux-PC. Aber der Name will mir einfach nicht mehr einfallen. War zu einer Zeit, als ich verschiedene Sicherungsprogramme ausprobiert habe.

    Nun, ich habe noch eine Sicherung auf externe Festplatten, welche woanders gelagert werden (und selbstverständlich überprüft)


    > daher möchte ich in der Tat die Daten in die Cloud verschieben, weil ich nicht ausreichend NAS-Speicher habe, für die anfallenden Daten.


    Linux wäre ja kein Problem <- QNAP basiert ja auch Linux :) schöner wäre ja ein Tool mit Oberfläche.