Doppelte Files auf QNAP 209 Pro finden

    Hallo @ ALL


    Ich habe das Problem das ich auf meinem QNAP (TS-209 PRO mit FW 3.1) manuell per TotalCommander von einem anderen NAS Daten kopiert habe.
    Jetzt habe ich dazu noch ein SyncTool auf Windows benutzt, und damit doppelte Daten auf dem QNAP geschaffen. Und das sind mal eben 250 GB (Viele kleine) Dateien die ich nicht von Hand aussortieren kann.


    Ganz konkret:
    Ich würde gerne mit find auf / (RootDir) alles durchsuchen, und anhand der GLEICHEN md5 checksum in eine Liste schreiben lassen.
    Ich habe in einem anderen Borad wo es allgemein um UNIX geht folendes gefunden:
    #find . -exec md5sum {} 2>/dev/null \; | sort | uniq -W 1 -D >ausgabedatei.txt
    Danach fehlt mir noch die weitere Verarbeitung dieser TXT um ggf. nach einstellbaren Kriterien wie change date o.ä. löschen kann.



    Ich bin kein Linux Spezialist, sondern eher ein DAU auf Linux.


    Ich glaube, dass der QNAP und seine Busybox zuersteinmal schon das md5sum nicht kennt, und zweitens die uniq -W und -D Option nicht kennt.
    (Ich habe -> BusyBox v1.01 (2009.07.07-21:09+0000) multi-call binary)
    help bzw. busybox liefert als ausgabe kein BINARY mit namen md5*


    FRAGEN:
    1) Gibts ein ipkg der QPKG der die Aufgabe des "Search dublicates and list" übernehmen kann?
    2) wie installiere/kompiliere/etc. ich step by step md5sum oder ähnliches auf dem QNAP, um dann wahrscheinlich spägter festzustellen dass es trotzdem nicht geht?
    3) Wie kann ich dann uniq updaten, damit die Optionen -W und -D auch funktionieren?
    4) Wie kann ich ggf. die busybox version updaten, denn in neueren versionen scheint md5 und md5sum std. zu sein?
    5) Hat schon mal einer das Problem gehabt, und fixen können= Ich habe sie SuFu definitiv benutzt, und nichts gefunden!
    6) Wie kann ich auf meiner Windoof Kiste das /dev/sda(x) bzw. /share des QNAP mounten, damit ich ggf. Windows Tools nutzen kann, und das Device auf Dublikate per md5 prüfen kann.
    (Ich verstehe das alles nicht was die Artikel bei Google dazu lieferten... ich bin ehrlich)


    Alternative Vorschläge?



    Ich sage jetzt schon Danke!!!


    Gruß aus MUC


    Der Merlin!

    Mensch, soo viele Fragen...
    Dann sollst Du auch genau so viele Antworten bekommen :thumb:


    Ich sehe gerade, das Du auch Pakete hast, die sich in einer Modifizierten version auf der "NAS Firmware" befinden.
    Ich werde bei diesen Binary's ein ** (Stern, Stern) Hinschreiben.
    Dicht nicht einfach uniq aufrufen, sondern /opt/bin/uniq (da ich keinen Force-Install-Machen wollte ok...) :thumb:


    Zitat

    1) Gibts ein ipkg der QPKG der die Aufgabe des "Search dublicates and list" übernehmen kann?


    Nö.


    Zitat

    2) wie installiere/kompiliere/etc. ich step by step md5sum oder ähnliches auf dem QNAP, um dann wahrscheinlich spägter festzustellen dass es trotzdem nicht geht?


    MD5SUM ist in den Coreutils enthalten.

    Code
    ipkg install coreutils


    Zitat

    3) Wie kann ich dann uniq updaten, damit die Optionen -W und -D auch funktionieren?


    ** uniq ist in den Coreutils enthalten, und ist bereits in einer Modifizierten version auf den NAS.

    Code
    ipkg install coreutils



    Zitat

    4) Wie kann ich ggf. die busybox version updaten, denn in neueren versionen scheint md5 und md5sum std. zu sein?


    Möchte ich nicht beschreiben, da die von QNAP reicht. (Ist ja nur ein NAS...)


    Zitat

    5) Hat schon mal einer das Problem gehabt, und fixen können= Ich habe sie SuFu definitiv benutzt, und nichts gefunden!


    Joah, wenn ich mich verschreibe... SPASS! :D Kommt schon mal vor. ;)
    Eine Alternative Foren Such Funktion bietet ja zum Glück auch das hier: http://tinyurl.com/lgm73x


    Zitat

    6) Wie kann ich auf meiner Windoof Kiste das /dev/sda(x) bzw. /share des QNAP mounten, damit ich ggf. Windows Tools nutzen kann, und das Device auf Dublikate per md5 prüfen kann.


    Wie Du Willst irgendwas mounten, damit Du irgendwas via md5 prüfen kannst? Da würde Samba doch schon reichen.... Um seine Netzfreigabe bei Windows zu mounten...
    ;) Weil wie man das NAS & Samba konfiguiert steht ja auch schon im Handbuch?
    Ich weiss leider nicht so wirklich was Du damit meinst und kann Dir deshalb daraus auch keine AW liefern...


    Die letzte Frage gibt mir sogar zu denken, ob Du jetzt das NAS selbst nach doppelten Daten durchsuchen lassen möchtest.
    (NAS suche Doppelte Daten und mache was mit)
    Oder ob Du einfach 'nen Samba Share machen möchtest, und dann einfach mit einem Windows Script oder tool nach Doppelten daten suchen möchtest....


    Nützliche Shell scripts, die bereits nach duplikaten suchen findest Du übrigens hier: (Direkt u.a. das 1.)
    http://www.google.com/search?h…script+Duplicates&spell=1


    Grüße, David


    EDIT:
    Hey, da hat sich gerade eine andere AW mit der von meiner überschnitten... :roll:


    fdupes kenne ich noch nicht....
    :?: Aber mal ehrlich, brauch mann denn überhaupt so etwas, wenn man das nicht schon längst machen kann...

    Einmal editiert, zuletzt von Terz ()

    Terz und Steckel


    Super Danke für eure Tips und Antworten.
    Das is echt super! Ich werde gleich mal schauen was ich daraus machen kann.


    EDIT:
    Um die Verwirrung auszuschließen...


    Also das Ziel ist eigentlich, dass ich schon das NAS für mich arbeiten lasse, und das ganze auf dem NAS direkt ausgeführt wird.
    Wenn dies aber nicht geht, wäre da auch noch der andere Weg, eben die NAS HDD auf dem Windoof Rechner als Netzlaufwerk einzubinden (aber nicht die einzelnen Freigaben, sondern sozusagen EIN MAINSHARE) und dann per Windows Tool das Mainshare nach doppelten Daten suchen zu lassen, falls ich das mit dem FIND ... nicht hinbekomme.


    Das wird nämlich auch noch so ein Ding... ich als LinuxDAU!


    Aber DANKE sag ich trotzdem nochmal ganz deutlich, denn ich habe vorher schon echt 5 Stunden im Netz gesucht und keine verständlichen Wege gefunden md5 oder uniq einzubinden/upzudaten.


    So, nu mach ich das mal, und melde dann was so passiert ist!


    Ciao
    Der Merlin

    Einmal editiert, zuletzt von jody () aus folgendem Grund: Doppelte Beiträge vermeiden siehe Forenregeln

    Also...
    fdupes hat das Gewünschte gebracht.


    Ich habe mich zwar aus Ehrgeiz erstmal an das "find"- Thema rangemacht, aber dann doch aufgegeben!


    Danke nochmals!


    Fall ist als GELÖST anzusehen!


    Gruß aus MUC


    Der Merlin


    Hallöle,


    lass uns doch mal an Deinem Erfolg teilhaben:


    Wie hast Du Dein Problem mit fdupes genau gelöst?
    Schreib doch mal eine Anleitung, es dürfte hier bestimmt einige User geben, die das gleich eProblem haben ;)


    Grüße
    J 8-) dy

    Servus. :)


    jody: (Hi Jürgen) Kannst Du haben :D


    Na ganz einfach, wenn er es mit fdupes gemacht hat.


    Paket "installieren":

    Code
    ipkg install fdupes


    Danach Beispielsweise:

    Code
    fdupes -r -d /share/Qmultimedia/


    fdupes würde jetzt das Qmultimedia Verzeichnis nach doppelten Dateien (Rekursiv) durchsuchen,
    und diese Löschen. (Da müsste es auch eine Abfrage geben, welche der beiden doppelten soll gelöscht werden)


    Oder Du lässt einfach 'ne Textdatei mit den Doppelten Daten erstellen:

    Code
    fdupes -r > doppelt.txt



    Im übrigen kann Mann genau dies ebenfalls mit md5deep, oder einfach via Shell (coreutils vorausgesetzt) erreichen....
    Also wie immer gibt es mehrere Möglichkeiten um an das Ziel zu Kommen. :thumb:

    Terz


    Danke!
    Ich hatte zwar gehofft mit meinem Posting auch mal andere dazu motivieren zu können auch mal etwas für die Community beizutragen, nöööö....


    Jetzt bleibt dem Merlin doch nur noch die Spende :D (das ist der orangefarbene Knopf am Fuße jeder Seite :!::!::!: )


    Grüße
    J :idea: ody

    @ Jody:


    Ach so. Ich dachte Du hättest viele doppelte Dateien auf deinen Storage... :D
    Naja, dann wäre jetzt wohl Spenden wirklich angesagt :thumb:

    Zitat von "Terz"

    @ Jody:


    Ach so. Ich dachte Du hättest viele doppelte Dateien auf deinen Storage... :D
    Naja, dann wäre jetzt wohl Spenden wirklich angesagt :thumb:


    Nööö, die doppelten stören mich nicht, nur die dreifachen :D


    Ich hab schon gespendet, ääääätsch :!:


    J :P dy

    Hallo an Alle nochmal.


    Ich habe das Thema dann doch abbrechen müssen, da meine 1TB Platte den QNAP über 4 Tage mit ~97% CPU Last und voll ausgelastetem Speicher regelrecht gestresst hatte. Und dann bei fdupes 82% ewig hing, bis er dann mal auf 83% weiterging.


    Ich habe das dann schon mit fdupes gemacht, aber einen anderen Weg genommen.
    Das Thema war dann in 20 min durch. Für die selbe Aktion wohlgemerkt!!!


    Mein Vorgehen:
    1) Knoppix Live CD heruntergeladen und bootbares Image gebrannt
    2) HDD aus QNAP ausgebaut, und in meinen WIN PC eingebaut
    3) Meine WIN HDD abgesteckt, damit es keine Verwirrung unter Knoppix gibt.
    4) in Knoppix dann als root auf shell

    Code
    apt-get update

    Hier läd er die aktuellen Paketlisten

    Code
    apt-get install fdupes


    Dann auf der "Platte" gesucht,

    Code
    find / -name fdupes -print


    und fdupes im /ramdisk/usr/bin gefunden.


    Meine Platte gesucht und dann gemountet

    Code
    fdisk -lcd /mntmkdir QNAP_HDDmount /dev/hda /mnt/QNAP_HDD


    Dann fdupes SO ausgeführt:

    Code
    cd /ramdisk/usr/bin
fdupes -r /mnt/QNAP_HDD >/mnt/QNAP_HDD/share/Qdownload/fdupes-doppelte-files.txt


    Platte wieder aus dem WIN PC raus, und in QNAP eingebaut.
    und nun hatte ich im Qdownload eine TXT die ich ganz in Ruhe bearbeiten kann.


    Ich könnte nun daraus auch eine TXT machen, die ich dann per Script einlese und ausführe um die darin (noch) befindlichen Pfadangaben zu löschen.


    Oder eben fdupes ausführen, und nach dem -r noch ein -d dazu, dann wird man glaube ich aufgefordert per "Y" oder "N" zu sagen was gemacht werden soll.


    Ich denke wenn man eine große Platte mit vielen Files hat, und dazu auch teilweise Große FileSize, macht es nicht wirklich Sinn das auf dem QNAP auszuführen.
    Mich hatte das 5 Tage einen laufenden PC gekostet (Putty Session von WIN auf QNAP), und einen gestressten QNAP, schlechte reaktionszeiten auf den QNAP, da er unter Last war.


    Anmerkung:
    ich konnte auf dem QNAP fdupes nicht mit & in den Hintergrund schicken!!


    So, also das war meine Vorgehensweise.


    Gruß


    Der Merlin aus MUC


    Ich denke ich werde noch früh genug spenden ;)
    Als nächstes kommt Joomla und XDove