Dublettensuche / Datenpflege?

    Hallo zusammen,


    Ich nutze zwei NAS, TS-669L und TS-853A um größere Mengen an teilweise unersetzbaren Daten zu speichern/verwalten.
    In diesem Zusammenhang suche ich dringend eine leistungsfähige Möglichkeit, Dubletten zu finden, die z.B. durch versehentliches Anlagen von (Unter-)Verzeichnissen zustande kommen.


    Bei Synology habe ich etwas gefunden, das dieser Überlegung nahe kommen könnte: <http://stadt-bremerhaven.de/synology-nas-doppelte-dateien/> .


    Kann jemand dazu etwas sagen? :?:
    Bietet QNAP etwas Vergleichbares? :?:


    Wie löst Ihr/Sie derartige Probleme? :?:
    Wer könnte helfen? :?:


    Danke für Hilfe + Anregungen-



    Axel

    Das QNAP direkt kann das meines Wissens nicht, evtl. gibt es eine App im Qnapclub-AppCenter.


    Grundsätzlich würde ich hier eher nach PC-Software suchen, da gibt es viel mehr Auswahl. Diese Software kann ja auch über das Netzwerk auf den NASen suchen.

    Danke für die Antwort!!!


    Könntest Du/könnten Sie das konkretisieren?


    FSLINT unter GNOME kenne ich natürlich, bleach, fdupes, etc.


    ich schätze mich eher als Anfänger ein; deshalb wäre mir sehr an Lösungen gelegen, die vielleicht nur 70 % der Qualität professioneller Lösungen bieten.


    Dafür aber eine Bedienoberfläche ("gui") besitzen, und für die Standard-Aufgabe der Datenpflege einfach bedienbar bleiben.
    Wer die Kommandozeile beherrscht benötigt vermutlich neben wenigen Minimalbefehlen kaum etwas zusätzlich.


    Aber diese Leute könnten sich auch leicht mit openNAS selbst NASse bauen.


    Deshalb finde ich schon, QNAP selbst sollte sich um belastbare Lösungen der Datenpflege und Datendeduplizierung sorgen.
    Wer würde heute selbst noch die Zündwinkel eines 4-Zylinder-Dieselmotors einstellen?


    Liege ich da so falsch?



    Axel

    Zitat von Alfred72

    Könntest Du/könnten Sie das konkretisieren?

    Für Windows gibt einige grafische Software, z.B. AllDup (Freeware: http://www.allsync.de/alldup_hilfe/alldup.php) oder DuplicateCleaner (Free/Commercial: https://www.duplicatecleaner.com). Einfach ein Windows Laufwerk für die zu durchsuchenden Freigaben wählen und suchen lassen. Es gibt viele Optionen, nach welchen Kriterien verglichen werden soll.


    Zitat von Alfred72

    Deshalb finde ich schon, QNAP selbst sollte sich um belastbare Lösungen der Datenpflege und Datendeduplizierung sorgen.

    Das kann man so sehen, muss es aber nicht.


    Meiner Meinung nach ist ein NAS zu allererst mal ein Datenspeicher. Wie der Benutzer seine Dateien darauf speichert, ist sein Ding. Und wenn er kein System dafür hat, um seine Daten sinnvoll zu strukturieren, so ist es m.E. nicht unbedingt Aufgabe des NAS, Ordnung ins "Chaos" zu bringen. Sicher gehen heutige NAS weit darüber hinaus und bieten z.B. mit Qsirch Suchfunktionen usw. an, aber das ist Bonus. In Windows und Linux ist von Haus aus auch keine Duplikate-Suchfunktion integriert und daran stört sich auch niemand.


    Apropos Qsirch, hast du dir das schonmal angesehen? Evtl. kann das ja neben der Suche auch Duplikate finden. Ich habe es noch nicht verwendet.

    3 Mal editiert, zuletzt von warpcam ()

    Zitat von Alfred72

    Liege ich da so falsch?

    Ja.
    Wie mein Vorredner schon schreibt, es ist Sache des Nutzers seinen Datenaufkommen in Ordnung zu halten.

    Wenn man auf diesem Stand geblieben wäre, hätte es neben UNIXen nie etwas anderes gegeben... .
    Und wenn alle User so arbeiteten, könnte man NASse vermutlich nicht einmal in Serie herstellen und verkaufen.


    Zugegeben: ich bin weder Spezialist, noch Superuser".
    Aber andererseits scheint vielen dieser Leute scheint die Notwendigkeit einfacher und praktikabler Anwendbarkeit abhanden gekommen zu sein.


    Wenn ich meine verfügbare Zeit zu 100% ansetze, so hat bei mir(!!) die Arbeit _mit_ den Daten (=Bildbearbeitung) eher 70-90 % Anteil.
    Was ist so falsch, wenn man ein NAS als Werkzeug, und nicht als Hobby betrachtet (20000 Punkte...)


    Nix für ungut.


    Ich suche innovative Ansätze und Hilfe.
    Auf der Kommandozeile wäre man heute noch auf einem Stand der ersten Mondlandung... .


    Danke für Deine/Ihre Kommentare.


    Was ich als "Anfänger" mit 105 Punkten noch nicht weiß, ist, wie ich ein Kommandozeilenprogramm (z.B. fdupes) für's NAS nutzen kann.

    Zitat von Alfred72

    Was ich als "Anfänger" mit 105 Punkten noch nicht weiß, ist, wie ich ein Kommandozeilenprogramm (z.B. fdupes) für's NAS nutzen kann.

    Putty ist dein Freund.
    Bitte im Forum suchen.

    Hallo Christian,


    Wie kann ich das nutzen-
    - im verlinkten Zweig Deiner Antwort ist ausdrücklich von "QTS 4.2.0" die Rede- in nutze 4.3.3.
    - muß man diese (Kommandozeilen-?)Programme installieren?
    - ich kann bisher lediglich neue APP's im Hilfecenter installieren-


    Gruß + Dank-



    Axel

    Zitat von Alfred72

    Wenn ich meine verfügbare Zeit zu 100% ansetze, so hat bei mir(!!) die Arbeit _mit_ den Daten (=Bildbearbeitung) eher 70-90 % Anteil.Was ist so falsch, wenn man ein NAS als Werkzeug, und nicht als Hobby betrachtet (20000 Punkte...)

    Das tue ich auch (auch ich bin leidenschaftlicher Hobbyfotograf ;) ), trotzdem muss man sich halt mit jedem neuen Gerät beschäftigen, wenn man es sinnvoll einsetzen möchte. Dafür gibt es ja das Forum.

    Zitat von Alfred72

    Was ich als "Anfänger" mit 105 Punkten noch nicht weiß, ist, wie ich ein Kommandozeilenprogramm (z.B. fdupes) für's NAS nutzen kann.

    Das NAS nutzt als Betriebssystem ein von QNAP angepasstes Embedded-Linux. Die Kommandozeile ist im Auslieferungszustand recht spärlich, man kann aber Vieles nachrüsten. Wie das geht, hatte ich hier schonmal beschrieben. Über Entware-ng kannst du auch fdupes installieren (alternativ zur von Christian verlinkten App). Deinen Beschreibungen zufolge scheinst du Erfahrung mit Linux zu haben und solltest somit damit wenig Schwierigkeiten haben.


    Auf den Intel-NAS gibt es auch die LinuxStation (komplettes Ubuntu) sowie Virtual Machines, über die du das Meiste nachrüsten kann.


    Achja, mit Putty/SSH kommst du so aufs NAS: [Howto] Zugang via SSH / SCP

    Zitat von Alfred72

    Wie kann ich das nutzen-

    Du musst im AppCenter eine neue Quelle hinzufügen. Eine Anleitung gibt es hier : http://qnapclub.eu/
    Alternativ lade für QTS 4.3.x das Paket für X86_64 herunter und installiere es manuell über das AppCenter.


    Nach der Installation kannst du fdupes per putty/ssh nutzen. Dafür benötigst du auch kein Entware-ng.

    4 Mal editiert, zuletzt von warpcam ()

    Zitat von warpcam

    Apropos Qsirch, hast du dir das schonmal angesehen? Evtl. kann das ja neben der Suche auch Duplikate finden. Ich habe es noch nicht verwendet.

    Wenn ich es richtig verstanden habe, kann Qsirch nach Größe suchen und Dateitypen unterscheiden.
    Wenn ich es richtig verstanden habe, kann dieses weder einen bitweisen Vergleich noch verschachtelte Suchen durchführen.


    Was ich suche, sind vielleicht die Eigenschaften von fslint (https://github.com/pixelb/fslint), ein Programm, mit dem man auch _verschachtelte_ Verzeichnisse durchsuchen kann.
    Aber wie gerade (an anderer Stelle des Threads) formuliert, weiß ich nicht, wie man die (Kommandozeilen-)Programme für's NAS installieren (falls notwendig) und insbesondere nutzen kann.

    Jetzt brauche ich erst einmal einige Zeit, um Eure Antworten durchzuarbeiten.
    Vielen Dank für Eure Unterstützung!!


    Melde mich dann, wenn soweit durch bin...

    [Howto] Zugang via SSH / SCP
    Bitte lesen bevor man in den Unendlichkeiten des Meckerns versinkt!
    warpcam hatte es schon gepostet.
    Bitte einen Gang runterschalten und lesen!

    Zitat von Alfred72

    Aber wie gerade (an anderer Stelle des Threads) formuliert, weiß ich nicht, wie man die (Kommandozeilen-)Programme für's NAS installieren (falls notwendig) und insbesondere nutzen kann.

    Ich habe meine Antwort oben erweitert. Bitte denke aber daran, du kannst über die Kommandozeile des NAS nur Kommandozeilen- bzw. Textmodus-Programme nutzen (keine GUIs). Wenn du GUI-Programme nutzen willst, dann solltest du dir die LinuxStation anschauen.

    Ich persönlich würde bei so wenig Erfahrungen mit der Kommandozeile stark von deren Nutzung abraten!


    Wie @warpcam bereits angesprochen hat, kann die Linux Station Abhilfe schaffen und einen guten Kompromiss darstellen. Ich kann hier insbesondere das Programm dupeguru (offizielle Seite) welches auch im Ubuntuwiki (https://wiki.ubuntuusers.de/DupeGuru/) beschrieben wird empfehlen. Das Tool ist meiner Meinung nach sehr einfach zu bedienen und bietet dennoch "erweiterte" Funktionen wie z.B. das Setzen eines Referenzordners.


    Hat allerdings den entscheidenden Nachteil, dass du entweder die Linux Station oder ein Dockerimage mit dem Programm installieren musst, was je nach Kenntnisstand schwierig sein kann.

    Zitat von tuxflo

    Ich persönlich würde bei so wenig Erfahrungen mit der Kommandozeile stark von deren Nutzung abraten!

    Ich glaube wenn man unerfahrenen Nutzern immer von der Nutzung abrät lernen sie es nie. In sofern halte ich den Vorschlag für Kontraproduktiv.


    Vieles lässt sich nun mal über die Konsole sehr viel einfacher erledigen als mit jeder Gui.


    Und wer sich wirklich mal an die Konsole gewöhnt hat, wird nur noch für kleinigkeiten die Gui bemühen. Weil alles was darüber hinaus geht, oft umständlich ist, während es auf der konsole zum Teil nur eine paar wenige befehlzeilen sind.


    Gut evtl. kommt das auch auf die verwendete Shell an. Unter Windows schreckt mich die Powershell oft schon durch die langen Befehlswörter ab, glücklicherweise kann man aliase definieren. :)

    @warpcam: danke für den Hinweis auf dupeguru . Habe ich heruntergeladen + teste. Auf dem PC, zunächst. Das Programm sieht sehr vielversprechend aus!!


    @angelluck: danke für Dein Vertrauen in "Anfänger". Sehe ich ganz ähnlich.


    [Anm.: Viele Programmierer lassen "Anfänger" testen- warum wohl? Ich nutze die Kommandozeile auch jetzt schon häufig, habe aber noch(?) nicht die Detailkenntnisse und Erfahrung, damit auch _komplexere_ Aufgaben darüber zu bearbeiten. Ohne diese "Übung"und sichere Bedienung würde ich vermutlich zu viele Fehler machen.]


    D :) nke :qclub:

    Zitat von angelluck

    Ich glaube wenn man unerfahrenen Nutzern immer von der Nutzung abrät lernen sie es nie. In sofern halte ich den Vorschlag für Kontraproduktiv

    Das sollte auch nicht so klingen, als rate ich generell davon ab. Aber wenn jemand offensichtlich noch nicht weiß wie man sich überhaupt auf dem NAS per Kommandozeile einloggt, dann finde ich nicht das man für ein komplexes Vorhaben wie das Finden von doppelten Dateien mit "dem Lernprozess" beginnen sollte. Ich persönlich würde meine CLI Kenntnisse als "fortgeschritten" einstufen (arbeite derzeit an einem LPIC-101 Zertifikat) und greife dennoch bei einigen Aufgaben lieber zu einer grafischen Oberfläche.