Directory-Gesamtanzahl max. 500

  • Hallo,


    ich habe festgestellt, daß ich in eine Freigabe (auf einem QNAP) nur max. genau 500 Directories speichern kann.


    Ausgangslage und Situation:

    QNAP TS-469L, neueste Firmware, aktueller Kernel, 4 Harddisks a WD-Red 4TB, RAID-Level-5

    an der QNAP TS-469L über USB3.0 angeschlossene Datenträger:

    mittels Sata<->USB Adapter: Ironwolf PRO 12TB (NTFS)

    mittels externem Gehäuse: Intenso 1 TB externe HD (FAT32)


    Tätigkeit und Problem:

    Benutzt wird die QNAP-Oberfläche mit dem Speichermanager:

    Wenn ich auf dem QNAP eine Freigabe eingerichtet habe, und ich von einem über USB3.0 angeschlossenem Datenträger (siehe oben) Daten mit vielen Directories auf dieses QNAP in die Freigabe kopieren will,

    so tritt folgendes Phänomen auf:

    Es werden nur max. (genau) 500 Directories und die darin enthaltenen Files in die Freigabe auf dem QNAP kopiert. Danach hört die Kopiererei auf. Ohne Fehlermeldung, Ohne Hinweis.


    Was ich nocht nicht versucht habe:

    1. Über einen Windows-Filemanager (Windows-Explorer, TotalCommander) die Daten von der am QNAP angeschlossenen Harddisk auf die QNAP-Freigabe zu kopieren.

    2. Über einen Windows-Filemanager (Windows-Explorer, TotalCommander) die Daten von einer direkt am PC angeschlossenen Harddisk auf die QNAP-Freigabe zu kopieren.

    3. Den Kopiervorgang mittels Speichermanager anzuweisen, in ein Unterdirectory dieser Freigabe zu kopieren.


    Fragen:

    Warum wird nicht weiterkopiert?

    Lösungsvorschläge?


    Danke für das Beschäftigen mit diesem Problem im Voraus


    TVR

  • tvrat

    Hat den Titel des Themas von „Directory-Gesamtantahl max. 500“ zu „Directory-Gesamtanzahl max. 500“ geändert.
  • Wie hast du die Ordner gezählt? Mit der File Station? Wenn ja, diese zeigt nur maximal 500 Dateien/Ordner pro Seite an, du kannst unten rechts in der Statuszeile weiterblättern.

  • Die Ordner habe ich wohlweislich mit dem TotalCommander (Befehl: STRG Q) zählen lassen. Es waren tatsächlich, in Total, exakt 500 Directories, keine weiteren Pages!


    In der "File Station" - App des NAS stand in der Statuszeile unten:

    Element Anzeigen: 1-227, Gesamt: 227 | Zeigen 500 Elemente

    -> aber das ist nur die Anzahl der Directories im ersten Level direkt unter der Freigabe, keine weiteren Unterverzeichnisse in diesen 227 Verzeichnissen!


    Mittlerweile bin ich einen Schritt weiter: (beides ausprobiert)


    1. Über einen Windows-Filemanager (TotalCommander) die Daten von der am QNAP angeschlossenen Harddisk auf die QNAP-Freigabe zu kopieren. (also von einer am NAS an einem USB3.0-Port angeschlossenen Harddisk - über das NAS - über das Netzwerk - auf den PC - über das Netzwerk - in eine Freigabe des Raids-5 auf dem NAS) - (so der physikalisch-logische Vorgang).

    2. Über einen Windows-Filemanager (TotalCommander) die Daten von einer direkt am PC angeschlossenen Harddisk auf die QNAP-Freigabe zu kopieren. (also von einer am PC an einem USB3.0-Port angeschlossenen Harddisk - über das Netzwerk - in eine Freigabe des Raids-5 auf dem NAS) - (so der physikalisch-logische Vorgang).


    Beides funktioniert, es werden alle Ordner und Dateien kopiert.

    Aber das ist ein Umweg und man kann den PC dabei nicht abschalten. Der PC ist nicht frei und das Netzwerk wird belastet.


    Noch eine Anmerkung zu der Methode aus dem ersten Post:

    Es wurde nach den ersten 500 Directories der Kopiervorgang beendet, aber mit "Lücken". Es scheint mir, daß die physikalisch ersten Directories kopiert wurden,

    und eben nicht in logischer Reihenfolge.

    2 Mal editiert, zuletzt von tvrat ()

  • und eben nicht in logischer Reihenfolge.

    Wenn du mir jetzt noch erklärst was bei dir physikalisch und was logisch bei einer Ordnerstruktur ist, könnte ich mir vielleicht etwas darunter vorstellen.


    Physikalisch sind die Ordner bei mir als Bytes abgelegt, unter Linux halt mir Inodes, etc. Logisch wäre blos die Sicht darauf, wie sie ein Dateimanager eben abbildet.

    Wobei es im allgemeinen einer physischen Datenablage egal ist, ob dein "TotalComander", "Filemanager" oder Explorer die Daten alphabetisch, der Größe, Alter, … nach sortiert. Die physische Anordnung änderst sich ja nicht, wenn ich im Explorer nach Datum sortiere.


    Weshalb sollte also irgendein Kopierprogramm wissen, wie du deine Daten sortiert haben willst?


    PS.: Ich habe auf meiner NAS untern den Freigaben zig-tausende (!) Ordner mit noch mehr Files und wenn ich sie per RTRR Job auf das Backup-NAS kopieren lasse, werden ALLE (!) Ordner kopiert. Nicht nur die ersten 500 ...

  • Wenn du mir jetzt noch erklärst was bei dir physikalisch und was logisch bei einer Ordnerstruktur ist, könnte ich mir vielleicht etwas darunter vorstellen.

    Daten können auf einen Datenträger in sukzessiver Reihenfolge geschrieben werden, incl. ihrer Dateiverweiseinträge (im Directory). In chaotischer Abfolge.

    Wenn ich mir dieses Directory mittels eines Filemanagers anehe, so können diese in sortierter Reihenfolge (nach gewissen Kriterien) sortiert angezeigt werden, oder unsortiert, wie sie in der zeitlichen Reihenfolge auf den Datenträger geschrieben wurden.

    Wenn ich mir diese gesamten Einträge zwar sortiert ansehe, und alle in ihrer Gesamtheit zum kopieren auswähle, heißt das noch lange nicht, das diese Files in der sortiert angezeigten Reihenfolge kopiert werden, sondern so, wie diese zeitlich nacheinender gestaffelt auf den Datenträger kopiert wurden.

    Genau dieses Vorgehen ist mit physikalisch bzw. im Unterschied zu logisch gemeint.


    Ich habe nach dem gelungenen Kopieren (Gesamtheit aller markierten Files wurden kopiert, incl. Directories und Subdirectories mit der Methode über den PC) noch einmal das Kopieren mittels des Speichermanagers von QNAP vorgenommen. Es werden nur 500 Directories mit allen darin befindlichen Files (deren Anzahl übersteigt 500 bei Weitem) kopiert, nicht mehr, nicht weniger.


    Frage: Warum? Was begrenzt die Anzahl der Directories bei dieser Methode?

    Ich habe bestimmt keine ungewöhnliche Hardware oder Software im Einsatz und alles aktuelle Softwarestände.

    Und ich bediene diese Software bestimmt nicht auf spezielle Weise.


    Ja.... klar, wenn der Bauer nicht schwimmen kann, so liegt das an der Badehose!

    Und ich sitze, wie der DAU, VOR!! der Tastatur.

    Honi soit qui mal y pense


    Grüße


    TVR


    PS:

    Dieses von mir monierte Phänomen habe ich nur beim TS-469L bemerkt.

    Mit dem großen NAS kann ich das nocht nicht probieren, weil dieses noch nicht eingerichtet ist.

  • Hallo,


    wo kann ich das Ticket aufgeben und ist die Abfassung der Problemdarlegung in Deutsch oder in Englisch anzufertigen? :/

    Einmal editiert, zuletzt von tvrat ()

  • Kannst du auch mal auf der Konsole zählen lassen?


    find /share/CACHEDEV5_DATA/Hauptverzeichnis/ -type d | wc -l


    Ich erhalte für meine Freigabe dieses Ergebnis


    Code
    [/] # find /share/CACHEDEV5_DATA/Hauptverzeichnis/ -type d | wc -l
    14395
  • Gibt da so eine App. Die heisst Helpdesk. Da kann man Tickets einstellen. Englisch, biste auf der sicheren Seite, dals nach nach Taiwan geht :)

  • @ christian:

    Zur Zeit kann ich keine konkreten Ergebnisse mit dem 500er Directory liefern, da ich dieses wieder gelöscht habe und ich diverse Kopiervorgänge auf dem NAS laufen habe.


    Mit putty habe ich aber mehrere andere Verzeichnisse gecheckt: z.B.


    Code
    [~] # find /share/MUSIK_TVR/ -type d | wc -l
    6064

    Das Ergebnis stimmt.

    (Ich gebe zu, daß ich mit Linux nicht so gaaanz firm bin und diesen Befehl dankenswerterweise gerne übernommen habe)



    Jagnix:

    Das werde ich dann mal machen, wenn ich mit den 500er Directory - Tests fertig bin.

    Man will ja fundiert und konkret Anfragen stellen, es sollen dann auch korrekte Ergebnisse bei rauskommen.


    Danke an Alle.


    Ich werde berichten.


    TVR

  • Benutzt wird die QNAP-Oberfläche mit dem Speichermanager

    Also ich kann im Speichermanager keine Funktion zum Kopieren finden. Daher gehe ich mal davon aus, dass du die File Station meinst.

    Thema daher dorthin verschoben.

  • Stimmt, es ist die FileStation5 !


    Danke, so ist es korrekt.

    Leute, haltet euch fest.


    Und ich werd' noch bekloppt.


    Ich habe jetzt ein gan kurioses Ergebnis:


    Das Original, also eine gesamte Festplatte im Filesystem des Windows7-PC (die nenne ich Nr.1), enhält 1381 Directories, händisch gezählt mit dem TotalCommander, ergibt 1381 Directories.


    Dieses gesamte Volume, per Einzelcopy (also alle Directories rot gemacht und dann mittels TotalCommander) auf eine per USB3.0 am PC angeschlossene externe Harddisk (die nenne ich jetzt Nr.2) kopiert, ergibt dort 1381 Directories. Soweit OK.


    Dieses gesamte Volume der Originaldisk Nr.1, per Einzelcopy (also alle Directories rot gemacht und dann mittels TotalCommander) in eine Freigabe des NAS kopiert (diese Freigabe nenne ich mal F1). ergibt dort, mit dem TotalCommander händisch gezählt 1381 Directories, und mittels

    find /share/F1/ -type d | wc -l gezählt, ergibt 1493.


    Die Festplatte Nr.2 an einen USB3.0-Port des NAS angeschlossen und dieses gesamte Volume der Disk Nr.2, per FileStation5 im Bulkcopy (also alle Directories markiert und dann mittels FileStation5) in eine Freigabe des NAS kopiert (diese Freigabe nenne ich mal F2). ergibt dort, mit dem TotalCommander händisch gezählt 1381 Directories, und mittels find /share/F2/ -type d | wc -l gezählt, ergibt 2697, also fast das Doppelte.


    Das Phänomen, daß der Kopiervorgang jetzt abbrach und bei 500 Verzeichnissen gestoppt wurde, trat nicht auf.



    Und nun?


    Ich werd' noch bekloppt.


    Ihr könnt mir glauben, das ist so!


    TVR

  • Hallo tvrat


    ich hab heute Morgen mit einem Script 600 Ordner mit jeweils 1 Datei darin erstellt und auf das NAS via Filestation hochgeladen. Dabei konnte ich keine Probleme feststellen.

    Siehe Video:



    Eventuell ist auch eine Limitierung des Browser eine Ursache.


    Grüße

    Christian

  • Irgendwie ist das Thema obskur:


    Ich habe folgendes mal gemessen:


    Ein Verzeichnis, welches bei mir auf einem PC existiert, hat, so wie ich es gewohnt bin, 12.408 Unter-Verzeichnisse (sagt mit TC).


    Diese habe ich auf eine USB-Platte kopiert, welche an einem PC-USB angeschlossen war. Danach mit TC (TotalCommander) nachgesehen, 12.408 Verzeichnisse.


    Diese Festplatte an einen USB-Port am Nas angeschlossen und mit TC nachgesehen, 12.408 Verzeichnisse.


    Von dieser Festplatte am NAS-USB-Port auf eine Freigabe des NAS kopiert (mittels Filestation5):


    Verzeichnisse auf der NAS-Freigabe: nachgesehen mit find (Putty) : 12.409 Verzeichnisse | nachgesehen mit der FileStation-Funktion (Eigenschaften, Größe) : 12.409 Folders

    Verzeichnisse auf der HDD am NAS-USB-Port: nachgesehen mit find (Putty) : 12.409 Verzeichnisse | nachgesehen mit TC : 12.409 Verzeichnisse


    Soweit sollte jetzt alles OK sein.


    Aber irgewndwie habe ich das Vertrauen auf die korrekte Durchführung der Massen-Kopieraktionen verloren, weil:


    Ein weiteres Verzeichnis, welches bei mir auf einer Harddisk direkt am PC existiert, hat 1.381 Verzeichnisse.

    Diese Verzeichnisse auf eine Freigabe des NAS kopiert (mit TC), nach der Kopieraktion, mit find (putty) werden mir dort 1.493 Verzeichnisse angezeigt.

    Von eben dieser Freigabe auf eine andere Freigabe des selben NAS kopiert (mit Filestation), nach der Kopieraktion, mit find (putty) werden mir dort 2.697 Verzeichnisse angezeigt.


    Wenn ich jetzt mit TotalCommander alle Freigaben mal kontrolliere, so fällt mir nichts auf, was fehlen könnte oder was doppelt existiert oder sonst wie abnormal erschein.


    Warum ist das so?

    Ich bin bestimmt analytisch vorgegangen und kann mir nicht vorstellen, daß ich irgendwo Fehler gemacht oder etwas nicht beachtet habe.



    Zur Beschränkung, die der Browser haben könnte -> nein, ich hatte nach der Kopieraktion mit TC nachgesehen, tatsächlich nur exact 500 Ordner, bei zwei unabhängigen Aktionen!


    TVR

    Einmal editiert, zuletzt von tvrat ()

  • Ein weiteres Verzeichnis, welches bei mir auf einer Harddisk direkt am PC existiert, hat 1381 Verzeichnisse.

    Diese Verzeichnisse auf eine Freigabe des NAS kopiert (mit TC), nach der Kopieraktion,mit find (putty) werden mir dort 1493 Verzeichnisse angezeigt.

    Eventuell werden thumbnail Verzeichnisse für Bildervorschau angelegt. Die Frage ist halt, um was für Daten es sich handelt und ob eine Multimediafunktion diese Datei indexiert usw.

    Von eben dieser Freigabe auf eine andere Freigabe des selben NAS kopiert (mit Filestation), nach der Kopieraktion, mit find (putty) werden mir dort 24697 Verzeichnisse angezeigt.

    Das klingt extrem seltsam. Kannst du jeweils die Kommandos inklusive Ausgabe, welche du in Putty genutzt hast, hier posten?

    Zur Beschränkung, die der Browser haben könnte -> nein, ich hatte nach der Kopieraktion mit TC nachgesehen, tatsächlich nur exact 500 Ordner, bei zwei unabhängigen Aktionen!

    Ich kann es hier auf 2 Geräten nicht reproduzieren, siehe auch das Video weiter oben.


    Danke

    Christian

  • Ah, verstehe, weil die FileStation über den Browser bedient wurde. Richtig?


    -> Firefox Quantum 62.0.2 (64-Bit) -> zur Zeit aktuelle Version