Beiträge von questner

Hallo tiermutter .

Das sind klasse Hinweise. Danke.

Mit Pools habe ich mich bisher nicht beschäftigt. Tja, jetzt habe ich dazu einen Anlass.

Wenn QNAP erlaubt, diese Refreshs abzuschalten, dann sind die ja nicht kritisch fürs System.
Mal recherchieren, welche Funktionen damit auf der Strecke bleiben.

Hallo,

ich bin auf der Suche nach einem geeigneten NAS und passenden Einstellungen, um sehr viele kleine Dateien zu speichern.

Wenn es dazu bereits einen Guide gibt, wäre ich für einen Link dankbar. Der Rest meines Posts kann dann einfach ignoriert werden.

Ich habe leider keinen Guide gefunden, der die relevanten Abwägungen auflistet mit ihren Pros und Cons für verschiedene Szenarien: Performance, Kosten, Flexibilität, Redundanz, ...

Da ist zwar z. B. dieser Artikel, der mir etwas Hilfe gibt, aber nicht genug:

https://www.qnap.com/de-de/how-to/tutorial/article/leistung-von-qnap-speicherlösungen-best-practice-anleitung

Der passt wohl für ein professionelles Umfeld, ist aber für einen kleinen Privatuser nicht konkret genug.

Mein Fall:

• Artikelarchive von Zeitschriften mit vielen Jahrgängen, abgelegt als Webseiten, d. h. vielen kleinen Text- und Bilddateien. Bedeutet auch, dass ich auf die Ordnerstruktur (wie viele Dateien pro Ordner) wenig Einflüsse habe.
• Aktuell abgelegt in Image-Files, d. h. das derzeit genutzte NAS sieht nur die großen Image-Dateien. Gut fürs NAS, unpraktisch für den Zugriff, weil immer erst das Image gemountet werden muss. Ich möchte die Dateien jetzt direkt aufs NAS legen.
• Einzelnutzung, d. h. kleine Zugriffszahlen, kaum Parallelzugriffe, Kosten sind ein Thema.
• Vor allem Lesezugriffe. Nach dem ersten Schreiben werden die Daten nicht geändert.
• Zugriff über SMB-Share.

Meine bisherigen Überlegungen:

• SSDs zwar wünschenswert, aber zu teuer. Festplatten sind ausreichend schnell. SSD als Cache bringt auch keinen Mehrwert.
• Static Volume tut alles, was ich brauche und ist die performanteste Variante.
• Bytes pro iNode: So klein wie möglich wählen, um den Verschnitt zu reduzieren. aber die HDD-Größe noch bedient wird. Selbst 4K genügt für eine 16 TB-Platte.
• Von Komprimierung und Deduplication erwarte ich wenige Vorteile im Vergleich zu den höheren Anforderungen ans NAS (CPU, RAM).
• Backup soll gegen Festplattenausfall, Geräteausfall und versehentliche Löschung schützen. Kein Schutz gegen versehentliche Änderung nötig.
  Sync auf ein zweites QNAP NAS und Verwendung des Papierkorbs mit angemessener Lagerungsfrist im Papierkorb um die versehentliche Lösung zu erkennen.

So dachte ich mir das. Ich habe mit 431P-Modellen experimentiert.

• So Low-End diese Geräte auch sein mögen: Sie kommen prima klar damit, die wenigen großen Image-Dateien einzeln auszuliefern: Ich mounte direkt vom NAS aus lokal am Rechner. Dann navigiere ich am Rechner innerhalb der Image-Dateien, was letztlich auch wieder das NAS bedienen muss. Klappt, ist aber umständlich, und ich habe immer Sorge, dass mal ein Image korrupt wird und ich mit einem Schlag alle Daten verliere.
• Wenn ich aber die Inhalte der Images direkt ins NAS-Dateisystem stelle, dann verschluckt sich das NAS bei nächtlichen Maintenance-Jobs: vs_refresh läuft über Stunden oder wird gar nicht fertig. Ebenso der Sync (HBS 3 Hybrid Backup Sync via RTRR) aufs zweite NAS: Selbst wenn gar nichts zu kopieren ist, also nur der Vergleich läuft, dauert das laaang.

Empfehlungen von den Experten, wie ich die Daten doch direkt im NAS-Dateisystem gut handlen kann?

Bei den Repos finde ich leider keine Angaben. Womöglich (vermutlich 😔) zu doof zum Suchen.

https://hub.docker.com/r/kasmweb/firefox-mobile

https://hub.docker.com/r/jlesage/firefox

https://hub.docker.com/r/sjawhar/brave-browser

Vielleicht wird auch einfach vorausgesetzt: Wenn nichts anderes angegeben, dann gibt's nur x86.

Wundert mich halt. Ich dachte, dass

a) Builds für Firefox, Brave und Docker auch für ARM verfügbar sind

b) ein Parameter -arch mit übergeben wird

c) wenn die Plattform nicht stimmt, schon bei der Installation ein Hinweis kommt.

Bin aber total neu unterwegs dabei. Anscheinend habe ich falsch gedacht.

jdownloader 2 habe ich installiert. Selbes Verhalten. Habe im Terminal diesen Fehler gefunden:

standard_init_linux.go:228: exec user process caused: exec format error

Ist dann wohl so: Executable im falschen Format. Pech gehabt mit einem ARM32-NAS wie meinem TS-431P2? 😢 Oder sollte ich so schnell nicht aufgeben.

Hallo,

ich möchte einen Browser auf meinem TS-431P2 (8GB RAM) laufen lassen. Firmware ist aktuell: 5.0.0.1932.

• Browser Station scheint nicht verfügbar.
• Container Station habe ich geladen. Dort mehrere Browser gefunden. Installation schien 2x glatt zu laufen.
  Aber wenn ich den Browser dann starten will, passiert nichts.
  Evtl. sind die Container nur für x86 verfügbar? Es kam keine entsprechende Meldung.

Mache ich's falsch, oder versuche ich das Unmögliche?

Der Browser muss nicht schnell sein. Ich versuche dort nur Downloads anzustarten, über die ich per Download Station nicht bzw. nur sehr unkomfortabel rankomme.

Hat jemand noch hierzu eine Anmerkung?

Wäre nicht doch ein anderes Vorgehen möglich gewesen:

• Daten auf die neue Platte im Zweit-NAS kopieren.
• Im Zweit-NAS "Volume sicher trennen".
• Im Erst-NAS die alte Platte ausbauen und die neue Platte einbauen.
• Im Erst-NAS die neue Platte "Wiederherstellen".

Dann hätte ich nur einmal kopieren müssen, und bis auf den Umbau hätte es keine Downtime gegeben. Ich bin mir aber nicht sicher, ob die Aktionen "Volume sicher trennen" und "Wiederherstellen" das leisten, was ich darunter verstehe.

Das Thema "Freigabename vs. Verzeichnisname" führt jetzt recht weit vom ursprünglichen Thema weg. Aber da es nun mal in diesem Kontext aufkam und diskutiert wurde, hier jetzt doch noch mal eine Ergänzung. Sollte ein Forum-Admin das Thema auslagern wollen … gerne.

Die Sicht von FSC830 vereinfacht für mich zu sehr. Korrekt ist natürlich, dass es sich bei Freigabe und Verzeichnis um zwei unterschiedliche Objekte handelt. Von daher kann man auch deren Benennung getrennt behandeln. Aber! Die Nutzererfahrung ist eben die, dass sie Hand in Hand gehen. Sie sind auch bei Anlage per Default synchron. Deshalb ist es aus meiner Sicht unschön, dass QTS hier bei Umbenennung der Freigabe nicht a) dasselbe Vorgehen automatisch wählt wie bei der Anlage oder b) deutlicher nachhakt, was auf Verzeichnisebene passieren soll.

Davon unabhängig noch eine Ergänzung zu den offenen Punkten und Frage an die Community, die wieder zum ursprünglichen Anliegen passt: Wäre nicht doch ein anderes Vorgehen möglich gewesen:

• Daten auf die neue Platte im Zweit-NAS kopieren.
• Im Zweit-NAS "Volume sicher trennen".
• Im Erst-NAS die alte Platte ausbauen und die neue Platte einbauen.
• Im Erst-NAS die neue Platte "Wiederherstellen".

Dann hätte ich nur einmal kopieren müssen, und bis auf den Umbau hätte es keine Downtime gegeben. Ich bin mir aber nicht sicher, ob die Aktionen "Volume sicher trennen" und "Wiederherstellen" das leisten, was ich darunter verstehe.

Letzten Endes habe ich mehrfach und übers Netz kopiert:

1. Daten auf ein Zweit-NAS kopiert.
2. Alte Platte im Erst-NAS ausgebaut. (Ab hier also Downtime.)
3. Neue Platte im Erst-NAS eingebaut.
4. Daten vom Zweit-NAS zurückkopiert.

Lessons Learnt und offene Punkte:

• Zum Kopieren verwende ich RTRR via HBS 3 Backup Sync (was für ein Name! 🙄). Flexibel konfigurierbar, was kopiert werden soll. Schnell. Bei Abbrüchen lässt sich einfach neu aufsetzen ohne das bereits Kopierte erneut kopieren zu müssen. Gutes Logging.
• Freigaben umbenennen wird anscheinend per Voreinstellung nicht auf allen Ebenen durchgezogen. Also eine Freigabe ABC erhält einen Ordner ABC. Wenn ich Freigabe ABC nach DEF umbenenne, bleibt der Ordner im Dateisystem ohne Extraschritte immer noch ABC. Das habe ich so gelöst, dass ich Freigaben nicht mehr umbenenne, sondern neue Freigaben mit dem gewünschten neuen Namen erstelle. Dann die Dateien bewege, was ja in Sekunden geht auf demselben Volume. Dann die alte Freigabe löschen. Scheint mir die sauberste Sache zu sein.
• Das NAS läuft vor allem als Plex Medienserver. Spannend war also auch die Frage, wie ich Plex dazu bringen kann, nicht alles neu katalogisieren zu müssen. Das ist aber eine Plex-Frage, nicht die von QNAP, und wurde im Plex-Forum geklärt.
• Ich benutze Statische Volumes, um Platten bei Problemen einzeln handhaben zu können. Das hat sich jetzt bewährt. Ich hatte zwar eine Downtime – das ist der Nachteil. Aber ich wusste genau, welche Daten wie betroffen sind. Weitere Vorteile von Statischen Volumes: Sie benötigen keine besonderen NAS-Platten mit RAID-tauglicher Firmware. Die CPU-Last ist minimal. Mein Low-End NAS TS-431P2 kann locker mehrere HD-Filme gleichzeitig streamen.
• Die Einstellung "Bytes per iNodes" hat nicht nur Einfluss auf die maximale Anzahl von Dateien / Ordnern und die Maximalgröße des Volumes. Sie beeinflusst auch wesentlich den verfügbaren Speicherplatz. Mit 64kB per iNode wird der nutzbare Speicherplatz maximiert.

Festplattentausch ist abgeschlossen. Alles läuft. Danke für die Tipps.

Die Verwendung des Docks habe ich abgeschrieben.

Ohne die Hinweise im Thread hätte ich mich daran versucht, nur um letztlich zu scheitern.

Somit: Danke fürs Abraten.

Zum Festplattentausch zwischen den NAS habe ich verstanden:

Das scheint wohl praktisch zu klappen – vielleicht, womöglich, eventuell – ist aber selbst für Single Static Volumes nicht von QTS unterstützt, deshalb Vorbefüllung auch auf diesem Weg nicht ratsam.

Ich rechne mit rund einem Tag fürs Kopieren, 8TB bei 100 MB/s über Gigabit-Ethernet. In der Praxis war's dann doch immer mehr, teils deutlich.

Vielleicht setze ich auch das im Aufbau befindliche und als zweites Backup gedachte NAS so auf, dass es die Funktionen solange übernehmen kann (nur lesend). Dann bin ich noch entspannter, wenn sich das Kopieren hinzieht.

Ich gehe nicht davon aus, dass die Daten korrupt sind. Es handelt sich um Warnungen, nicht um Fehler.

Es ist nicht QTS, das hier etwas bemängelt, etwa zu alte Platten. QTS reicht nur die Ergebnisse des SMART-Selbsttests durch, der ja letztlich eine Selbsteinschätzung der HDD-Hersteller ist.

Im Detail:

Zitat von SMART-Info

Wenn ein S.M.A.R.T.-ID-Wert von einem unterstützten Datenträger die vom Datenträgerhersteller festgelegte Schwelle erreicht oder einer der folgenden Rohwerte 0 übersteigt, wird der Datenträgerzustand als ungewöhnlich eingestuft. (SAS-Laufwerke und

SSDs ausgenommen)

ID 197: Current Pending Sector

ID 198: Uncorrectable Sector Count

Dies sollte nicht zu unmittelbarem Datenverlust führen; dennoch sollten Sie eine Suche nach defekten Blöcken durchführen, Ihre Daten sichern oder einen Ersatz beschaffen, bevor das betroffene Laufwerk ausfällt. Weitere Einzelheiten erhalten Sie vom Hersteller des Datenträgers.

Die Suche nach defekten Blöcken habe ich durchgeführt und eben Ersatz beschafft, den ich jetzt einbauen will. Eben möglichst so, dass die Daten schon vor dem Tausch auf der Platte sind.

Das wäre nicht schön aber auch kein Beinbruch, wenn die Daten so lange nicht verfügbar sind.

Ich rechne halt schon mit einer laaangen Zeit für das Kopieren von 8 TB.

Noch mal zu meinem Verständnis:

• Die alte und ehemals interne Festplatte im USB-Dock extern lesend betreiben würde gehen.
• Die neue Festplatte im USB-Dock vorbereiten geht aber nicht.

Unerwartet für mich.

Wie sieht es aus mit einem Wechsel von Platten zwischen zwei verschiedenen NAS?

• Ich baue die neue Platte in das zweite NAS mit dem leeren Slot und befülle sie dort.
• Nach Abschluss baue ich sie ins produktive NAS.

Danke für die schnelle Antwort.

Damit haben die entsprechenden Daten für die Dauer des Kopiervorgangs eine Downtime. Der Kopiervorgang wird einige Zeit brauchen. Es geht um rund 8 TB.

Kann ich diese Daten-Downtime vermeiden, indem ich wie beschrieben die neue Platte zuerst extern vorbereite und mit den Daten befülle?

Da mit dem vorgeschlagenen Vorgehen eine interne Platte im USB-Dock extern genutzt wird, schließe ich schon mal, dass die intern genutzte Formatierung grundsätzlich auch bei Zugriff per USB funktioniert. Korrekt?

Mein "produktives" System:

• Ein TS-431P2 mit aktueller Firmware 5.0.0.1932.
• Alle vier Slots sind bestückt.
• Die HDDs sind als Single Static Volumes konfiguriert.
• Das Backup läuft auf einem separaten NAS.

Eine der Platten zeigt jetzt Auffälligkeiten im SMART-Bericht. Deshalb möchte ich sie tauschen.

Ich suche einen Weg, um die neue Festplatte so vorzubereiten, dass die Ausfallzeit des NAS auf die Dauer des physischen Plattenwechsels beschränkt wird, plus ein wenig Konfigurationszeit.

Das Kopieren der Daten soll schon vorab stattfinden.

Wird z. B. folgendes Vorgehen funktionieren?

1. Externes USB-Dock anschließen.
2. Neue HDD ins USB-Dock.
3. Neue HDD im USB-Dock so konfigurieren, wie sie auch intern genutzt werden soll.
4. Daten kopieren.
5. Alte HDD abmelden.
6. NAS runterfahren.
7. Alte HDD physisch gegen neue tauschen.
8. NAS hochfahren.
9. Neue HDD anmelden.
10. Fertig.

Falls das nicht funktioniert, weil eine per USB angeschlossenen Platte sich nicht passend konfigurieren lässt: Ich habe ein TS-431K mit leerem Slot.

Kann ich die neue Platte dort vorbereiten, Schritte 1-4?

Dank vorab für hilfreiche Hinweise.

Ich habe Syslog deaktiviert.

Nach einem Neustart war (wie vor früher auch schon) zunächst Ruhe.

Heute früh wieder dieselbe Daueraktivität.

Dass vs_refresh das verursacht, scheint auch plausibel:

"vs_refresh is for share folder space usage calculation".

Wie gesagt: Auf dem Laufwerk befinden sich viele kleine Dateien.

Da jetzt ziemlich klar ist, dass es sich hier um ein separates Problem handelt: Sollte ich besser einen eigenen Thread aufmachen?

Nichts ist so gefährlich wie (mein) Halbwissen. 😬😅

Ich dachte, dass rsyslog ständig läuft. Habe jetzt die Einstellung zum Deaktivieren gefunden. Nach Deaktivierung war die Platte weiter aktiv. Momentan startet das Gerät neu. Mal sehen, was nach Neustart und dann die nächsten Tage passiert.

Das mit vs_refresh habe ich nicht verstanden. Das hat was mit "zu vielen Prozessen" und zu wenig RAM zu tun?

Das sehe ich so bei mir nicht im Ressourcenmonitor, weder bzgl. CPU noch RAM. Zudem ist das Gerät nach bestem Wissen entschlackt, weil ich all die Features einfach nicht brauche.

Zuerst dachte ich, dass ein FW-Update das verursacht haben könnte, weil seit Anfang Juli mehrere Fälle dieser Art gepostet wurden.

Jetzt scheint mir, dass das alles Einzelfälle sind, und ich meinen Fall evtl. auch besser als (weiteren) Einzelfall gepostet hätte.

Ergebnis des HDD-Bereitschaftstests im Anhang.

Analog zum ursprünglichen Post fällt hier auf:

<7>[124513.785372] rsyslogd(20796): dirtied inode 1670 (kmsg) on md9
<7>[124513.785398] rsyslogd(20796): dirtied inode 1670 (kmsg) on md9

syslog wurde ja schon als Kandidat genannt.

Was sollte syslog auf der Platte anstellen?

Und wie kann das genauer eingegrenzt und ggf. behoben werden?

Mir fiel noch ein, ob evtl. der Malware-Scanner der "Übeltäter" ist. Viele kleine lesbare Dateien. Wenn er regelmäßig in alle reinschaut (tut er das?), dann könnte schon sein, dass er auf dieser Platte sofort wieder den nächsten Scan anfängt, nachdem er gerade den vorigen beendet hat.

Bei mir läuft kein QCal_Agent. Trotzdem läuft die eine Platte immer wieder los.

Mir fällt dazu ein:

• Malware?
  Eher nicht, da nur eine Platte und Malware-Scanner negativ. Andere Platten und NAS-Geräte mit vergleichbarer Config nicht betroffen.
• Indexing?
  Ja, so klingt es. Nur was?
  • Ich habe praktisch alle Apps runtergeworfen, die deinstalliert werden können. Und das weitere ist deaktiviert. Z. B. Multimedia Console und Helpdesk.
  • Twonky läuft. Aber mehrfach geprüft: Auf der Platte ist kein Medienordner eingetragen.
  • Windows wurde vorgeschlagen. Der einzige Windows-Rechner hat keinen Zugriff aufs NAS.
  • Diverse Macs. Es könnte Spotlight sein. Aber die Platte rödelt auch, wenn alle Macs schlafen.
  • Syslog. Wie finde ich das heraus? Aus dem Ressourcenmonitor lese ich nichts, siehe Anhang.
• Maintenance HDD?
  Ich kenne das von SMR-Platten und von SSDs, dass sie Ruhephasen nutzen, um Daten umzuschichten. Aber das ist eine CMR-Platte. Außerdem: Nach tagelangem Rödeln immer noch?
• Maintenance FS?
  Manche Dateisysteme nutzen ja Ruhephasen, um Dateien zu defragmentieren, die Lage auf der Disk zu optimieren, B-Trees und sonstwas auszubalancieren. Aber ich kenne Ext4 zu wenig, um zu verstehen, ob das hier zutrifft und so lange dauern kann.

Sonstiges:

• Nach einem Neustart ist für eine Weile Ruhe, bis es wieder losgeht.
• Manchmal stellt sich die Ruhe auch ohne Neustart ein, bis die Aktivitäten erneut beginnen.
• Von drei Geräten ist nur eines betroffen und darin nur eine Platte.

QNAP NAS Ressource Monitor – 2021-07-20 um 14.05.11.png

Bei mir auch.

Ich dachte allerdings, dass es nur an mir liegt wegen u. g. Besonderheit. Aber wenn jemand anders auch seit kurzem betroffen ist, dann ist es vielleicht doch Malware oder liegt an einem der Systemupdates der letzten Zeit.

Von vier Platten im Gerät ist immer genau eine betroffen.

Die hebt sich von den anderen auf folgende Weise ab:

a) Die anderen enthalten Filmdaten = wenig und groß

b) Die betroffene Platte enthält Dokumente = viiiiele und eher klein.

c) Die vielen und kleinen Dokumente (mehrere TB) wurden erst neulich in einer langen Aktion aufgespielt.

Seit Tagen werkelt nun das Laufwerk vor sich hin. Das System reagiert oft träge, aber zugleich ohne erkennbare Systemlast (CPU, RAM).

Aufgrund der geringen Systemlast gehe ich nicht von Malware aus, da das doch die CPU beanspruchen würde.

Außerdem sind die Malware-Tests ohne Befund.

Beide sind natürlich kein Beweis, nur Indizien.

Kann es sein, dass die Platte eigenständig Ruhephasen erkennt, und dann Optimierungen der Speicherablage vornimmt? Gibt es so was?

Ich kenne das von SMR-Platten. Hier handelt es sich aber um eine 16TB-CMR-Platte.

Der Hinweis zu den langen Supportzeiten (auch wenn sich QNAP nicht festlegt) hilft.

Tatsächlich erhalte ich auch für mein TS-212P noch Sicherheitsupdates. 👍 Dabei ist das Gerät schon arg Lowest-End.

Mal schauen: Derzeit werden mit der ARM 64-Bit-Architektur noch keine 4-Bay-Geräte unterstützt, die für mich ein gutes Preis-Leistungsverhältnis haben. Wenn meine Vermutung stimmt, dass QNAP ihre Produkte umstellt, dann ist das nur eine Frage der Zeit.

Zitat von tiermutter

Für "aktuelle" Geräte wird der Support zunächst ohnehin auf unbestimmte Zeit bestehen

Genau das meinte ich mit "QNAP macht keine Aussagen zur Support-Zukunft von Geräten, die noch aktiv verkauft werden."

Natürlich wäre genau zum Kaufzeitpunkt interessant zu wissen, wie lange das Gerät noch unterstützt wird.