Diskussionsbedarf beim Neueinrichten des System

    Vielleicht weckt der Titel genügend Neugierde für helfende Beiträge. Natürlich bin ich mir schon darüber bewusst, dass ich am Ende selber wissen muss, was ich mache.


    Kurz zu meinem aktuellen System.


    In meinem TVS-882 habe ich

    6 x 16 TB-Platten als RAID6 mit meist thick Volumes für System, Apps (Volume 1) und Daten weitere Volumes

    1 x 1 TB SSD für meine besondere "Arbeits-"Windows10-VM - statisches Volume

    1 x 1 TB HD aus meinem alten Notebook ausschließlich für Surveillance - statisches Volume

    1 x 1 M.2 SSD als Arbeitslaufwerk für die VMs gedacht - statisches Volume

    1 x 256 GB M.2 SSD als Arbeitslaufwerk für VMs und zum Tatenaustausch gedacht - statisches Volume


    Zur Historie (kann überlesen werden): Früher mal hatte ich ein TS-421 mit 4 x 3 TB als RAID5 irgendwann war das zu schwach, weil ich vor allem auch einigermaßen effektiv mit VMs arbeiten wollte. Daher dann die Migration dieser 4 x 3 TB auf das TVS-882. Hat erstaunlicherweise ohne jegliches Problem und komplett ohne Datenverlust sofort funktioniert. Dann wurden die verbleibenden Schächte nach und nach befüllt, zuletzt dann kam der Umstieg von den 4 x 3 TB RAD5 auf 6 x 16 TB RAID6 (in einigen kleinen Schritten - hier aber unbedeutend). Alles ging wieder komplett ohne Datenverlust vonstatten. Klar, für die wirklich wichtigen Sachen existieren mehrere Backups an verschiedenen Orten - aber ehrlich: Was ist schon wirklich wichtig? Das ganze hat immer gut funktioniert mit ab und an kleinen Problemen, bis vor ziemlich genau einem Jahr mit dem Umstieg auf QTS 4.5.4. Seither habe ich öfters Probleme, die ich hier im Forum ja auch unterschiedlich benannt hatte. Auch der QNAP-Support konnte trotz großer Anteilnahme nicht wirklich helfen. Probleme sind vor allem: Voll laufender Speicher, ständiges Sync des RAID6 nach Neustart - auch regulärer Neustart, Sehr oft auch Filesystem-Check - praktisch immer Volume1 (die mit den Apps), sehr oft aber auch alle anderen - auch die nicht im RAID.


    Jetzt endlich zum Punkt: Immer mehr komme ich zur Überzeugung, ich sollte mein System einfach komplett neu einrichten. Beim Umstieg von den 4 x 3 TB auf die 6 x 16 TB hatte ich den Gedanken, dass es aus Gründen der Sicherheit gut sei, das System mit den Apps zusammen auf ein eigenes Volume im RAID6 einzurichten. Jetzt bin ich mir nicht mehr sicher, ob dieser Gedanke wirklich gut war. Eventuell sorgt ja eine kleine Unstimmigkeit in diesem Volume bei einer der Apps dafür, dass mein System nie wirklich korrekt heruntergefahren wird, sondern immer bis zum Ende eine mir unbekannte App schreibt bis zuletzt auf dieses Volume. Daher:


    Frage 1: Wäre es nicht sinnvoll, das System mit den Apps komplett getrennt in einem eigenen Pool auf getrennten Laufwerken anzulegen?


    In meiner Konstellation hatte ich jetzt zunächst den Plan (ohne dabei die Gefahr des Datenverlustes in Betracht zu nehmen), das System mit den Apps komplett aus dem RAID6/Volume1 herauszunehmen und auf die 265 GB M.2 SSD zu verschieben. Dann hätte ich allerdings das System mit den Apps auch nicht mehr durch RAID gesichert. Leider habe ich auch festgestellt, dass das System zusammen mit den Apps auf Volume1 mittlerweile ca. 750 GB belegt. Also 1:1 verschieben ist schon mal nichts. Weiter hab ich zudem noch nicht erwähnt, dass ich mich über die Jahre so schön an QmailAgent gewohnt habe. Es war schon ein Klimmzug nötig, dies ohne Datenverlust bei Umzug von 4 x 3 TB auf die 6 x 16 TB mitzunehmen, da die interne Datenbank nicht so einfach auf die neue Filestruktur umgebogen werden konnte. Dies würde jetzt hier bedeuten, dass ich zumindest für einige Apps weiterhin auf ein Volume auf dem RAID6-Pool ausweichen müsste. Damit dann


    Frage 2: Wie groß ist dann die Gefahr, dass ich meine akuten Probleme dann einfach wieder mit mir mitschleppe, weil eben entscheidende Apps mit großen Datenmengen, doch wieder auf den großen Pool zugreifen?


    Hab nämlich keine große Lust, mich wieder über Tage zu beschäftigen mit dem Resultat: Oups - geht ja immer noch nicht....

    Eine weitere, halt deutlich teurere Variante wäre: System und Apps nicht auf die 256 GB M.2 SSD sondern gleich auf die 1 TB M.2 SSD und dann später (sobald wieder erhältlich - derzeit kriegt man sowas ja nicht) die 256er durch eine weitere 1TB ersetzen und somit wieder zumindest RAID1 zu haben. Ist das nicht etwas übers Ziel hinaus?


    Alternativ: Ich lasse alles beim alten und hoffe, nachdem jetzt ja für QTS 5.0.0 die QNAP GPL Sources veröffentlicht werden, wird der gute Geist im englischen Forum jetzt auch TVHeadend dafür umschreiben. Dann hoffe ch weiter, dass nach einem Update bei mir plötzlich alles wieder so schön läuft, wie es mal war.

    Zu Frage 1:

    Für mich gibt es keine Vor- und Nachteile. Das System selbst liegt ja ohnehin aif dedizierten Volumes, das was hier als Systemvolume bezeichnet wird ist ja nur für die default Freigaben und ein paar kleinere Funktionen. Wenn eine App Bedarf hat aif das Systemvolume zu schreiben, zB weil dort die Logs liegen, dann tut sie das so oder so. Sollte sie Bedarf haben auf dss Volume zu schreiben auf dem die App installiert ist, tut sie das ebenfalls so oder so. Wo die App dabei liegt dürfte also keinen Einfluss suf irgendwas haben. Hinzu kommt, dass manche Apps gar nicht auf anderen Volumes installiert werden können, demnach macht es ais meiner Sicht am meisten Sinn alle Apps gebündelt auf dem Systemvolume zu haben. Prinzipiell ist ein RAID wenigstens für das Volume mit den Apps empfehlenswert.


    Zu Frage 2:

    Keine Ahnung. Ich denke die meisten Probleme schleppt man im System selbst mit sich herum, an das man wiederum nur durch neu initialisieren dran kommt (ohne anschließend die gesicherte Konfig einzuspielen) um sie zu lösen.

    Jausi, aber anders bekommt man ein System meines Wissens nach leider nicht sauber.

    Die Frage ist und bleibt halt wirklich, ob das Abhilfe schafft oder dss Problem bleibt weil irgendwo ein Bug drin steckt...

    Damit schließt sich das schonmal aus 🧐. Ein Gedanke ist ja, vor dem Plattmachen alle Datenträger raus nehmen, auf eben dem M.2 SSD neu installieren und erst dann die anderen Datenträger wieder rein und Volumes suchen lassen - in der Hoffnung, die Daten zu erhalten.

    Die Daten auf den HDD bleiben natürlich erhalten und werden bestimmt auch lesbar/mountbar sein. Hier hätte ich halt wieder bedenken, weil auf den HDD ja das alte System drauf ist. Wie sich QTS verhält wenn ein Datenträger mit anderem System in das Gehäuse kommt weiß ich nicht genau, ich weiß nur dass QTS feststellt, dass sich ein System auf den HDD befindet. Aber ob QTS das dann auch platt macht und sauber durch das aktuelle System überschreibt....?

    Eine Möglichkeit würde ich noch sehen:

    Alle Festplatten raus und mit einer zusätzlichen Festplatte testen. Am besten mit einer zusätzlichen 16 TB Festplatte. Sollte anschließend alles wie gewünscht funktionieren, kann diese im NAS bleiben und es muss nicht nochmals installiert werden.

    Mit der zusätzlichen Festplatte nach und nach die Dinge testen, die am wahrscheinlichsten Probleme verursachen könnten. Installieren und anschliessend testen. App für App, Dienst für Dienst. Sollte es irgendwo wieder klemmen, weißt Du dann zumindest wo. Ist allerdings sehr aufwendig.

    Wenn Du das NAS allerdings unter einmal neu aufsetzt und es wieder zu Problem kommen sollte, bis Du genauso weit wie jetzt. Die Chancen mögen ja gut stehen, dass mit einem neu initalisieren die Problem behoben sind, aber eine Garantie gibt es eben nicht. Und je mehr Programme installiert sind, um so größer ist die Wahrscheinlichkeit, dass das Problem von einem Programm und nicht vom System ausgelöst wird.


    Beim Import von alten Einstellungen stehen die Chancen allerdings gut, dass das Problem wieder importiert wird. Davon würde ich in Deiner Situation abraten.

    Irgendwie scheint jeder Weg sehr mühsam zu sein... So würde ich es aber auch machen glaube ich... Nicht unbedingt mit einer 16TB HDD, da ich sowas nicht zum Testen rumliegen habe, aber mit irgendeinem anderen Datenträger halt.

    Wenn das Erfolg hat, dann alles nochmal mit den richtigen Datenträgern, kann mir nicht vorstellen dass das Problem mit der Zusammenstellung der Datenträger zu tun hat.

    Ein Reset auf Werkseinstellungen (unter Beibehaltung der Daten) käme für mich übrigens nicht in Betracht, das hatte bei mir einst ja auch nicht geholfen, irgendwas bleibt irgendwo also scheinbar auch dabei übrig...

    Sehe ich ähnlich. Ein Reset auf die Werkseinstellungen würde ich dann versuchen, wenn nur wenige System-Dienste verwendet wurden, die ein offensichtliches Konfigurationsproblem zu haben scheinen. Hier kann man sich die Kopiererei der Daten unter Umständen sparen. Wenn es dann nicht funktioniert kann man immer noch neu initalisieren.

    Zitat von tiermutter

    Irgendwie scheint jeder Weg sehr mühsam zu sein...

    Sehe jetzt leider auch keinen einfachen Weg. Wenn der Wurm mal so drinnen steckt, dass auch der QNAP-Support nicht mehr weiter weiß. (Sage jetzt absichtlich nicht, wenn wir hier im Forum nicht weiter wissen ;) ).

    Zitat von Mavalok2

    Sehe jetzt leider auch keinen einfachen Weg. Wenn der Wurm mal so drinnen steckt, dass auch der QNAP-Support nicht mehr weiter weiß.

    Naja, bei allem Respekt vor dem Wissen des Supports, ich sehe schon ein, dass es nicht leicht ist, so ein Problem zu orten. Dafür habe ich lange genug - zwar im kleineren Stil, aber immerhin - selber programmiert. Aber meine Erfahrung ist hat die, wenn die Sache mal nach Taiwan geleiten wird, dann zieht es sich über Wochen hin und am Ende kommt eine nicht wirklich zielgerichtete Antwort. Dann hat es auch keinen Sinn, noch mit weiterer Information weiter nachzuhaken.


    Mühsam wir jeder Weg, das ist klar. Dann aber hoffentlich erst mal ohne Datenverlust. Und seit einem Jahr kämpfe ich nun mit Abbrüchen und Abstürzen, das ist auch mühsam. Aber ok, im Großen und Ganzen läuft die Sache ja zwischen den Abbrüchen stabil und ich kann damit arbeiten. Aber der geschilderte Weg von Mavalok2 erscheint mir erst mal als gangbare Option. Bleibt nur die Überlegung: Welche M.2 SSD nun für das System? Aber da alle Apps möglichst zusammen bleiben sollen, bleibt ja eigentlich nur die 1 TB mit späterer Option aufrüsten zu RAID1. Wobei: Wenn alles klappt wie erhofft, sollte im Ernstfall auch später wieder eine Neuinstallation wiederholbar sein.


    Jetzt aber noch eine Frage: Da meine 6 Schächte mit den 6 x 16 TB im RAID6 voll sind, könnte ich die Ersatz-(16-TB-)Platte ja nicht später einfach drin lassen. Es müssen dann ja wieder die 6 alten Platten rein. Oder wie meinst Du ( Mavalok2 ) das?


    Und als zweites: Sollten die auf den ausgebauten Laufwerken verteilten alten Systeme Probleme nach dem Wiedereinbau machen (wie tiermutter nicht ausschließt), könnte dies die einzelne Ersatzplatte dies auch nicht vorab erkennen lassen.


    Btw: Eine Anmerkung: Dank des hervorragenden Supports von Seagate habe ich tatsächlich eine ungenutzte 16-TB-zur Verfügung.

    Das bestehende RAID müsste beim Test schon mit raus... Klar hast Du damit das Problem des RAID resync anderweitig weggeschaffen... anders gesagt kannst Du das RAID damit nicht als Verursacher ausschließen, wohl aber das System für die anderen Probleme (falls es überhaupt mehrere Probleme sind).

    Schlimmstenfalls läuft beim Test alles wunderbar, nach dem neu Initialisieren der eigentlichen Hardware aber nicht... Dann wüsste ich allerdings auch nicht, wem dann der Bösewicht in die Schuhe geschoben werden sollte ?( Den Datenträgern (Firmware) oder einem RAID 6??? Oder der Hardware, weil die Datenträger bei Neustart nicht sauber abgeschaltet werden???

    … oder irgendwie doch dem, der vor dem Gerät sitzt. Schließlich gebe ja ich zu, dass nich alles auf dem NAS so eingerichtet ist, wie QNAP es sich einst ausgedacht hat.

    Ja, kenne ich. Und das hat mich bestärkt im Gedanken, alles neu einzurichten.


    Früher hatte QNAP ja selber die Möglichkeit unterstützt, fremde Pakete zu installieren. Das, was heute in entware noch geht, aber halt nicht mehr offiziell unterstützt ( wobei mir aber vor Jahren der Support mal einen Tipp diesbezüglich gab).


    Vor meiner FHEM-Zeit hatte ich ein sogenanntes XS1 für meine ersten SmartHome-Schritte. Ds hatte jemand ein MySQL-Sktipt geschrieben, um dieses System vom beispielsweise Raspberry Pi aus zu steuern und Daten zu loggen. Das hatte ich nach Jahren vom Raspi mal übertragen auf das NAS. Lief immer so nebenher mit. Vielleicht macht da ein QTS-Update irgendwann nicht mehr so einfach mit. Glaube ich aber nicht.

    Zitat von duke-f

    Da meine 6 Schächte mit den 6 x 16 TB im RAID6 voll sind, könnte ich die Ersatz-(16-TB-)Platte ja nicht später einfach drin lassen. Es müssen dann ja wieder die 6 alten Platten rein. Oder wie meinst Du ( Mavalok2 ) das?

    2 Szenarien:

    1) Das Testen verläuft erfolgreich. Alle Systeme, Programme, Einstellungen etc. also alles was Du verwenden willst funktioniert und es bestehen keine Probleme. OK, RAID kann bis jetzt nicht getestet werden. Dann hast Du ja jetzt ein funktionierendes System, fertig installiert. So würde ich doch die Festplatte drinnen lassen und aus dem Einzellaufwerk dann das RAID6 migrieren - braucht möglicherweise Zwischenschritte RAID1 -> RAID5 -> RAID6. Weiß nicht ob dies direkt geht. Dies bedeutet aber auch gleichzeitig, dass sämtlich Daten von einem Backup auf das neu erstellte RAID6 übertragen werden müssen. Das Selbe gilt natürlich auf für die SSDs, da auch diese theoretisch den Fehler enthalten könnten. Will heißen alle Festplatten platt machen und Backup rüber schieben. Theoretisch würde dies natürlich auch mit einer kleineren Festplatte funktionieren: kleine Festplatte mit 16 TB zu RAID1. Kleine Festplatte mit 2. 16 TB Festplatte ersetzen -> RAID5 -> RAID6. Ist dann einfach ein zusätzlicher Schritt.

    2) Der Fehler kommt wieder. Also steckt das Problem in einem Programm, Dienst oder Konfiguration. Solltest Du den Fehler nun ausmachen können und auch einen Weg finden das Problem zu lösen, könntest Du theoretisch mit den alten Festplatten und dem alten System weiterarbeiten und dort den Fehler beheben.


    Ein komplettes Backup ist aber in beiden Szenarien notwendig.


    Es würde auch noch ein 3. Szenario geben, den umgekehrten Weg:

    Nacheinander alle Programme und Dienste deaktivieren und deinstallieren. Steckt der Fehler aber in einer Systemkonfiguration oder Systemkomponente wirst Du den Fehler so nicht finden. Hat also am wenigsten Aussicht auf Erfolg.


    Da ja das RAID - bei QTS ist dies ja ein Software-RAID - das Hauptproblem zu sein scheint, erscheint mir das Neuerstellen des RAID am vielversprechensten. Am Idealsten wäre natürlich das RAID6 direkt zu erstellen und nicht mit noch ein paar Zwischenschritten. Wobei bei einem frisch installierten System noch ohne Daten...:/

    Ok, verstanden. Aber Daten platt machen ist noch nicht die nächste Option. Bis ich alleine die ca. 30 GB Videos gesichert und wieder hergestellt habe.

    Einmal editiert, zuletzt von duke-f ()

    Kann es sein, dass Du 30 TB meinst? 30 GB kannst Du schnell in ein paar Minuten auf einen Stick speichern. :)

    Zitat von Mavalok2

    So würde ich doch die Festplatte drinnen lassen und aus dem Einzellaufwerk dann das RAID6 migrieren

    ...

    Zitat von tiermutter

    Hier hätte ich halt wieder bedenken, weil auf den HDD ja das alte System drauf ist.

    Das Datenraid wird dabei ja auf Stand der aktuell verbauten HDD gebracht, soweit klar.

    Aber was passiert denn mit dem Systemraid? Ist das alte System(-raid) auf den alten HDD wirklich komplett weg/ ersetzt oder bleibt da eventuell irgendwas übrig was später wieder Probleme macht? Habe mir noch nie "solche" Datenträger angeschaut...

    Ich komme jetzt vielleicht etwas ab vom Thema, aber hier will ich mal meinen aktuellen Zustand zeigen. Das meiste davon konnte ich auch gut interpretieren.


    md5 und md4 sind die jeweils 1 TB-Platten, md3 und md2 sind die intern verbauten M.2 SSDs und md1 ist das RAID6, das gerade resynct. Weiter ist in md9 die System-Konfigurationsdatei über alle 10 Laufwerke verteilt, genauso in md13 ausführbare Systemdateien und in md256 der System-Swap-Memory. Letzterer ist allerdings nur auf 7 der 10 Datenträger verteilt.


    Das habe ich aus

    Zitat

    https://www.exone.de/images/te…all-und-RAID-degraded.pdf

    Ist bestimmt veraltet und bezieht sich auf das frühere Filesytem. Nicht zuordnen kann ich jetzt md322, auch auf 7 Datenträger verteilt, und md321, auf 2 Datenträger verteilt.