Diskussionsbedarf beim Neueinrichten des System

    Zitat von duke-f

    Nicht zuordnen kann ich jetzt md322, auch auf 7 Datenträger verteilt, und md321, auf 2 Datenträger verteilt.

    md321 geht bei mir genau wie bei Dir über die beiden internen (M.2) SSD.

    md322 geht bei mir ebenfalls wie bei Dir über die HDD.


    In einem anderen QNAP habe ich keine SSD, dort gibt es auch kein md321.


    Wofür genau die da sind weiß ich nicht, auffällig ist nur, dass sie scheinbar nur über identische Datenträgertypen (SSD/HDD) gehen.


    Edit

    Je länger ich mir das anschaue wird klar: md256 ist das System ohne Swap.

    Der Swap verteilt sich sinnvollerweise auf md321 (SSD) damit er noch schnell genug ist und für den Notfall auf den langsamen md322.

    Ok, jetzt muss ich wieder in mich gehen. Ich habe ja schon den Verdacht, dass mein RAID grundsätzlich in Ordnung ist und dass das Problem im System liegt. Dafür habe ich einige Indizien. Leider kann auch der Support offensichtlich immer nur ein Problem isoliert angehen und findet damit übergeordnete Fehler wahrscheinlich nur schwer - oder gar nicht. Jetzt läuft erst mal der Sync wieder bis frühestens morgen Abend.


    Ich kann ja nochmal mein Indizien hier andeuten.

    1. Der Speicher läuft erst seit QTS 4.5.4 und QVS 3.5. voll

    2. Ständiger Sync

    3. Beim Zugriff über ssh und aktiviertem Console Management verschwand irgendwann dieses schöne Menü und statt dessen kommen einige Python-bezogenen Fehlermeldungen, die ich nicht zuordnen kann.

    Führe ich nach einem Neustart nach Aufforderung eine File-System-Check durch auf Volume1 (das mit den Apps) starten danach die Dienste nicht automatisch. Ich muss sie dann per "/etc/init.d/services.sh start" manuell starten.


    Ich weiß jetzt auch nicht, ob ich was vergessen habe. Aber daher könnte ich mir durchaus auch vorstellen, dass nach dem erfolgten abgeschlossenen Sync das entsprechende Signal nicht gegeben wird und daher der Sync beim nächsten Systemstart wieder beginnt.


    Daher liegt es mir am nächsten, erst mal nur das System komplett zu erneuern, ohne das RAID und die Daten zu löschen.


    Kurze Frage am Rande, nur da ich gerade dran denke: Wenn ich den Pool mit dem RAID6 ordentlich trenne, dann ausbaue und später wieder einsetze, sollte das NAS ja laufen. Wie ist dann die Reihenfolge? Gemäß der Anordnung im RAID oder egal?

    nur nochmal als Randinfo falls Du den Edit übersehen hast:

    Zitat von tiermutter

    Je länger ich mir das anschaue wird klar: md256 ist das System ohne Swap.

    Der Swap verteilt sich sinnvollerweise auf md321 (SSD) damit er noch schnell genug ist und für den Notfall auf den langsamen md322.


    Zitat von duke-f

    Wie ist dann die Reihenfolge? Gemäß der Anordnung im RAID oder egal?

    Soll mittlerweile ja egal sein, ich würde es dennoch bevorzugen die selbe Reihenfolge zu nehmen, nicht zuletzt (so blöd es auch klingt) weil sich die Kontakte entsprechend aneinander "gewöhnt" haben :)

    Die gleiche Position hätte ich schon gewählt, aber guter Hinweis. Nur halt eben die Reihenfolge, wie ich sie nacheinander einschiebe. Aber die sollte ja auch egal sein.

    Zitat von duke-f

    Daher liegt es mir am nächsten, erst mal nur das System komplett zu erneuern, ohne das RAID und die Daten zu löschen.

    Wie soll das sinnvoll funktionieren? Gerade da ja das RAID scheinbar Probleme bereitet. Wenn hier der Fehler irgendwo in der Speicherpool-Konfig liegt, dann wird dies so nie funktionieren. Genau genommen müsstest Du Dir da die Konfigs im Editor ansehen, prüfen und auch verstehen was das steht bzw. falsch ist. Danach anpassen und wenn Du Pech hast ist das RAID dann Schrott und die Daten weg und Du beginnst eben jetzt von neuem.

    Mal abgesehen davon, dass jedwede Massnahmen die Du nun vorhast in einem Datenverlust enden können, sollte man bei Anpassungen und Umbauten immer ein Backup - also Plan B - in der Hinterhand haben. Es geht so schnell etwas schief. Und gerade wenn man meint, dass diese harmlos ist, schwupps und weg. Hast Du ein aktuelles Backup, dann passiert so gut wie nie etwas. Murphys Law oder so. ;)

    Zitat von Mavalok2

    Gerade da ja das RAID scheinbar Probleme bereitet

    Genau das bezweifle ich doch. Was soll konkret beim RAID6 nach einem erfolgreich abgeschlossenen Resync nicht in Ordnung sein? Die Einzellaufwerke wurde mehrfach fehlerfrei geprüft, eines, das vor einigen Monaten SMART-Probleme machte wurde ausgetauscht. Ich kann mir vorstellen: Das System hat die Info, dass das RAID nicht i. O. sei, obwohl dem nicht so ist.


    Meine Daten sind zum einen übliche Korrespondenz und Mails sowie einige eigene Programme, die sich bequem auf einer externen kleinen Platte sichern lassen. Dazu unzählige Fotos, die auch mehrfach extern gesichert sind. Schließlich kommen noch so einige persönliche Videos - auch mehrfach gesichert. Ein großer Teil ist aber TV-Aufnahmen. Die Spielfilme und Serien werden irgendwann wiederholt oder lassen sich online streamen. Wäre schade, aber mein Gott, was solls. Eher schade wäre es um spezifische Dokumentationen und vielleicht auch Konzertmitschnitte.


    Dann muss ich natürlich auch zugeben, dass es mich schon wurmt, den eigentlichen Fehler nicht ausmachen zu können.



    EDIT: Und wieder ein Randgebiet: Macht es Probleme, bei M.2 SSDs für RAID1 zwei unterschiedliche Hersteller zu verwenden?

    2 Mal editiert, zuletzt von duke-f ()

    Mhh... Ja... Tatsächlich habe ich es mir bei mir angeschaut, aber das war trotz weniger Datenträger ja recht identisch...


    Aber wenn ich etwas länger schaue dann frage ich mich doch wieder, was md256 ist... Jedenfalls wird es kein swap sein, das kann ja nur jeweils md321 und md322 sein, die Konstellation wird mir zumindest auch im Ressourcenmonitor angezeigt und klingt für mich schlüssig.

    Ist aufm Smartphone zwar etwas mühselig das zu betrachten, aber ich glaube ich würde auch am Monitor auf keine bessere Idee kommen :)


    Kannst du denn aufklären?

    Jetzt hast Du mich so fuchsig gemacht, dass ich mein Sofa verlassen und mich an den Rechner in der kalten Garage gesetzt habe 8o


    Ich will auch nicht der Kaper-Louie sein und den Thread jetzt für die Aufklärung missbrauchen, zumal ich eh nicht so firm bin mit dem Datenträgermanagement unter der Haube...


    Zitat von dr_mike

    2. Partition - Größe ca. 520MB (Name md256):

    Das ist die globale Swappartition. In der Regel werden die Partitionen von 2 Platten im RAID1 gespiegelt plus die Partition einer 3. Platte (so vorhanden) als Spare.

    Das sind bei mir ebenfalls ca. 520MiB:

    pasted-from-clipboard.png


    Diese hier:

    Zitat von dr_mike

    5. Partition - Größe variiert um ca 7-8GB (Name md321, md322)

    Zu dieser Partition kann ich leider nicht viel sagen. Angelegt ist sie mit dem Typ Swap, jedoch nicht ständig aktiv. In der Regel RAID1 über die Platten, die zu einer RAID-Gruppe oder Pool (je nach Einrichtung, siehe Partition 3) gehören.

    Sind bei mir jeweils 7,9GiB (SSD) und 6,9GiB (HDD)

    pasted-from-clipboard.png pasted-from-clipboard.png

    und scheinen offensichtlich nach SSD/HDD getrennt zu sein, so wird der Swap auch im Ressourcenmonitor ausgewiesen, wobei die Summe der Kapa von 256 und 322 (HDD Swap) dem entspricht, der auch ausgewiesen wird.

    pasted-from-clipboard.png


    Aber wozu braucht es dann noch md265 mit seinen 520MiB wenn doch in md322 und falls vorhanden md321 ohnehin genug Swap zur Verfügung steht?

    Standardeinstellung für alle Platten, denke ich mir mal. Auch auf meinem TS-473A gibt es Swap auf den HDDs und M.2 SSDs. Die M.2s wurden nachträglich als Cache verwendet. Trotzdem Swap.


    Aber außer dass es bei vielen verschiedenen Festplatten und RAIDs ein kaum mehr überschaubares Geflecht an Partitionen unter QTS gibt und dieses manuell überprüfen / reparieren zu wollen ich als recht schwierig erachte, was haben die Swap-Partitionen mit diesem Problem zu tun? Ich denke mir mal, die dürften am wenigsten das Problem sein. Wobei, ausschließen kann ich es auch nicht.

    Ich sage jetzt mal so: Die Würfel sind gefallen.


    Gestern ist die 1-TB-M.2-SSD von Samsung gekommen - SanDisk war leider nicht verfügbar. Und nachdem mein NAS am Mittwoch praktisch unmittelbar nach dem Beenden des RAID-Syncs sofort wieder einen ungeplanten Neustart durchführte (wegen volllaufendem Speicher) werden jetzt Nägel mit Köpfen gemacht. Wichtige Daten sind nochmal gebackuped, TV-Aufnahmen müssen riskiert werden. Kritisch sind wie gesagt die Mails in QmailAgent und die VMs (Windows vor allem wegen der Aktivierung). Dann wird am WE angefangen das System neu aufzuziehen auf den M.2 SSDs im RAID1.


    Aber wahrscheinlich werde ich zu dem VM-Problem ja beispielsweise hier fündig:

    Virsh auf QNAP nutzen - Virtuelle Maschinen via SSH starten / stoppen

    Soooo - es ist (fast) soweit.


    Jetzt hat mein TVS-882 auch 2x1TB M.2 SSDs (1x SanDisk, 1x Samsung) im RAID1. Darauf läuft jetzt QTS 5.0.0.1837.

    Ich bin noch nicht fertig, weil jetzt natürlich nach und nach alles wieder komplett eingerichtet werden muss. Dies will ich Schritt für Schritt machen, um nicht überstürzt Fehler aus dem alten System zu übertragen. Ich versuche auch diesmal alles in Stichworten zu protokollieren.


    Einiges ist aber sicher schon für den einen oder anderen von Interesse.

    1. Leider lies sich mein RAID6-Verbund mit den 6x16TB nicht sauber entfernen. Alle Versuche, noch zugreifende Dienste zu finden und zu entfernen haben nicht gereicht. Am Schluss habe ich recht radikal alle möglichen Prozesse gekillt. Beispielsweise tauchte unzählige Male der Prozess manarequest.cgi auf, der wohl zum Recourcenmanager gehört.


    Irgendwann habe ich das NAS dann einfach herunter gefahren, Alle Laufwerke herausgenommen, die 256 GB M.2 SSD durch die neue 1 TB ersetzt, und dann zunächst mit ausschließlich diesen beiden M.2 SSDs gestartet. Hat funktioniert. Einstellungen waren alle noch da. Dann kam der entscheidende Schritt: Über das System das NAS neu initialisiert. Jetzt war es wie neu.


    Dann: erst nacheinander im laufenden Betrieb die beiden 2.5" statischen Einzellaufwerke eingeschoben - wurden perfekt erkannt, allerdings (habe ich erst später festgestellt) die SSD wurde anders benannt. Wiederherstellen m Datenträgermenü ausgewählt. Daten waren alle noch da.


    Als nächstes: NAS wieder herunterfahren, alle 6 16TB-Laufwerke eingeschoben, die beiden TR-004 und alle weiteren USB-Geräte wieder angeschlossen und gestartet. Ging alles gut. Wieder die Wiederherstellung der ersten der 6 Laufwerke angewählt und siehe da: Alles noch da. Allerdings war ein neuer Sync notwendig, aber kein Filesystem-Check. Interessanterweise: Die ursprünglichen Freigaben auf diesen Datenträgern (z.B. Public) wurden automatisch wieder angelegt, jetzt als beispielsweise Public-1.


    Als erstes Programm habe ich TVHeadend wieder installiert, die Einstellungen dafür aus dem Backup eingespielt und es lief wieder. Zwischenzeitlich war im englischen Forum auch die TVH-Version für QTS 5.0 zum Download bereit. Also nachdem gestern abend der Sync des RAID6 durch war (ging recht schnell, da ja fast noch nichts anderes läuft), habe ich doch auch gleich QTS 5.0.0.1837 eingespielt und TVH aktualisiert - obwohl es auch unter QTS 5.0 mit der bereits installierten Version lief.


    Vergessen: FHEM ist auch eingespielt worden die Einstellungen dafür zurückgeladen - läuft.


    Heute Vormittag dann: Die Klimmzüge für QmailAgent wiederholt, die ich ja noch einigermaßen aus dem Aufstieg auf die 6x16TB in Erinnerung hatte - läuft, Mails sind sichtbar und Anbindung am die Konten funktioniert.


    Bisher zuletzt: Virtualization Station installiert, einfach mal das Kopieren der alten Verzeichnisse aus .qpkg an die neue Stelle durchgeführt und gestartet - die wichtigsten 3 VMs sind getestet und sie laufen, zwei kleine Linux - kein wirkliches Wunder - und auch die wichtigste Windows-10-VM inkl. Aktivierung läuft. Ich hatte alle Windows im Vorfeld diesmal mit Microsoft-Konto verknüpft. Allerdings bin ich aus Erfahrung nicht wirklich sicher, ob das dann im Ernstfall wirklich etwas helfen würde.


    Im Moment sehe ich gerade, inwieweit ich Surveillance Station einrichten kann, dann stehen natürlich die ganzen Backup-Jobs an. Und die Frage, ob ich meine eigene alte Anbindung meines XS1 an die SQL-Datenbank wieder einrichte muss ich noch überlegen. Aber wichtig ist mir erst mal: Möglichst nach jedem größeren Schritt - gerade bei der Übernahme alter Zöpfe - einen Neustart und sehen, ob alles korrekt startet, ohne die lästigen syncs. Ach ja, das hässliche Konsolen-Management-Menü geht wieder.


    Das soll das ganze erst mal hier etwas abrunden. Wie gesagt, ich versuche wirklich Schritt für Schritt alles schön zu dokumentieren um im Ernstfall einen zweten Durchgang starten zu können, oder eben auch ggf. für Fragen von Leidgenossen helfen zu können.

    Gestern wollte ich in meiner Neuinstallation (genauere Beschreibung folgt an anderer Stelle) Qsirch installieren - danach: Big Problems!


    Mein NAS meldete Speichermangel, reagierte fast nicht mehr und danach hatte ich wieder mein altes Phänomen, das irgendwann währen QTS 4.5.4 auftauchte: Das (zwar ungeliebte, daher eigentlich deaktivierte) Konsolenmanage-Menü ist gestört. Leider ist das nur am Handy genauer zu sehen, was das neugefügte Bild zeigt. Am PC blinkt es kurz auf und verschwindet wieder.


    474647F4-0171-4CB0-A32B-763A3222853F.jpeg


    068EB0BF-CBE8-4323-B587-0AC97F32B1FD.jpeg

    Eigentlich würde das, was ich bei den Updates geschrieben hatte besser hierher passen: Mod.: oben eingefügt.

    Neue Firmware 5.0.0.1850 build 20211111


    Dann geht's aber noch weiter.


    Also allgemein denke ich, ich zeige mich recht geduldig meinem QNAP gegenüber, aber gerade bringt es mich doch hart an die Grenze. Jetzt habe ich eine Woche lang alles komplett neu aufgezogen und fühlte mich zu ca. 70% wieder da, wo ich mit meinen Anwendungen war. Wie oben beschrieben, wollte ich als nächstes den Schritt mit Qsirch wagen. Gab Probleme, also erst mal wieder runter damit, auch gleich das automatisch mit installierte Container Station und QNAP AI.


    Und was jetzt? Nach einem geplanten Neustart wieder Filesystem Check von Volume0 (altes System im RAID 6) und Volume1 (neues System auf M.2 SSDs). Und kurz vor das beendet war: Automatischer Neustart/Absturz.


    Ich kann mir wirklich nicht vorstellen, dass dies jetzt an Qsirch liegt, aber warum kommen die Probleme genau jetzt wieder?


    Jetzt muss ich erst mal etwas Abstand gewinnen und mein Grundkonzept nochmal überdenken.

    Wenn es richtig verstehe, hast Du das Systemvolume übernommen und nicht neu aufgesetzt? Also keine komplette Neuinstallation / -Initialisierung?

    Scheint mir nach Deiner Beschreibung aber zumindest ein Konfigurationsproblem oder ein Problem mit einer App zu sein. Hardwareproblem kann man so ziemlich sicher ausschließen. QTS Problem vermutlich auch eher unwahrscheinlich.


    Hier kommt wieder mal eine alte Weisheit aus der IT zum Tragen: Nicht zu viele Dienste auf einen Server, oder in diesem Fall NAS. Problemsuche ist so schwierig und ein defekter Dienst reißt alle anderen mit in den Abgrund. Benötigt man viele Dienste ist Virtualisierung einfach das Besten, oder auch Container (aber da habe ich zu wenig praktische Erfahrung mit). Ein Blech mit mehreren virtuellen Server auf denen dann jeweils ein oder 2 Dienst / Programme laufen. Hauptprogramme / Dienste jeweils auf einem eigenen virtuellen Server. Ja das kostet, vor allem wenn der virtuelle Server von MS stammt. Aber so bekommt man Stabilität und Flexibilität.

    Klar im privaten Bereich nicht gerade das was man will. Aber Du siehst ja was passieren kann.

    Nur ganz kurz, bin behindert gerade.

    Auch wenn ich Dir mit der Aussage hinsichtlich Begrenzung der Zahl der Dienste zustimme und auch daran gedacht habe, mehr auf VMs/Container zu verlagern - die könnte man schön einzeln sichern: Es lief doch stabil früher mal.


    Ich habe zwar die Laufwerke mit dem alten System wieder eingesetzt, aber erst nachdem ich mit den beiden M.2 SSDs neu initialisiert und ein neues System eingerichtet habe. Leider habe ich versäumt, mir dazwischen ein genaues Bild zu machen (mit neuem System, ohne alte Laufwerke). Leider wurde mir erst bewusst, dass die gut für's Verständnis gewesen wäre, als es zu spät war. Beispiel: Was passiert mit dem alten System-Partitionen? Warum werden gewisse Standartfreigaben doch erst auf das alte Volume verwiesen? Konkret waren das Download und Web. Alle anderen sind wie erwartet auf dem neuen System-Volume.


    Um's vorweg zu nehmen: Ich war mir schon bewusst, dass dies kein 100%ges Neuaufsetzen ist. Nun habe ich aber manchmal den (unsinnigen) Drang, Problemen auf den Grund zu gehen, statt Alternativen vorzuziehen. Ist hier ja mein Hobby und hat nichts mit produktiven Systemen zu tun. Da muss nicht alles vernunftorientiert sein. ;)

    Einmal editiert, zuletzt von duke-f ()

    Man muss ja unterscheiden. Es gibt eine "Systempartition", welche auf jeder Festplatte existiert und das Linux-System also QTS enthält. Und dann gibt es noch das "System-Volumen", das erste Volumen das eingerichtet wird und die Apps und mehr enthält. Das alte System-Volumen hast Du ja nicht gelöscht. Möglicherweise ist hier noch was übriggeblieben, welches das System immer noch aus dem Gleichgewicht bringt.

    So habe ich das auch gemeint. Daher ärgere ich mich jetzt, im entscheidenden Moment mir nicht die Zeit genommen zu haben, das genau zu betrachten. Ich wollte doch bewusst diesen Wag gehen, weil genau diese Frage doch öfters im Raum stand. tiermutter hatte das z. B. Mal angesprochen. Was passiert, wenn ich alte „System“-Platten nach dem Neuinitialisieren wieder einbaue ohne sie zu formatieren. Aber ist halt so bei Hobbys: muss oft alles nebenher laufen.


    EDIT:

    Alles in allem ist es ja so, dass das System prinzipiell jetzt gut und stabil läuft.

    Probleme sind zum einen das Konsolen-Management-Menü. Das ist an sich kein Problem, da ich es nachher sowieso deaktiviere. Hier denke ich nur, dass ich gerne den Grund wüsste. Es muss sich um eine QNAP-App handeln, die das zerschossen hat, da ich zu dem Zeitpunkt, als der Fehler erstmals auftrat, nur solche installiert habe. Zwischenzeitlich habe ich nach und nach praktische alle wechselweise wieder entfernt und neu eingespielt, was nie geholfen hat. Also muss etwas genau während dem Installieren passiert sein, was sich durch das Deinstallieren nicht rückgängig machen lässt.

    Ernsteres Problem ist, dass - auch seit irgendwann beim Einrichten einer QNAP-App - Volume0 (neues "System"-Volume - immer nach Neustart nah einem Filesystem-Check fragt. Manuelle Checks von der Konsole aus dagegen liefern keine Probleme.

    Schließlich ist hier immer viel Geduld gefragt. Immer wieder kommt es vor, dass eine installierte App eben besser nochmal komplett entfernt wird, dann erst nach einem Neustart und einer bestimmten Wartezeit nochmal neu installiert wird. So ging es mir bespielsweise mit Qsirch, was zwangsweise Container Station und neuerdings eben auch QNAP AI Core vorab bedingt. Letzteres hatte bei mir für die Installation wirklich Stunden beansprucht. Dann ist es da auch wichtig, gleich bestimmte Einstellungen vorzunehmen, insbesondere zu ignorierende Verzeichnisse. Sonst legt er natürlich gleich mal damit los, beispielsweise sinnlos temporäre Bildverzeichnise der Videoüberwachung nach bekannten Gesichtern zu sortieren. Und Multimedia Center erstellt auch gleich aus tausenden 480x480 Pixel großen Bildern in den Verzeichnissen mit den Panoramen Miniaturbilder der Größe 400x400 - ein wirklich sinnfreies Unterfangen.


    Das sind jetzt mal nur einige "Selbstverständlichkeiten", die man so findet. Leider habe ich wenig Zeit, am Stück mal was zu machen, daher kommt schnell mal ein überstürzter Schritt. Es kann och einige Wochen dauern, aber irgendwann nehme ich mir die Zeit und ordne meine Notizen, die ich strikt die letzten zwei Wochen gemacht habe, ergänze sie mit Hinweisen, wo welcher Schritt falsch war oder fehlt. Und dann kann ich mir überlegen, das ganze nochmal durchzuziehen, dann mit neuen Fehlern und Ärgernissen ;).


    Jetzt muss ich sagen: Einige der ursprünglichen Fehler, warum das ganze, sind weg. Allem voran der ständige Sync des RAID6 über 4-6 Tage. Und die mir wichtigen Daten sind (klar, Backup war da) erhalten geblieben, gleiches gilt für die weniger wichtigen ohne Backup. Verbuche ich als Glücksfall und keinesfalls als Empfehlung zum Nachmachen, versteht sich.


    Ach ja: Und das mit den Systempartitionen usw. hatte ich jetzt auch mal einigermaßen verstanden.

    Einmal editiert, zuletzt von duke-f ()