TVS-473: Hilfe, /etc/config/mdadm.conf, raidtab, strorage.conf weg, System laeuft noch, raid degraded

    Hallo,


    ich habe zufaellig gesehen, dass /etc/mdadm.conf ein toter link ist und in dmesg steht sowas:

    Code
    [3286138.580376] ext4_init_reserve_inode_table0: dm-12, 24576
[3286138.585839] ext4_init_reserve_inode_table2: dm-12, 24576, 0, 0, 4096
[3286138.594575] EXT4-fs (dm-12): orphan cleanup on readonly fs
[3286138.708378] EXT4-fs (dm-12): 7 orphan inodes deleted
[3286138.795944] EXT4-fs (dm-12): recovery complete
[3286138.821464] EXT4-fs (dm-12): mounted filesystem with ordered data

    Ausserdem ist das cache device ploetzlich 0% allocated. Das vielleicht mal removen?

    SSD-QTier habe ich auch im Einsatz, den vielleicht auch schon mal removen? Soll ja inzw. moeglich sein.


    System laeuft noch, habe die Sorge, dass beim naechsten reboot das Ding nicht mehr hochfaehrt. Bin gerade leicht nervoes, mir ist gerade erst das backup weggestorben.


    Habe das hier mal in das file geschrieben.

    Code
    # mdadm --detail --scan
ARRAY /dev/md9 metadata=1.0 name=9 UUID=eee9e0d3:0d8829dc:4b21db65:8893ecc7
ARRAY /dev/md13 metadata=1.0 name=13 UUID=339d22dd:20561744:81d60593:a367189e
ARRAY /dev/md321 metadata=1.0 name=321 UUID=198d855a:e3cd265e:36b48562:1f2417c3
ARRAY /dev/md256 metadata=1.0 name=256 UUID=5c9a7a32:a4af1a32:902f73bc:25127c59
ARRAY /dev/md322 metadata=1.0 name=322 UUID=e2d5bef5:2e67f71e:1930ddcd:8bd34448
ARRAY /dev/md2 metadata=1.0 name=2 UUID=048fe29e:8bdc1716:b14ef511:9e3ec223
ARRAY /dev/md1 metadata=1.0 name=1 UUID=90321426:a0197ade:359b14fe:51b05904
ARRAY /dev/md3 metadata=1.0 name=3 UUID=c20e6c12:703b66f2:6cc77f28:3b1e3d6f


    Bin mal TS-469L Nach Stromausfall Status "?" durchgegangen.


    Die hier fehlen auch, sind leer, der Rest ist da:

    Code
    # ls -ltr /etc/config/raidtab
-rw-r--r-- 1 admin administrators 0 2019-06-27 14:35 /etc/config/raidtab
# ls -ltr /etc/storage.conf
/bin/ls: cannot access /etc/storage.conf: No such file or directory

    RAIDs sind clean, degraded.


    Die links sind in /etc/ alle tot:

    Code
    /etc/mdadm.conf: broken symbolic link to config/mdadm.conf
/etc/rcK.d/K50btd: broken symbolic link to ../init.d/btd.sh
/etc/rcK.d/K07init_iTune: broken symbolic link to ../init.d/init_iTune.sh
/etc/rcK.d/K51versiond: broken symbolic link to ../init.d/versiond.sh
/etc/rcS.d/S65btd: broken symbolic link to ../init.d/btd.sh
/etc/rcS.d/S62GQ: broken symbolic link to ../init.d/GQ.sh
/etc/rcS.d/S99init_iTune: broken symbolic link to ../init.d/init_iTune.sh
/etc/rcS.d/S45vlan: broken symbolic link to ../init.d/vlan.sh
/etc/krb5.conf: broken symbolic link to config/krb5.conf

    Gibt's irgendwo einen Button, wo QTS einfach alle Settings noch mal frisch wegschreibt, solange das System laeuft? Nee, wa? Habe auch noch ein aelteres QNAP_settings.bin, hilft das?



    Bei fdisk -l kommt fuer alle /dev/dm & md

    Code
    Disk /dev/dm-12 doesn't contain a valid partition table

    Ich kann auch output fuer die uebrigens Befehle aus o.g. Post liefern, aber der Post hier hat schon sein Groessenlimit erreicht. Und scheinbar kann man nicht auf sich selbst replyen?


    Danke fuer jede Hilfe!

    tcn


    5 Mal editiert, zuletzt von tcn ()

  • tcn

    Hat den Titel des Themas von „TVS-473: Hilfe, /etc/config/mdadm.conf weg, System laeuft noch“ zu „TVS-473: Hilfe, /etc/config/mdadm.conf, raidtab, strorage.conf weg, System laeuft noch, raid degraded“ geändert.

    Bei dem, was du bisher ohne Sinn und Verstand gemacht hast, hilft wohl nur noch Backup aktualisieren und NAS neu aufsetzen.

    Au weia.


    Das mdadm --detail --scan war ein Fehler? Mehr habe ich bislang nicht gemacht.


    Was passiert denn, wenn ich das Ding reboote/Strom ausfaellt?

    Einfach tot, faehrt nicht mehr hoch oder bootet das Ding wenigstens in einem recovery mode?

    Zitat von tcn

    Mehr habe ich bislang nicht gemacht.

    Naja, diverse Konfigurationsdateien füttern, die nicht benötigt werden.

    Platten in ein RAID einbinden wo sie nicht hingehören.

    Das reicht schon aus.

    Du hast ein Cat2 NAS mit LVM2 und DRBD. Da nutzen dir die normalen mdadm-Befehle nicht viel. Zumal deine RAID ja wohl alle in Ordnung sind und dein Dateisystem nen Schlag hat.

    Da das Ganze nun noch mit QTier läuft, wird dir hier kaum jemand helfen können.

    Zitat von dr_mike

    Platten in ein RAID einbinden wo sie nicht hingehören.

    dafuq, ich habe was? o_O


    Das klingt in der Tat nach einer ganz schlechten Idee; wo habe ich das gemacht?


    Das klingt vor allem so, als wuerde ich da jetzt Gruetze von der Platte kratzen, wenn ich davon jetzt noch ein Backup ziehe? Hoffentlich nicht, oder?

    Zitat von dr_mike

    Zeile 72 und 73 in deinem letzten Codeblock im ersten Beitrag


    Das hier?

    Zitat von tcn

    md9 : active raid1 sdc1[0] sdb1[35] sda1[34] nvme0n1p1[33] sdd1[32]cht diese wieder einzubinden. Leider erfolglos, dachte ich zumindest, denn in Oberfläche wird mir angezeigt, dass die Platte entladen sei und nicht zum Raid gehört.
    Darauf habe ich alle Dienste beendet und die Platte per SSH wieder eingebinden. In der Oberfläche steht weiterhin, dass sie nicht dazu geh
    530048 blocks super 1.0 [32/5] [UUUUU___________________________]
    bitmap: 1/1 pages [4KB], 65536KB chunk


    Da bin ich wohl auf der Maus ausgerutscht, das habe ich da nicht hingeschrieben, das war wohl von

    Raid 5 macht Ärger


    Das war einfach nur ein cat /proc/mdstat.



    Inzw. gab's weitere orphan inodes deleted/recovery complete. Von alleine geht ein file system jetzt auch nicht kaputt, Stromausfall gab's auch nicht. HW?

    Zitat von dr_mike

    Bleiben die Konfigurationsdateien. ;)

    Boah, welche Konfigurationsdateien denn? Ich habe ein mdadm --detail --scan > /etc/config/mdadm.conf gemacht? Was ist daran so schlimm? -.-

    Zitat von dr_mike

    Dass man nicht weiss, wie die FW das auswertet. Im besten Fall hoffentlich gar nicht.

    Na, das hoffe ich aber mal auch, dass sich bei QNAP niemand gedacht hat, er muesse mal auf die mdadm.conf pollen, weil das ja so viel Sinn macht, dass die sich in Echtzeit staendig aendert...


    Aber wenn du das auch nicht weisst, woher ziehst du dann dein Schlussfolgerungen?


    Zitat von tcn

    Das klingt vor allem so, als wuerde ich da jetzt Gruetze von der Platte kratzen, wenn ich davon jetzt noch ein Backup ziehe? Hoffentlich nicht, oder?


    Zitat von tcn

    Was passiert denn, wenn ich das Ding reboote/Strom ausfaellt?

    Einfach tot, faehrt nicht mehr hoch oder bootet das Ding wenigstens in einem recovery mode?


    Kann hierzu vielleicht noch jemand etwas beitragen?


    Bin echt baff, ich habe erstmals, zufaellig, aus Versehen, nach 40 Tagen uptime mal nachgeguckt, wie das QNAP-Zeugs so funktioniert und schon ist alles im Arsch. In einem Privat-NAS, weil eigentlich nur rumidled. Und ganz ohne rote Lampe im bunten UI. Ich dachte ja, da wuerde bestimmt zur Boot-/Laufzeit irgendwas ganz schlau dynamisch generiert, oder so. Mit den 5.000 md/dm Zeugs, wo da eigl. kaum physisch was in der Buechse steckt und Cache auch nicht wirklich cached und QTier staendig tonnenweise Zeug up und down moved, obwohl das Ding da eigl. nur rumsteht.

    Ist das teuere Teil echt im Arsch, ey. Boah. Von alleine.

    Toll, dann kann ich's auch gleich wieder alles selbst machen -.-


    Bin ja immer noch verwundert, warum das cache device ploetzlich bei 0% steht. Wenn das hin ist, sollte das ja egal sein, sollte ja eine redundante Kopie sein. Hoffentlich. Aber wer weiss. b) Warum jetzt ausgerechnet read-once /etc/config/mdadm.conf hot data sein sollte, ist mehr als unklar, zumal du auf die Buechse haemmern kannst, wie du willst, der cached trotzdem immer nur ein paar Prozent.

    Einmal editiert, zuletzt von tcn ()

    QTier ist ja mal zum spielen auch echt nett, aber geschichteten Daten sind doch eher etwas fürs RZ.

    Bei GBit im Heimnetz macht das 0 Sinn, bei 10GBit kann man ggf. bei einer richtig schnellen CPU drüber reden, wenn hier wirklich Hot und Cold Data im Produktivbetrieb hart ran genommen wird.


    Aber für Multimedia, Backups und das man so an Daten hat, ist ein schnelles Raid 5 aus dicken HDs mehr als ausreichend.


    Nicht das du hier in den einen nicht korrigierbaren Lesefehler einer SSD gelaufen bist.


    Denn auch ein Raid 1 hat ein Problem, dass es nicht differenzieren kann welches Bit jetzt hin ist. Und bei QTier geht es dann mit der Fehlerfortpflanzung so richtig rund, da ständig Daten migriert werden zwischen den Tiers.


    Solltest jedenfalls ein BU anlegen, ein zweites!

    Alle HDs auf Blockfehler prüfen und den großen SMART Test laufen lassen.


    Kann auch der RAM gewesen sein, ist ja kein ECC drin.


    Aber überschreibe auf keinen Fall das zuvor angelegte, ggf. einzige intakte Backup was du hast.

    Zitat von tcn

    Aber wenn du das auch nicht weisst, woher ziehst du dann dein Schlussfolgerungen?

    Weil die Datei in den Cat1 NAS noch genutzt wurde.


    Zitat von tcn

    Was passiert denn, wenn ich das Ding reboote/Strom ausfaellt?

    Einfach tot, faehrt nicht mehr hoch oder bootet das Ding wenigstens in einem recovery mode?

    Wenn du ein Backup hast einfach probieren.

    Wenns fehlschlägt ist neu Aufsetzen angesagt. Dann kannst du aber auch gleich QTier und SSD-Cache weglassen wie Crazyhorse schon angemerkt hat.

    Zitat von dr_mike

    Weil die Datei in den Cat1 NAS noch genutzt wurde.

    Verstehe ich nicht :) Welche Datei, woran sieht's du das?


    Gut 10 Tage spaeter und dann das Ding laeuft immer noch 1a. Ich wundere mich gerade ueber


    Code
    [~] # ls -ltr /etc/config/{raidtab,storage.conf,mdadm.conf}
-rw-r--r-- 1 admin administrators   1 2019-06-27 14:35 /etc/config/storage.conf
-rw-r--r-- 1 admin administrators   0 2019-06-27 14:35 /etc/config/raidtab
-rw-r--r-- 1 admin administrators 622 2021-01-06 14:48 /etc/config/mdadm.conf

    raidtab und storage.conf sind zwar leer, aber auch alt. Also, das sind keine files, die ext4 verschluckt und ich manuell neu angelegt haette.

    Kann es u.U. normal sein, dass die leer sind?


    Ich frage mich so langsam, ob nicht vielleicht alles in Ordnung ist und ich mir ganz umsonst Sorgen gemacht und 4 backup Platten gekauft habe -.-


    Die Cache Usage in Storage & Snapshots ist inzw. auch wieder groesser >0%.


    Autotiering laeuft die ganze Zeit im Hintergrund weiter, zumindest habe ich nichts umkonfiguriert.


    Was man hin und wieder in dmesg sieht, ist sowas:

    Code
    [4281113.738196] device-mapper: tier: block_num[0] = 193408
[4281113.743997] device-mapper: tier: block_num[2] = 925133
[4281113.768339] device-mapper: tier: shrink = -281873 mappings = 788316 total = 1118541 retain = 48352
[4281113.777427] device-mapper: tier: block_num[0] = 145056
[4281113.947000] device-mapper: tier: total score less than average !!

    Ist das ggf. autotiering bei der Arbeit?


    Was mich ein wenig verwirrt, ist:

    Code
    [~] # ls /dev/sdc?
/dev/sdc1  /dev/sdc2  /dev/sdc3  /dev/sdc4  /dev/sdc5
[~] # fdisk -l /dev/sdc

Disk /dev/sdc: 4000.7 GB, 4000787030016 bytes
255 heads, 63 sectors/track, 486401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      267350  2147483647+  ee  EFI GPT

    Ich hatte uebrigens dieses blkdevMonitor_20151225.sh vorher laufen lassen.

    Einmal editiert, zuletzt von tcn ()

    Zitat von tcn

    Welche Datei, woran sieht's du das?

    Welche hast du denn angelegt und befüllt?;) Ausgangspunkt war doch:

    Zitat von tcn

    ich habe zufaellig gesehen, dass /etc/mdadm.conf ein toter link ist

    Und dass diese in Cat1 NAS noch genutzt wurde sehe ich, wenn ich in meine Cat1 NAS schaue.

    Zitat von tcn

    Was mich ein wenig verwirrt, ist:

    Was soll daran jetzt verwirren?

    Zitat von dr_mike

    Und dass diese in Cat1 NAS noch genutzt wurde sehe ich, wenn ich in meine Cat1 NAS schaue.

    -.- ich bin kein Vollzeit-Admin, ich weiss nicht, was Cat1 oder Cat 2 heisst :) Und Google so auf Anhieb auch nicht; wenn ich das wissen wuerde wollen, haette ich mir nicht so eine ueberteuerte Buechse in der Farbe Gold gekauft, sondern das selber gebaut :)

    Zitat von dr_mike

    Was soll daran jetzt verwirren?

    Dass ich da nur die erste Partition sehe? Moeglicherweise hat das alles mit dem ganzen LVM-und-was-weiss-ich-was- Zeugs zu tun; keine Ahnung.


    Ich meiner alten Synology finde ich auch keine mdadm.conf. Waere ja ein erstaunlicher Zufall, wenn das da jetzt auch kaputt gegangen waere. Oder das funktioniert alles irgendwie anders. Herrje, nur Theater.


    Also, was wuerdest du jetzt konkret an meiner Stelle machen? Rebooten? Reboot in rescue mode? Cache acceleration abschalten? QTier removen? mdadm.conf wieder loeschen?

    Da morgen Strom mal abgestellt wird, habe ich mich mal getraut.


    Cache + QTier removed, ging (lt. web interface) alles problemlos. Die /etc/config/ files sind aber unveraendert. Hab sogar mal neue Volumes angelegt etc.


    Bin etwas verwundert, schreibt der nicht irgendwann mal config files? Oder sind das am Ende tote Ueberbleibsel einer alten QTS-Version und ich habe mir ganz umsonst eine Platte gemacht?


    Das nvme cache device taucht in mdadm -D allerdings weiterhin auf... huh :|


    Ist auch alles immer noch als /dev/mapper/cachedev1 gemounted, sieht auch irgendwie komisch aus...


    Tja, im rescue mode rebooted, da kommt dann ein blue screen, wo steht: konnte nicht booten, mit den 2 Optionen: reboot und shutdown.


    Reboot geklickt und jetzt ist das Ding tatsache einfach ganz normal hochgefahren. Ich geh kaputt.


    /etc/config/{raidtab,storage.conf,mdadm.conf} sind offenbar egal, die ersten beiden sind weiterhin leer, mdadm.conf hatte ich geloescht. /etc/mdadm.conf ist ein toter symlink.


    o_O

    2 Mal editiert, zuletzt von tcn ()