5 Disken sind spontan abgesprungen

Ich habe heute Nacht ein recht spannendes Erlebnis gehabt:

Auf meiner produktiven TS-EC1680R2 haben sich zuerst 5 Platten mit der Fehlermeldung gemeldet, dass sie das Native Command Queuing wegen eines Time Outs beenden müssten. Was für das Logging der QNAP offensichtlich eine reine Information darstellt...

...und eine Sekunde später ging es auch schon los:

Eine Platte nach der anderen, von den besagten 5, wurde getrennt! Schön über beide RAID Gruppen verteilt sind diese dann natürlich hübsch offline gewesen. Soweit wäre es ja noch nicht wirklich spektakulär - vielleicht das gleich 5 Disken von 16 über den Jordan gehen, die knapp 2 Jahre gelaufen sind.

...heute Morgen haben ich nach Kontrolle des Eventlog und dem ersten Schock die Kiste herunter gefahren, Lüfter kontrolliert, Kabelverbindungen etc. Nichts auffälliges. Platten habe ich keine abgezogen. Nach dem Neustart waren alle Disken wieder da und das Ding hat sich verhalten als wäre niemals was passiert - außer natürlich den entsprechenden LOG Einträgen.

File System Checks, sowie Platten Checks absolut ergebnislos. Alle Disken weisen nicht die geringsten Auffälligkeiten mit dem Western Digital Diagnose Tool auf. Zwar stehen meine WD80EFZX-68UW8N0 (die "normalen RED) nicht auf der Kompatibiliätsliste, aber sie werden auch nicht unter Produkten aufgeführt, die man explizit nicht verwenden soll. Hatte jemand schon einmal ein derartiges Verhalten? Eine Idee wo ich mit der Fehlersuche noch beginnen kann?

Firmware: 4.3.4.0644, 32 GB RAM, 2 Plextor Caching SSDs auf den zugehörigen mSATA Schnittstellen.

Zitat von gforce

Die normale WD Red ist nur für Gehäuse bis max. 8 Platten freigegeben.

Zitat von gforce

Alle diese dort aufgeführten HDDs vertragen auch die starken Vibrationen von so vielen HDDs.

Du denkst dass sich die Disken abgeschaltet hätten, weil sich die Vibrationen überlagert haben? Hm. Ein Ansatz. Der mich zwar jetzt nicht wirklich befriedigt, also aus Perspektive der Neugierde, aber ich werde mal die Jungs von der Datenrettung konsultieren ob die beide Modelle schon einmal offen gehabt haben und entsprechende Unterschiede gesehen haben (bessere Lagerung, Dämpfung etc.).

Zitat von Doc HT

Wie mutig kann man sein. Oder wie selbstverachtend. Deine Backup-Strategie würde mich interessieren.

Entschuldige bitte, aber was soll das für eine lächerliche Aussage sein? Schlecht geschlafen?

Abgesehen von zwei LTO 8 Tapes auf meinen vsphere Center Servern (mit der klassischen wöchentlichen vollen und 2 x täglichen Inkrementellen) ist es eines von 4 Storages die sich mittels rsync abgleichen und seit 2,5 Jahren absolut problemlos laufen. Und ich habe in meiner Anfrage wohl nicht thematisisert dass ich ein produktives Problem hätte. Es ging mir nicht dass darum ich Daten gerettet bräuchte (da habe ich meinen Ansprechpartner bei der Hand) oder einen Ausfall gehabt hätte, oder ein Problem mit meiner Backup Strategie hätte...

nur würde es mich interessieren warum die Platten sich disconnectet haben. Wäre dies irgendwann in den ersten Monaten nach in Betriebnahme der Konfig schon mal in irgendeiner Form passiert, wäre gforce Argument durchaus brauchbar. Aber sorry, 2,5 Jahre läuft die Box nicht stabil und poppt dann ab weil sie meint, ach da stecken mehr Platten als 8 drinnen, dann stelle ich mal meinen Dienst ein. Also kannst Du mir erklären, wo der Mut liegen soll? Wenn es zu Beginn irgendwelche Probs gegeben hätte, dann hätte ich die Red ins Regal für andere Projekte gelegt und mir 16 Red Pro abgeholt...

...und wer betreibt eine produktive Umgebung (zertifizierte Platten oder nicht) ohne Ausfall Absicherung? Der Lastenausgleich hat sofort dafür gesorgt das die Anfragen auf die zweite Box gegangen sind, und wenn die auch ausgefallen wäre, hätte ich noch 2 baugleiche im RZ offsite stehen... und wenn die abgeraucht wären, zeitgleich, dann hätte ich die Bänder einlegen müssen... Wobei VMs keine betroffen gewesen wären, weil ich dafür meine MSA habe... Auf den QNAPs liegen nur cold Memory und einige direkte Fileshares.

Wenn es eine Limitation geben soll, also dass es wirklich daran gelegen haben soll dass sich die Platten nicht mögen, obwohl in kleineren RAID Gruppen, dann würde ich es spannend finden, was das Problem ist. Ich dachte, vielleicht ist schon jemand auf das Problem gestoßen und hat eine Ahnung warum. Also ein warum abseits der Produktfolie.

Zitat von Doc HT

EDIT ist in dem SSD-Cache auch ein Schreibcache?

Ja, die Module haben jeweils 256 MB DDR3 Cache on Board, der sich leider nicht deaktivieren lässt. Aber ich verwende das Caching nicht für die zwei Speicherpools gesamt, sondern für ein paar Volumes. Gibt es mit dem Modul Cache ein Problem? Lässt er sich dann QNAP seitig deaktivieren? Wenn ja, weißt Du wie? Bisher gab es mit den Modulen keine Probleme - ich muss sagen dass mir auch der Zusammenhang jetzt nicht erschließt warum das QTS denkt ein paar, offensichtlich, wahllose Platten wären ausgeworfen worden, weil die SSD Module ihren Cache verwenden.

Alles klar - canceln wir den Thread. Es kennt sich mit den Boxen anscheinend kaum einer tiefer gehend aus...

...und entschuldige bitte, aber der QNAP "Support" ist schlicht lächerlich. Das die einen, nicht einmal bei legitimen Tickets, großartig weiterhelfen (können oder wollen?), habe ich schon bei Kunden erfahren dürfen. Das sie mir nicht bei einem Problem weiterhelfen, wo man sich auf "Firmware veraltet", "Platten nicht auf der Komp. Liste" etc. bequem ausreden kann, ist mir auch klar. Sonst hätte ich ein Ticket erstellt und nicht hier einfach unverbindlich einmal nachgefragt ob jemand das Problem bereits hatte (vielleicht auch mit anderen Platten ?!)...

Bei meiner zweiten, baugleichen Onsite (allerdings mit Seagate IronWolf Pro Platten befüllt) 1680 geht seit einem Jahr die MM Bibliothek nicht, weil er sie aus irgendwelchen obskuren Gründen nicht idexieren kann. Das Fazit des Ticket beim Support hat, mal wieder, gelautet: Formatieren sie die Box und installieren sie diese neu, sorry. Und nein, die Box hat zertifizierte Disken, war innerhalb der Garantie, aber der Support... Lächerlich. Also bitte keine Hymen darüber, dass mir der QNAP Support helfen könne, wenn es denn zertifizierte Platten wären... in zwei Jahren bei 6 Boxen 8 Tickets und KEINES konnte vom Support in irgendeiner zufriedenstellenden Weise gelöst werden. Und nein, bei einem einem Fehler in einer eigentlich Micky Maus Funktion TB an Daten zu sichern, oder aus dem Backup Wiederherzustellen weil man die Box plattmachen musste, ist keine Option...

...bei meiner kleineren TS-1079 hieß auch zuerst (es wurden auf einmal im Betrieb alle Platten abgemeldet - und die standen auf der Komp. Liste), das wäre ein unbekanntes Problem im Support. Und ich müsse, sofern ich die Daten gerettet bräuchte, ein prof. DR Unternehmen beauftragen. Und im Endeffekt waren es billige Kondensatoren auf der Backplane und ein relativ häufig auftretendes Problem bei diesem Modell... bei einer 1270 hatte ein Kunde ein verschlüsseltes Volume eingerichtet und LUKS Key (der damals zumindest in der 4.2 nicht über das Web Frontend zu sichern gewesen ist) nicht gesichert. Nach einem problemlosen FW Update konnte er das Volume nicht mehr mounten, weil der LUKS Key beschädigt gewesen ist. Was ja kein Thema ist, wenn man sich mit LUKS beschäftigt und dem KD im Webinterface die Option gibt es zu sichern. Aber der KD weiß nicht, weil es auch nirgends im Manual angegeben ist, dass er den zweiten relevanten Part, zur Zeit, nur über die bash sichern kann...

Das ist mir ja vollkommen klar - ich habe dies ja auch initial selbst eingeräumt. Nur darum geht es mir überhaupt nicht. Ich würde meine hochproduktiven Storages auch niemals außerhalb der Specs betreiben - davon abgesehen habe ich für solche Fälle Support Verträge mit dem entsprechenden Hersteller habe, in welchem die Spielregeln vollkommen klar definiert werden...

...nur als die WD Red (ohne Pro) auf den Markt gekommen sind, hat sich ein solcher Zusatz (nicht für mehr als 8 Bay Storages geeignet) nicht gefunden. Sie sind "nur" nicht auf der Komp. Liste zu finden gewesen. Was auch, sind wir uns ehrlich, sehr oft natürlich passiert weil der Storage Hersteller keine Lust hat, gerade bei einem Modell das vielleicht in Ablöse steht, neue Disken zu testen. Aber wie auch immer, mich würde interessieren, was der Grund ist? Vibrationen? Ok, die Platten lassen sich in all der Zeit nicht aus dem Takt bringen, auch nicht durch den wöchtenlichen Stresstest - kippen aber dann zu fünft, nicht nebeneinander, nicht im Cluster, nicht übereinander, einfach in der Nacht weg? Als hätte ich sie einfach vorne abgezogen? Keine Surface Beschädigung in den WD Tools festzustellen, alle Smart Parameter im Rahmen, überhaupt keine Auffälligkeiten und man rebooted die Kiste und alles ist wieder da wie gehabt? Keine Beschädigung am Soft RAID, keine fehlerhaften Nodes etc.

Ich habe einen Kunden, der hat gedacht es wäre ein ultimativ guter Plan ohne Rücksprache seine alte 859 Pro einfach mit 6 TB Platten (WD Red Pro) sukzessive zu bestücken (also mittels Rebuild und Extension zu erweitern). Hat zu Beginn anscheinend gut geklappt, bis nach ca. 3 Monaten die Kiste angefangen hat sich unmotiviert neu zu starten... Ich konnte dann zwar mittels USB Stick (für die Auslagerung wegen der mageren 512 MB RAM) den Filecheck erfolgreich ablaufen lassen, das RAID wieder manuel mounten und alle Daten weg zu sichern, aber gut, das ist nachvollziehbar. Irgendwo.

Nur das weckt nicht gerade Vertrauen in diese Boxen - ob nun zertifizierte Disken drinnen stecken oder nicht. Zumindest nicht, wenn ich nicht einmal im Ansatz nachvollziehen kann was die Kiste gemacht hat. Aber möglicherweise hat QNAP nicht nur in der 1079 günstige Kondensatoren verbaut... das ist für mich ehrlich gesagt als Schnellschuß aus der Hüfte eher plausibel, als dass sich im klimatisierten Rack plötzlich in der Nacht mysteriöse Vibrationen aufgetan haben haben, die 5 Platten quer durch die Bank aus dem Tritt gebracht haben. Aber wenn "niemand" eine Ahnung hat, wo man auf der Box entsprechende Logs finden kann, was sie gemacht hat, ist es natürlich mühseelig darüber zu spekulieren.

...was mich eher zu dem Schluß führt, diese Kisten mittelfristig auszusortieren und durch einen anderen Hersteller zu ersetzen. Zertifizierte Platten hin oder her, bei diesem speziellen Thema, aber der allgemeine, vom Hersteller angebotene Support, die Reife der Firmwares und auch die oftmaligen Hardware Probleme, lassen schwer zu wünschen übrig.

Zitat von christian

Reine Spekulation! Ich war schon oft im QNAP Lab und kann bestätigen, dass dort Berge an Festplatten liegen, die getestet werden.

Wunderbar - und?

Zitat von christian

Falschaussage.

Du könntest beim Kontext bleiben. Und nein, keine Falschausage. Du kannst gerne die TT Nummern haben, samt zugehörigen Mail Verkehr wie der QNAP Support arbeitet. Bei einer 879 bei einem Kunden wurde empfohlen, nachdem sie es nicht auf die Reihe bekommen haben das die Ordner via AFP oder SMB konsistent auf diversen Mac Clients angezeigt zu werden, rein und dauerhaft auf NFS zu switchen. WTF? Klar, die Box ging auch wieder zurück...

Meine Aussage auf das Vertrauen, auch aus dem Kontext meiner Aussage ganz klar zu erkennen, meine ich, hat sich auf das gesamte Gebahren bezogen. Natürlich wäre es möglich das die hier besprochene 1680 in der besagten Nacht mysteriöse Ressonanzschwingungen im Rack erfahren hat, die sie all die Jahre mit haargenau den gleichen Disken, Geräten, klimatisierung, Standort etc. nicht hatte, dass die Vibrationssensoren der Platten einen Disconnect ausgelöst haben. Möglich. Mich hätte nur interessiert ob es sich nachvollziehen lässt, was passiert ist. Also ob es weiterführende Logs gibt, als das recht witzige Sys Log in der Web GUI. Und aufgrund meiner eigenen Erfahrungen (am eigenen Leib, wie auch bei Kunden) mit diversen Modellen dieses Herstellers, habe ich keinerlei Vertrauen mehr. Und ja, ich halte einen Verarbeitungsfehler an der Backplane mittlerweile für weitaus plausibler als Resonanzschwingungen. Wäre bei kaum einen anderem Hersteller so, aber bei QNAP bin ich mittlerweile soweit. Auch durch die Eigenerfahrung im Reparatur Gebahren mit meiner, damals nicht einmal 2 Jahre alten 2000€ 1079Pro. Wo ich dann Monate diskutieren musste, damit ich sie von QNAP repariert bekommen habe (und nein, damals sind keine nicht zertifizierten Platten darin gelaufen. Auch keine nicht zertifizierte CPU, Speicher oder anderweitige Erweiterungen)...

Auf einer Kunden 1270 werden Snapshots, welche während einer Sicherung einer VM in der Virtualization Box angelegt werden, nicht mehr aufgelöst. Sprich, irgendwann läuft das Volume voll, weil man bei täglicher Sicherung jedes Mal die volle Kopie der VM im Snapshot Ordner liegen hat. Und sich gefühlte 3 Dutzend Snapshots auch nicht gerade positiv auf Verhalten und Performance der VMs auswirken... und das sind jetzt nur Dinge, die mir spontan einfallen. Ich möchte nicht das unendliche schwarze Loch im entsprechenden "QNAP Support" Subordner in meiner Inbox dazu befragen...

Zitat von christian

Die Sensoren zur Vibriationserkennung sind btw in den Festplatten verbaut.

Und wo genau hätte ich behauptet dass dem nicht so ist?

Diese Dinge sind mir alle klar - nicht weil ich der Storage Experte auf Rocket Science Niveau bin - wie es dieser "Doc" in den Raum gestellt hat - was ich auch mit keiner Silbe behauptet habe. Sondern weil ich dies weder angezweifelt noch irgendwo behauptet hätte es wäre nicht so. Ich wollte lediglich wissen ob jemand schon einmal ein ähnlich gelagertes Problem gehabt hat und ob es sich irgendwo nachvollziehen lässt. Aber anscheinend beides nicht.

Es bleibt (wieder einmal bei QNAP) bei dem Fazit: Keine Ahnung. Dieses Mal nur noch garniert mit: "Sicherlich" sind es die inkompatiblen Platten gewesen... Ja, klar, möglich. Oder eben ein anderer Schaden, der mit den Platten rein gar nichts zu tun hat. Etwas das, zeitnah vielleicht auch noch, auf den 3 anderen, (bis auf die Platten) baugleichen Boxen auftreten könnte.

Zitat von christian

Abschließend die Frage was du hier nun weiter erfahren möchtest?

Recht einfach: Bei passender Gelegenheit kommen hier 4 weitere HP MSA (2 bei mir im Haus und noch 2 ins RZ) hin und gut ist es. Der HP Enterprise Support ist nämlich auch grottig - aber nicht derartig...

...und selbst die WebGUI spukt mehr im Eventlog aus außer "Platten disconnect". Die 1680er werden alle rausfliegen und die letzte, meine reparierte 1079er werde ich auch noch durch irgendetwas ablösen. Und Kunden werden zu anderen Lösungen greifen. Also zu einem Hersteller mit zumindest einem halbwegs vernüftig funktionierendem Support (natürlich nur, wenn der Dolm von einem Kunden nicht auf die lächerliche Idee kommt eine NAS Platte in ein NAS zu verbauen).

...wie weiter vorhin schon gesagt, nachdem ist es auch Community seitig keinen "Support" gibt, weil es sich um nicht zertifizierte Platten handelt, dann lassen wir die Diskussion und schließen die Thematik. Mir ist nicht bewusst gewesen, als ich diesen Thread erstellt habe, welch heiliges Sakrileg ich begangen habe. Aber hey, wer ("NAS") Platten, die nur für 8 Bay NAS empfohlen werden in ein 16 Bay NAS einbaut, hat auch sicher kein Backup und ist deswegen mutig und was war das andere nochmal gleich, ach - selbstverachtend. Was für ein Ritt, Hölle! Wie konnte ich unwissender Blinder nur eine Disk verbauen, die nicht auf der Kompatiblitätsliste zu finden ist, sondern nur das beinahe baugleiche "Pro" Modell... Wie soll das Storage nur damit klarkommen, dass die Platte keine 7,2k fährt und keine Resonanzsensorik hat, die sie vor weiterführenden Schäden bewahren würde?

Etwas das ich ja bereits Eingangs in meinem ersten Post in aller Deutlichkeit festgestellt habe, ist es mir nicht darum gegangen ein produktives Problem zu lösen. Und das ich, aufgrund der fehlenden "Kompatiblität" keinen Support erfahren würde, also von QNAP, ist mir klar - würde ich als Hersteller auch nicht. Aber auch darum ist mir nicht gegangen. Ich wollte ja bloß wissen ob sich das Thema eingrenzen lässt. Mittels verlässlicher Logs. Ich wollte keinen Bürgerkrieg anzetteln: die guten, allwissenden, Kompatitbliätslisten Gläubigen vs. die bösen, unwissenden, Rebellen, die einfach "irgendwelche" NAS Platten mal eben verbauen... Es ist auch kein Kunden NAS, kein hochproduktives NAS, eines ohne Backup oder Ausfallsicherung gewesen... Ich habe auch mit keinem Wort gesagt, ganz im Gegenteil, es wäre nicht sinnvoll sich an solche Vorgaben zu halten.

Ich bin nur "fasziniert" gewesen, dass sich von dem Disconnect keine weiteren Spuren haben finden lassen. Auch nicht mit den WD Diagnose Tools an den betroffenen Platten selbst. Aber ich werde mich morgen mit einem befreundenten Techniker in einem DR Unternehmen unterhalten, ob diese Disken dass nicht irgendwo rückmelden (vielleicht auch nur für sich, ähnlich der SMART Entrys), wenn dem so wäre. Mich mehrere Male darauf hinzuweisen, dass dieses eine Storage außerhalb der Specs läuft, ist mehr als überflüssig gewesen.

Das Fazit ist nur unter dem Strich, dass nach knapp 10 Jahren QNAP Erfahrung ein schaler Beigeschmack bleibt: KEIN einziges (der an Thematik und Anzahl vielschichtigen) Problemen, konnte vom Support in irgendeiner Weise gelöst werden. Die meisten Anfragen haben sich in einer Schleife von sich wiederholender FAQ Antworten bewegt, manchmal hatte man auch eine engagierteren Supportler aus Taiwan mittels Remote Session am Rohr der aber dann auch kapituliert hat... Die Zweite (TS-EC1680R2), hier im Haus bei mir, hat noch immer das ewige "MM DB funktioniert nicht" Problem - auch dazu gibt es ein TT, dessen Lösung es sein soll: Machen sie die Box platt und installieren sie diese neu. Ja, klar, die universelle Antwort 42 auf alle QNAP Support Probleme. Ich habe mittlerweile eine Linux VM aufgesetzt, läuft auf dem Blade Center daneben auf via Fibre angebundener MSA mit einem Plex Server, als Ablöse. Das Ding transkodiert darüber hinaus flotter und stabiler...

...beinahe so gut wie der Lenovo Support, der diese Woche einem Kunden bei einer nagelneuen DS4200 rät, dass er entweder einen DHCP in den Serverbereich stellt oder aber die fixe IP nur mittels SSH Shell setzen kann. Denn wenn er es über das Webinterface tut, resetten sich beide Storage Controller auf Factory Default. Also QNAP sind nicht die einzigen, die unausgegorenen Schrott auf den Markt bringen...

...und sollte ich vielleicht ein wenig Desillusioniert, angefressen und frustriert ankommen - dem ist sicherlich auch so.

Plus der Tatsache geschuldet, dass mein Sprachfilter durch Hitze und Grad der Frustration, aufgrund der Menge an ungelösten Problemen, nicht mehr einwandfrei arbeitet. Das ist nicht schön, aber rücksetzen, frisch installieren und Backup Rückspielen kann ich zur Zeit nicht...

Zitat von christian

darth_max diese Frage kann unter anderen seagate_surfer oder Seagate Support beantworten. Es handelt sich zwar um WD aber die Problematik haben beide Hersteller. Ich habe dazu u.a. das hier gefunden https://www.seagate.com/files/…lletin-mb632-1-1305de.pdf

Aber danke für weiterführende Hinweise zu dem Thema! Ich werde mal sehen was die Gurus morgen sprechen, ob sie eher die Disk oder das Storage vermuten - denn im Endeffekt geht es mir genau um diese Differenzierung.