Was testet ihr nach einem Update?

  • so die ersten 2h laufen ganz entspannt mit dem neuen Update nichts zu erkennen…..


    Mal eine Frage in die Runde… nach einem Update, wie oder was testet Ihr da? Habt ihr euch eine Checkliste erstellt?

    Oder welches Vorgehen habt Ihr da so auf euren Test oder Produktiv Systemen?


    Sollte die Frage hier nicht passen, gerne verschieben - danke.

  • Sollte die Frage hier nicht passen, gerne verschieben - danke.

    Ich finde tatsächlich, dass das einen eigenen Thread wert ist. Würde mich auch interessieren, auf was andere User testen.

  • PLEX läuft, SMB komme ich wie gewohnt auf alles drauf.

    Backup zuvor auf lokale NAS und das remote Ziel, anschließend auf das lokale NAS, was auch das Test NAS noch mal.

    Wenn das alles läuft und ein paar Neustarts überstanden, dann muss die Laufzeit beweisen wie langzeitstabil das ganze ist.


    Wenn ich dann mal wieder Lust habe werfe ich, jedoch meist am WE, den Greenbone an und schaue mal ob ich etwas finde.

    Das sollte man aber mit Bedacht einsetzen und bei vielem ist dann ein Neustart fällig.

  • nach einem Update, wie oder was testet Ihr da? Habt ihr euch eine Checkliste erstellt?

    gute Frage.


    Ich teste, was ich verwende.


    z.B. Netzwerkgeschwindigkeit.


    Checkliste habe ich nicht.

    Aber so langsam wird es Zeit für automatisiten Test.

  • Ich mache aus dem Testen keinen großen Zauber mehr, dafür kommen mir zu häufig neue Updates.

    Ich habe zwar zwei Testsysteme, aber die verwende ich kaum um eine neue FW dort zuerst einzuspielen.

    Bei mir muss mein "Failover NAS" als erstes herhalten, dabei achte ich je nach Changelog an der ein oder anderen Stelle auf Auffälligkeiten und lasse mal kurz Snapshots empfangen. Wenn mir keine Probleme vor die Füße geworfen werden, folgt ein Update des "Backup NAS", das dann zum Test einmal Backups empfängt. Irgendwann darf dann mal das Haupt System ran, hier achte ich aber nur darauf dass alle Apps einwandfrei starten und es keine Auffälligkeiten bei den Ressourcen gibt. Hier wäre es mir zu viel, was man testen müsste, lediglich Backups lasse ich dann nochmal laufen.


    Im Grunde teste ich also nicht wirklich, sondern lasse mich überraschen was die Zeit so bringt, Hauptsache die Backups laufen weiterhin.

  • Moin zusammen,

    das klingt bisher schon spannend..... gerade das mit Greenbone von Crazyhorse, aber das ist dann auch eine extreme Variante die ich nicht so im privaten sehe :)

    Wie ich darauf komme ist einfach die vergleichbarkeit...... wenn man Ergebnisse nicht "Dokumentiert" hat man nur "Erinnerungen" und das naja ist nicht immer so exakt nach einer Zeit......

    Daher überlege ich für mich auch sowas mit Datenübertragung dann wirklich aufzuschreiben... ich bin mal gespannt was andere noch so schreiben.

    Schonmal Danke für die bisherigen Rückmeldungen :)

  • Ich habe mich grad dabei "erwischt", dass ich zusätzlich

    1. mir in den Release Notes beschriebene Änderungen anschaue (aktuell zB Remote Disk in Storage und Snapshots; SNMP Volume Status [=> kaputt geupdated]).

    2. in den Systemeinstellungen prüfe, ob unerwünschte Dienste aktiviert wurden (habe das Gefühl dass das manchmal passiert).

    3. prüfe ob mit der neuen FW auch App Updates einhergehen.

    4. prüfe ob eventuell bestehende Probleme ohne Anzeige in den Release Notes behoben wurden.

  • das klingt bisher schon spannend..... gerade das mit Greenbone von Crazyhorse, aber das ist dann auch eine extreme Variante die ich nicht so im privaten sehe :)


    Mod: Nicht deklariertes Zitat ohne Quellenangabe ... entfernt! :handbuch::arrow: Forenregeln und Die Zitat Funktion des Forums richtig nutzen


    Das ist doch eine Thema für QNAP als Anbieter von Hard- und Software. Eigentlich sollten die bei QNAP das doch drauf haben ;) oder nicht?

    Der Anwender (Privat, Soho o. SMB) sollte doch, sofern die üblichen Sicherheitsvorkehrungen getroffen sind, vom Schlimmsten verschont bleiben.

  • Ich behaupte mal, die allermeisten freuen sich, wenn das NAS nach dem Update noch lebt und bedienbar ist. Wenn man es ernst meint müsste man tatsächlich wenigstens für die Basisgeschichten automatisierte Testskripte haben und schon da erwischt man sicherlich nur die ganz groben Bolzen. Vom Aufwand der Erstellung mal abgesehen. Z.B. Sicherheitskritische Dinge wie gesetzte Berechtigungen usw. haben ja eine beliebig hohe Komplexität. Und dass dann noch in Verbindungen mit den vielen darauf aufsetzenden Apps. Es ist ja auch nicht ohne Grund so, dass hier immer wieder haarsträubende Probleme auftreten, bei denen man sich fragt, warum das vorher keiner merkt. Das ist keine Entschuldigung für QNAP oder sonstwen, aber die Komplexität konterkariert die Testbarkeit ja auch. Man kann eigentlich nur zusehen, dass man so viele Dienste wie möglich isoliert über Mechanismen wie Container oder noch besser, Virtualisierung. Das sorgt allerdings bei letzterem für Overhead. Das Basissystem sollte eigentlich nur aus Netzwerk, Speicher, Berechtigungen und Virtualisierungschicht bestehen. Alle anderen Apps müssten daran angedockt werden. Das isoliert die Dienste voneinander, macht aber manches natürlich komplizierter. Und schiefgehen kann trotzdem noch was. Aus meiner Sicht fehlt QNAP immer noch ( wir hatten das mal in einem Foren Brainstorming schon vor 3 Jahren angemahnt) . Ansonsten fehlt QNAP immer noch ein Baremetal Backup/Restore respektive wenigstens eine automatisierbare Sicherung aller(!) App Daten. Und ein Rollback Konzept, dass ein misslungenes Firmwareupdate rückgängig machen kann, möglichst ohne Datenverlust. Das würde zumindest einiges von dem Stress nach misslungenen Updates vermeiden. Die reine Cloudvariante von QTS müsste das ja von Haus aus können. bzw. die Cloudplattform macht das für einen. Warum es sowas nicht schon längst für die Hardware gibt kann ich einfach nicht verstehen.

  • Alle anderen Apps müssten daran angedockt werden. Das isoliert die Dienste voneinander

    Synology habdhabt das zum Beispiel so. Per Default sind nur 2 Apps vorinstalliert welche sich nicht entfernen lassen.

    zum einen die File Station, zum anderen Universal Search. Ale anderen App sind nicht mit DSM verheiratet, sondern können bei Bedarf nachinstalliert werden. Das macht das Patchmanagement effizient und agil.

    Ansonsten fehlt QNAP immer noch ein Baremetal Backup/Restore respektive wenigstens eine automatisierbare Sicherung aller(!) App Daten.

    Und der etwaigen angelegten Datenbanken. Weiß nicht was daran so schwierig ist.

  • Schätze, da müsste sich ein Dritt-Hersteller wie Veeam daran machen. Eine einfache App, die mal eben per Knopfdruck oder zeitgesteuert das ganze NAS 1:1 auf ein anderes Medium kopiert, im laufenden Betrieb und ebenso einfach wieder zurückgebaut werden kann. Mit Windows / Linux PC / Notebook und Server ist dies ja möglich. Inzwischen müssten eigentlich genügend NAS im Umlauf sein, dass sich dies für einen Hersteller auszahlen könnte. Und ja, das könnte dann ein paar Euros kosten oder QNAP kauf sich so etwas einfach für QTS dazu. Da kann dann das NAS gerne diese Euros mehr kosten.

    Man kann eigentlich nur zusehen, dass man so viele Dienste wie möglich isoliert über Mechanismen wie Container oder noch besser, Virtualisierung.

    Nicht grundlos werden in vielen Firmen pro Dienst / Programm oder Funktion ein eigener virtueller Server betrieben. Die unterschiedlichen Funktionen kommen sich nicht in die Quere und im Fall der Fälle wird nur ein Dienst in den Abgrund gerissen.


    Bei mir läuft das QTS zuerst auf einer Testumgebung. Da Probiere ich dann ein wenig herum. Dazu viel hier im Forum lesen und irgendwann kristallisiert sich eine stabile Version heraus. Diese gelangt dann auf die produktiven Systeme. Funktioniert bis jetzt so ganz gut. Allerdings...

    - privat laufen meine NAS (außer Test-NAS) nur fürs Backup und in einem getrennten Netzwerk

    - in der Firma stehen die NAS hinter einer UTM. Die älteren dürfen nicht mal ins Internet. Von Aussen darf erst recht nichts auf die NAS.

    ...weil die Firmware-Version so nicht immer die aktuellste ist.


    Aber wenn das Update die Daten zerstört, muss ich vor einer Schadsoftware auch nicht mehr Angst haben.

  • Synology habdhabt das zum Beispiel so. Per Default sind nur 2 Apps vorinstalliert welche sich nicht entfernen lassen.


    plus und minus.


    Ich brauche beide Apps nicht.


    zum einen die File Station, zum anderen Universal Search.

  • Aehm, ja?

    Diese sind aber nicht deinstallierbar. Egal ob Du sie brauchst oder nicht.

    Ich wollte damit nur aufzeigen, daß Synology die ganzen Apps von DSM unabhängig macht.

  • Ein Testsystem habe ich nicht. Es müsste auch ziemlich dasselbe sein, sonst wäre der Test ohne echte Aussage.


    Nach dem Firmware-Update mache ich nur wenige Tests:

    Sind alle Volumes gemounted?

    Ist die virtuelle Maschine erreichbar (ein ping genügt für den Test)?

    Funktionieren meine Basteleien noch? Dies ist

    - Ist dnsmasq noch erreichbar?

    - Ist die ssh-Anmeldung auf ssh-Keys begrenzt (wichtig, nicht dass da ein Loch aufgemacht wird, denn der ssh-Port ist von außen, d. h. Internet, erreichbar)?


    Am Tag danach schaue ich mir an, ob alle Backup-Jobs gelaufen sind.


    Ob SMB und NFS noch funktionieren, teste ich nicht. Wenn's nicht geht, werde ich das früh genug merken.


    (Beim Apple Mac sieht das übrigens anders aus, wenn ein BS-Upgrade ansteht. Dort ist es leicht, ein identisches Testsystem zu erstellen - eine USB-Platte reicht - und das Upgrade erfolgt dann erst auf der USB-Platte. Bevor der Rechner selbst die neue Version erhält, kann ich da schon alle für die Arbeit unverzichtbaren Programme durchtesten.)