Beiträge von PanicFR

Hallo zusammen,

also es wurde hier im Thread ja schon angetönt, dass QNAP ein Raid1 (md9 + md13) über alle eingebauten Laufwerke spannt und daher auch das gerödle auf allen Platten z.B. beim Log-Schreiben etc.

Im englischsprachigen Forum bin ich auf einen Thread gestossen, der mir geholfen hat und auch ein Reboot bzw. FW-Update überlebt, da Einträge in der Crontab als auch in der autorun.sh gemacht werden.

Das macht aber nur Sinn, wenn man SSDs verbaut hat (als Cache reicht, denn da ist das RAID auch drauf...)

Im Prinzip wird das Raid1 (eben md9, wo das System drauf liegt und md13, welches für den SWAP zuständig ist) aufgetrennt - in meinem Fall, (2 SSDs für TIER, 2 SSDs für Cache und 4 HDDs in Raid10) sind die beiden Raids nur noch auf die TIER-SSD in Betrieb.

Ich hoffe, ich darf den Link posten?

https://forum.qnap.com/viewtopic.php?f=55&t=130788

Prinzipiell habe ich das bei mir nun so gemacht, dass ich die Festplatten aus den Raid1-Verbund löse, diesen aber auf den SSDs belasse (siehe oben).

Das SWAP habe ich gleich ganz abgestellt.. bei 64GB Ram brauche ich das nicht und gemäss meinen (kurzen) Recherchen, muss auch kein SWAP aktiv sein.

Für alle mit den üblichen 4-8GB-Kisten muss ein Swap-File auf das "Systemlaufwerk" erzeugt werden und entsprechend eingebunden werden.

Nachts um 2 Uhr lasse ich das Raid wieder aufbauen, damit es Synchronisiert - also Systemeinstellungen gehen auf Festplatte...) und dann trenne ich es nach 15 Minuten wieder.

Das für den Fall, falls beide SSDs abrauchen sollten, noch die NAS ab HDD gestartet werden kann.

Eben, die Infos habe ich alle aus den oben verlinkten Thread - natürlich an meine Umgebung angepasst.

Ehrlich gesagt, sind diese ganzen Tipps (Log abschalten etc. ) für den *piiiep* da ein System-Volume immer schreibt...

Prinzipbedingt hat man also keine Chance, die Platten ruhig zu bekommen, selbst wenn man das System auf die SSDs packt.

Wenn man aber den Systemvolume trennt, hat man die Platten dann wirklich nur für den Datenzugriff - und damit auch dann eine Chance, das Ganze zu kontrollieren.

Die Anleitung ist aber eher was für Leute, die keine Angst vor der SSH-Console haben und müde lächelnd auf eine aktuelle Datensicherung blicken können, falls das Daten-Raid zerlegt wird

Viel Erfolg denen, die sich da rantrauen...

Hallo,

Es ist ein Thick-Volume (hab's oben korrigiert...) sorry fürs Missverständnis meinerseits.

Die PCIe-SSDs schlucken (wenn sie leer sind...) etwas über ein GB/s - also dann im Raid1 um 800MB/s, das passt so.

Das Raid10-HDD Array (mit 4 HDDs) sollte eigentlich schneller sein als ein Raid5 mit 4HDDs, da weniger Rechenaufwand nötig sein soll (?).

Die Datenübertragungsrate liegt pro HDD bei 250MB/s, sollte also bei Raid10 um die 500MB/s rausrücken. Passt soweit.

Kann sein, dass RAID 5 beim lesen schneller ist (CPU-Power) mir ist aber die relativ dumme Raid10-Variante lieber, sollte mal ein Rebuild nötig sein.

Aber... Crazyhorse, wenn du mir bestätigst, dass ein Raid5 mit 4HDDs schneller schreiben/lesen kann als ein Raid10 mit 4 HDDs dann könnte ich.... hmmm...(Es ist Wochenende :-]) Die TS-x73 sollte ja nicht an der CPU scheitern?

Die letzten Tage haben wir das aber NAS mit Alltagskram belastet, mehr Bildbearbeitung und Druckvorstufe als Videomatierial. Wir sind zufrieden. Weitere optimierungsversuche bleiben jetzt erstmal aus. Man darf nicht vergessen, dass bei den 4 x 12TB auch ne gewisse Zeit ins Land geht (rund 25h) bis das System dann wirklich parat ist.

BTW. das periodische Gerattere im Leerlauf ist auch weg - sämtliche Logging-Funktionen (Zugriffslog) abschalten und es herrscht ruhe. Für ein Standby reichts nicht aber das ist mir egal.

Hallo zusammen,

nach diversen hin und her, hier die letzten "Messungen"

Ram ist nun 64GB, hilft beim Lesen, beim schreiben nur etwas

Schreiben ohne SSD-Cache auf die RAID10-HDDs:

pasted-from-clipboard.png

Am Anfang der Peak, wird das RAM gefüllt.... aber dann gehts direkt aufs RAID

SSD-Cache (mit zufälliger EA bis 32MB) greift trotzdem irgendwie und man hat auch nicht das "Der Cache läuft voll und bremst dann alles aus" Phänomen. Der Cache lief bereits ein paar Tage... für den "ersten" Test da oben, habe ich ihn dann abgeschaltet

Schreiben nun pasted-from-clipboard.png

Wie man schön sieht, mit Berg- und Talfahrt:

Der Anfang ist das RAM-Cache, dann wird direkt aufs RAID10 geschrieben (bei etwa 500MB/s) und die Berge sind dann die Momente, in dem der SSD-Cache gefüllt wird.

(sorry, nicht schön.. das HDR ist schuld)

pasted-from-clipboard.png

Irgendwann leert sich der Cache wieder...

Beim Lesen der gleichen Datei zurück auf dem PC siehts nun so aus:

1. Lesen: pasted-from-clipboard.png

Daten werden direkt vom RAID10 -HDD gezogen

2. Lesen: pasted-from-clipboard.png

Klarer Fall, das wird komplett aus dem RAM-Cache gezogen.. der SSD-Cache ist auf "nur schreiben" eingestellt.

Ich will noch erwähnen, dass ich eine Thick-Volume-Konfiguration habe und Snapshots verwende.. das soll ja etwas Performance kosten...

Man kann also sagen:

Ja, das bringt alles schon etwas, auch wenn ich mir das irgendwie anders erhofft hätte.

Ich habe das Gefühl, das Ganze ist noch nicht so ausgereift, wie es sollte.

Wenn der SSD-Cache auf "ALLE IO" eingestellt wird, läuft er irgendwann voll und ist dann mit commit beschäftigt anstatt eine Leerlaufzeit dafür zu nutzen.
Wenn ich das Ding als SCHREIBCHACHE einsetze, will ich davon nicht lesen können. Qnap sieht das wohl anders...

Bei mir hängt das Teil an einer USV, warum kann ich nicht selbst entscheiden, dass ich den RAM als Schreibcache nutzen will... nicht nur ein Häppchen (was mir zeigt, dass es ja geht...) sondern alles, wenn es nicht anderweitig genutzt wird.

Bleibt zu hoffen, das Qnap noch die Kinderkrankheiten ausmerzt bzw. die Funktionen für die "grossen" Jungs freigibt.

Mein feuchter Traum wäre nun:

- RAM als Cache, so wie ganz zu beginn im Thread angedacht

- RAID10 HDDs so belassen, ist angenehm schnell...

- S-ATA-SSDs als Tier-Speicher mit den HDDs zusammenfassen (Für Qsync-Zeugs etc...)

- PCIe-SSDs als "Systemvolume" damit endlich das periodische geratterte der HDDs dank des QuLog-Schrotts aufhört

(Thematisiere ich in einem anderen Thread...)

Edit:

Thin nach Tick-Volume geändert (Sorry Crazyhorse, hab die Bezeichnung falsch im Kopf gehabt...)

Hersteller: Crucial

Bezeichnung: CT2K16G4SFD824A

RAM Typ: 16GB, DDR4-2400, SO-DIMM 260 pin, Kit 2x16GB

Spannung [V]: 1,2

Anzahl Riegel [Stck]: 4

Größe je Riegel [GB]: 16

Kaufdatum [MM.JJJJ]: 11.2020

Getestet in NAS: TS-473

Getestet mit FW: 4.5.1.1480 build 20201108

Kompatibel (JA/NEIN): JA

Besondere Anmerkungen: Bootet durch, RAM wird voll als Dateicache genutzt (Immer Stresstest, da oft grosse Files raufgeschoben werden... - keine Probleme.

Ja, das geschnittene Material wird gleich wieder vom Rechner abgestossen, auf denen ist ja auch nicht ewig Platz...

Zitat von unos

Bei 50GB+ Dateien ist RAM Cache selten, denn wenn der Cache voll läuft schreibt der erstmal und alles steht.

Nun, solange die Files darunter bleiben würden, ist alles okay.. und warum nicht die NAS mit 128GB aufbohren, wenn es denn möglich wäre... Es ist halt nur schade, dass sowas nicht in Betracht gezogen wird. Aber mit dem SSD-Cache geht es ja jetzt auch so
Nun baut sich gerade mein RAID10 zusammen und das ganze Backup wieder zurückspielen... gut das zur Zeit nur Bildbearbeitung auf dem Plan steht, da braucht es keine grosse Performance.

Hallo unos,

nein, den Support habe ich nicht gefragt.

So wie es aber aussieht, schreibt der Cache nicht "sofort" zurück, sondern "irgendwann".

Wenn ich den Cache nach ein paar Tagen Nutzung aushängte, brauchte der 25-40 Minuten um den Cache zu leeren. Ich verstehe das System hinter auch nicht wirklich.
Aber im Fall können 30 Minuten Verlust kritisch sein, wenn gerade ein Projekt hochgeladen wird und das dann plötzlich futsch ist. Datenverlust als Risiko akzeptieren sollte nie eine Option sein.

Deswegen, RAID1 als "nur-schreib-Cache" bringt gute Performance und das dahinter hängende RAID10 sollte schnell genug sein um Daten zu liefern.

Irgendwie finde dich diesen SSD-Cache aber Mist, doch es ist die einzige greifbare und bezahlbare Lösung.

Wenn ich es mir hätte aussuchen können, hätte ich das NAS mit RAM vollgestopft und selbigen dann als Cache genutzt. Es ist doch klar, dass (spätestens) dann so ein Teil an die USV gehört, deswegen finde ich das Argument "Stromausfall" inakzeptabel. Ein NAS (sowie kritische Komponenten und PCs) gehört immer an eine USV.

Vielleicht gibt es ja einen Linux-Guru hier im Forum, der weiss, wie man den RAM als (Schreib-) Cache einsetzt.

Auch im Fall SSD-Cache und Stromausfall, bleiben inkonsistente Daten zurück...

Halllo Unos,

ja, im RAID1 sind sie konfiguriert.

Ich habe zum testen mal auf RAID0 umgestellt

Schreiben von 30GB rund 800MB/s

Lesen ab RAID0-Cache bei 1,1GB/s aber mit kurzen Einbrüchen - keine Ahnung ob da die Kupfer-SFP+-Module am glühen sind :-]

Ich habe soeben den Cache auf "nur schreiben" im RAID1 eingestellt und nun schluckt das Ding auch im Schnitt 800MB/s.

Damit kann ich leben... als LeseCache brauche ich das sowieso nicht.
Die "kleinen Dinge (Office, QSync etc...)" werden nun durch 2 mal 2TB im RAID1 auf SSD geTiert und morgen kommen noch 2 12TB-HDDs und dann gehen die 2 vorhandenen 12TB-HDDs mit den neuen als RAID10 in Betrieb... dann stimmt auch die Leserate der HDDs und ich habe noch jede Menge Platz für Snapshots (Der Nutzspeicher bleibt bei rund 12TB da meine Backup-Platte und der zweite Standort nicht mehr als 12TB fassen...)

Damit sollte ich für die nächsten Jahre gut durchkommen.

Hoffen ist das eine, wissen das andere...

Ich hab schon genug "Tricks" erlebt oder (ja, mein pech...) irgend ne kleine Fussnote übersehen.

Der Support bestätigte mir mittlerweile, dass es sich um dezidierte PCIe-Slots handelt.

Die restliche Hardware (vor allem die Karte, QM2-2P-344,) ist erst heute komplett angekommen und ich konnte sie erst heute verbauen.

Auf der Karte sind 2 x 960GB Seagate Ironwolf 510 verbaut, die sollen rund 1GB/s schlucken

Erste Erkenntnisse mit eher spontanen Schreib- und Leseoperationen (mit dem "genauen" Windows Speed-o-Meter):

- Lesen 30GB ab Cache um die 900-950 MB/s

- Schreiben auf Cache um die 600MB/s, bricht aber ab und zu ein - Grund weiss ich nicht.

Die nächsten Tage habe ich eher mit Bildern (Massenverarbeitung) zu tun... mal sehen, was die neue Hardware da bringt

Zitat von unos

aber PCIe 3.0 x4 hat 4.000 MB/s max das sollte dir reichen

ja... das ist so.. aber...

ich vermute den Worst-Case und die Lanes der PCI-Slots werden sich geteilt, dann gehen 2 für die 10GBE-Netzwerkkarte weg bzw. sie sharen sich dann mit den restlichen Lanes zum NVMe-Controller.

Kommt dann noch 2x NVMe-SSDs mit PCI3.0x4 im RAID Verbund also dann 50% Bandbreite davon.. Wenn also dann rund 1.000MB/s Speed übrig bleiben ist das Grenzwertig aber mehr macht 10GBE eh nicht her, daher egal
Alles nur Spekulatius, genaue Pläne über das Mainboard konnte ich nicht ausfindig machen... die Messungen werden es zeigen.

Also, Nachtrag:

Die Schreib-Messungen mit 10GB-File:

Schreiben auf Cache (RAID1) um 300MB/s mit kurzen Einbrüchen...

Schreiben auf HDD (RAID1) um die 150MB/s Peak bei 200MB/s

Schreiben auf Cache (RAID0) rund 610MB/s

(Ich stelle es aber wieder auf RAID1 um...)

Wenn also die Erweiterungskarte mit den NVMe-Riegeln auf RAID1 die 1000MB/s macht, ist mein Wunsch erfüllt...

Wer hat den die NAS mit ordentlich RAM ausgestatten und möchte mal ohne SSD-Cache einen IO-Test machen, halt ohne, dass irgendwelche VMs etc. laufen so dass auch freier RAM verfügbar ist?

Da wäre ich mal gespannt, irgendwas zu sehen. Weil, das 3-GB-File schaufelt er sicher via RAM, da das sehr schnell NAS nach PC geht (auch nach nem Neustart...) aber Schreiben ist immer langsam.

Hallo Unos,

danke für deine Info.

Meine 473 hat ja nur 2 PCI 3.0 x 4 - Slots.

Die Karte benötigt einen x 8 Slot damit sie ihr Potential ausspielen kann, sofern die SSDs dann auch richtig angebunden sind...

Ich liebäugle noch mit der oben angegebenen Karte und dann aber doch die 2 x NVMe SSDs mit RAID1. RAID0 ist zwar nett aber bei einer Störung reisst es ja auch die gepufferte HDD mit ins Nirvana - so hab ich das zumindest gelesen...

So wie QNAP das Feature bewirbt, soll der SSD-Cache die Daten schlucken und dann aber auch auf die HDD schreiben (WriteBack), aber mich wundert dann auch, wenn ich den SSD-Cache abschalte/trenne, dass dieser erstmal alles "Flushen" muss, selbst, wenn 2-3 Stunden lang keine IO-Last anlag. Daraus schliesse ich, dass der SSD-Cache die Daten nicht zeitnah auf die HDDs schiebt sondern "bei Bedarf", sprich, wenn das Cache vollzulaufen droht.... (was unlogisch ist, da dann ja der Cache in Bedrängnis kommt und "schnell" seine Daten abstossen muss, damit dieser neue aufnehmen kann...

Zu den Tests:

Anbindung mit 10GBE und 9000MTU

Ich "messe" ganz trivial, nur den Windows-eigenen "Speed-o-Meter" beim Dateikopieren.

Lesen von HDD (egal ob 3 oder 50GB File) ca. 190 - 290 MB/s

Schreiben auf HDD max. 130MB/s

Mit SSD-Cache (2 S-ATA-SSDs RAID1)

Lesen aus Cache 3GB-File ca. 1,2GB/s (auch nach Windows-Neustart!)

(Ich schliesse daraus, dass der RAM der NAS wohl doch genutzt wird...)

Lesen aus Cache 50GB-File ca. 700MB/s

(Sackt ab und zu mal ein aber im Ganzen also 690MB/s)

Die Schreib-Daten poste ich heute Abend, ich habe sie nicht mehr ganz sicher im Kopf.

Nur, dass RAID0-Cache angenehm schnell war aber auch nur rund 400MB/s schaffte... aber das verifiziere ich heute Abend nochmal.

Hallo Dennis,

danke für dein Input!

RAID5 mit 3 x 12TB oder 4 x 12TB Platten?

Was spricht gegen RAID10 (mal von der 50%igen Speichernutzung)?

RAID5 ist ja von der Schreibleistung eher gemütlicher als RAID1 bzw. RAID10 und Schreibleistung benötige ich ja vor allem.

Ich habe halt nur 4 Schächte, sonst wäre RAID50 noch interessant aber man kann nicht alles haben

Okay,

was empfiehlt ihr?

Vorhanden ist:

TS-473 mit 8GB und 10GBE-Netzanbindung

2 x Toshiba N300 mit 12TB (RAID1)

2 x WD RED SA500 mit 1 TB (RAID1)

Ziel ist, das möglichst schnelle hochladen von ca. 50GB-Files (Rohdaten)

Ich bin gespannt auf eure Empfehlungen

Hallo Matselm,

danke für die Info, aber ich denke, das passt mit 8GB:

Cache ist geplant 500GB (Netto), und dann auch die einfache Variante mit FiFo...

Beim Tiering ist es nicht ganz klar, aber da steht was von 2GB.
Bestenfalls packe ich noch 2 x 4GB-Module rein, wenn ich das NAS eh gerade offen habe... dann sollte es locker reichen.

Hallo Matselm und Crazyhorse,

danke für eure Ausführungen! Dann werf ich das mit dem RAM-Ausbau mal aus dem Kopf...

Ja, das Optane ist eine nette Sache, läuft aber wohl nur auf Windows-Systemen und... zu teuer, da verbrenne ich lieber alle 2-3 Jahre zwei Cache-SSDs

Ich denke, ich werde den Ausbau, wie geplant durchführen und dann wird das sicher was bringen.

Fernziel ist es, die HDDs als RAID10 zu konfigurieren, da verspreche ich mir auf dem Weg etwas mehr Performance

Also 4 x 12TB HDD als RAID10, 2 x 2TB als SSD Tier für's Kleingemüse und 2 x 500GB NVM-SSD als Cache auf der Karte als Schluckspecht für die grossen Uploads.

Die 10GBE-Karte ist übrigens separat, die QM2-2P-344 müsste also ihre eigenen Lanes nutzen können (wenn es sich auf dem Mainboard der TS-473 um dezidierte PCI-Slots handelt...) damit sollten sie sich also nicht in die Quere kommen... hmmm, hoffentlich ist dem so - ich habe keine genauen Specs gefunden.

Der RAM bleibt dann bei 8GB, VMs sollten da nicht drauf laufen und wenn das RAM nicht als IO-Cache genutzt wird...
Bei den RAM-Preisen könnte man das ruhig wieder pushen, aber das klingt nicht so cool wie SSD-Cache.

Etwas Erfahrung habe ich mit der TS-451+ mit RAID1 HDDs und 1TB-SSD-Cache (RAID1) aber da war halt das 1GBE das Limit bzw. über USB dann auf 5GBE aber nur ~4GBE nutzbar.
Und.. während eines Uplaods halt nur einen Kaffee holen, oder gleich einen Snack einlegen, ist schon ein Unterschied, bzw. es bremst den Workflow einfach aus.

Hallo Matselm,

das heisst, der Arbeitsspeicher wird definitiv nicht als IO-Cache verwendet?

Ich weiss nicht, aber der "Unterbau" macht sich bisher ganz gut, Files lassen sich, sofern sie auf dem "oberen Store" liegen mit 700MB/s ziehen, nur das hochladen geht mit 180-240MB gemütlich vonstatten. Hier habe ich mir erhofft, dass der RAM als Puffer dient.

Wenn ich 10Gbe schreibe, meine ich dass die Infrastruktur durchgängig bis zu den Nutzern ist. Also Switche, PC-Karten etc. vorhanden. PCs potent genug, das Ganze auch zu verarbeiten.
PCIGen3x4 sollte auch dafür reichen...

Kostenmässig kann man das auch mit nem SSD-Cache lösen (QM2-2P-344-Karte mit entsprechend kleinen und schnellen SSDs) aber RAM verschleisst nie und erfüllt (für mich) genauso seinen Zweck.

Wie geschrieben, geht es um das "Hochladen" der Daten, das "Herunterladen" mit 700MB/s ist okay, und da hilft der RAM auch nichts, das ist mir bewusst.

Also: Der RAM wird nicht als IO-Cache eingesetzt? korrekt?

Danke

Hallo,

ich verwende eine TS-473 mit 10Gbe-Anbindung,

Flaschenhals ist hier ganz klar der S-ATA Anschluss (2 x HDD und 2 x SSD mit Qtier)

Macht es Sinn, den Arbeitsspeicher maximal auszubauen, so dass dieser als IO-Cache verwendet wird oder ist das Geldverschwendung?

Es geht mir vor allem darum, 40-50 GByte grosse Files schnell auf die NAS zu speichern, also das NAS soll das File dann im RAM puffern und "in ruhe" in den Storage schieben. VMs oder sonstige Dienste sollen eigentlich nicht darauf laufen.

Ziel ist es, ggf. so den SSD-Cache, der so heiss beworben wird, zu sparen.

Danke für eure Einschätzungen.

Hallo Zusammen,

grundsätzlich bin ich zufrieden mit meiner "neuen" Errungenschaft aber seit ein paar Tagen plagt mich ein besonderes Vorkommnis:

Ich betreibe bei mir eine Sophos UTM9.2 Home-Lösung u.a. auch um zu protokollieren, was denn so den ganzen Tag "rein und raus" geht.

Letzten Montag habe ich eine neue Festplatte eingebaut und nutze nun das SSD-Caching. Ich musste alle Einstellungen erneut vornehmen (bzw. ich habe ein Werksreset gemacht....) und die diversen Apps neu installieren müssen. Von diesem Tag an bekomme ich von meiner Firewall mehrmals eine Thread-Protection-Meldung:

Zitat

Advanced Threat Protection

A threat has been detected in your network
The source IP/host listed below was found to communicate with a potentially malicious site outside your company.

Details about the alert:

Threat name....: C2/Generic-A
Details........: http://www.sophos.com/en-us/th…spyware/C2~Generic-A.aspx
Time...........: 2015-02-25 22:55:49
Traffic blocked: yes

Internal source IP address or host: 192.168.3.8

Alles anzeigen

Bei genauerer Untersuchung wird auf die IP 31.131.138.33 gezeigt. Irgendein DSL-Anschluss in der Ukraine laut whatismyip.com .

Meine Frage: Ist das Verhalten bekannt? Wie ist das einzustufen? Kann das jemand von euch nachvollziehen/gegenprüfen? und ganz besonders: welche Software telefunkt da "nach Hause"?

Neben der "Standardsoftware" (hatte und) habe ich folgendes noch installiert:
- Alle Hybrid-Desk Apps ( sind aber alle bis auf Kodo und QDesk deaktiviert...)
- Optware
- JRE
- Python
- GMAIL-Backup
- QAirplay Chomecast
- phpMyAdmin
- NZBGet
- Virtualisation Station
- Surveillance Station
- mc (mithilfe des Optware-Paketinstallers) für künftige ssh-Sessions

Vielen Dank, wenn mir einer von Euch licht ins Dunkel bringt.

Gruss
Sascha