IOPS, MySQL schneller mit SSD?

  • Hi,

    hab auf der TS-251+ eine MySQL InnoDB am laufen mit 111.203.759 Datensätzen und 11,1GiB Größe.

    Praktisch nicht mehr benutzbar weil z.B. "where channel_id=" immer ewig dauert oder zum Timeout führt.


    Würden SSDs da helfen?

  • Bei Datenbanken ist oft


    Mehr IOPS = Mehr Spass an der 'Query'


    Musst aber dein System neu Aufsetzen da (zumindest die System internen) Datenbanken auf dem Systemvolume liegen

  • hab auf der TS-251+ eine MySQL InnoDB am laufen mit 111.203.759 Datensätzen und 11,1GiB Größe.

    Eine SSD bringt gerade bei Datenbanken eine Menge.

    Je nach Nutzung ist auch Prozessor und RAM wichtig.


    Bei Datenbanken, ist es auch immer eine Frage der Konstruktion und deren Abfragen.

    Man kann schon beim Anlegen einer Datenbank viel falsch machen, da bin ich gebrandmarkt.

    Wenn man sich da tiefer mit beschäftigt, ist es keine Zauberei.

    2 Mal editiert, zuletzt von frosch2 ()

  • Ist eine SSD bei einem IO lastigem System Sinnvoll, kann man das weiter verallgemeinern.


    Ja ist es, dann ist jedoch als nächstes die CPU am Limit, da jetzt die IOs in Massen in der Pipe landen und hier der Flaschenhals entsteht.

    Daher bringt eine SATA bei jedem Rechner was, eine NVMe SSD hingegen nur bei sehr schnellen CPUs, da erst hier die IO Last verarbeitet werden kann.


    Da die CPU in der 251+ keine Rechenwunderwerk ist, wird es was bringen, aber wenn die Anfragen zu komplex sind, kann auch hier das nächste Desaster auf dich warten.

  • Da die CPU in der 251+ keine Rechenwunderwerk ist

    Welche Qnap die nicht gerade 1000€ kostet hat den deutlich mehr Power?

    Mod: Nicht deklariertes Zitat ohne Quellenangabe ... korrigiert! :handbuch::arrow: Die Zitat Funktion des Forums richtig nutzen

    und RAM wichtig.

    Hab 4GB wovon aber nur 27% ausgelastet sind. Auch bei den Aktionen wo es in Timeout läuft ist Ramauslasung gleich und CPU Last fast nix. Also muss es doch irgendwo anders klemmen?


    Die ganze DB auf Ram geht nicht, weil 11,1 GiB.

    Oder kann man es trotzdem hinbiegen?

    2 Mal editiert, zuletzt von Qnatsch ()

  • Ja da sprichst du das Problem an, die CPUs in den Kisten sind leider alt und damit langsam.


    Die neuen Kisten kommen gerade raus und da ist dann mehr Power drin, aber auch da ist noch Luft nach oben.


    Sogar die TS-673, die gerade für 649 raus geht, ist nicht gerade mit dem aktuellsten SoC bestückt, also auch hier 5 Jahre altes Zeugs drin.

    Der Kratzt zwar mehr als 1GB/s aus den HDs, aber dafür ist der Stromverbrauch im vergleich zu aktuell möglichen SoCs auch entsprechend.

  • Hab grad nen i7 NUC 10 (6C/12T) gekauft .. das Teil geht ab wie "Lumpi" auf nem winzigen Formfaktor.


    Wenig Platzverbrauch, super Leistung. Würde mit Sicherheit deine DB "beflügeln"

  • Qnatsch

    Kannst auch einen Micro Server nehmen:

    Sieht in etwa aus wie ein NAS, ist so groß wie ein NAS, kostet auch nicht viel mehr als ein NAS und wenn Du einen mit Xeon Prozessoren nimmst hast Du Power ohne Ende. Ausreichend RAM und ein paar SSDs, dann haut dies schon hin. Da kannst Du sogar Windows Server installieren, kostet aber extra. Ansonsten ein freies Server Betriebssystem for free, gibt genügend davon.

    NAS ≠ Server.

  • So,

    habe die NAS mal mit einer SSD neu aufgesetzt.

    IOPS HDD: ca 110

    IOPS SSD: ca 35000


    Jetzt kommt bei bestimmten abfragen kein timeout mehr, aber dauert trotzdem noch Minuten.


    Also nicht wirklich der Brenner.


    dolbyman

    wie splitten? Und dann?

    Es geht um https://www.volkszaehler.org/


    Da muss ich mal schauen was man so optimieren kann.

  • Und wenn es an der Software liegt nutzt auch dieses nichts. Habe immer wieder mit Software zu kämpfen, die immer noch nur mit Single Thread umgehen kann. Dann haste einen 8 Kerner mit Hyperthreading und anstelle von 2 Minuten dauert es 20 Minuten und Du wartest Dir einen Ast.

  • Die App volkszähler geht einwanfrei. Kein Problem.


    Nur wenn ich mir die Daten mit phpMyAdmin anschauen will, dann klemmt es gewaltig.

  • Wo kommen eigentlich die 111 Mio. Datensätze her?

  • kann ja sein das das Smartmeter jede Sekunde nen Eintrag macht .. das sind dann halt 3,5 - 4 Jahre an Daten ?

  • Wo kommen eigentlich die 111 Mio. Datensätze her?

    seit 2015 vom ersten Smartmeter ala 5sec 4 Werte, 2016 neuer Smartmeter 5 Werte ala 2sec. 2016 Ladung vom E-Car. 2017 Phev. usw.

  • So wie ich das sehe sollten hier zunächst die Tabellen und Indizes optimiert werden. Logischerweise braucht man dazu die relevanten SQL-Statements, die Timeouts erzeugen. In meinem Job habe ich Abfragen auf Tabellen mit mehreren Mio. Datensätzen, die im Bruchteil einer Sekunde beantwortet sind. Schlecht indizierte Tabellen können solche Antwortzeiten in die Höhe schnellen lassen.

    Ausreichender Arbeitsspeicher kann solche Effekte mildern, wenn häufig auf den Cache zugegriffen werden kann. Mein DB Server in einer VM auf meinem PC macht praktisch keinen Unterschied zu einem "normalen" DB Server.

  • Mein DB Server in einer VM auf meinem PC macht praktisch keinen Unterschied zu einem "normalen" DB Server.

    Der Typ 2 Hypervisor lauft dann aber net auf nem kleinen Celeron oder ?