Leistungsstarke NVIDIA Grafikkarte für das QNAP TVS 673 / AI llama 3. Server

    Hallo Zusammen, ich suche eine leistungsstarke Grafikkarte für das Qnap TVS-673. Hat von Euch schon jemand erfolgreich eine leistungsstarke Grafikkarte installiert? Was ist maximal möglich dort erfolgreich an Grafikkartenpower zu installieren?


    Meine Idee ist das Qnap NAS in einen AI Server zu verwandeln und Llama 3.1 70B dort flüssig laufen zu lassen.


    Bin gespannt über eure Rückmeldungen.


    Grüße Tom

    Hallo,


    kannst Du vermutlich vergessen.


    Dein NAS hat nur 2 PCIe 3 x 4 Steckplätze. :(

    Und das eingebaute Netzteil dürfte auch zu schwach sein. :(


    Wenn ich es richtig sehe, sind von QNAP keine Grafikkarten in der Kompatibilitätsliste aufgeführt. :(

    Tja, stimmt. Steht nichts auf der Kompatibilitätsliste:

    Kompatibilitätsliste - QNAP
    QNAP entwickelt und liefert hochqualitative Network Attached Storage Systeme (NAS) und professionelle Netzwerk Video Rekorder (NVR) für Anwendungen im…
    www.qnap.com


    Heißt aber erst nur mal, dass QNAP nicht getestet hat. Denn ein Nvidia GPU Kernel Driver gibt es für dieses NAS:

    TVS-673 - Download Center
    Select your product to download operating system, utility, applications, document and check compatibility.
    www.qnap.com


    Zitat von Becker2020

    Dein NAS hat nur 2 PCIe 3 x 4 Steckplätze. :(

    Und das eingebaute Netzteil dürfte auch zu schwach sein. :(

    Und Abwärme und vor allem Baugröße (in allen 3 Dimensionen) nicht vergessen. Schätze da wird kaum eine Platz haben. Ein PCIe Slot ist ja schon belegt. Kann aber natürlich auch weichen. Dann hat es wenigsten ein wenig mehr Platz.

    Llama 3.1 Requirements [What you Need to Use It] 💻
    Llama 3.1 stands as a formidable force in the realm of AI, catering to developers and researchers alike. To fully harness the capabilities of Llama 3.1, it’s…
    llamaimodel.com


    Nvidia ab der 3k Serie, sprich ne 40xx muss da her, unter einer 4060 fängt man dann gar nicht erst an, weil die KI braucht RAM und das auf der GPU und die hat gerade 8GB.

    Richtige KI Beschleuniger haben 64/128GB Ram für die GPU.

    Wird aber in dem NAS nix, weil Netzteil zu schwach, Anbindung zu alt/langsam und dann ist da die Abwärme und ggf. auch die Tiefe der Karte.

    Das ist eine Ada, ehemals Quadro Series, also für Workstations etc. Dir ist schon bewusst was so ein Teil kostet? Die beginnen so bei 600.- / 650.- Euro. Dazu auch noch 2 Slots hoch.

    Ich hab hier ein paar rumfliegen (Dell Karten Swap Stock), sind zwar dual Slot breit aber wie gesagt sehr genügsam im Stromverbrauch.


    Und OP hat ja nix von Kosten gesagt, ja 'Quadro' Karten sind was teurer .. aber so ist das.

    Habe ja nicht gesagt, dass sie schlecht sind. Wir habe die in der Firma auch im Einsatz, also die Ada's bzw. Quadro's. Und wer meint eine 2000er sei teuer, der soll man den Preis einer 6000er nachsehen. Eine RTX 4090 ist gerade zu ein Schnäppchen dagegen. Ansonsten mal nach einer H100 sehen. Aber zählt so etwas überhaupt noch als Grafikkarte?

    Besten Dank für die hilfreichen Infos 👍. Vom größeren 70B Model von Llama 3.1 habe ich mich nun verabschiedet. Eine RTX 3060 mit 12GB VRAM und 170 Watt würde für das kleinere LLM 8B Model funktionieren und ist preislich für unter 300 Euro zu bekommen. Mit etwas Glück könnte man die noch im TVS-673 hinbekommen. Das wäre für meine Zwecke auch ausreichend 😊

    Dann besser die 4060 die verbraucht deutlich weniger Strom und ist nicht teurer da die 3060 jetzt gerade auch nur noch als Restbestand zu bekommen ist kann das Preislich sogar noch mal hoch gehen bei ihr.

    Kannst ja mal berichten, ob eine der Karten passt (Abmessungen, belegt 2 PCIe Plätze, nur PCIe 3x4, Strom) und ob QTS die Karte unterstützt. :/