Nvidia brengt supercomputer voor de desktop

[krautrock1958]

Nvidia brengt een supercomputer voor op de desktop voor 4000 euro die capabel is om met LMM's te werken zonder dat je ergens een abonnement hoeft te nemen om runtime in de cloud te hebben.
Dus als AI je hobby is ivm met je muziek of videobewerking of dat je een bedrijfje hebt die werkt met AI dan kan dat nu voor een nette prijs.
Op de site; NVIDIA DGX Spark

Clipje;

 

[Nap]

Ook handig als straalkacheltje in de winter? Zal wel een hoop stroom slurpen.

(Het is Nvidia en niet Nvidea trouwens).


-edit-
Stroomverbruik valt me nog mee eigenlijk

 

[krautrock1958]

(Het is Nvidia en niet Nvidea trouwens).

Dank je, ik kon 't nog aanpassen.

Stroomverbruik valt me nog mee eigenlijk

Het viel mij ook mee moet ik zeggen al had ik nog niet veel reviews bekeken verder.
Nou stelde ik dat het een nette prijs is maar als je geen bedrijf hebt en het niet kan afschrijven dan is het nog wel een aardig bedrag natuurlijk voor hobbyisten.
Maar als je een uitgebreide GPU wil kopen met een pc die de juiste specs heeft loopt het ook aardig op bij elkaar omdat die GPU's veel te duur zijn momenteel.
Voordeel is wel weer dat je met een gewone big tower weer makkelijk upgrade, da's met zo'n Spark niet te doen.
Da's voor mij ook de belangrijkste reden toen ik dit jaar een nieuwe pc aanschafte dat ik van de mini pc afgestapt ben, het is leuk want het neemt weinig ruimte in maar het heeft ook wel z'n nadelen al is het als youtube pc voor onder de tv in de huiskamer wel weer handig.

 

[Nap]

Ik vind het een beetje lastig in te schatten in hoeverre je de resultaten die je hier uit kunt krijgen zich verhouden tot web-based services van OpenAI, Midjourney, Suno, etc. Is het meer een soort ommuurde privézandbak voor testen, trainen en ontwikkelen van je eigen modellen, of is het ook net zo breed inzetbaar met vergelijkbare resultaten en kun je kant en klare modellen inclusief training van de plank trekken? Zeker als je bedenkt dat ook daar de ontwikkelingen elkaar snel opvolgen met steeds nieuwe versies en verbeteringen.

 

[Nap]

Als ik zo op die site rondklik denk ik wel dat dit echt meer een developers / prototype systeem is dan iets voor eindgebruikers.

 

[krautrock1958]

Als ik zo op die site rondklik denk ik wel dat dit echt meer een developers / prototype systeem is dan iets voor eindgebruikers.

Na het een en ander te hebben bekeken heb ik ook wel die indruk gekregen maar ik denk dat ze ook verwachten dat juist bij deze gebruikers/ontwikkelaars veel interesse zal zijn.
Verder staat deze ontwikkeling nog een beetje in de kinderschoenen natuurlijk maar er gebeurt veel en heel snel momenteel dus het is wel interessant allemaal.

 

[Disharmonic]

Ik lees "supercomputer voor de desktop", dus de nerd in me denkt gelijk "daar kan ik een miljoen miljard decimalen van pi mee uitrekenen". Is het voor AI... Bummer.

 

[Sjaak]

Als ik zo op die site rondklik denk ik wel dat dit echt meer een developers / prototype systeem is dan iets voor eindgebruikers.

Het idee is dat je alles lokaal hebt draaien. Je deelt geen data met wie dan ook (privacy), en qua kosten verwacht ik dat dit goedkoper uitvalt als je het intensief gebruikt. Je kunt namelijk aardig leeg lopen op saas platforms mbt tokens. Dus lokaal draaien is, behalve stroom, redelijk fixed price. Ik weet alleen niet hoeveel power dit soort oplossingen in zich hebben. Dus als je een AI hobby bak zoekt…kopen.

 

[metatron]

Wat ik me afvraag, een llm is afhankelijk van de database om antwoord te geven op je vraag etc. Hoe werkt dat hier en met welk model werk je (ai zoals Chat of Claude)?

 

[Harry S.]

Nvidia brengt een supercomputer voor op de desktop voor 4000 euro die capabel is om met LMM's te werken.

4000 euro nu is volgens de wet van Moore 1000 euro over 4 jaar.

 

[flyweight]

Je kiest zelf je model, het model is natuurlijk niet alles want je zou ook een context moeten beheren en de history wanneer nodig truncaten.
Nee zelf een llm draaien is niet iets voor eindgebruikers maar naar mijn mening niet heel moeilijk. Je hebt wel heel veel ram en/of cpu gpu power nodig anders kun je alleen de quantized modellen draaien.

Niet alle modellen zijn opensource. Maar er zijn wel goede opensource modellen zoals bv Mistral.

Er zijn best een hoop mensen die hun eigen llm draaien. Bv als coding hulp. Alleen als je heel veel prompts stuurt of wilt trainen haal je het wellicht eruit

 

[krautrock1958]

4000 euro nu is volgens de wet van Moore 1000 euro over 4 jaar.

Ja, inflatie op een pc is net zo groot als een auto.

 

[Nap]

Een van de redenen waarom men binnenkort een AI bubble burst verwacht, is dat de tyfusdure systemen die nu gebruikt worden voor AI training en -toepassingen waarschijnlijk lang en breed obsolete zullen zijn voor er return on investment is.

 

[Sjaak]

Wat ik me afvraag, een llm is afhankelijk van de database om antwoord te geven op je vraag etc. Hoe werkt dat hier en met welk model werk je (ai zoals Chat of Claude)?

Hetzelfde. Je hebt lokaal een LLM server + model nodig, en een database waar de brondata inzit van je LLM, en een chat client. Als je je eigen 1:1 ChatGPT wil draaien heb je ook nog een koppelvlak nodig voor internet bronnen.

 

[krautrock1958]

Hetzelfde. Je hebt lokaal een LLM server + model nodig, en een database waar de brondata inzit van je LLM, en een chat client. Als je je eigen 1:1 ChatGPT wil draaien heb je ook nog een koppelvlak nodig voor internet bronnen.

Enige verschil is dat je geen runtime bij een server hoeft in te huren, dat scheelt in de pegels maar je zal wel een uitgebreide database nodig hebben.

 

[Sjaak]

Een van de redenen waarom men binnenkort een AI bubble burst verwacht, is dat de tyfusdure systemen die nu gebruikt worden voor AI training en -toepassingen waarschijnlijk lang en breed obsolete zullen zijn voor er return on investment is.

Yep. Er worden extreme bedragen geïnvesteerd in datacenters. Dat moet een keer terugverdiend worden. Het probleem is dat veel AI bedrijven geen goed verdienmodel hebben. Bijvoorbeeld: hardware (GPU’s, energie, datacenters) is extreem duur. Als inkomsten niet meegroeien met de kosten, stort alles in.

 

[krautrock1958]

Een van de redenen waarom men binnenkort een AI bubble burst verwacht, is dat de tyfusdure systemen die nu gebruikt worden voor AI training en -toepassingen waarschijnlijk lang en breed obsolete zullen zijn voor er return on investment is.

Yep. Er worden extreme bedragen geïnvesteerd in datacenters. Dat moet een keer terugverdiend worden. Het probleem is dat veel AI bedrijven geen goed verdienmodel hebben. Bijvoorbeeld: hardware (GPU’s, energie, datacenters) is extreem duur. Als inkomsten niet meegroeien met de kosten, stort alles in.

Ja, naarmate er meer van dit soort pc's op de markt komen zal het inhuren van runtime minder worden en kunnen ze maar één ding doen en da's drastisch de uurprijs aanpassen zodat meer gewone consumeten tijd gaan inhuren anders wordt het een aflopende zaak.
Voor de particulier wel lekker als er minder vraag zou zijn want dan krijgen we eindelijk weer dat GPU's terugvallen naar een normaal prijspeil.

 

[Nap]

De AI chips die nu gebruikt worden zijn niet (meer) hetzelfde als consumenten videokaarten, dus dat bijt elkaar niet meer zo. Voor crypto mining ook niet meer geloof ik.

 

[Nap]

Yep. Er worden extreme bedragen geïnvesteerd in datacenters. Dat moet een keer terugverdiend worden. Het probleem is dat veel AI bedrijven geen goed verdienmodel hebben. Bijvoorbeeld: hardware (GPU’s, energie, datacenters) is extreem duur. Als inkomsten niet meegroeien met de kosten, stort alles in.

Ja, er wordt nu voor miljarden aan startup kapitaal verbrand in de AI race, maar op het moment dat de (overspannen) financiele verwachtingen niet waargemaakt worden EN het hele machinepark is afgeschreven, dan zijn de rapen wel gaar.

 

[flyweight]

Hetzelfde. Je hebt lokaal een LLM server + model nodig, en een database waar de brondata inzit van je LLM, en een chat client. Als je je eigen 1:1 ChatGPT wil draaien heb je ook nog een koppelvlak nodig voor internet bronnen.

? database voor wat ? Je hebt alleen een dataset nodig als je wilt trainen.
Om een llm te draaien en te interferencen heb je geen DB nodig.
De llm zit de data eigenlijk in in de vorm van relaties.

Een front-end is er all kant en klaar voor open-iilama en op hugging face kun je vele modellen en datasets krijgen.

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

User-friendly AI Interface (Supports Ollama, OpenAI API, ...) - open-webui/open-webui

github.com

Ik snap niet waarom deze 'super computer' zo weinig watts verbruikt en vind dat twijfelachtig.
Een enkele GTX4090 trekt al 450 watt en een H100 700watt.
Maar goed een H100 is wel 6x zo duur.