Nvidia brengt supercomputer voor de desktop

[Sjaak]

? database voor wat ? Je hebt alleen een dataset nodig als je wilt trainen.
Om een llm te draaien en te interferencen heb je geen DB nodig.
De llm zit de data eigenlijk in in de vorm van relaties.

Klopt. Ik bedoelde dat als je met eigen data wil werken (RAG) je een database nodig hebt.

 

[Phontaq]

Ik vind het tof dat er steeds betere offline machines beschikbaar komen. Zodra zo'n machine de kwaliteit en snelheid van de huidige Midjourney in turbo-mode haalt, bestel ik er direct één.

 

[Sjaak]

Ik vind het tof dat er steeds betere offline machines beschikbaar komen. Zodra zo'n machine de kwaliteit en snelheid van de huidige Midjourney in turbo-mode haalt, bestel ik er direct één.

Haha. Zodra de AI bubble barst hoop ik dat de hardware en token prijzen snel omlaag gaan. Hoewel het allemaal super interessant is, koop ik nu liever een dikke synth dan een dikke bak met GPU’s.

 

[Phontaq]

Hoewel het allemaal super interessant is, koop ik nu liever een dikke synth dan een dikke bak met GPU’s.

Dat sowieso, ik zou zo'n machine dan namens mijn werkgever bestellen om 'm van de dure AI-abonnementjes af te helpen.

Overigens zie ik AI niet als een bubbel, maar als een serieuze revolutie in de techniek en voor de mensheid, waarbij veel bestaande banen overbodig zullen worden. Functies die in handmatige menselijke handen trager, duurder of minder goed worden ingevuld, zullen op termijn vervangen worden. Daarbij zullen er duizenden startups uit de grond schieten, waarvan de meeste het niet zullen redden of opgeslokt worden door een groter bedrijf. En dat is normaal.

 

[flyweight]

Denk dat AI wel een bubbel is maar ook zal blijven en impact heeft.
Voor bepaalde dingen heel goed voor bepaalde dingen juist niet. De marketing liegt deels. En zo word het opgeblazen.
Zo gaat het toch telkens in de IT. Microservices, cloud, saas.. allemaal wel een soort bubbel geweest maar nu weten de meeste mensen wel waar het wel goed voor is.

 

[Phontaq]

Voor bepaalde dingen heel goed voor bepaalde dingen juist niet. De marketing liegt deels. En zo word het opgeblazen.

Dat doet marketing met ieder product en ik zie dat niet als een bubbel. Maar het klopt wel wat je zegt: AI wordt nu vaak als 'oplossing voor alles' gecommuniceerd, en zo goed is het (nog) niet. Het is al wel een uitstekende productiviteits- en inspiratie-tool in veel vakgebieden, waarmee FTE's en dure externe hulp (bv. een illustrator) vaker geschrapt kunnen worden.

 

[stevaux]

Maar kan deze computer ook lekker veel vsts draaien?

 

[Sjaak]

Maar kan deze computer ook lekker veel vsts draaien?

Het schijnt te draaien op een eigen OS van Nvidia, gebaseerd op ARM64/Linux, en geoptimaliseerd voor AI-toepassingen. Lang verhaal kort: als klooien met een OS en drivers je hobby is, heel misschien. Er zal vast iemand zijn die het aan de praat krijgt via allerlei workarounds. Maar mij niet bellen, ik zou voor dit geld een hele dikke Mac kopen. Dat werkt out of the box

 

[krautrock1958]

Overigens zie ik AI niet als een bubbel, maar als een serieuze revolutie in de techniek en voor de mensheid, waarbij veel bestaande banen overbodig zullen worden. Functies die in handmatige menselijke handen trager, duurder of minder goed worden ingevuld, zullen op termijn vervangen worden.

Ik zie 't ook als een revolutie want als je ziet hoe snel AI zich ontwikkelt dan kan het niet anders dan dat dit banen gaat kosten en helemaal als het steeds meer zelflerend gaat worden.
Kijk alleen al naar hoe snel het gaat met video en audio en beroepen zoals ontwerper, tekstschrijver enz en in processen in de maakwerk industrie bijv.
Echt mensenwerk in de zorg, loodgieter, electriciëns en maatwerk zoals instrumentmaker of hersteller en dat soort beroepen dat zal wel blijven bestaan maar het zal veel veranderen.

 

[Disharmonic]

Laten ze eerst 'ns werk maken van een huishoudrobot met voldoende AI, eentje die snapt dat ie de grasmaaier uit de schuur moet halen als het gras een zekere hoogte heeft, het tijd is om de stofzuiger door het huis te halen, in de gaten heeft dat er altijd bier in de koelkast moet staan, dat soort dingen.

 

[Sjaak]

Eens. Met de bubble bedoelde ik een financiële bubble, dus de rat race mbt de huidige investeringen in datacenters door big tech. Dat is wel een dingetje. Het doet mij sterk denken aan de dot.com bubble. De bergen groeiden tot in de hemel. Er zullen winnaars zijn, en verliezers. Maar AI als technologie geloof ik 100% in, en gaat veel veranderen. Ik zie veel mogelijkheden voor AI. En ja, er zijn ook uitdagingen, zeg maar de potentiële dark side van dit soort technologie. Ik zit zelf in de IT, en ik volg het op de voet. Super interessant.

 

[Nap]

Ik heb wel het idee dat de LLM gebaseerde AI modellen een beetje tegen hun plafond aanzitten, waarbij het weinig zin heeft er nog méér trainingsdata in te duwen maar dat het vooral de onderliggende methodiek is die de grenzen bepaalt. In benchmarks zitten nog wel verbeteringen, maar in het dagelijks gebruik heb ik niet het gevoel dat er nog enorme stappen gemaakt zijn afgelopen jaar ofzo. Hallucinaties, cirkelredeneringen en onmogelijkheden (probeer maar eens een fotorealistische klok te genereren die NIET op 10 over 10 staat) blijven aan de orde van de dag. Oftewel, hoeveel slimmer kun je een 'autocomplete on steroids' nog maken op de huidige basis (neurale netwerken/reinforcement learning)?

Wat betreft de financiele bubble, daar is iedereen het wel over eens. Zelfs de AI executives zelf. Hier een aardig artikel uit Wired: AI Is the Bubble to Burst Them All (Javascript uitzetten om paywall te omzeilen).

 

[flyweight]

Ja denk het ook.
Een plafond van power maar ook van de data.
Ik hoorde van een vriend dat er nu hele antiscrape bewegingen zijn omdat die ai bedrijven als een gek websites belasten.
Of hoe je met 200 artikelen een llm can coruperen.
wie weet komt er een onverwachte doorbraak.

 

[metatron]

Als copywriter en webdesigner schrok ik in het begin best toen AI uitkwam. Nu ik er ruim een jaar mee werk, merk ik dat het een handige tool is, maar niet meer dan dat. De kwaliteit hangt volledig af van wat je erin stopt, en zelfs dan komt er vaak onzin uit. Zoals AI (of beter gezegd LLM’s) er nu voorstaat zie ik bij elke nieuwe update van ChatGPT of Claude maar kleine verbeteringen. Op videoniveau lijkt het sneller te gaan, maar voor wat ik ermee doe heeft het zijn plafond bereikt. Het versnelt mijn werk, maar vervangt me niet.

De afgelopen tijd heb ik veel YouTube-video’s gezien met experts uit de AI-wereld. Even liet ik me meeslepen door hun voorspellingen, dat AI banen zou overnemen of slimmer zou worden dan de mens. Nu ik weer met beide benen op de grond sta, denk ik dat die “echte AI” nog ver weg is. Waarschijnlijk gaat dit stap voor stap, niet van de ene dag op de andere. Maar wie weet...?

Sinds een paar maanden volg ik het AI-nieuws op Tweakers (zoals vanochtend nog, waar Meta aankondigde 600 miljard te investeren in infrastructuur in de VS) en kijk ik wat video’s. Wat me opvalt is hoeveel geld er in deze wereld wordt gepompt, terwijl er nog nauwelijks iets wordt terugverdiend. Eerlijk gezegd maak ik me meer zorgen over de gevolgen wanneer de AI bubbel barst, dan over het idee dat AI banen afpakt.

 

[Sjaak]

Ik heb wel het idee dat de LLM gebaseerde AI modellen een beetje tegen hun plafond aanzitten, waarbij het weinig zin heeft er nog méér trainingsdata in te duwen maar dat het vooral de onderliggende methodiek is die de grenzen bepaalt.

Dat is ook mijn ervaring. Je ziet nu een soort verzadiging ontstaan in de markt. Maar behalve nog grotere LLM‘s zie je ook modellen die zijn gericht op efficiënter verbruik van tokens en lagere kosten per token. Sommige zijn bijna even goed zijn als de topmodellen.

Ja denk het ook.
Een plafond van power maar ook van de data
…
wie weet komt er een onverwachte doorbraak.

Google’s project Suncatcher is interessant: Ai-infra in de ruimte die draait op zonneenergie. Er gaan geruchten dat ze dit in 2027 willen gaan testen.

 

[krautrock1958]

Maar behalve nog grotere LLM‘s zie je ook modellen die zijn gericht op efficiënter verbruik van tokens en lagere kosten per token. Sommige zijn bijna even goed zijn als de topmodellen.

Dat dus want ook daar zit ontwikkeling in.
Het is net als met chips en de wet van Moore; eerst werd het moeilijker om steeds kleiner te gaan, nu hikt men tegen fysieke grenzen aan en ontwikkelt men fotonische chips want met licht heb je die begrenzing niet, veel sneller en geen koelproblemen bijv en kan men weer een hele nieuwe stap maken qua ontwikkeling.
En zo zal het ook met AI gaan; loopt men tegen begrenzingen aan dan is dat het eindpunt maar tegelijk ook het startpunt om iets nieuws te ontwikkelen.
Alleen gaat de ontwikkeling nu veel sneller want als je AI afzet tegen de ontwikkeling van de computer dan is dat een hele korte tijdsspanne, da's niet te vergelijken.
AI is er nu en gaat niet meer weg, da's waarschijnlijk evolutie.

Nog even een aanvulling over die tokens, ik zag van de week nog een aardige video over GPT3 en hoe dat werkt met transformers.
Ik ben toch een soort leek op dat gebied met wat interesse hierin en vond deze video heel begrijpelijk en daarin zie je ook hoe door combinaties te maken van de uitkomsten van probabilties men steeds betere modellen ontwikkelt, kwestie van slimmere algoritmes en combinaties daarvan waardoor de tokens idd efficiënter gebruikt worden.
Voor een aantal hier zal het gesneden koek zijn maar voor diegenen die er niet zo in thuis zijn hier de video en hij heeft meer leuke begrijpelijke video's over LLM's en transformers

 

[Analogic]

Google’s project Suncatcher is interessant: Ai-infra in de ruimte die draait op zonneenergie. Er gaan geruchten dat ze dit in 2027 willen gaan testen.

Moesten ze niet eerst naar 200 usd per kilo ruimtevracht voordat het haalbaar was ergens rond 2035 ? Nu is het nog 1000 usd per kilo, maar de bedragen van space x zakken hard.
Wel echte toekomst muziek die dichterbij komt zo. Technisch gezien is het al haalbaar en google doet zo lange termijn planning om alles klaar te zetten zodat ze gelijk los kunnen als de kosten omlaag zijn.