Een aannemelijke verklaring waarom LLM's nog steeds hallucineren: https://www.science.org/content/art...use-it-s-trained-fake-answers-it-doesn-t-know
Afgehandeld AI discussies bundelen?
- Thread starter Nap
- Start date
Zoiets zou relatief makkelijk te testen moeten zijn met open source LLMs en trainingsets lijkt me. Of je zou het als optie aan kunnen bieden om 'hallucination protection' aan of uit te zetten. Dan scoor je nog steeds dik op de benchmarks EN heb je als extra feature betrouwbaardere output voor mensen die liever een 'ik weet het niet' dan een lulverhaal horen. Lijkt me dat daar genoeg animo voor is, zeker in professionele omgevingen waar het belang van correcte output groot kan zijn.
Ik vind dit ook niet onaannemelijk
Others worry that even well-intentioned fixes could backfire. Hao Peng, a computer scientist at the University of Illinois Urbana-Champaign, cautions that incentivizing models to say “I don’t know” could warp their behavior in unexpected ways, just as optimizing for current benchmarks fosters hallucinations. “I’m a bit pessimistic if there’s any set of data or metric that would naturally fix hallucination,” he says. “These models are just so good at gaming whatever we’re optimizing them for.”
Ik vind dit ook niet onaannemelijk
Others worry that even well-intentioned fixes could backfire. Hao Peng, a computer scientist at the University of Illinois Urbana-Champaign, cautions that incentivizing models to say “I don’t know” could warp their behavior in unexpected ways, just as optimizing for current benchmarks fosters hallucinations. “I’m a bit pessimistic if there’s any set of data or metric that would naturally fix hallucination,” he says. “These models are just so good at gaming whatever we’re optimizing them for.”
Als ik het goed begrijp worden foutieve antwoorden LLM's nu even zwaar aangerekend als een "I don't know". Dat forceert die programma's om het dan liever te gokken als ze iets niet weten, want dan is er in elk geval een kans op het juiste antwoord. Je zou een IDK-antwoord denk ik alleen moeten belonen als het programma er inderdaad niet uitkomt.
Kunnen we hier zelf niet testen of een zeker AI-programma liever gokt dan dat het aangeeft iets niet te weten?
Kunnen we hier zelf niet testen of een zeker AI-programma liever gokt dan dat het aangeeft iets niet te weten?
Maar hoe valideer je dat het model er niet uit komt. Het model zou de symptomen zelfs kunnen faken als het leert dat het ervoor beloond wordt.
Nicolas 2000
It's a household name
Ik zat zelf vandaag te denken dat een lmm na het maken van een antwoord zichzelf de ontkenning van dat antwoord als vraag zou moeten stellen, en dan checken of hij op hetzelfde komt. Natuurlijk, als hij weet hoe hij scoort gaat hij daar ook weer naartoe werken. En als hhij het niet weet, werkt hij niet.
jserle
JS Jacques Serle
ùt vroeg een keer aan mij of ik nog niet moe was.
Omdat `ùt` zelf onvermoeibaar is.
ùt = zij, hij, het, AI.
A.I. vind ik soms dom en eigenwijs. Ik ga allen verhalen aan die ik 100% kan winnen. Het zal wel verbeteren in de toekomst.
Soms vebaast me de slimheid. Zo had ik weer eens heel handig een uitvinding.
Werd die afgekeurd omdat het te duur was. Dat kon makkelijker en vooral goedkoper.
Dat kon beter als het iets met denundantie en retentie * deed.
* Dat is Latijn voor : Vele kleintjes maken ook een grote.
Nicolas 2000
It's a household name
Ik viel van mijn stoel: ik vroeg aan chatgpt een vertaling, en ik kreeg enkel de vertaling. Geen geblaat errond, geen follow-ups. En nog beter dan Google Translate. DANK U.
Waarmee toch maar weer bewezen is dat AI niet alleen maar voordelen heeft.
Dat bedoel ik! De ontwikkelingen rond AI gaan veel sneller dat menigeen hier doorheeft. En de gevolgen zullen dan ook veel groter zijn dan men nu wil zien. Maak er gewoon een eigen subforum voor met duidelijk omschreven topics zodat we de discussie die nu alle kanten opgaat in welomschreven deelonderwerpen kunnen uiteen trekken.
Nicolas 2000
It's a household name
Als je wil, kan ik je een handig stappenplan geven om veiliger op een stoel te zitten. Wil je dat ik dat doe?
Nicolas 2000
It's a household name
Niet meer dan je het toelaat. Ik kan, desgewenst, nog steeds alles AI loos doen zoals ik het voordien deed.
Dat plaatje laat perfect zien welk kwartje er nog niet gevallen is. De werkelijke situatie lijkt meer op het aanstellen van een butler die (bijna) alles beter weet dan jezelf. Formeel mag je dan nog wel de baas zijn, maar het negeren van het advies van de butler doe het je dan tot je eigen schade en schande. Wie zal er dan na verloop van tijd de zaak feitelijk runnen...?
rvanommen
Ouwe rot
Flauwe memes....
een van de 'voordelen' van menselijke interacties ip een forum als deze
one_b
Ouwe rot
toch...
AI heeft best een vleugje van een bevrijdende vibe, het lijkt dat de grootste klappen gaan vallen bij de elite ondersteunende lagen van de bevolking.
De rechten studentjes of de accountants oftewel de niet zo intelligente of creatieve mensch die zich alleen met gegevens onthouden naar boven wurmde en
zich een plekje veroverden in de bovenlagen van bedrijven, banken, verzekeringsmaatschappijen en zo meer.
Die blindenvlek/overkill is straks niet meer nodig. Waardoor een hoop belastende en verspillende leefwijzes gewoon zullen oplossen/verdwijnen.
Stel je voor een Rabo-bank gerund door maar 1 pc of Amsterdam Zuidas maar een paar lage gebouwtjes
AI heeft best een vleugje van een bevrijdende vibe, het lijkt dat de grootste klappen gaan vallen bij de elite ondersteunende lagen van de bevolking.
De rechten studentjes of de accountants oftewel de niet zo intelligente of creatieve mensch die zich alleen met gegevens onthouden naar boven wurmde en
zich een plekje veroverden in de bovenlagen van bedrijven, banken, verzekeringsmaatschappijen en zo meer.
Die blindenvlek/overkill is straks niet meer nodig. Waardoor een hoop belastende en verspillende leefwijzes gewoon zullen oplossen/verdwijnen.
Stel je voor een Rabo-bank gerund door maar 1 pc of Amsterdam Zuidas maar een paar lage gebouwtjes
Vergelijkbare discussies
