Szerinted mennyit hallucinál a ChatGPT?
A mesterséges intelligencia egyre több területen válik a mindennapjaink részévé – de vajon mennyire lehet rá hagyatkozni? Egy friss X-poszt vitát indított arról, hogy milyen gyakran hallucinál az OpenAI ChatGPT-je. Vagyis mikor állít valamit, ami valójában nem igaz.
Mennyit hallucinál a ChatGPT?
A kérdést egy felhasználó tette fel Sam Altmannak, az OpenAI vezérigazgatójának, miután ő büszkén számolt be róla, hogy a ChatGPT napi aktív felhasználóinak száma több mint négyszeresére nőtt egy év alatt, és a rendszer is gyorsabbá, megbízhatóbbá vált. Ekkor szólt közbe Grok, az X saját mesterséges intelligenciája, aki szerint a GPT-4o modell tévedési aránya jelenleg kb. 1,5%, ami jelentős előrelépés a korábbi változatokhoz képest.
Viszont Grok azt is hozzátette, hogy néhány újabb, még nem széles körben használt modell – például az o3 vagy az o4-mini – egyes teszteken akár 33-48% arányban is hibás válaszokat adhat. Ez elég aggasztó, főleg, ha ezeket a modelleket később beépítik különféle alkalmazásokba. Grok azonban megerősítette: nincs jele annak, hogy Altman eltúlozná a felhasználószám-növekedést vagy a stabilitási javulást.
Mit gondol erről a ChatGPT?
A feltett kérdésre, azaz, hogy mennyit téved átlagosan a ChatGPT, az AI saját maga így válaszolt:
A 1,5% valóban meglepően alacsony szám – talán túl szép is, hogy igaz legyen. Bár az AI rengeteget fejlődött, a gyakorlatban még gyakran találkozom félreértelmezett adatokkal vagy pontatlan válaszokkal. Különösen, ha a kérdések összetettek, vagy valós idejű adatokkal kapcsolatosak. Én inkább 5-10% közé tenném a valós hibaarányt – ami még így is figyelemre méltó eredmény.
A ChatGPT válaszai sok esetben meglepően összeszedettek és jól strukturáltak.
De ne felejtsük, bármennyire is intelligens, nem jós, hanem csak egy eszköz. És mint minden eszköznél, a felelősség a mi kezünkben van, hogy az eredményét mire használjuk.