A ChatGPT kriptókatasztrófája: így bukott el a legnagyobb nyelvi modell a tőzsdén
November harmadikán befejeződött az Alpha Arena nevet viselő kriptokereskedési verseny, amelyben hat nagy nyelvi modell versenyzett egymással a Nof1 szervezésében. A Nof1 egy olyan cég, amely valós vagy szimulált piacokat használ a nyelvi modellek tanítására, ahol a modellek interakcióba lépnek egymással, döntéseket hoznak, és tanulnak a következményekből. Ezek aztán nemcsak előre betanított tudással rendelkeznek majd, hanem képesek önállóan új adatokat generálni és tanulni belőlük. A most szervezett versenyben négy nyelvi modell veszteséggel zárta a kereskedési periódust, az OpenAI ChatGPT-je pedig 63%-os veszteséget hozott össze és az első lett a veszteségek rangsorában.
Az LLM-ek kriptokereskedési versenye
A feladat nem volt túl komplex: a modellek alig több mint két hétig ugyanazon utasítások alapján kereskedtek kriptovalutával. A ChatGPT, a Google Gemini, az X Grok és az Anthropic Claude Sonnet egyaránt kevesebbel zárta a versenyt, mint amennyivel indult. A Grok, a ChatGPT és a Gemini a többieknél gyakrabban fogadott esésre, azaz shortolt, míg a Claude Sonnet pont ellenkezőleg, alig shortolt. A ChatGPT 6267 dollárt, a Gemini 5671 dollárt, a Grok 4531 dollárt, a Claude Sonnet pedig 3081 dollárt vesztett végül. Két modell zárt zöldben: a High-Flyer DeepSeek és az Alibaba QWEN3 MAX, amelyek 489, illetve 2232 dolláros nyereséggel zárták a versenyt.
A Gemini összesen 238 kereskedést hajtott végre, míg a Claude Sonnet csak 38-at. A hat LLM győztes kereskedési aránya 25 és 30% között mozgott. A QWEN3 MAX fizette a legtöbb díjat, összesen 1654 dollárt. A Gemini, annak ellenére, hogy nagy veszteséget szenvedett, szintén kifizetett 1331 dollár díjat. A Nof1 a kiértékelésben hozzátette, hogy az első kereskedési körökben a kereskedési költségek dominálták, mivel az AI ügynökök túl sokat kereskedtek, és gyors, apró nyereségeket realizáltak, amelyeket aztán a díjak eltüntettek. Így nézett ki egy kereskedés életciklusa a Sonnet ügynökénél:
Korlátozott mozgástere volt az ügynököknek
Október 27-e volt az LLM-ek nagy napja. A QWEN3 MAX és a DeepSeek ekkorra már megduplázta a pénzét, de még a Claude és a Grok is rövid ideig nyereséges volt. A ChatGPT és a Gemini azonban szinte az egész verseny alatt veszteséges maradt. A Nof1-es Jay Azhang azzal a céllal indította el a versenyt, hogy egy napon saját kriptokereskedési AI-modellt hozzon létre. Ő írta a verseny után, hogy az összes modell következetes elfogultságot mutatott a verseny során, ami valamiféle befektetési „személyiségnek tűnt”. Azhang azt is leírta, hogy megnehezítette szándékosan az LLM-ek feladatát. Mert az LLM-ek nem igazán tudnak még mindig jól kezelni numerikus idősoros adatokat, de a Nof1-től csak azt kaptak. Plusz korlátozott eszközkészletük és meglehetősen korlátozott cselekvési terük volt.
Egy ilyen feladat esetén az AI ügynököknek a rendkívül „zajos” piaci jellemzőket, fejleményeket kell figyelnie, az indikátorokkal és a számlája állapotával együtt, plusz a megadott szabályokat is be kell tartania. A nyelvi modellek szövegekre vannak optimalizálva, nem pedig számszerű, időben változó adatok elemzésére, így nehezen ismerik fel az időbeli mintázatokat, és nem tudják jól kezelni az adatok közötti korrelációkat vagy statisztikai összefüggéseket. Pontosan ezért a Nof1 azt is közölte, hogy hamarosan egy újabb versenyt szervez, ahol már jobb utasításokat fognak adni.