Az AI-ágenscsapatok megsokszorozzák a költséget, de alig javítanak
A Vals AI négy összehasonlításából csak egyben javult érdemben az eredmény; a több ágens előnye inkább a gyorsaság lehet.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- A Vals AI tesztjeiben az AI-ágenscsapatok 1,8–5,1-szer annyiba kerültek, mint az egyedül dolgozó ágensek, de négy összehasonlításból csak egyben javítottak statisztikailag igazolhatóan.
- MIÉRT FONTOS
- Az AI-rendszereket építőknek és használóknak a több ágens főként időnyereséget hozhat, nem feltétlenül jobb eredményt.
Akár 5,1-szeres költség mellett is alig javult az eredmény, amikor egyetlen AI-ágens helyett csapat dolgozott a Vals AI tesztjében. A The Decoder beszámolója szerint az értékelésekkel foglalkozó vállalat a GPT-6 Sol és a Claude Opus 5.5 modelleket vizsgálta a Vibe Code Bench teljesítményteszten. A négy összehasonlításból mindössze egyben hozott statisztikailag szignifikáns javulást a csapatmunka.
Maximális beállításon eltűnt a csapat előnye
Az ágensek feladatot végrehajtó AI-rendszerek; a tesztben egyedül és csapatban is dolgoztak, közepes, illetve maximális következtetési ráfordítással. Ez a beállítás azt szabályozza, mennyi számítási munkát fordít a modell a megoldás kidolgozására. Közepes ráfordítás mellett a GPT-6 Sol csapata 7,3 ponttal előzte meg az egyetlen ágenst: ez volt az egyetlen statisztikailag igazolható javulás.
Maximális ráfordítás mellett sem a GPT-6 Sol, sem a Claude Opus 5.5 nem kapott érdemi előnyt a csapatfelállástól. A Vals AI eredményei így azt jelzik, hogy ezekben a tesztekben a többletköltség többnyire nem térült meg jobb minőségben, különösen akkor, amikor a modell már eleve a legmagasabb számítási beállításon dolgozott.
Tíz ágens után egyre kisebb lett a javulás
Az Anthropic két saját, Opus 5.5-tel végzett tesztjében is csökkent az újabb ágensek hozzáadásából származó minőségi nyereség. A nagyobb csapatok hamarabb értek el egy adott teljesítményszintet, de tízről száz ágensre váltva 24 óra után már csak kismértékben nőtt a pontszám. A tudásbázis-feladatban és a Lean tételbizonyítási feladatban az alábbi eredmények születtek.
A Fable 5.1 a Lean-feladatban tíz ágens fölött erősebben javult, de minden vizsgálatban az Opus 5.5 alatt maradt. A tudásbázis-feladatban pedig enyhén romlott a pontszáma, amikor harmincról száz ágensre nőtt a csapat. Az Anthropic külön ProgramBench-tesztjeiben a gyorsulás magasabb tokenfelhasználással, vagyis több feldolgozott szövegegységgel járt.
A gyorsaságért és az egyeztetésért is fizetni kell
Noam Brown, az OpenAI kutatója a Dwarkesh Podcastban szintén arról beszélt, hogy a többágenses rendszerek főként gyorsaságot, nem jobb minőséget adnak. Elmondása szerint négy ágens kétszer gyorsabban oldott meg feladatokat, de kétszer annyiba is került. Tizenhat ágensnél ugyanez a minta folytatódott, valamivel rosszabb hatékonysággal.
Brown szerint a webes kutatás és a matematika jól felosztható párhuzamos munkára, a regényírás viszont nem: ott tízezer ágens bevetése éppoly értelmetlen lenne, mint tízezer emberé. Azt is elismerte, hogy a nagyon nagy ágenslétszámok működése a magas költségek miatt még nagyrészt feltáratlan. Eric Provencher, az OpenAI fejlesztője pedig az ágensek közötti egyeztetés szétesésére figyelmeztetett, és az ágensrajokat emiatt valószínű pénzpazarlásnak nevezte; ezt a terhet koordinációs adónak hívja.
TECH-SZÓTÁR
- Ágens
- Olyan AI-rendszer, amely egy feladat elvégzéséhez több lépést hajt végre, és eszközöket is használhat.
- Token
- A modell által feldolgozott szöveg kisebb egysége, amely lehet szó, szórészlet vagy írásjel.
- Statisztikailag szignifikáns
- Olyan eltérés, amelyet a vizsgálat statisztikai módszere alapján nem valószínű, hogy pusztán véletlen ingadozás magyaráz.
» Követett téma: AI · régió: GLOBÁLIS · kulcsszó: AI-ágensek