Nem lát AI hajtotta kutatási gyorsulást a DeepMind
Az AI már az éles kód több mint háromnegyedét írja, de az önálló kutatás és a fejlődés felpörgése egyelőre más kérdés.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- Haydn Belfield, a Google DeepMind kutatója szerint egyelőre nem mérhető, hogy az AI önmaga kutatását gyorsuló pályára állítaná.
- MIÉRT FONTOS
- A kódírás automatizálása látványosan halad, de ebből még nem következik, hogy az AI emberi közreműködés nélkül is képes kutatni.
- MI JÖN MOST
- A DeepMind olyan mérési infrastruktúrát épít, amellyel követheti az AI által hajtott gyorsulás jeleit.
Az éles használatra szánt kód több mint 75 százalékát már AI írja a Google DeepMindnál, az AI-kutatás önmagát gyorsító fejlődésének még sincs mérhető nyoma. Ezt Haydn Belfield kutató állítja a The Decoder beszámolója szerint. A belső eredmények alapján a kód előállítása és az önálló tudományos munka között továbbra is jelentős a különbség.
A kódot megírja, az ember még ellenőrzi
Belfield szerint a kódmódosítások mintegy 88 százaléka továbbra is emberi felügyeletet vagy felülvizsgálatot igényel. Az AI-ra teljesen rábízott módosítások aránya ugyan 7,5 százalékról 11,9 százalékra nőtt, de benyújtás előtt minden változtatást ember ellenőriz. A magas gépi kódrészarány tehát nem jelent ugyanilyen mértékű önállóságot.
Az Argon nevű, Gemini-alapú ágensrendszer 1 389 belső futtatásában az emberi segítség nélküli sikeresség meredeken csökkent a feladatok összetettségének növekedésével. Tizenkét vezető DeepMind-kutató megkérdezése is hasonló képet adott: a jól körülhatárolt, ellenőrizhető feladatok automatizálhatók leginkább, a nyitott végű tudományos ötletelés a legkevésbé. Belfield szerint az új kísérletek megtervezéséhez, a tanítás nehezen felismerhető instabilitásainak feltárásához és a hosszú távú tervezéshez továbbra is nélkülözhetetlen az ember.
Jobb eredmények, változatlan fejlődési ütem
A fejlődés ettől még látható. A DeepMind saját RE-Bench teljesítménytesztjének 74, valósághű gépi tanulási mérnöki feladatából az Argon körülbelül a felét oldja meg; a Gemini 3.7 Flash eredménye 27 százalék volt. Ez jobb feladatmegoldást mutat, önmagában azonban nem bizonyítja, hogy a kutatás üteme is gyorsul.
Ennek követésére a csapat 123 modellt és 92 teljesítménytesztet átfogó általános képességindexet, GCI-t állított össze. Ezen a Gemini képességei havonta nagyjából 0,1 ponttal javulnak, az ütemben nincs szignifikáns változás. A Gemini 4 Argon kissé a trendvonal fölött helyezkedik el, amit a csapat több számítási kapacitással és szervezeti ráfordítással magyaráz, nem az AI által felgyorsított kutatással.
A jelenlegi mérés nem zárja le a vitát
TECH-SZÓTÁR
- Ágens
- Olyan AI-rendszer, amely egy cél eléréséhez több lépésből álló feladatot hajt végre.
- Teljesítményteszt
- Meghatározott feladatsor, amellyel a rendszerek képességeit mérik és összehasonlítják.
- GCI
- A DeepMind összesített képességmutatója, amely több modell és teljesítményteszt eredményeire épül.
» Követett téma: AI · régió: GLOBAL · kulcsszó: kutatásautomatizálás