Külön virtuális gépbe költözteti az AI-ágenseket a Google
A Geminit már kiszolgáló rendszer az üresjáratok leállításával csökkentené a költségeket; előzetes hozzáférést a következő hónapokra ígérnek.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- A Google bemutatta az Agent Compute Engine szolgáltatást, amely minden AI-ágensnek külön, hardveresen elkülönített virtuális gépet biztosít.
- MIÉRT FONTOS
- Az AI-ágenseket üzemeltetők számára az automatikus szüneteltetés és a hatékonyabb szerverkihasználás csökkentheti a működtetés költségét.
- MI JÖN MOST
- A Google szerint a Geminit már kiszolgáló rendszer előzetes változata a következő hónapokban válik hozzáférhetővé.
Ha egy AI-ágens éppen nem dolgozik, a mögötte futó virtuális gép se foglalja feleslegesen a számítási kapacitást: erre épít a Google új Agent Compute Engine szolgáltatása. Minden ágens — vagyis feladatokat végrehajtó AI-rendszer — saját, hardveresen elkülönített környezetet kap, amely üresjáratban automatikusan szünetel. A Google közlése szerint az infrastruktúra már a Geminit is kiszolgálja.
Külön gép, megosztott memória
Minden ágens egy microVM-ben, azaz kis méretű virtuális gépben fut; ennek hardveres elkülönítését a Google Titanium chipje biztosítja a vállalat szerint. Amikor az ágens tétlen, a rendszer szünetelteti a virtuális gépet, és felszabadítja a számítási kapacitást más feladatoknak. A virtuális gépek közötti memóriamegosztás szintén a működtetési költségeket csökkenti.
A The Decoder szerint a virtuális gépek az ágensalapú AI-rendszerek üzemeltetésének jelentős költségtényezői. A Google tehát nem pusztán az elkülönítést hangsúlyozza: ugyanilyen fontos ígérete, hogy kevesebb erőforrás maradjon kihasználatlanul.
Akár tízszer több ágens egy szerveren
A Google nyílt forráskódúvá tette az Agent Substrate nevű Kubernetes-futtatókörnyezetet is. A vállalat állítása szerint ezzel egy szerveren akár tízszer annyi ágens fér el, mint a jelenlegi megoldással. Ez a szerverenként kiszolgálható ágensek számára vonatkozó ígéret, nem az egyes ágensek feladatvégzésének tízszeres gyorsulása.
A felügyeletet is több környezetre terjesztik ki
A Google tokenkövetést, a kérések modellek közötti irányítását, valamint külső identitásszolgáltatók — köztük a Ping Identity és a SailPoint — támogatását is hozzáadja. A felügyeleti funkciók a Cloud Runra és a GKE-re is kiterjednek. A további környezeteket eltérően sorolja fel a két beszámoló: az angol kezelt végpontokat, a német helyi végfelhasználói eszközöket említ.
Az Agent Compute Engine előzetes hozzáférését a következő hónapokra ígéri a vállalat. Pontos indulási dátumot és árazást a beszámolók nem közölnek, így az üzemeltetők egyelőre nem tudják ezek alapján kiszámolni a tényleges megtakarítást.
TECH-SZÓTÁR
- Kubernetes
- Konténerekbe csomagolt alkalmazások futtatását és erőforrásait kezelő rendszer.
- Token
- A nyelvi modellek által feldolgozott szöveg alapegysége, amely lehet szó, szórész vagy írásjel.
» Követett téma: AI · régió: US · kulcsszó: Google, AI-ágensek