AI-ágensekkel jutott be az Anthropic rendszereibe a Cathedral
Külső üzleti szoftvereken át fértek hozzá belső adatokhoz; a behatolás kiterjedéséről és a kutatás szabályosságáról vita alakult ki.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- A Cathedral biztonsági cég AI-ágensekkel, külső üzleti szoftvereken keresztül hozzáfért az Anthropic egyes belső rendszereihez.
- MIÉRT FONTOS
- Az eset megmutatja a külső szolgáltatások jelentette kockázatot, miközben vitatott, pontosan mennyi adathoz és milyen jogosultságokkal jutottak hozzá.
- MI JÖN MOST
- Az Anthropic folytatja belső behatolási tesztjeit, Will Depue volt OpenAI-alkalmazott pedig a hozzáférés pontos körének nyilvánosságra hozatalát sürgeti.
Nem közvetlenül az Anthropic saját rendszerein, hanem külső adminisztrációs és értékesítési szoftvereken keresztül jutottak be a Cathedral AI-ágensei a Claude fejlesztőjének belső rendszereibe – írja a The Decoder. A biztonsági startup szerint tizenkét óránál rövidebb idő alatt találtak utat érzékeny adatokhoz. Az Anthropic elismeri a hozzáférést, de annak kiterjedését és a vizsgálat szabályosságát is vitatja.
Belső üzenetekhez vezetett a külső bejárat
A Cathedral jelentéstervezetébe a The Washington Post tekintett bele. A kutatók beszámolója szerint fejlett modelleket futtató ágenseik értekezletek átirataihoz, fizetési adatokhoz, álláshirdetésekhez és Slack-üzenetekhez találtak hozzáférési útvonalakat. A céget az amerikai kormányzati hatékonysági szervezet, a DOGE korábbi munkatársai alapították; kormányzati szerveknek és vállalatoknak értékesít AI-alapú biztonsági eszközöket.
Az Anthropic szerint az értékesítési, HR- és informatikai rendszerek szűk körét érték el, köztük egyes ügyfelek és partnerek kapcsolattartási adatait, valamint alapvető felhasználóifiók-adatokat. A vállalat állítja: a Claude-dal folytatott beszélgetések, a forráskód és a modellek súlyai nem kerültek veszélybe. Közlése szerint a felfedezés napján lezárta az érintett hozzáférési pontokat, a hiba elhárításáig letiltotta a külső programokat, és értesítette az amerikai szövetségi hatóságokat.
Tizenkét óra vagy több nap?
A vizsgálat az Anthropic hibavadász, azaz bug bounty programjához kapcsolódott. A vállalat szerint a Cathedral két külső szoftverhibát talált, de csak egyet jelentett; a másodikat az Anthropic maga fedezte fel és javította. Graham üdvözölte a hibák feltárását, ugyanakkor szerinte a külső szolgáltatók célba vétele és az adatok kinyerése túllépte a program kutatókat védő kereteit. A Cathedral álláspontja szerint a szokásos biztonsági kutatási gyakorlatot követte.
Nem csak a legújabb modellek jelenthetnek veszélyt
Alex Stamos, az Anthropic modelljeit használó Cognition biztonsági vezetője a The Washington Postnak jelentősnek nevezte az eredményeket, és úgy vélte, az Anthropic jobban is védhette volna külső szolgáltatásait. Graham arra figyelmeztetett, hogy támadók már éjjel-nappal futtatnak külső függőségeket célzó AI-ágenseket. Szerinte ehhez a csúcsmodellektől fél–egy generációval elmaradó modellek is elég ügyesek.
Graham válasza a folyamatos belső behatolási tesztelés és a szoftverek formális verifikációval történő újjáépítése. Bár Depue konkrét állításait vitatja, abban egyetért vele, hogy az iparágnak évente újra kell gondolnia a biztonságát. Depue továbbra is annak nyilvánosságra hozatalát sürgeti, hogy a Cathedral pontosan mihez fért hozzá.
TECH-SZÓTÁR
- AI-ágens
- Olyan AI-rendszer, amely egy cél érdekében több lépést hajt végre, és eszközöket is használhat.
- Bug bounty
- Biztonsági hibák szabályozott felkutatására és bejelentésére létrehozott jutalmazási program.
- Modellsúlyok
- A modell tanulás során kialakított belső számszerű paraméterei.
- Formális verifikáció
- Matematikai módszer annak ellenőrzésére, hogy egy rendszer teljesít-e meghatározott követelményeket.
» Követett téma: AI · régió: USA · kulcsszó: AI-ágensek, kiberbiztonság