857 kínai AI-modellből csak 31-hez közöltek biztonsági teszteredményt
A SemiAnalysis kilenc vezető fejlesztőt vizsgált: a nyilvános eredmények hiánya nem bizonyítja, hogy a cégek nem teszteltek.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- A SemiAnalysis által vizsgált 857 kínai modellkiadás közül 31-hez, vagyis 3,6%-hoz találtak nyilvános, az adott modellhez köthető biztonsági teszteredményt.
- MIÉRT FONTOS
- A felhasználók és az AI-ra építő fejlesztők így kevés nyilvános adatból ítélhetik meg a modellek kockázatait, bár a cégek végezhettek belső teszteket.
A 857 vizsgált kínai AI-modellkiadásból mindössze kilenchez volt nyilvános biztonsági teszteredmény már a megjelenéskor vagy azt megelőzően. A kaliforniai SemiAnalysis technológiai kutatócég összesen 31 kiadáshoz talált az adott modellhez egyértelműen köthető eredményt. Ez elsősorban az átláthatóság hiányát jelzi: a nyilvános dokumentációból nem derül ki, milyen belső teszteket végeztek a fejlesztők.
Nem elég annyit mondani, hogy tesztelték
A kutatók az Alibaba, a ByteDance, a Tencent, a Baidu, a DeepSeek, a Moonshot, a Z.AI, a MiniMax és a StepFun 2021 és 2026. szeptember 15. között kiadott modelljeit tekintették át. Összesen 813 kiadásnál nem találtak nyilvános biztonsági tájékoztatást, de a cégek ettől még végezhettek teszteket belső használatra.
A SemiAnalysis csak név szerint azonosítható modellhez kapcsolódó, konkrét eredményeket számított be. Ilyen lehetett a káros vagy sértő válaszok, az adatvédelem, a veszélyes képességek, illetve a biztonsági korlátok kijátszásával szembeni ellenállás vizsgálata. Az az általános kijelentés, hogy egy modellt biztonságra tanítottak vagy teszteltek, önmagában nem volt elég.
A szabályozás főként az alkalmazásokra figyel
Kína legújabb AI-biztonsági irányítási keretrendszere már számol azzal, hogy a modellek engedély nélkül szerezhetnek rendszerjogosultságokat vagy külső erőforrásokat, megtéveszthetik az értékelőket, elrejthetik képességeiket, illetve megkerülhetik a biztonsági korlátokat. A SemiAnalysis értékelése szerint azonban a keretrendszer nem rendel kötelező feladatokat a modellek képességeihez.
A kutatócég szerint a kötelező kínai szabályok elsősorban az alkalmazásokat és azok felhasználókra gyakorolt hatását szabályozzák. Nem írják elő a legfejlettebb modellek fejlesztőinek, hogy a modell képességei alapján kockázatértékelést végezzenek vagy tegyenek közzé. A jelentés szerint egyetlen nagy kínai fejlesztő sem adott ki olyan élvonalbeli szöveges modellt, amelyhez a kibertámadási, biológiai és az irányítás elvesztésével kapcsolatos veszélyes képességeket egyaránt lefedő nyilvános teszteredmények tartoznának.
Ez még nem amerikai–kínai biztonsági rangsor
Az OpenAI, az Anthropic és a Google DeepMind egyes jelentős modelljeinek megjelenéséhez publikált biztonsági jelentést vagy a rendszert bemutató dokumentációt. A SemiAnalysis jelentése viszont nem közölt összehasonlítható arányokat az amerikai fejlesztőkről. A kínai adatokból ezért nem lehet megállapítani, melyik ország modelljei biztonságosabbak.
TECH-SZÓTÁR
- Biztonsági korlátok kijátszása
- Olyan próbálkozás, amely a modellt a beépített szabályai ellenére tiltott válasz vagy művelet végrehajtására készteti.
- Modellspecifikus teszteredmény
- Egy pontosan megnevezett modell vizsgálatának eredménye, nem pusztán a fejlesztő általános biztonsági ígérete.
» Követett téma: AI · régió: KÍNA · kulcsszó: modellbiztonság