Tanítható memóriát épített nyílt AI-modelljeibe a MemTensor
A MemT 1.0 külön memóriaállapotban őrzi a beszélgetések tanulságait; a cég gyorsulást is ígér, de független teszt még nincs.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- A MemTensor kiadta és nyíltan elérhetővé tette a MemT 1.0 Flash és Nano modelleket, amelyek beépített, tanítható memóriaállapotot használnak.
- MIÉRT FONTOS
- A megoldás a hosszú beszélgetések és a korábbi visszajelzések megőrzését célozza, a cég szerint kisebb tárhelyigénnyel és gyorsabb válaszgenerálással.
- MI JÖN MOST
- A kód és a modellek már hozzáférhetők, de a közölt teljesítményadatok független ellenőrzése még várat magára.
Nem a teljes nagy nyelvi modellt tanítja újra minden beszélgetési kör után a MemTensor új rendszere: egy külön, tanítható memóriaállapotot frissít. A kiadott és nyíltan hozzáférhetővé tett MemT 1.0 Flash és Nano ezt az emlékezetet közvetlenül bevonja a válaszok kiszámításába. A cél, hogy az asszisztens a korábbi visszajelzéseket is megőrizze, ne csak az éppen elé tett szövegre támaszkodjon.
Külön hálózat dolgozik, külön memória emlékezik
A 36Kr által ismertetett felépítés két részből áll. A Backbone Network adja az általános képességeket, a Dynamic Memory State pedig felhasználónként vagy feladatonként külön emlékezetet tart fenn. Ez nem pusztán egy később visszakereshető jegyzet: a memóriaállapot minden beszélgetési kör számításában részt vesz.
A frissítés a körök végén, tokenenként történik; a tanítás során megtanult szabályozó mechanizmusok döntik el, mit őrizzen meg vagy módosítson a rendszer. A memória mérete rögzített, ezért a Mixture-of-Storage (MoS) nevű megoldás több, tárolásra szakosodott egységgel osztja el az olvasási és írási feladatokat. A MemTensor ezt a külső, statikus jegyzetek visszakeresésétől eltérő megközelítésként mutatja be.
Egy elvetett hétfő helyett a végleges vasárnapra emlékezett
A tanításhoz összesen 34 milliárd tokent használtak: 20 milliárdot a folytatólagos előtanításhoz, további 14 milliárdot az utótanításhoz. Utóbbiban egy tanármodell pontozta, hogyan emeli ki a rendszer a megjegyzendő információkat. Vagyis az emlékezet kialakítása is külön tanítási feladat volt.
A vállalat technikai jelentésének egyik próbája több mint 500 beszélgetési körből, mintegy 66 000 tokenből állt. Egy kiállítás módosított időpontja később egyszer sem került újra szóba, a modell mégis a végleges vasárnapi megállapodást idézte fel, nem az elvetett hétfői változatot. Ez a teszt nem egyszerűen egy dátum megőrzését, hanem a végleges és az elutasított terv megkülönböztetését vizsgálta.
Ugyanebben a jelentésben 11 memóriateszten, „closed-book” módban a Flash 50,6, a Nano 47,0 pontos átlagot ért el. Ez a legerősebb, paraméterezett memóriát használó összehasonlítási alapnál 12,5, illetve 8,9 ponttal jobb eredmény a cég szerint.
A kód elérhető, a teljesítmény még ellenőrzésre vár
A Pandaily a MemTensor állításaként körülbelül négyszer gyorsabb válaszgenerálásról számol be 256 ezer tokennyi előzménynél, valamint 130-ad akkora tárhelyigényről. Ezek a hosszú beszélgetések kiszolgálásának számítási és tárolási terhét érintő ígéretek. A kód a GitHubon a MemTensor/MemT-1.0, a modellek a Hugging Face-en a MemTensor/memt-1 gyűjteményben érhetők el.
TECH-SZÓTÁR
- Token
- A modell által feldolgozott szövegegység, amely lehet szó, szórészlet vagy írásjel.
- Inferencia
- A már betanított modell futtatása, amikor a bemenetből választ állít elő.
- Memóriaállapot
- A korábbi információkat megőrző, a későbbi válaszokhoz felhasznált belső állapot.
» Követett téma: AI · régió: KÍNA · kulcsszó: modellek memóriája