Leírja, fordítja és beszélőkre bontja a felvételeket az Nvidia új modellje
A Nemotron 3.5 Transcribe több teszten az élre került, de csak rögzített hanggal dolgozik, és nyelvenként eltérnek a képességei.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- Az Nvidia kiadta a nyílt súlyú Nemotron 3.5 Transcribe beszédfelismerő modellt és a 844 000 órányi beszédet tartalmazó Granary v2 adatkészletet.
- MIÉRT FONTOS
- A felvételeket feldolgozó fejlesztők egyetlen, szöveges utasításokkal vezérelhető modellben kapnak átírást, fordítást és beszélők szerinti bontást, több erős teszteredménnyel.
- MI JÖN MOST
- A modell, az adatkészlet és egy demó már elérhető a Hugging Face-en; a saját változatok készítéséhez az Nvidia útmutatókat is kínál.
Egyetlen megbeszélés felvételéből beszélőkkel jelölt leiratot, angol fordítást vagy a döntések összefoglalóját is elkészítheti az Nvidia új Nemotron 3.5 Transcribe modellje. A feladatot szöveges utasítással lehet kiválasztani. A cég szerint legfeljebb egyórás, nyolc résztvevős felvételeket kezel, élő hangfeldolgozásra viszont nem használható.
Erős eredmények, de nem minden teszten első
A Hugging Face angol Open ASR rangsorában a Transcribe 5,33 százalékos átlagos szóhibaaránnyal első a nyílt súlyú, vagyis letölthető és futtatható modellek között. Az Artificial Analysis összevetésében viszont 2,81 százalékot ért el a Mistral Voxtral Small 2,77 százalékával szemben: hajszállal pontatlanabb volt, miközben körülbelül hatodannyi aktív paramétert használt. A szóhibaarány az átírás tévesztéseit méri; az alacsonyabb érték jobb.
Az egymás szavába vágó beszélgetésekkel dolgozó VoiceArena 14 rendszert vizsgált: itt a Transcribe végzett az élen, a szavak 8,32 százalékát hagyta ki, szemben a mezőny körülbelül 31 százalékos mediánjával. A David AI 21 nyelvre kiterjedő, a szöveg beszélőhöz rendelését mérő tesztjén szintén a legalacsonyabb hibaarányt produkálta. Még az Nvidia külön erre fejlesztett beszélőfelismerő modelljét is szűken megelőzte.
Egy GPU elég, a sebesség hardverfüggő
A modell 30 milliárd paraméteréből feldolgozási lépésenként körülbelül 4 milliárd aktív. Így egyetlen Nvidia GPU-val is futtatható, a DGX Sparktól az adatközponti hardverekig. Az Nvidia mérése szerint RTX PRO 6000 Blackwell Server Edition kártyán, NVFP4 számábrázolással 100 órányi hangot három percnél rövidebb idő alatt dolgoz fel; ez konkrét hardverhez és beállításhoz kötött eredmény.
A célzott tanítás többet hozott a pontosabb utasításnál
Indiai orvosok és orvostanhallgatók felvételein az Nvidia a pontosabb szöveges utasítással elért 23,8 százalékos hibaarányt célzott továbbtanítással, azaz finomhangolással 11,8 százalékra csökkentette. A tanításban nem szereplő beszélőknél 22,44-ről 12,17 százalékra esett a hibaarány, ami 45,8 százalékos relatív javulás. A folyamat egyetlen Nvidia GB300-on körülbelül 14 GPU-órát igényelt.
A specializálásnak ára is volt: az általános angol beszédnél kissé nőtt a hibaarány, miközben a gyógyszerek márkanevét pontosabban kezelte az orvosi változat. Saját modellváltozat készítésekor az Nvidia legalább 100 valódi, ellenőrzött felvétel elkülönítését javasolja tesztelésre.
Nagyobb adatkészlet, nyelvenként eltérő képességek
A vele együtt kiadott Granary v2 körülbelül 844 000 órányi beszédet tartalmaz 48 nyelven; elődje nagyjából 643 000 órát kínált 25 nyelven. Az Nvidia hangsúlyozza, hogy ez az adatkészlet nem egyezik meg teljesen a modell tanítóanyagával. A modell és az adatok a Hugging Face-en érhetők el demóval, finomhangolási útmutatókkal és a tanítási folyamatot AI-kódolóasszisztenssel futtató bővítménnyel.
TECH-SZÓTÁR
- Paraméter
- A modell tanulás során beállított belső számértéke; az aktív paraméterek vesznek részt az adott feldolgozási lépésben.
- GPU
- Sok számítás párhuzamos elvégzésére alkalmas processzor, amelyet AI-modellek futtatására is használnak.
- NVFP4
- Az Nvidia alacsony pontosságú, négybites számábrázolási formátuma az AI-számításokhoz.
» Követett téma: AI · régió: USA · kulcsszó: Nvidia, beszédfelismerés