A DeepSeek megnyitotta a modelljeit kiszolgáló DeepInfer kódját
A kínai AI-cég az üzemeltetés költségeit is lejjebb vinné; a közölt bevételi adatok egyelőre saját állításai.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- A DeepSeek október 20-án Apache License 2.0 alatt nyílt forrásúvá tette a V4.1-Flash modelljét kiszolgáló DeepInfer keretrendszert.
- MIÉRT FONTOS
- A saját infrastruktúrát használó fejlesztők és szervezetek így hozzáférhetnek a szoftverhez, amellyel a cég olcsóbb és hatékonyabb modellfuttatást céloz.
- MI JÖN MOST
- A DeepSeek ígérete szerint a jövőbeli modellek futtatókódját és a további optimalizálásokat is közzéteszi.
A DeepSeek nem újabb modellt adott ki, hanem megnyitotta azt a háttérszoftvert, amely a V4.1-Flash gyors, nagy terhelés melletti válaszadását szolgálja. A kínai AI-cég 2026. október 20-án jelentette be: belső, DeepInfer nevű futtatókeretrendszerének teljes kódját nyílt forrásúvá tette, Apache License 2.0 alatt. Ez elsősorban azoknak érdekes, akik saját infrastruktúrán szeretnék kiszolgálni a modelleket.
A modell mellé megérkezett a kiszolgálószoftver
A DeepInfer az inferenciát, vagyis a már betanított modell válaszainak előállítását szervezi. A nyílt forrású vLLM motorra épül, optimalizált számítási rutinokkal, a feladatok több chip közötti elosztásával és a szöveggenerálást gyorsító eljárásokkal. A cél több kérés kiszolgálása és a válaszra várakozás rövidítése.
A China Fund News beszámolóját idéző Eastmoney szerint a rendszer Nvidia- és Huawei Ascend-platformokon is fut. Támogatja az elosztott inferenciát, a spekulatív dekódolást, az SWA Bounded Replay nevű eljárást és a strukturált kimenetet is. Utóbbi azt jelenti, hogy a modell válasza meghatározott szerkezetet követhet.
Ezzel együtt érkezik a deepseek-recipe, egy üzemi használatra szánt tokenkódoló és -dekódoló komponens. Ez a hivatalos DeepSeek API tokenfeldolgozását reprodukálja, hogy a saját szerveren futó rendszerek is ugyanúgy kezeljék a szöveget, mint a cég szolgáltatása.
Kártyánként óránként 38 dollár — a cég közlése szerint
Az Eastmoney beszámolója szerint a DeepSeek kártyánként óránként 38 dollár bevételt közöl, csúcsidőn kívüli árazás mellett. Ez bevételi adat, nem az üzemeltetés költsége vagy a kártyánként elért nyereség.
Az Eastmoney ebből saját, durva számítással körülbelül havi 182 700 jüan bevételt becsül kártyánként, 30 nap folyamatos, teljes terhelést feltételezve. Ez feltételes bevételi becslés, nem közölt nyereségadat.
Az olcsóbb futtatás a következő versenyterep
A DeepSeek már korábban megnyitott több nagy modellt, a TileLang fordítóeszközt és egy inferencia-műveleteket tartalmazó könyvtárat. A The Decoder a DeepInfert az olcsóbb üzemeltetéshez hiányzó elemként mutatja be: a lap szerint a DeepSeek modelljeinek használata már eddig is nagyon olcsó volt.
A DeepSeek közlése szerint a kiadás a fejlesztőket és szervezeteket segíti abban, hogy nagy léptékű modellfuttatásnál növeljék az áteresztőképességet és csökkentsék a késleltetést, vagyis több feladatot szolgáljanak ki, rövidebb várakozással. A cég célja emellett a számítási költségek és az energiafogyasztás csökkentése. A The Decoder értékelése szerint a kiadás további árnyomást helyez az OpenAI-ra és az Anthropicra; ez piaci értelmezés, nem bejelentett árcsökkentés. A DeepSeek azt ígéri, hogy az új modellek futtatókódját és a további optimalizálásokat is nyilvánossá teszi.
TECH-SZÓTÁR
- Inferencia
- A már betanított AI-modell futtatása, amelynek során a bemenetből választ állít elő.
- Token
- A modell által kezelt szövegegység, amely lehet például egy szó vagy szórészlet.
- Spekulatív dekódolás
- Gyorsítási eljárás, amely előre javasolt szövegfolytatások ellenőrzésével segíti a válasz előállítását.
- API
- Olyan programozási felület, amelyen keresztül más szoftverek elérhetnek egy szolgáltatást.
» Követett téma: AI · régió: KÍNA · kulcsszó: DeepSeek, nyílt forráskód