Egy sorral vinné saját AI-chipjére a PyTorch-appokat az Amazon
Az AWS a szoftveres átállást könnyítené meg, miközben a Tenstorrent 1,5 milliárd dolláros tőkebevonással erősít az Nvidia uralta piacon.
▶ 30 MÁSODPERCBEN
- MI TÖRTÉNT
- Az AWS kiadta a PyTorch-alkalmazásokat Trainiumra átvezető TorchNeuront, a Tenstorrent pedig 1,5 milliárd dollárt vont be.
- MIÉRT FONTOS
- Az AI-fejlesztők számára több hardveres választási lehetőséget ígérnek, de az Amazon által állított egyszerű átállás és megtakarítás még bizonyításra vár.
- MI JÖN MOST
- Az Amazon a PyTorch központi kódjához is hozzájárul, a Tenstorrent pedig nyílt súlyú modellek és videógenerálás kiszolgálására fordítja az új tőkét.
Egyetlen konfigurációs sor módosítása, az alkalmazáskód átírása nélkül: az Amazon szerint ennyi elég ahhoz, hogy egy PyTorch-alapú AI-alkalmazás a saját Trainium chipjén fusson. Az AWS október 19-én, hétfőn kiadott TorchNeuron eszköze elsősorban az AI-startupok átállását könnyítené meg. A tét az, hogy az Nvidia helyett más hardvert választani szoftveres szempontból se legyen túl nagy akadály.
A szoftveres előnyt támadja az Amazon
A PyTorch ingyenes, nyílt forráskódú eszközkészlet AI-modellek létrehozására, tanítására és futtatására. Eredetileg a Facebook fejlesztette, 2022 óta a Linux Foundationhöz tartozik. Az Amazon becslése szerint az AI-alkalmazások mintegy 85 százaléka erre épül, így a kompatibilitás különösen fontos a chipgyártóknak.
Az Nvidia CUDA nevű szoftveres környezete régóta támogatja a PyTorchot, ami hozzájárult ahhoz, hogy az Nvidia hardverei alapértelmezett választássá váljanak. Az Amazon nemcsak külön átállási eszközt ad: közlése szerint a PyTorch központi kódjához is készít módosításokat, hogy megszüntesse az egyes chipekhez kötődő függőségeket. A hangalapú AI-alkalmazásokat kínáló, az ElevenLabsszel versenyző Deepgram már Trainiumra váltott.
„A lényeg annak a technológiai kötöttségnek a megszüntetése, amely eddig valódi választási lehetőség nélkül hagyta a fejlesztőket.”
— Colin Brace, az AWS Annapurna Labs technológiai szoftverekért felelős alelnöke
Nem feltétlenül a tokenenkénti ár a döntő
Az AWS szerint akkor is olcsóbb lehet nála működtetni egy startup alkalmazását, ha nem ő kínálja a legalacsonyabb tokenenkénti árat, vagyis a feldolgozott szövegegységre jutó díjat. Érvelése szerint ugyanaz a chip használható a modellek tanítására és a már betanított modellek futtatására, azaz inferenciára, ráadásul a felhő infrastruktúrájába integrálva. Ez a teljes működtetési költségről szóló vállalati állítás, nem konkrét megtakarítási ígéret.
A Tenstorrent önállóan terjeszkedik tovább
Közben az inferenciára összpontosító Tenstorrent 1,5 milliárd dollárt vont be, 6,2 milliárd dolláros cégértékelés mellett; 2024 végén még 2,6 milliárd dollárra értékelték. A kört a Trace Capital és az Innovation X vezette, a befektetők között a Cadence Ventures, az Eclipse, a Fidelity, a SanDisk és a T. Rowe Price is szerepelt.
Jim Keller vezérigazgató a Bloombergnek azt mondta: az önállóság és az újabb tőkebevonás mellett döntöttek, miután Galaxy szervereik bizonyították, hogy képesek DeepSeek-modelleket futtatni. Körülbelül öt hónappal korábban a beszámolók szerint az Intel és a Qualcomm is érdeklődött a felvásárlás iránt, akár 5 milliárd dolláros értékelés mellett. Az új pénzből nyílt súlyú AI-modellek kiszolgálására és videógenerálásra szánt chipek kapacitását bővítik; a szintén AI-chipeket fejlesztő Etched pedig a TechCrunch beszámolója szerint legalább 40 milliárd dolláros értékelést kínáló befektetési ajánlatokat kapott.
TECH-SZÓTÁR
- Tanítás
- Az a folyamat, amelyben a modell adatokból tanulva alakítja belső paramétereit.
- Inferencia
- A már betanított modell futtatása, például válasz vagy videó előállítására.
- Nyílt súlyú modell
- Olyan modell, amelynek betanított paraméterei hozzáférhetők, használatuk feltételeit pedig a licenc határozza meg.
» Követett téma: AI · régió: USA · kulcsszó: AI-chipek, PyTorch