Tekoälyn päivälehti — mallit, työkalut ja hardware
AMD · ROCm · Linux ja Windows · Alustat
Edellinen versio oli 7.14 ja se ilmestyi kuukausi sitten. Uusi numero merkitsee alustan kymmenvuotisjuhlaa, ja mukana tulee agenttijärjestelmä, joka profiloi päättelykuorman, etsii pullonkaulan, tekee muutoksen ja mittaa tuloksen ilman että kukaan katsoo.
AMD:n avoin laskenta-alusta ROCm on ollut paikallisen tekoälyn ajajalle vuosien ajan se osa, jonka takia AMD-kortti on halvempi mutta hankalampi. Torstaina yhtiö julkaisi siitä version 10 — ja hyppäsi samalla numeroiden 8 ja 9 yli. Syy on juhlallinen: ROCm 1.0 ilmestyi huhtikuussa 2016, joten alusta täyttää kymmenen vuotta. Edellinen julkaisu oli vasta kuukautta aiemmin tullut 7.14.
Julkaisun kärki on ROCm.AI, joka koostuu kolmesta osasta. Hyperloom on agenttijärjestelmä, joka optimoi päättelykuorman itsenäisesti: se profiloi ajon, paikantaa pullonkaulan, kokeilee muutoksia sekä isäntäkoodiin että laskentaytimiin, mittaa tuloksen ja varmistaa lopuksi, ettei vastaus muuttunut. AMD Skills syöttää tarkastettua ROCm-tietämystä suoraan koodausagentteihin — nimeltä mainitaan Claude Code, Cursor ja Codex. ROCm CLI kokoaa asennuksen, mallin tarjoilun, diagnostiikan ja ajonaikaisen hallinnan yhden komennon taakse.
Suorituskykylupaus on iso: samalla raudalla ROCm.AI-kokoonpano antaa AMD:n omissa mittauksissa keskimäärin 3,3-kertaisen päättelysuorituskyvyn ja 2,4-kertaisen koulutussuorituskyvyn verrattuna ROCm 7:ään. Luku on valmistajan oma eikä koske kuluttajakorttia — se on mitattu AMD:n omalla kokoonpanolla, ja käytännössä kyse on kiihdytinluokan raudasta. Kukaan ulkopuolinen ei ole toistanut sitä.
Kotikäyttäjälle kiinnostavampaa on, mitä julkaisu tekee sille ohjelmalle, jolla malli oikeasti ajetaan. ROCm 10 päivittää tuen PyTorchille, JAXille, vLLM:lle, SGLangille, MIGraphX:lle ja ONNX Runtimelle, parantaa HIP-suorituskykyä ja uudistaa matematiikka-, harvamatriisi- ja kommunikaatiokirjastot. Vasta julkaistu Radeon RX 9050 saa tuen.
Sunnuntaina AMD-rintamalla tapahtui muutakin: llama.cpp sai kaksi AMD-korttien virityskorjausta, joista toinen säätää RDNA 3:n matriisikertolaskun asetuksia ja toinen nopeuttaa kaksibittisen pakkauksen pistetuloa RDNA 4 -sirulla. Nämä ovat pieniä muutoksia isossa kuvassa, mutta ne osuvat suoraan siihen, mitä kotikoneella tehdään: pakattua mallia ajetaan integroidulla tai edullisella erillisellä Radeonilla.