Tencentin Hy-tiimi julkaisi torstaina Hy4-previewn, ja perjantaina painot olivat Hugging Facessa Apache 2.0 -lisenssillä. Kokoluokka on sama kuin illan pääuutisessa: 770 miljardia parametria yhteensä, joista 49 miljardia aktivoituu jokaista tokenia kohti.

Rakenne kannattaa lukea rinnakkain GLM-5.3:n kanssa. Molemmissa on 78 kerrosta. Molemmissa on 256 reititettyä asiantuntijaa ja yksi jaettu. Molemmissa aktivoituu kahdeksan reititettyä asiantuntijaa kerrallaan. Molemmissa piilotettu ulottuvuus on 6 144 ja konteksti miljoona tokenia. Molemmissa on erillinen ennustekerros seuraavien tokenien luonnosteluun — Tencentillä se on kymmenen miljardin parametrin kokoinen, josta 0,7 miljardia on kerrallaan käytössä.

Tencent ei yritä peitellä tätä. Mallikortti kertoo suoraan, että huomiomekanismi on DeepSeekin ja GLM:n innoittama: käytössä on portitettu harva huomio ja hakemistovälimuisti, jonka ansiosta harvan huomion hakemistolaskenta käytetään uudelleen kerroksesta toiseen. Residuaalipolussa on sen sijaan oma ratkaisu, identiteettiset hyperkytkennät, joiden tarkoitus on leventää kerrosten välistä tiedonkulkua. Rinnakkaisia residuaalivirtoja on neljä.

Ero on lisenssissä, ja se on iso. GLM-5.3 tulee yhtiön omalla ehdollisella lisenssillä; Hy4-preview on Apache 2.0, eli sitä saa käyttää, muokata ja myydä ilman erillistä lupaa. Kun kaksi lähes samanrakenteista mallia julkaistaan päivän välein ja toinen on aidosti sallivalla lisenssillä, valinta on kolmannen osapuolen kannalta helppo.

Kotikoneella tätäkään ei aja. Sana preview mallin nimessä kertoo, että kyse on esiversiosta, eikä pakattuja versioita ollut perjantai-iltana vielä julkaistu. Ajo-ohjeet mallikortissa koskevat vLLM:ää ja SGLangia eli palvelinpuolen moottoreita. Kiinnostavampi kysymys onkin, tuleeko perheestä pienempiä jäseniä — Tencentin Hunyuan-linja on aiemmin julkaissut myös kompakteja versioita, ja juuri niistä paikallisajajan kannattaa olla kiinnostunut.