Tekoälyn päivälehti — mallit, työkalut ja hardware
Media · video · tislaus · Media
Alibaban PAI-yksikkö julkaisi keskiviikkona kaksi kiihdytyssovitinta MiniMax H3 -videomalliin. Ne on tislattu rinnakkaisdekoodauksella, ne painavat 1,37 gigatavua kappale, ja ne pudottavat generoinnin kahdeksaan askeleeseen — mikä on suoraan pois odotusajasta omalla koneella.
Videomallien ongelma paikallisessa ajossa ei ole muisti vaan aika. Diffuusiopohjainen generointi vaatii kymmeniä askeleita, ja jokainen askel on täysi kierros mallin läpi. Kun kotikoneella tuotetaan muutaman sekunnin klippi, odotus lasketaan minuuteissa. Askelmäärän pudottaminen on siksi tehokkain yksittäinen optimointi, ja se tehdään tislaamalla.
Alibaban PAI-yksikkö julkaisi keskiviikkona 26. elokuuta kokoelman nimeltä MiniMax-H3-Acc-LoRAs. Siinä on kaksi sovitinta MiniMax H3 -videomalliin: toinen FL2VA-haaralle ja toinen Ref2VA-haaralle. Molemmat pudottavat generoinnin kahdeksaan askeleeseen, ja menetelmä on nimeltään rinnakkaisdekoodauksen tislaus — opettajamalli ajetaan täydellä askelmäärällä ja oppilas opetetaan tuottamaan sama tulos murto-osalla.
Tekniset tiedot ovat sovittimeksi tavanomaiset mutta merkitykselliset: aste 64, verkon alfa 64, BF16-tarkkuus, tiedostokoko 1 372 450 680 tavua eli noin 1,37 gigatavua kappale. Sovitin on siis pieni lisä ison mallin päälle, ei uusi malli. Ajokoodi tulee videox_fun-kirjastosta, ja repositoriossa on suoraan ajettavat esimerkkiskriptit sekä teksti- että referenssikuvapohjaiseen generointiin.
Mallikortti tekee jotain, jota tällä palstalla näkee harvoin: se asettaa kolme versiota rinnakkain samasta kehotteesta. Vasemmalla alkuperäinen täysi ajo, keskellä lightx2v-yhteisön neljän askeleen turboversio ja oikealla uusi kahdeksan askeleen sovitin, kolme kehotetta kummallekin haaralle 768p-resoluutiolla. Vertailu on tehty niin, että lukija voi itse päättää, kestääkö laatu askelten pudottamisen — eikä pelkkää voittajan videota esitellä.
Lisenssin osalta on syytä olla tarkkana. Sovittimet eivät ole Apache- tai MIT-lisenssin alla vaan MiniMax H3:n yhteisölisenssin, joka periytyy pohjamallista. Ehdot kannattaa lukea ennen kuin tuloksia käyttää muuhun kuin omaan kokeiluun.
Käytännön kannalta tämä on tyypillinen esimerkki siitä, mitä avoimen painon ekosysteemissä tapahtuu julkaisun jälkeen: alkuperäinen malli tulee yhdeltä laboratoriolta, kiihdytys toiselta, ohjaushaarat kolmannelta ja kehotteiden uudelleenkirjoittaja neljänneltä. Yksikään näistä ei olisi mahdollinen, jos painot olisivat vain rajapinnan takana.