Tekoälyn päivälehti — mallit, työkalut ja hardware
Wan-AI · Wan2.2-Animate-2-14B · Apache 2.0 · Media
Ajovideo syötetään suoraan diffuusiotransformeriin, ja kamerakulmaa ohjataan tekstillä. Painot ovat Apache 2.0:lla, mutta rautavaatimus on yhä palvelinluokkaa: oletusasetukset on viritetty kahdeksalle A800:lle.
Median puolella viikonloppu oli hiljainen: 8.–10. elokuuta ei ilmestynyt yhtään uutta avoimen painon kuva-, video-, musiikki- tai puhemallia, joka olisi kestänyt tarkistuksen. Lähin merkittävä tapahtuma on päivää vanhempi, ja se kannattaa silti kertoa — sunnuntaina Wan-AI päivitti Wan2.2-Animate-2-14B:n mallikortin ja lisäsi siihen Diffusers-osion ja putkikaavion. Itse painot julkaistiin perjantaina 7. elokuuta.
Mallin idea on rakenteellinen yksinkertaistus. Aiemmat hahmoanimaatioputket irrottivat ajovideosta ensin luuston tai liikeradan ja syöttivät vasta sen generaattorille, mikä tarkoitti kahta mallia ja kaksi kertaa enemmän virhelähteitä. Wan-Animate-2 syöttää ajovideon suoraan uudelleensuunniteltuun diffuusiotransformeriin. Päälle tuli tekstiohjattu kamerakulman hallinta, eli otoksen näkökulmaa voi vaihtaa kehotteella eikä uudella ajovideolla.
Rautaluvut ovat ne, jotka rajaavat tämän toistaiseksi kotikoneen ulkopuolelle. Varasto on 82,5 gigatavua, oletusasetukset on viritetty kahdeksalle A800-kortille 720p-generointiin, ja 480p on testattu kahdella A800:lla. Julkaisussa on myös distilloitu versio, joka pärjää kymmenellä askeleella ja ilman luokittelijavapaata ohjausta eli guidance_scale-arvolla 1,0 — se on juuri se tie, jota pitkin tällaiset mallit yleensä valuvat kuluttajarautaan seuraavan puolen vuoden aikana.
Lisenssi on Apache 2.0, ja mallikortissa on merkitty valmiiksi integraatiot Diffusersiin, DiffSynth-Studioon ja ComfyUI:hin. Erikseen mainitaan Wan-Animate-2-Lite reaaliaikaiseen striimaukseen, mutta sen saatavuutta tämä lehti ei ole pystynyt varmistamaan. Kuluttajanäytönohjaimen muistivaatimusta mallikortti ei ilmoita lainkaan, joten sitä ei myöskään arvata tässä.
Rehellisyyden nimissä: tämä on illan heikoin juttu, ja syy on kerrottu ensimmäisessä kappaleessa. Kun 48 tunnin ikkuna on tyhjä, vaihtoehtoja on kaksi — jättää palsta pois tai kertoa lähin osuma ja sanoa suoraan, että se on päivää myöhässä. Tänään valittiin jälkimmäinen, koska Diffusers-integraatio osuu ikkunaan ja on se muutos, joka tekee mallista tavallisen Python-käyttäjän ulottuvilla olevan.