llama.cpp:n OpenVINO-tausta sai perjantaina päivityksen, joka on kokoluokaltaan enemmän kuin tavanomainen versionosto. Itse OpenVINO nousee versioon 2026.3.1, taustalle lisättiin uusia operaatioita, ja kaksi kohtaa erottuu muusta listasta: Qwen 3.5 saatiin ajettavaksi neuroprosessorilla, ja whisper.cpp toimii nyt saman taustan päällä.

NPU on se kolmas laskentayksikkö, joka on ollut kannettavissa jo pari vuotta ja jonka TOPS-lukuja valmistajat mainostavat näkyvästi. Paikallisen kielimallin ajajalle siitä ei ole ollut juuri hyötyä, koska ajopolkuja on ollut vähän ja ne ovat olleet valmistajan omia. Kun tuki tulee llama.cpp:hen, se tulee samalla kaikkiin niihin ohjelmiin, jotka rakentuvat sen päälle.

Muutoksen tekninen ydin on staattisten muotojen käsittelyssä. NPU haluaa tietää etukäteen, minkä kokoisia tensorit ovat, ja aiemmin osa syötteistä jäi dynaamisiksi myös staattisessa tilassa — mikä levisi ketjussa eteenpäin tilamuuttujiin ja niiden muotoihin asti. Korjaus ankkuroi tilan viipaloinnin ulostulon loppuun ja pudottaa ajonaikaiset alkupisteet pois. Samalla käännöksessä yhdistettiin kuvien käsittelyn kaksi vaihetta yhdeksi OpenVINOn omaksi konvoluutio-operaatioksi.

Kirjastopuolella pala napsahti kohdalleen jo aiemmin: OpenVINOn generatiivinen rajapinta julkaistiin PyPI:ssä versiona 2026.3.1.0 keskiviikkona, eli kaksi päivää ennen kuin llama.cpp otti saman version käyttöön. Valmiit llama.cpp-käännökset OpenVINO-taustalla ovat tarjolla sekä Windowsille että Ubuntulle projektin julkaisusivulla.

Realistinen odotusarvo kannattaa pitää maltillisena. NPU:n vahvuus on energiatehokkuus, ei raaka nopeus, eikä yksikään näistä muutoksista lupaa suurten mallien ajamista kannettavassa. Puheentunnistus on sen sijaan juuri sellainen tehtävä, johon NPU sopii: malli on pieni, työ on jatkuvaa, ja akun kesto ratkaisee enemmän kuin huippunopeus.