Sunnuntain toinen llama.cpp-build, b10333, korjaa virheen, jonka olemassaolo on itsessään uutinen: SpaceMiT-taustaosasta puuttui Q5_0-kvantisointimuodon reititys. SpaceMiT on kiinalainen RISC-V-piirivalmistaja, jonka piireissä on oma matriisilaskennan laajennus, ja llama.cpp:n suoritintaustaosassa on sille oma polkunsa — samaan tapaan kuin ARM-piireille on omansa.

Vika oli arkinen: kun malli oli pakattu Q5_0-muotoon, taustaosa ei osannut lähettää laskentaa SpaceMiT-ytimille. Q5_0 on viiden bitin kvantisointi, vanhimpia GGUF-muotoja — ei se, jota uudet mallit yleensä käyttävät, mutta muoto, johon törmää vanhemmissa paketeissa. Korjaus lisää puuttuvan reitityksen, ja se julkaistiin vetopyyntönä numero 26792.

Miksi tästä kirjoitetaan? Koska korjaus tarkoittaa, että joku ajoi Q5_0-pakattua mallia RISC-V-koneella, huomasi että jokin on vialla, ja vaivautui raportoimaan sen. Paikallinen päättely RISC-V-raudalla ei siis ole enää pelkkä demo vaan käyttöä, jossa reunatapaukset alkavat löytyä. RISC-V on avoin käskykanta-arkkitehtuuri — piiri, jonka käskykannasta ei makseta lisenssimaksuja kenellekään — ja siitä on tullut kiinalaisvalmistajien suosima tapa rakentaa edullisia kehityskoneita. SpaceMiT-piirejä istuu muun muassa yhden piirin korteissa, joiden hinnat alkavat kymmenistä euroista.

Odotuksia kannattaa silti annostella. RISC-V-kortin muistikaista on murto-osa tämän lehden mini-PC-taulukon koneista, ja mallit, joita sillä ajetaan mielekkäästi, ovat miljardiluokan pieniä. Mutta llama.cpp:n tukilistalla arkkitehtuuri on jo tasavertainen: sille on oma taustaosa, sen viat korjataan päävirrassa, ja korjaus kulkee samassa julkaisuputkessa kuin CUDA-fuusiot. Se on enemmän kuin useimmat suljetut ajoympäristöt voivat sanoa.