Iltakooste

Viikonlopun kysymys oli, kuinka paljon pakatusta mallista jää jäljelle. Itävaltalainen tutkimuslaitos julkaisi Qwen 3.8:n 27 miljardin parametrin mallista pakatut versiot, joissa jokaiselle painomatriisille on haettu oma tarkkuutensa erikseen — 8,4 gigatavun tiedosto ratkaisee matematiikkakokeesta kymmenen prosenttiyksikköä enemmän kuin saman kokoinen tiedosto alan vakiintuneelta pakkaajalta. Samaan aikaan yhdysvaltalaisfoorumilla tehty mittaus kertoo, ettei pakkaus edes ole ainoa syy siihen, miksi kotona ajettu malli vastaa eri tavalla kuin virallinen: pelkkä huomiokerroksen laskentatavan vaihto riitti muuttamaan mallin valitsemia sanoja keskellä pitkää keskustelua. Kevyemmässä päässä ilta oli levyn ilta: llama.cpp oppi jättämään mallin suurimman taulukon kovalevylle, ja koboldcpp lataa mallitiedoston käyttöjärjestelmän välimuistin ohi. Lisäksi: AMD hyppäsi kahden versionumeron yli, Intelin 32 gigatavun työasemakortti ajaa 27 miljardin mallia 52 tokenin sekuntivauhtia, Apple nosti pienimmän pöytäkoneensa hintaa puolella — ja illan mini-PC-parissa toinen kone on täysin äänetön ja toinen lukee muistiaan lähes kolme kertaa nopeammin.

llama-cli -m malli.gguf --mmap 1 --lazy-mode auto -p "Kerro yksi asia Suomen ilmastosta."
llama-server -m malli.gguf --mmap 1 -lzm on --port 8080
./koboldcpp --model malli.gguf --usedirectio --usemlock
ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-IQ3_XXS.gguf   # illan pääjutun tiedosto, 10,1 Gt