Tekoälyn päivälehti — mallit, työkalut ja hardware
Työkalut · Unsloth · kontekstin tiivistys · Työkalut
Elokuun alussa esikatseluna nähty automaattinen tiivistys on nyt mukana varsinaisessa julkaisussa, ja toteutustapa on kiinnostava: poistetut puheenvuorot eivät katoa vaan siirtyvät hakemistoon, josta malli hakee ne takaisin. Yhteenvedoista luovuttiin, koska ne maksoivat 190 sekuntia eivätkä auttaneet.
Unsloth julkaisi tiistaina päivityksen, joka kokoaa yli 170 muutosta ja nostaa elokuun alun esikatseluominaisuudet varsinaiseen julkaisuun. Kiinnostavin on automaattinen tiivistys, eli se mitä tehdään kun keskustelu ylittää mallin kontekstirajan.
Tavallinen ratkaisu on pyytää mallia kirjoittamaan yhteenveto vanhoista vuoroista ja jatkaa sillä. Unsloth kokeili tätä ja hylkäsi sen: julkaisumuistion mukaan **yhteenvedosta oli vähän hyötyä ja se maksoi noin 190 sekuntia jokaista tiivistystä kohti**. Tilalle tuli toinen tapa. Vanhimmat puheenvuorot poistetaan aktiivisesta kontekstista kokonaisina — koskaan ei katkaista kesken viestin — ja ne siirretään keskustelukohtaiseen hakemistoon, joka käyttää ohjelman omaa hakukoneistoa. Kun mallin pitää muistaa jotain vanhaa, se hakee sen työkalulla nimeltä `search_conversation`.
Yksityiskohta, joka paljastaa että toteuttaja on käyttänyt omaa ohjelmaansa: haussa painotetaan sanahakua, ei merkitysvektoreita. Perustelu on, että keskustelusta haetaan yleensä täsmällisiä asioita — nimiä, numeroita, tunnisteita — eikä sisällöllisiä vastaavuuksia. Lisäksi haku pakotetaan tapahtumaan poiston hetkellä sen sijaan että luotettaisiin siihen, että malli osaa itse hakea myöhemmin. Arkisto säilyy tiivistysten yli, joten myöhempi tiivistys voi palauttaa aiemmin poistettua.
Toinen merkittävä lisä on lähiverkkokäyttö. Unslothin voi nyt avata muille laitteille samassa verkossa asetuksista, ilman erillistä tunnelipalvelua. Oletuksena se on pois päältä ja vaatii käyttäjää vaihtamaan generoidun ylläpitäjän salasanan — järkevä oletus ohjelmalle, joka tarjoaa mallin rajapinnan koko verkolle.
Loput lyhyesti: tuki omille llama.cpp-käännöksille sekä kytkimet välimuistin RAM-käytölle, mmapille, mlockille ja spekulatiivisen dekoodauksen KV-välimuistille. Intel XPU -tuki lisättiin. MLX-ajonaikaiset virheet Mac-koneilla korjattiin. Ja uusi kvantisointisarja Dynamic v3.0 julkaistiin; sen Qwen3.8-27B-paketeista luvataan yli 10 prosenttia parempaa ykkösosumatarkkuutta kuin muiden vastaavista — luku on tekijän oma eikä sitä ole riippumattomasti varmistettu.