Tekoälyn päivälehti — mallit, työkalut ja hardware
Päivän promptivinkki · pienet paikalliset mallit · Vinkit
Pyyntö vastata lyhyesti ei tehoa pieneen malliin, koska lyhyt ei tarkoita sille mitään täsmällistä. Täsmälleen kahden virkkeen budjetti tehoaa: virkkeiden laskeminen on helppoa, ja kiinteä katto pakottaa mallin valitsemaan olennaisen sen sijaan että se täyttäisi tilan.
Pienten paikallisten mallien sitkeimpiä riesoja on jaarittelu: vastaus alkaa oikein, mutta perässä tulee kappale varauksia, kohteliaisuuksia ja saman asian toistoa. Jokainen ylimääräinen virke maksaa aikaa — kymmenen tokenin sekuntivauhdilla turha kappale on puoli minuuttia odottelua. Ohje "vastaa lyhyesti" ei auta, koska lyhyt ei ole mille tahansa 4–9 miljardin parametrin mallille mikään täsmällinen käsite: se on adjektiivi, jonka malli tulkitsee joka kerta eri tavalla.
Ratkaisu on antaa pituus numerona ja yksikkönä, jonka malli osaa laskea. Tämän illan promptimalli:
Vastaa täsmälleen kahdella virkkeellä. Ensimmäinen virke: suora vastaus kysymykseen. Toinen virke: tärkein perustelu. Älä kirjoita mitään muuta — ei johdantoa, ei varauksia, ei yhteenvetoa.
Miksi tämä toimii? Virkerajat ovat tokeneina hyvin näkyviä — piste, iso kirjain — joten pienikin malli pysyy laskussa mukana kahden tai kolmen virkkeen mitalla huomattavasti paremmin kuin arvioimaan epämääräistä lyhyyttä. Toiseksi kiinteä katto muuttaa tehtävän luonteen: kun tilaa on kaksi virkettä, malli joutuu valitsemaan tärkeimmän sisällön, eikä täyttämään tilaa siihen asti kun jokin tuntuu valmiilta. Ja kolmanneksi roolijako virkkeille — ensimmäinen vastaa, toinen perustelee — antaa vastaukselle rakenteen, jota vasten sen voi silmäillä sekunnissa.
Mitä vinkki ei ratkaise: se ei estä asiavirheitä eikä korvaa lopetusmerkkiä — jos malli ei muutenkaan osaa lopettaa, erillinen lopetusmerkki eli stop-sekvenssi on tekninen varmistin, ja tämä budjetti on sisällöllinen mitoitin; ne toimivat parhaiten yhdessä. Liian tiukka budjetti myös leikkaa perustelut pois sieltä, missä niitä oikeasti tarvitsisi — monivaiheiseen päättelyyn kannattaa antaa erillinen päättelyosuus ja budjetoida vasta lopullinen vastaus. Ja laskukyky loppuu kesken: kahdeksan virkkeen budjettia pieni malli ei enää pidä, joten pysy välillä yhdestä neljään.