Tekoälyn päivälehti — mallit, työkalut ja hardware
Päivän promptivinkki · Vinkit
Työkalun kuvauskenttä on paikka, johon kirjoitetaan proosaa. Pieni malli lukee sen huonosti. Sama kenttä täytettynä yhdellä konkreettisella esimerkkikutsulla ja yhdellä muutosohjeella tuottaa kelvollisia kutsuja huomattavasti useammin.
Ongelma, jonka tämä ratkaisee: pieni paikallinen malli kutsuu työkalua väärällä muodolla. Se keksii parametrin, jota ei ole, jättää pakollisen pois, laittaa luvun merkkijonoksi tai kirjoittaa koko kutsun proosaksi vastauksen sekaan. Tämä on yleisin syy siihen, miksi agenttityö ei toimi kotikoneella vaikka toimii pilvessä — eikä vika ole aina mallissa vaan siinä kentässä, josta malli lukee ohjeet.
Työkalumäärittelyssä on kuvauskenttä, ja siihen kirjoitetaan tyypillisesti lause tyyliin: hakee tietokannasta tuloksia annetulla hakusanalla ja palauttaa halutun määrän osumia. Iso malli lukee tuon ja päättelee kutsumuodon skeemasta. Pieni malli lukee tuon ja arvaa. Kirjoita sama kenttä näin:
Esimerkkikutsu: haku(kysely="Helsinki", maara=3). Vaihda vain kysely-kentän sisältö. Pidä maara aina kolmena, ellei käyttäjä pyydä muuta. Älä lisää muita kenttiä.
Miksi tämä toimii? Kolmesta syystä. Ensimmäinen on se, että malli on koulutettu jatkamaan kuviota, ja valmis kutsu on kuvio jota jatkaa — kuvaus taas on teksti, josta pitäisi johtaa kuvio. Toinen: esimerkki kiinnittää samalla kertaa parametrien nimet, järjestyksen, tyypit ja lainausmerkkien käytön, eli neljä asiaa, joista jokainen voi mennä erikseen pieleen. Kolmas: kielto "älä lisää muita kenttiä" osuu suoraan siihen virheeseen, jota pienet mallit tekevät eniten, eli avuliaaseen ylimääräiseen parametriin.
Mitä tämä ei ratkaise. Se ei tee mallista sellaista, joka valitsee oikean työkalun väärän sijaan — se on eri ongelma, ja siihen auttaa työkalujen määrän vähentäminen, ei kuvausten parantaminen. Se ei myöskään auta, jos työkaluja on kymmeniä: silloin esimerkit vievät kontekstista tilan, jonka pitäisi olla varsinaisella tehtävällä. Ja jos malli tuottaa jäsenneltyä ulostuloa kieliopin pakottamana — llama.cpp:n kielioppi, llguidance, outlines — muoto on jo taattu eikä esimerkkiä tarvita muodon takia, vaan enintään merkityksen takia. Nyrkkisääntö: yksi esimerkkikutsu jokaista työkalua kohti kun työkaluja on korkeintaan viisi, ja sen jälkeen kannattaa miettiä työkalujen määrää uudelleen.