Illan kirjasto ei aja mallia eikä kvantisoi mitään. Se tekee jotain vaatimattomampaa ja käytännössä hyvin arvokasta: se kääntää yli sadan eri mallipalvelun rajapinnat yhteen ja samaan muotoon, joka on OpenAI:n chat-rajapinta. Sovellus kirjoitetaan kerran, ja malli valitaan merkkijonolla. LiteLLM 1.97.0 ilmestyi PyPI:hin 16. elokuuta.

Paikallisajajan kannalta olennaista on, että kirjaston tukilistalla ovat myös omat taustat. Dokumentaation mukaan mukana ovat muun muassa Ollama ja vLLM, ja koska llama.cpp:n oma palvelin puhuu OpenAI-yhteensopivaa rajapintaa, senkin saa kytkettyä samaan putkeen. Käytännössä tämä tarkoittaa, että saman sovelluksen voi ajaa pilvimallilla kehityksessä ja paikallisella mallilla tuotannossa — tai päinvastoin — vaihtamalla yhden asetuksen. Illan hinnankorotusuutisen valossa se ei ole akateeminen kysymys.

Kirjasto on kaksiosainen. Python-paketti tarjoaa completion-kutsun, joka näyttää samalta riippumatta siitä, mikä malli vastaa. Sen rinnalla kulkee erillinen välityspalvelin, joka ajetaan omalla koneella tai omassa konesalissa ja joka tarjoaa saman rajapinnan verkon yli — silloin myös ne työkalut, jotka eivät ole Pythonia, saavat saman mallivalikoiman käyttöönsä. Projekti kuvaa itseään avoimen lähdekoodin tekoälyportiksi, ja se on täsmällinen kuvaus.

Käyttökelpoisin ominaisuus arjessa on varareitti. Kun sovellus kirjoitetaan yhtä rajapintaa vasten, malliluettelo voidaan antaa listana: yritä ensin tätä, sitten tätä. Jos pilvipalvelu on ruuhkassa tai kustannuskatto tulee vastaan, pyyntö ohjautuu paikalliselle mallille. Se on juuri se rakenne, jota kesän hinnanmuutokset ovat tehneet houkuttelevaksi.

Rajoitus on projektin oma julkaisutahti. PyPI:ssä on yli 1 100 julkaisua, ja tahti on ajoittain hurja — 9. elokuuta paketista ilmestyi viisi versiota puolessa tunnissa. Tuoreimman vakaan version 1.97.0 rinnalla on jo seuraavan sarjan julkaisuehdokas, joten pip asentaa väärän version heti, jos esiversiot on sallittu. Versionumero kannattaa kiinnittää ja päivittää harkiten. Paketti vaatii Pythonin 3.10:n tai uudemman eikä toistaiseksi tue 3.15:tä.

Toinen rajoitus on käsitteellinen. Yhteinen rajapinta tasoittaa erot, mutta se ei poista niitä: mallit eroavat yhä työkalukutsujen muodossa, päättelyparametreissa ja siinä, miten ne käsittelevät järjestelmäviestejä. LiteLLM tekee vaihdosta yhden rivin operaation, mutta vaihdon jälkeen kehotteet on syytä testata uudelleen. Kirjasto siirtää mallin, ei kehotetta.