Iltakooste

Kokeilemisen arvoista

Kolme komentoa, joista kaksi lataa jotain tämän vuorokauden aikana ilmestynyttä

Ensimmäinen komento hakee illan pääjutun vastaparin: pienen päättelymallin, joka aktivoi kerrallaan 1,4 miljardia parametria ja mahtuu viiden gigatavun tiedostoon. Toinen kiinnittää illan Koodi-palstan portin täsmälleen siihen versioon, josta juttu kertoo. Kolmas päivittää dokumenttijäsentimen, josta ilmestyi uusi korjausjulkaisu tänä aamuna.

llama-server -hf bartowski/Ling-3.0-tiny-GGUF:Q4_K_M --port 8080
pip install llama-cpp-python==0.3.35
pip install -U docling

Ensimmäinen komento vaatii tuoreen llama.cpp:n, koska mallin hybridiarkkitehtuuri on uusi; jos palvelin valittaa tuntemattomasta arkkitehtuurista, käännös on liian vanha. Q4_K_M-tiedosto on 4,92 gigatavua, ja samasta hakemistosta löytyy kaksibittinen IQ2_M 2,83 gigatavun kokoisena, jos muistia on niukalti. Toisen komennon versionumero kannattaa kirjoittaa näkyviin, koska paketista julkaistaan PyPI:hin vain lähdekoodipaketti — asennus kääntää oman llama.cpp-käännöksensä ja kestää ensimmäisellä kerralla minuutteja, joten sitä ei halua tapahtuvan vahingossa uudestaan. Docling päivittyi tänä aamuna versioon 2.120.3, ja päivitys on korjausluokkaa: sarjan edellinen numero ilmestyi viisi päivää sitten.