Applen tiistainen julkistus kirjattiin tässä lehdessä eilen: M5 Ultra -Mac Studio, enintään 512 gigatavua yhtenäistä muistia ja 1,2 teratavun sekuntikaista. Yhden koneen luku on kuitenkin vain puoli tarinaa. Yhdysvaltalainen EXO Labs, joka kehittää avoimen lähdekoodin exo-ohjelmistoa usean laitteen tekoälyklusterointiin, ilmoitti tiistaina, että neljän tällaisen koneen ryhmä yltää yhteensä noin 4,8 teratavun sekuntikaistaan.

Luku on tarkalleen neljä kertaa yhden koneen kaista, ja juuri se on uutinen. Klusteroinnin tavallinen ongelma on, että laitteiden välinen linkki muodostuu pullonkaulaksi kauan ennen kuin muistikaistat lasketaan yhteen. EXO Labs on tehnyt Applen kanssa vuoden yhteistyötä ja saanut RDMA:n — suoran muistista muistiin -siirron, joka ohittaa käyttöjärjestelmän ja suorittimen — kulkemaan Mac Studion Thunderbolt 5:n yli riittävän matalalla viiveellä. Silloin yhteenlaskettu kaista kasvaa lähes lineaarisesti laitemäärän mukana.

Käytännön väite on iso: japanilaisen ITmedian mukaan tällaisessa klusterissa jopa Kimi K3 ja GLM-5.3 pyörivät nopeudella, joka vastaa kaupallista rajapintaa. Molemmat ovat malleja, jotka eivät mahdu yhteenkään yksittäiseen pöytäkoneeseen — Kimi K3:ssa on 2,8 biljoonaa parametria ja GLM-5.3-Flashissa 320 miljardia. Tulos on esillä myös Applen omalla tuotesivulla, mikä kertoo, ettei kyse ole yksin yhteisöprojektin omasta mittauksesta.

Hinta on tietysti se, mikä ratkaisee, ja japanilaiset luvut ovat tässä hyödyllisiä. M5 Ultra -Mac Studio maksaa Japanissa 949 800 jenistä ylöspäin, ennakkotilaus alkoi 25. elokuuta ja myynti alkaa 22. syyskuuta. Neljän koneen klusteri on siis lähtökohtaisesti lähes neljän miljoonan jenin hankinta, eikä 512 gigatavun muistivariantti tule myyntiin ennen lokakuun loppua. Tämä ei ole kotikäyttäjän ratkaisu vaan pienen tutkimusryhmän tai yrityksen.

Vertailukohtaa kannattaa silti katsoa. ASCII.jp:n mukaan japanilaisilla markkinoilla Nvidian DGX Spark liikkuu noin 900 000–1 000 000 jenin hinnoilla, eli yksittäinen Mac Studio ja Spark ovat käytännössä samassa hintaluokassa. Sparkissa on 128 gigatavua yhtenäistä muistia ja 273 gigatavun sekuntikaista, Mac Studiossa 1,2 teratavua — noin 4,4-kertainen ero. Toiseen suuntaan: Sparkissa on enintään yhden petaflopin FP4-laskenta sekä CUDA ja TensorRT-LLM, joten koulutukseen ja kehitystyöhön se on yhä vahvempi. Pelkkään päättelyyn Mac on nyt houkuttelevampi.

Miksi kaista ratkaisee juuri päättelyssä? Koska tokenien tuottamisessa mallin painot luetaan muistista yhä uudelleen, kerta jokaista tokenia kohti. Laskentateho ei auta, jos data ei ehdi perille. Sama laki pätee tämän lehden mini-PC-palstalla joka ilta, vain neljä kertaluokkaa alempana.