BreezeBlue avasi tiistai-iltana Breeze TTS 2:n painot Hugging Faceen. Malli on kooltaan noin 3,47 miljardia parametria, ja se on rakennettu reaaliaikaiseen vuorovaikutukseen — eli tilanteeseen, jossa puhe pitää alkaa kuulua ennen kuin lause on valmis.

Kolme toimintoa erottaa sen tavanomaisesta puhesyntetisaattorista. Ensimmäinen on tuttu äänen kloonaus: annat näytteen ja sen tarkan tekstivastineen, ja malli säilyttää sointivärin, rytmin ja tunnesävyn. Toinen on äänen suunnittelu, jossa näytettä ei ole lainkaan — kuvailet halutun äänen luonnollisella kielellä ja saat sen. Kolmas on äänen ohjaaminen: kloonaat äänen näytteestä mutta ohjaat erikseen sävyä, tunnetta, tempoa ja esitystapaa.

Neljäs ominaisuus on käytännöllinen pikkuseikka, joka kertoo mallin käyttötarkoituksesta. Puheen sekaan voi kirjoittaa ääntelyitä suoraan tekstiin: englanniksi sulkeisiin (laugh), (cough), (clears throat), (sigh), ja kiinaksi hakasulkeisiin vastaavat merkinnät. Tämä on nimenomaan dialogia varten, ei kirjan ääneen lukemista varten.

Tekijä kertoo mallin olevan avoimen painon malleista ykkösenä Artificial Analysisin puhesynteesin vertailussa. Sitä sijoitusta ei tässä vahvisteta — mutta luku on tarkistettavissa, koska BreezeBlue julkaisi elokuun alussa myös vertailusarjat itse: erilliset koesarjat äänen suunnittelulle, äänen ohjaamiselle ja viiveelle.

Lisenssi kannattaa lukea kahdesti, koska se on kaksiosainen. Lähdekoodi on Apache 2.0:n alla, mutta mallin painot, niistä johdetut mallit ja itse ajetun mallin tuotokset on rajattu tutkimukseen ja ei-kaupalliseen käyttöön. Malli tukee englantia ja kiinaa, ja ajokoodi on PyTorch-pohjainen ja Nvidian näytönohjaimelle kirjoitettu.