Meta introduceert generatieve AI voor audio en muziek

Meta stelt de codes van de tool – in ieder geval voorlopig – gratis beschikbaar. De codes zijn open-source, zodat ontwikkelaars en gebruikers hun eigen modellen kunnen bouwen en ‘trainen’. AudioCraft bestaat uit drie modellen: MusicGen, AudioGen en EnCodec.

MusicGen is getraind met muziek die eigendom is van Meta zelf waarvoor speciale licenties zijn aangemaakt. Deze tool genereert muziek op basis van tekstprompts. Audiogen is getraind met geluidseffecten en werkt ook op basis van tekstprompts. Hiermee kun je omgevingsgeluiden en geluidseffecten zoals voetstappen, een blaffende hond of overvliegende vliegtuigen produceren. Tenslotte heeft Meta een ​​verbeterde versie van de EnCodec-decoder uitgebracht waarmee muziek van ‘hogere kwaliteit’ kan worden gegenereerd. Ook kan de gebruiker (studio)tools zoals compressie via de tool gebruiken.

De codes zijn hier te vinden.