Što je AudioCraft, novi AI alat pod Metom?

AudioCraft je program otvorenog koda koji stvara efekte i glazbu iz tekstualnih upita, slično ovim AI generatorima slika ili videa. AudioCraft ima tri dostupna modela:

• MusicGen za skladanje glazbe
• AudioGen za stvaranje zvučnih efekata
• EnCodec za pomoć u kompresiji zvuka

MusicGen je prije bio poznat među glazbenim kreatorima i AI hobistima. Ali sada je Meta otkrila kod za ovaj model, koji korisnicima omogućuje da ga obogate vlastitim glazbenim podacima. Razumljivo, odmah su se pojavila etička, ali i pravna pitanja, jer su većinu glazbenih djela umjetne inteligencije glazbeni izdavači odmah prijavili kao kršenje intelektualnog vlasništva.

Meta je posebno izjavila da je stvorila zadani model samo na temelju glazbe u vlasništvu tvrtke i njihove licencirane glazbe. Točnije, koristili su 20.000 sati audio zapisa i 400.000 snimaka zajedno s opisima teksta i metapodacima, a sve pod okriljem platformi Meta Music Initiative Sound Collection, Shutterstock i Pond5. Također su prije izlaska uklonili sve vokale, s ciljem sprječavanja imitacije glasova kreatora.

Drugi model, AudioGen, posvećen je stvaranju ambijentalnih zvukova i zvučnih efekata. AudioGen je model temeljen na difuziji, poput većine modernih generatora slike (DALL-E 2, Stable Diffusion …). U difuziji, model uči kako postupno ukloniti šum iz početnih podataka, koji se u potpunosti sastoji od šuma – na primjer zvuk ili slike – i tako ga pomiče korak po korak bliže ciljnom upitu.

Osim efekata, AudioGen je također stvoren za generiranje govora, za koji Meta priznaje da bi ga neki mogli zloupotrijebiti za lažiranje glasova. Unatoč zabrinutosti, barem za sada, nisu postavili posebna ograničenja u pogledu različitih načina korištenja aplikacije AudioCraft.

Treći model, EnCodec, poboljšanje je prethodnog modela Meta za stvaranje glazbe s manje artefakata. Meta tvrdi da učinkovitije modelira audio sekvence i hvata različite razine informacija kada uvježbava podatkovne audio valne oblike kao pomoć; u stvaranju novog zvuka.

Meta je zamislila AudioCraft kao alat za glazbenike i kreatore koji mogu stvarati nove skladbe bez potrebe za fizičkim sviranjem instrumenata. Također su ciljali na programere s ograničenijim budžetom, koji bi mogli koristiti AudioCraft za stvaranje različitih zvukova za virtualne svjetove, te kreatore Instagrama/TikToka, na primjer, za stvaranje najprikladnijih zvukova za svoje objave.

AudioCraftova licenca barem za sada ne dopušta komercijalnu upotrebu.

Kako instalirati i testirati AudioCraft AI alat?

Kod je na Githubu, a za instalaciju imate jošÄ mogućnosti. Možete koristiti program Pinokio (https://pinokio.computer) koji će više-manje automatski instalirati AI glazbeni alat za vas. Morate odabrati AudioGradio modul iz njihove biblioteke, instalirati ga (traje nekoliko minuta) i konačno ćete dobiti lokalni IP za testiranje AudioCrafta.

Ostale metode zahtijevaju unaprijed instalirane Python, Pip, Anacondo, minicondo ili slične programe. Dobar i lako razumljiv vodičč je na GitHub (https://bit.ly/GHglasba) postavio korisnik mberman84 i smatra se miniconda programom. Krajnji rezultat je isti. Dobit ćete IP koji unesete u preglednik i možete početi eksperimentirati.