Condividi con gli altri:
Cos'è AudioCraft, il nuovo strumento AI di Meta?
AudioCraft è un programma open source che crea effetti e musica da istruzioni di testo, proprio come questi generatori di immagini o video AI. AudioCraft ha tre modelli disponibili:
- MusicGen per comporre musica
- AudioGen per creare effetti sonori
- EnCodec per aiutare nella compressione audio
MusicGen era precedentemente noto tra i creatori di musica e gli hobbisti dell'intelligenza artificiale. Ma ora Meta ha rivelato il codice di questo modello, che consente agli utenti di arricchirlo con i propri dati musicali. Comprensibilmente sono subito sorte questioni etiche e anche legali, perché la maggior parte delle opere musicali realizzate con l'intelligenza artificiale sono state immediatamente segnalate dagli editori musicali come violazione della proprietà intellettuale.
Meta ha dichiarato espressamente di aver creato il modello predefinito solo basato sulla musica di proprietà dell'azienda e sulla musica concessa in licenza. Più specificamente, hanno utilizzato 20.000 ore di audio e 400.000 registrazioni insieme a descrizioni di testo e metadati, il tutto sotto l'egida delle piattaforme Meta Music Initiative Sound Collection, Shutterstock e Pond5. Hanno anche rimosso tutte le parti vocali prima dell'uscita, con l'obiettivo di impedire l'imitazione delle voci dei creatori.
Il secondo modello, AudioGen, è dedicato alla creazione di suoni ambientali ed effetti sonori. AudioGen è un modello basato sulla diffusione, come la maggior parte dei moderni generatori di immagini (DALL-E 2, Stable Diffusion …). Nella diffusione, il modello impara a rimuovere gradualmente il rumore dai dati iniziali, che consistono interamente in rumore – ad esempio suoni o immagini – e così lo avvicina passo dopo passo al prompt di destinazione.
Oltre agli effetti, AudioGen è stato creato anche per generare parlato, che Meta ammette potrebbe essere utilizzato in modo improprio da alcuni per falsificare le voci. Nonostante le preoccupazioni, almeno per ora, non sono state fissate restrizioni specifiche riguardo alle diverse modalità di utilizzo dell'applicazione AudioCraft.
Il terzo modello, EnCodec, è un miglioramento rispetto al precedente modello Meta per creare musica con meno artefatti. Meta afferma di modellare in modo più efficiente le sequenze audio e di acquisire diversi livelli di informazioni durante l'addestramento delle forme d'onda audio dei dati per assistere; nella creazione di un nuovo suono.
Meta ha immaginato AudioCraft come uno strumento per musicisti e creatori che potessero creare nuove composizioni senza dover suonare fisicamente gli strumenti. Si sono rivolti anche agli sviluppatori con un budget più limitato, che potevano utilizzare AudioCraft per creare suoni diversi per i mondi virtuali, e ai creatori di Instagram/TikTok, ad esempio, per creare i suoni più adatti ai loro post.
Almeno per ora, la licenza di AudioCraft non consente l'uso commerciale.
Come installare e testare lo strumento AI AudioCraft?
Il codice è su Github, e per installarlo hai moreÄ possibilità. Puoi utilizzare il programma Pinokio (https://pinokio.computer) che installerà più o meno automaticamente lo strumento musicale AI per te. Devi selezionare il modulo AudioGradio dalla loro libreria, installarlo (richiede alcuni minuti) e infine otterrai un IP locale con cui testare AudioCraft.
Altri metodi richiedono Python, Pip, Anacondo, minicondo o programmi simili preinstallati. Guida buona e di facile comprensioneÄ è stato pubblicato su GitHub (https://bit.ly/GHglasba) dall'utente mberman84 ed è considerato un programma miniconda. Il risultato finale è lo stesso. Otterrai un IP che inserisci nel tuo browser e potrai iniziare a sperimentare.
