Partager avec d'autres :
Qu'est-ce qu'AudioCraft, le nouvel outil d'IA sous Meta ?
AudioCraft est un programme open source qui crée des effets et de la musique à partir d'invites textuelles, un peu comme ces générateurs d'images ou de vidéos IA. AudioCraft propose trois modèles :
- MusicGen pour composer de la musique
- AudioGen pour créer des effets sonores
- EnCodec pour aider en compression audio
MusicGen était auparavant connu parmi les créateurs de musique et les amateurs d'IA. Mais maintenant, Meta a révélé le code de ce modèle, qui permet aux utilisateurs de l'enrichir avec leurs propres données musicales. Naturellement, des questions éthiques et juridiques se sont immédiatement posées, car la plupart des œuvres musicales IA ont été immédiatement signalées par les éditeurs de musique comme violation de la propriété intellectuelle.
Meta a spécifiquement déclaré avoir créé le modèle par défaut uniquement sur la base de la musique appartenant à l'entreprise et de sa musique sous licence. Plus précisément, ils ont utilisé 20 000 heures d'audio et 400 000 enregistrements ainsi que des descriptions textuelles et des métadonnées, le tout sous l'égide des plateformes Meta Music Initiative Sound Collection, Shutterstock et Pond5. Ils ont également supprimé toutes les voix avant la sortie, dans le but d'empêcher l'imitation des voix des créateurs.
Le deuxième modèle, AudioGen, est dédié à la création de sons ambiants et d'effets sonores. AudioGen est un modèle basé sur la diffusion, comme la plupart des générateurs d'images modernes (DALL-E 2, Stable Diffusion…). En diffusion, le modèle apprend à supprimer progressivement le bruit des données initiales, qui sont entièrement constituées de bruit – “ par exemple du son ou des images –€“ et le rapproche ainsi pas à pas de l'invite cible.
En plus des effets, AudioGen a également été créé pour générer de la parole, ce qui, admet Meta, pourrait être utilisé à mauvais escient par certains pour usurper la voix. Malgré les inquiétudes, du moins pour l'instant, ils n'ont pas fixé de restrictions spécifiques concernant les différentes manières d'utiliser l'application AudioCraft.
Le troisième modèle, EnCodec, est une amélioration du modèle Meta précédent pour créer de la musique avec moins d'artefacts. Meta prétend modéliser plus efficacement les séquences audio et capturer différents niveaux d'informations lors de la formation des formes d'onde audio des données pour aider ; dans la création d'un nouveau son.
Meta a envisagé AudioCraft comme un outil destiné aux musiciens et aux créateurs qui pourraient créer de nouvelles compositions sans avoir à jouer physiquement d'un instrument. Ils ont également ciblé les développeurs disposant d'un budget plus limité, qui pourraient utiliser AudioCraft pour créer différents sons pour les mondes virtuels, et les créateurs d'Instagram/TikTok, par exemple, pour créer les sons les plus adaptés à leurs publications.
Au moins pour l'instant, la licence d'AudioCraft n'autorise pas une utilisation commerciale.
Comment installer et tester l'outil AudioCraft AI ?
Le code est sur Github, et pour l'installer vous avez plus d'informationsÄ possibilités. Vous pouvez utiliser le programme Pinokio (https://pinokio.computer) qui installera plus ou moins automatiquement l'outil musical AI pour vous. Vous devez sélectionner le module AudioGradio dans leur bibliothèque, l'installer (cela prend quelques minutes) et enfin vous obtiendrez une adresse IP locale avec laquelle tester AudioCraft.
D'autres méthodes nécessitent Python, Pip, Anacondo, minicondo ou des programmes similaires préinstallés. Guide bon et facile à comprendreÄ a été publié sur GitHub (https://bit.ly/GHglasba) par l'utilisateur mberman84 et est considéré comme un programme miniconda. Le résultat est le même. Vous obtiendrez une adresse IP que vous saisirez dans votre navigateur et vous pourrez commencer à expérimenter.
