Compartir con otros:
¿Qué es AudioCraft, la nueva herramienta de IA de Meta?
AudioCraft es un programa de código abierto que crea efectos y música a partir de indicaciones de texto, muy parecido a estos generadores de imágenes o videos de IA. AudioCraft tiene tres modelos disponibles:
- MusicGen para componer música
- AudioGen para crear efectos de sonido
- EnCodec para ayudar en compresión de sonido
MusicGen era conocido anteriormente entre los creadores de música y los aficionados a la inteligencia artificial. Pero ahora Meta ha revelado el código de este modelo, que permite a los usuarios enriquecerlo con sus propios datos musicales. Es comprensible que inmediatamente surgieran cuestiones éticas y también legales, porque los editores de música denunciaron inmediatamente la mayoría de las obras musicales de IA como infracción de la propiedad intelectual.
Meta declaró específicamente que creó el modelo predeterminado basándose únicamente en la música propiedad de la empresa y su música con licencia. Más concretamente, utilizaron 20.000 horas de audio y 400.000 grabaciones junto con descripciones de texto y metadatos, todo ello bajo el paraguas de las plataformas Meta Music Initiative Sound Collection, Shutterstock y Pond5. También eliminaron todas las voces antes del lanzamiento, con el objetivo de evitar la imitación de las voces de los creadores.
El segundo modelo, AudioGen, está dedicado a crear sonidos ambientales y efectos de sonido. AudioGen es un modelo basado en difusión, como la mayoría de los generadores de imágenes modernos (DALL-E 2, Stable Diffusion...). En difusión, el modelo aprende cómo eliminar gradualmente el ruido de los datos iniciales, que consisten enteramente en ruido. por ejemplo sonido o imágenes – y así lo acerca paso a paso al mensaje de destino.
Además de los efectos, AudioGen también se creó para generar voz, que Meta admite que algunos podrían utilizar indebidamente para falsificar voces. A pesar de las preocupaciones, al menos por ahora, no han establecido restricciones específicas respecto a las diferentes formas de utilizar la aplicación AudioCraft.
El tercer modelo, EnCodec, es una mejora del modelo Meta anterior para crear música con menos artefactos. Meta afirma modelar secuencias de audio de manera más eficiente y capturar diferentes niveles de información cuando entrena formas de onda de audio de datos para ayudar; en la creación de un nuevo sonido.
Meta imaginó AudioCraft como una herramienta para músicos y creadores que pudieran crear nuevas composiciones sin tener que tocar instrumentos físicamente. También se dirigieron a desarrolladores con un presupuesto más limitado, que podrían usar AudioCraft para crear diferentes sonidos para mundos virtuales, y a creadores de Instagram/TikTok, por ejemplo, para crear los sonidos más adecuados para sus publicaciones.
Al menos por ahora, la licencia de AudioCraft no permite el uso comercial.
¿Cómo instalar y probar la herramienta AudioCraft AI?
El código está en Github y para instalarlo tienes másÄ posibilidades. Puedes utilizar el programa Pinokio (https://pinokio.computer) que instalará más o menos automáticamente la herramienta de música AI por ti. Debes seleccionar el módulo AudioGradio de su biblioteca, instalarlo (lleva unos minutos) y finalmente obtendrás una IP local para probar AudioCraft.
Otros métodos requieren Python, Pip, Anacondo, minicondo o programas similares preinstalados. Guía buena y fácil de entenderÄ fue publicado en GitHub (https://bit.ly/GHglasba) por el usuario mberman84 y se considera un programa miniconda. El resultado final es el mismo. Obtendrás una IP que ingresas en tu navegador y podrás comenzar a experimentar.
