Mit anderen teilen:
Was ist AudioCraft, das neue KI-Tool unter Meta?
AudioCraft ist ein Open-Source-Programm, das Effekte und Musik aus Textansagen erstellt, ähnlich wie diese KI-Bild- oder Videogeneratoren. AudioCraft bietet drei Modelle an:
- MusicGen zum Komponieren von Musik
- AudioGen zum Erstellen von Soundeffekten
- EnCodec hilft bei der Audiokomprimierung
MusicGen war zuvor unter Musikschaffenden und KI-Hobbyisten bekannt. Doch nun hat Meta den Code für dieses Modell enthüllt, der es Nutzern ermöglicht, es mit eigenen Musikdaten anzureichern. Verständlicherweise stellten sich sofort ethische und auch rechtliche Fragen, da die meisten KI-Musikwerke von Musikverlagen sofort als Verletzung geistigen Eigentums gemeldet wurden.
Meta gab ausdrücklich an, dass das Standardmodell nur auf der Grundlage firmeneigener Musik und deren lizenzierter Musik erstellt wurde. Genauer gesagt nutzten sie 20.000 Stunden Audio und 400.000 Aufnahmen zusammen mit Textbeschreibungen und Metadaten, alles unter dem Dach der Meta Music Initiative Sound Collection, der Plattformen Shutterstock und Pond5. Außerdem wurden vor der Veröffentlichung sämtliche Stimmen entfernt, um eine Nachahmung der Stimmen der Urheber zu verhindern.
Das zweite Modell, AudioGen, widmet sich der Erzeugung von Umgebungsgeräuschen und Soundeffekten. AudioGen ist ein diffusionsbasiertes Modell, wie die meisten modernen Bildgeneratoren (DALL-E 2, Stable Diffusion …). Bei der Diffusion lernt das Modell, das Rauschen nach und nach aus den Ausgangsdaten zu entfernen, die ausschließlich aus Rauschen bestehen. zum Beispiel Ton oder Bilder – und bringt ihn so Schritt für Schritt näher an die Zielvorgabe heran.
Zusätzlich zu den Effekten wurde AudioGen auch zur Generierung von Sprache entwickelt, was laut Meta von manchen dazu missbraucht werden könnte, Stimmen zu fälschen. Trotz der Bedenken haben sie zumindest vorerst keine spezifischen Einschränkungen hinsichtlich der verschiedenen Verwendungsmöglichkeiten der AudioCraft-Anwendung festgelegt.
Das dritte Modell, EnCodec, ist eine Verbesserung gegenüber dem vorherigen Meta-Modell zur Erstellung von Musik mit weniger Artefakten. Meta behauptet, Audiosequenzen effizienter zu modellieren und unterschiedliche Informationsebenen zu erfassen, wenn Daten-Audiowellenformen zur Unterstützung trainiert werden. bei der Schaffung eines neuen Klangs.
Meta stellte sich AudioCraft als ein Werkzeug für Musiker und Schöpfer vor, mit dem sie neue Kompositionen erstellen können, ohne physisch Instrumente spielen zu müssen. Sie richteten sich auch an Entwickler mit einem begrenzteren Budget, die mit AudioCraft verschiedene Sounds für virtuelle Welten erstellen konnten, sowie an Instagram-/TikTok-Ersteller, um beispielsweise die am besten geeigneten Sounds für ihre Beiträge zu erstellen.
Zumindest vorerst erlaubt die Lizenz von AudioCraft keine kommerzielle Nutzung.
Wie installiere und teste ich das AudioCraft AI-Tool?
Der Code befindet sich auf Github und zur Installation müssen Sie weitere Ä Möglichkeiten. Sie können das Programm Pinokio (https://pinokio.computer) verwenden, das das AI-Musiktool mehr oder weniger automatisch für Sie installiert. Sie müssen das AudioGradio-Modul aus der Bibliothek auswählen, es installieren (dauert ein paar Minuten) und schließlich erhalten Sie eine lokale IP, mit der Sie AudioCraft testen können.
Andere Methoden erfordern vorinstallierte Python-, Pip-, Anacondo-, Minicondo- oder ähnliche Programme. Gute und leicht verständliche AnleitungÄ wurde vom Benutzer mberman84 auf GitHub (https://bit.ly/GHglasba) gepostet und gilt als Miniconda-Programm. Das Endergebnis ist das gleiche. Sie erhalten eine IP, die Sie in Ihren Browser eingeben und können mit dem Experimentieren beginnen.
