Googles neues KI-Tool kann Text in Musik verwandeln

Google hat kürzlich bekannt gegeben, dass es einen neuen Musikgenerator mit künstlicher Intelligenz (KI) entwickelt hat, der Musik in jedem Genre mit einer Textbeschreibung erstellen kann.

In einer am Donnerstag veröffentlichten Forschungsarbeit stellten Google-Forscher das KI-Tool zum Musikmachen mit dem Namen "MusicLM" als Modell vor, das High-Fidelity-Musik aus Textbeschreibungen wie "einer beruhigenden Geigenmelodie, die von einem verzerrten Gitarrenriff unterstützt wird" generiert.

MusicLM formuliert den Prozess der bedingten Musikerzeugung als hierarchische Sequenz-zu-Sequenz-Modellierungsaufgabe und "erzeugt Musik mit 24 kHz, die über mehrere Minuten konsistent bleibt. ”

Darüber hinaus kann das KI-Tool aus Text- und Tonansagen bis zu 5 Minuten lang "Original"-Musik aus Text- und Hörhinweisen erzeugen. MusicLM wurde mit einer Datenbank trainiert, die aus über 2.80.000 Stunden Musik besteht, um zu lernen, wie man kohärente Songs für Beschreibungen in jedem gewünschten Genre generiert.

"Unsere Experimente zeigen, dass MusicLM frühere Systeme sowohl in Bezug auf die Audioqualität als auch auf die Einhaltung der Textbeschreibung übertrifft. Darüber hinaus zeigen wir, dass MusicLM sowohl auf Text als auch auf eine Melodie konditioniert werden kann, indem es gepfiffene und gesummte Melodien entsprechend dem in einer Textunterschrift beschriebenen Stil umwandeln kann", heißt es in dem Papier.

Laut der Forschungsarbeit könnte MusicLM Songs aus reich geschriebenen Untertiteln erstellen, wie zum Beispiel:

Der Hauptsoundtrack eines Arcade-Spiels. Es ist rasant und optimistisch, mit einem eingängigen E-Gitarren-Riff. Die Musik ist repetitiv und leicht zu merken, aber mit unerwarteten Klängen, wie Beckenschlägen oder Trommelwirbeln.

ODER

Über den "Story-Modus", in dem das Audio durch Bereitstellen einer Sequenz kürzerer Textansagen generiert wurde, darunter:

• Zeit zum Meditieren (0:00-0:15), Zeit zum Aufwachen (0:15-0:30), Zeit zum Laufen (0:30-0:45), Zeit, um 100% zu geben (0:45-0:60)
• Elektronisches Lied, das in einem Videospiel gespielt wird (0:00-0:15), Meditationslied, das neben einem Fluss gespielt wird (0:15-0:30), Feuer (0:30-0:45), Feuerwerk (0:45-0:60)

Googles MusicLM kann auch Musikclips generieren, die die Stimmung und Atmosphäre von Gemälden einfangen - insbesondere aus Beschreibungen einiger der bekanntesten Kunstwerke der Kunstwelt - darunter Edvard Munchs "Der Schrei" und Salvador Dalís berühmtes "Die Persistenz der Erinnerung".

Sie können auf die GitHub-Seite von Google gehen, um sich einige der von MusicLM generierten Musiktitel anzuhören.

Um zukünftige Forschungen zu unterstützen, hat Google bereits MusicCaps veröffentlicht, einen Datensatz, der aus 5,5k Musik-Text-Paaren besteht, mit Rich-Text-Beschreibungen, die von menschlichen Experten bereitgestellt werden.

Erwarten Sie jedoch nicht, dass MusicLM in absehbarer Zeit der Öffentlichkeit zur Verfügung stehen wird, da es viele Bedenken gibt, die ausgeräumt werden müssen, bevor es veröffentlicht wird.

Laut den Forschern von Google weist das KI-Tool bestehende Einschränkungen auf, darunter Programmierverzerrungen, die zu mangelnder Repräsentation und kultureller Aneignung, Sprachqualität und technologischen Störungen führen können, sowie die Verwendung von Negationen und zeitlicher Reihenfolge, die in Textaufforderungen verwendet werden.

Tatsächlich fanden die Forscher von Google während eines Experiments heraus, dass etwa ein Prozent der von MusicLM erstellten Musikbeispiele direkt von den Songs kopiert wurden, auf die es trainiert wurde, was zu Urheberrechtsbedenken führte.

"Wir sind uns des Risikos einer möglichen Veruntreuung kreativer Inhalte im Zusammenhang mit dem Anwendungsfall bewusst. Wir betonen nachdrücklich die Notwendigkeit weiterer zukünftiger Arbeit, um diese mit der Musikproduktion verbundenen Risiken anzugehen - wir haben derzeit keine Pläne, Modelle zu veröffentlichen", heißt es in der Studie.