Dieses neue KI-Synchronisationstool kann Audio übersetzen und dabei die Stimme des Sprechers bewahren
Verabschieden Sie sich von unnatürlichen Synchronisationen mit diesem neuen Tool von ElevenLabs.
Wenn Sie jemals einen synchronisierten Film oder eine synchronisierte Sendung gesehen haben, wissen Sie, wie unnatürlich sich das anfühlt. Oftmals ändert sich die Stimme des Sprechers zwischen verschiedenen Charakteren nicht oder die Muster und Schwankungen sind völlig anders. Die neue KI-Funktion von ElevenLab soll dieses Problem beheben.
Am Dienstag stellte ElevenLabs AI Dubbing vor, eine neue Funktion, die gesprochene Inhalte in eine andere Sprache umwandeln kann und dabei die Stimme, Sprachmuster, Emotionen und Intonationen des ursprünglichen Sprechers beibehält.
Die AI-Dubbing-Funktion soll es Zuschauern auf der ganzen Welt ermöglichen, ihre Lieblingsinhalte in ihrer Muttersprache zu genießen, indem sie diese in nur wenigen Minuten konvertieren.
Die AI-Dubbing-Funktion kombiniert die mehrsprachige Sprachsynthese, das Klonen von Stimmen, Text und Audioverarbeitung von ElevenLab, um bei der Erstellung einer Übersetzung die Natur des Originalinhalts zu bewahren, so das Unternehmen.
In der Pressemitteilung teilte der CEO und Mitbegründer von ElevenLabs, Mati Staniszewski, seine negativen Erfahrungen mit dem Aufwachsen synchronisierter Inhalte und wie die neue Technologie eine Lösung sein könnte.
„Als wir in Polen aufgewachsen sind, haben wir englischsprachige Filme gesehen, die von einem einzigen Erzähler synchronisiert wurden. Das bedeutet, dass jeder Schauspieler die gleiche Stimme hat. Das verleiht dem Erlebnis so viel Magie“, sagte Staniszewski.
„Die Veröffentlichung von AI Dubbing ist unser bisher größter Schritt zur Beseitigung dieser sprachlichen Barrieren bei Inhalten. Es wird dem Publikum helfen, jeden gewünschten Inhalt zu genießen, unabhängig von der Sprache, die es spricht.“
Die AI-Dubbing-Funktion unterstützt über 20 Sprachen, die derzeit vom Eleven Multilingual v2-Modell unterstützt werden.
Die vollständige Liste umfasst Englisch, Japanisch, Chinesisch, Deutsch, Hindi, Französisch, Koreanisch, Portugiesisch, Italienisch, Spanisch, Indonesisch, Niederländisch, Türkisch, Philippinisch, Polnisch, Schwedisch, Bulgarisch, Rumänisch, Arabisch, Tschechisch, Griechisch, Finnisch, Kroatisch, Malaiisch, Slowakisch, Dänisch, Tamil und Ukrainisch.
AI Dubbing ist ab heute für alle Benutzer verfügbar und der Preis hängt davon ab, wie viele Charaktere synchronisiert werden sollen.