Voice cloning - unexpected results about bark-with-voice-clone

[dagshub]

Join the discussion on DagsHub!

[sergeykorablin]

Почитал тикеты в основном проекте, там тоже люди жалуются на французский и другие языки и тоже тишина в ответ)
Похоже модель обучалась в основном на англ и на других языках недообучена, отсюда и результат такой.

[16bc]

Bark тут ни при чём.
Проблема ещё до него, в неправильном получаемом .npz файле, а точнее в модели хуберта и токенизатора, которые языкозависимые. Suno-ai выложили npz, но нам неизвестно с помощью каких моделей их получили.
Здесь в hubert_manager фигурирует два пути:

https://dl.fbaipublicfiles.com/hubert/hubert_base_ls960.pt
GitMylo/bark-voice-cloning/quantifier_hubert_base_ls960_14.pth

Которые, судя по документации (https://github.com/gitmylo/bark-voice-cloning-HuBERT-quantizer), обучены на английском языке.

[BrasD99]

Same result for a small wav file (less than 13 seconds)

[sergeykorablin]

Тебе удалось решить проблему?
У меня тоже модель игнорирует русский текст и говорит ерунду на английском. Временами и английский тект игнорирует и выдаает что-то рандомное.

[BrasD99]

Тебе удалось решить проблему?

У меня тоже модель игнорирует русский текст и говорит ерунду на английском. Временами и английский тект игнорирует и выдаает что-то рандомное.

Нет, не получилось. Постоянно что-то говорит на английском, причем это никак не связано ни с заданным мной текстом, ни с голосом. И никто ничего не отвечает мне(

[sergeykorablin]

Нет, не получилось. Постоянно что-то говорит на английском, причем это никак не связано ни с заданным мной текстом, ни с голосом. И никто ничего не отвечает мне(

Наверное надо в основном проекте тикет заводить https://github.com/suno-ai/bark , этот производный

[BrasD99]

Наверное надо в основном проекте тикет заводить https://github.com/suno-ai/bark , этот производный

Не думаю, что в основном надо, потому что не работает процесс клонирования голоса, который реализован здесь. Но попробовать, конечно, можно, раз уж тут тишина)