wlsdml1114 / ddsp-svc-kor

Real-time end-to-end singing voice conversion system based on DDSP (Differentiable Digital Signal Processing)

Hi there 👋

Now

• AI Researcher Sep. 2022 ~ present

Education

• M.S.E., School of Computer Science and Engineering, College of Information Technology, Soongsil University, Seoul, Korea, Mar. 2018 ~ Aug. 2019.
  • Machine Learning Lab
• B.S.E., School of Computer Science and Engineering, College of Information Technology, Soongsil University, Seoul, Korea, Mar. 2014 ~ Feb. 2018.

Others

• Military Service: Technical Research Personnel in KOAST (Korea Oceanic & Atmospheric System Technology), Aug. 2019. ~ Aug. 2022.
  • as AI researcher and ML engineer

Interest

• Metaverse
• Virtual Human, Virtual Idol
• VR, AR
• Computer Vision
• Animation

ddsp-svc-kor's Issues

이 친구 학습 도중에 끊어도 괜찮나요? 다른 방법이 있을까요?

사전학습모델을 사용하지 않고 학습시켜보고싶은데

사전학습모델을 사용하지 않고 학습시켜보고싶은데 checkpoint안에있는 0102_xiaoma_pe, 0109_hifigan_bigpopcs_hop128 폴더만 삭제하고 이전과 같이 학습시키면 될까요?

notebook.ipynb에 있는 파일 자르기가 뭘 하라는 건지 모르겠습니다.

"## 1.4 split\n",
"preprocess/norm에 있는 노말라이즈된 데이터들을 15초 길이로 잘라서 data/train/audio에 저장"

여기 이 부분 1.4단계에서 뭘 하라는건지 모르겠습니다ㅠㅠ 직접 파일을 잘라서 저 폴더에 저장하라는 뜻인가요..?

notebook.ipynb가 보이지 않습니다.

안녕하세요.
디스코드 링크를 타고 들어가도 방이 보이지 않아서 여기에 질문을 남깁니다.
거의 다 됐는데, 2. 데이터 준비 및 전처리, 학습 - 여기에서 왼쪽 파일 목록에서 notebook.ipynb 이라는 것이 보이지 않습니다.
아나콘다 프롬프트 열고 기본 상태에서도 해보고, ddsp 가상환경 만들어놓은 곳으로 지정해서도 해보고, 프로젝트 파일인 DDSP-SVC로 지정하고 해봐도 notebook.ipynb는 보이지 않네요.
감사합니다.

args 가 무엇인가요?

데이터 전처리는 마쳐서 쥬피터 노트북의 2 번을 진행하려고 하는데 이런 코드가 뜨네요 어떻게 해결해야 할까요?

C:\Anaconda3\envs\ddsp\lib\site-packages\tqdm\auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
from .autonotebook import tqdm as notebook_tqdm
2023-07-16 14:26:46 | INFO | fairseq.tasks.text_to_speech | Please install tensorboardX: pip install tensorboardX

NameError Traceback (most recent call last)
Cell In[1], line 6
3 from diffusion.vocoder import Vocoder
5 # get data
----> 6 sample_rate = args.data.sampling_rate
7 hop_size = args.data.block_size
9 # initialize f0 extractor

NameError: name 'args' is not defined

결과물 뽑기 질문드려요

아래 오류 나는 이유 찾았습니다. 새로 지정한 모델 패스에 config.yaml 파일도 옮겨주어야 하네요.

---

'model_path' : 'exp/combsub-test/model_best.pt', # 추론에 사용하고자 하는 모델, 바로위에서 학습한 모델을 가져오면댐
'input' : 'data/train/audio/video-0000.wav', # 추론하고자 하는 노래파일의 위치 - 님들이 바꿔야댐
'output' : 'output.wav', # 결과물 파일의 위치

결과물 뽑을 때 이렇게 3부분 바꿔야 되서 아래처럼 경로 바꾸고 각 경로로 폴더 만들고
그 폴더에 10만스텝에서 나온 model을 model_best.pt로 이름 바꿔서 넣었고,
input 경로인 cover 경로에도 제가 바꾸고 싶은 노래 하나 넣고 노래 이름을 test.wav 로 변경해서 넣었구요
아웃풋 경로도 아래처럼 설정하였는데

'model_path' : 'exp/combsubtest/model_best.pt', # 추론에 사용하고자 하는 모델, 바로위에서 학습한 모델을 가져오면댐
'input' : 'data/train/cover/test.wav', # 추론하고자 하는 노래파일의 위치 - 님들이 바꿔야댐
'output' : 'data/train/output/output.wav', # 결과물 파일의 위치

아래처럼 경로 인식을 못하는 에러가 나네요. 왜 그럴까요? ㅠㅠ 경로만 남기고 파일 이름을 삭제도 해보고여러가지 해봤는데 똑같네요
무엇이 문제일까요? 미리 감사드립니다.

FileNotFoundError Traceback (most recent call last)
Cell In[56], line 21
4 configures = {
5 'model_path' : 'exp/combsubtest/model_best.pt', # 추론에 사용하고자 하는 모델, 바로위에서 학습한 모델을 가져오면댐
6 'input' : 'data/train/cover/test.wav', # 추론하고자 하는 노래파일의 위치 - 님들이 바꿔야댐
(...)
17 'enhancer_adaptive_key' : '0'
18 }
19 cmd = SimpleNamespace(**configures)
---> 21 inference(cmd)

File ~\Downloads\DDSP-SVC-KOR-master\DDSP-SVC-KOR-master\main.py:163, in inference(cmd)
160 device = 'cuda' if torch.cuda.is_available() else 'cpu'
162 # load ddsp model
--> 163 model, args = load_model(cmd.model_path, device=device)
165 # load input
166 audio, sample_rate = librosa.load(cmd.input, sr=44100)

File ~\Downloads\DDSP-SVC-KOR-master\DDSP-SVC-KOR-master\ddsp\vocoder.py:434, in load_model(model_path, device)
430 def load_model(
431 model_path,
432 device='cpu'):
433 config_file = os.path.join(os.path.split(model_path)[0], 'config.yaml')
--> 434 with open(config_file, "r") as config:
435 args = yaml.safe_load(config)
436 args = DotDict(args)

FileNotFoundError: [Errno 2] No such file or directory: 'exp/combsubtest\config.yaml'
​

두명의 가수를 훈련시킬 때

1번 목소리를 훈련시키다가 다른 목소리도 훈련시켜보고싶어서 2번 모델을 만드려는데
어떻게 해야 이어져서 훈련되지않고 새로운 모델로 다시 훈련을 시작할수있나요>??

tqdm, args 의 nameError가 발생합니다.

설명이 잘 되있어서 해결했습니다. 감사합니다

project폴더를 자유롭게 이동해도 될까요?

따로 경로 설정한 ffmpeg폴더를 제외한 project폴더는 자유롭게 이동해도 괜찮을까요?

notebook.ipynb에서 코드가 실행되지 않는데 뭐가 문제인가요?

아래 코드까지 진행하면 mp4 폴더에 있는 파일이 wav 파일로 변경되어 original 폴더에 들어가야 할것 같은데 아무런 변화가 없네요. 뭐가 잘못된 것일까요? 고수님들 도와주세요.

학습을 중간에 끊으면 챕터4로 못 넘어가나요?

총합 25시간(추정) 학습을 진행한 것 같은데, 현재 269K steps인 상황입니다.
중간중간 몇 번 끊으면서 챕터4 결과물 뽑기로 넘어가려고 했으나 진행이 안 되어 학습이 전부 끝나야 되는 건가 싶어 다시 하기를 반복했는데, 챕터3 학습 과정에서 마무리 될 때까지 기다리는 것이 맞나요?

유튜브 댓글에서는 로스율이 수렴하면 중간에 끊어도 괜찮다는 말씀도 있으셨는데 실제로 끊으니까 챕터4에서 오류를 뱉어내어 진행이 안 되었습니다.(config.json이 없다는 오류)

디스코드 서버에 참여해 여쭤보려 했으나 접속이 안 된다고 나오네요ㅠㅠ...

1.2 무음제거 단계에서 오류 관련해서 에러 전문 남깁니다...!

---

OutOfMemoryError Traceback (most recent call last)
Cell In[9], line 3
1 from sep_wav import demucs
----> 3 demucs(ORIGINAL_PATH, DEMUCS_PATH)

File ~\Desktop\DDSP-SVC-KOR-master\DDSP-SVC-KOR-master\sep_wav.py:286, in demucs(input_path, output_path)
284 bundle = HDEMUCS_HIGH_MUSDB_PLUS
285 model = bundle.get_model()
--> 286 model.to(device)
287 sample_rate = bundle.sample_rate
288 print(f"Sample rate: {sample_rate}")

File ~\anaconda3\envs\ddsp\lib\site-packages\torch\nn\modules\module.py:1145, in Module.to(self, *args, **kwargs)
1141 return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None,
1142 non_blocking, memory_format=convert_to_format)
1143 return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking)
-> 1145 return self._apply(convert)

File ~\anaconda3\envs\ddsp\lib\site-packages\torch\nn\modules\module.py:797, in Module._apply(self, fn)
795 def _apply(self, fn):
796 for module in self.children():
--> 797 module._apply(fn)
799 def compute_should_use_set_data(tensor, tensor_applied):
800 if torch._has_compatible_shallow_copy_type(tensor, tensor_applied):
801 # If the new tensor has compatible tensor type as the existing tensor,
802 # the current behavior is to change the tensor in-place using .data =,
(...)
807 # global flag to let the user control whether they want the future
808 # behavior of overwriting the existing tensor or not.

File ~\anaconda3\envs\ddsp\lib\site-packages\torch\nn\modules\module.py:797, in Module._apply(self, fn)
795 def _apply(self, fn):
796 for module in self.children():
--> 797 module._apply(fn)
799 def compute_should_use_set_data(tensor, tensor_applied):
800 if torch._has_compatible_shallow_copy_type(tensor, tensor_applied):
801 # If the new tensor has compatible tensor type as the existing tensor,
802 # the current behavior is to change the tensor in-place using .data =,
(...)
807 # global flag to let the user control whether they want the future
808 # behavior of overwriting the existing tensor or not.

File ~\anaconda3\envs\ddsp\lib\site-packages\torch\nn\modules\module.py:797, in Module._apply(self, fn)
795 def _apply(self, fn):
796 for module in self.children():
--> 797 module._apply(fn)
799 def compute_should_use_set_data(tensor, tensor_applied):
800 if torch._has_compatible_shallow_copy_type(tensor, tensor_applied):
801 # If the new tensor has compatible tensor type as the existing tensor,
802 # the current behavior is to change the tensor in-place using .data =,
(...)
807 # global flag to let the user control whether they want the future
808 # behavior of overwriting the existing tensor or not.

File ~\anaconda3\envs\ddsp\lib\site-packages\torch\nn\modules\module.py:820, in Module._apply(self, fn)
816 # Tensors stored in modules are graph leaves, and we don't want to
817 # track autograd history of param_applied, so we have to use
818 # with torch.no_grad():
819 with torch.no_grad():
--> 820 param_applied = fn(param)
821 should_use_set_data = compute_should_use_set_data(param, param_applied)
822 if should_use_set_data:

File ~\anaconda3\envs\ddsp\lib\site-packages\torch\nn\modules\module.py:1143, in Module.to..convert(t)
1140 if convert_to_format is not None and t.dim() in (4, 5):
1141 return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None,
1142 non_blocking, memory_format=convert_to_format)
-> 1143 return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking)

OutOfMemoryError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 6.00 GiB total capacity; 5.29 GiB already allocated; 0 bytes free; 5.29 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

순서대로 했는데 ㅠ

순서대로 다 설치하고
첫명령어 conda create -n ddsp python=3.9 치면 왜 아래와 같이 나올까요?

Unable to create process using 'C:\Users\Family\anaconda3\python.exe "C:\Users\Family\anaconda3\Scripts\conda-script.py" create -n ddsp python=3.9'

이라고 나오는건 이미 전에 한적이 있어서 그런가요?

현재 repository 다운로드는 어디서 하나요

5번에 현재 repository를 zip으로 다운하라는데 어디서 하는지를 모르겠어요.

1.2 무음제거에서 CUDA out of memory

OutOfMemoryError: CUDA out of memory. Tried to allocate 9.45 GiB (GPU 0; 12.00 GiB total capacity; 2.68 GiB already allocated; 7.32 GiB free; 2.71 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
어떻게 해결하나요?