모나리자 립싱크 프로젝트

그대는 모나리자!

coss 앱개발 팀에서 야마다상이 만들라고 한 립싱크 프로젝트

!nvcc --version

from google.colab import drive
drive.mount('/content/gdrive')

!git clone https://github.com/Rudrabha/Wav2Lip.git

!ls /content/gdrive/MyDrive/Wav2Lip

!cp -ri "/content/gdrive/MyDrive/Wav2lip/wav2lip_gan.pth" /content/Wav2Lip/checkpoints/

!pip uninstall tensorflow tensorflow-gpu

!cd Wav2Lip && pip install -r requirements.txt

!wget "https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth" -O "Wav2Lip/face_detection/detection/sfd/s3fd.pth"

!cp "/content/gdrive/My Drive/Wav2Lip/mona.mp4" "/content/gdrive/My Drive/Wav2Lip/ai.wav" sample_data/
!ls sample_data/

!cd Wav2Lip && python inference.py --checkpoint_path checkpoints/wav2lip_gan.pth --face "../sample_data/mona.mp4" --audio "../sample_data/ai.wav"

코랩으로 실행하면 된다.

 

사용한 파일은 모나리자(mona.mp4)와 내가 위키피디아에서 긁어온 모나리자 설명 tts(ai.wav) 이다.

 

프로젝트 출처

https://www.youtube.com/watch?v=Ic0TBhfuOrA&t=148s