- Lolzteam
- Автор темы
- Команда форума
- 1326
Синхронизируем движение губ на дипфейк видео с помощью Easy-Wav2Lip
Нихао, скаммерсанты! Перед вами годный мануал, который позволит синхронизировать движение губ на видео с измененным звуком одним из самых простых способов.
1. Переходим по ссылке (https://colab.research.google.com/github/anothermartz/Easy-Wav2Lip/blob/v8.1/Easy_Wav2Lip_v8.1.ipynb) и нажимаем в правом верхнем углу кнопку «Подключиться» (скриншот 1 ( 2. Как только нам выделят видеокарту, приступаем к первой ячейке кода. Далее нажимаем кнопку запуска (скриншот 2 ( )) —> «Выполнить» (скриншот 3 ( )) —> «Подключится к Google диску» (скриншот 4 ( )) —> Авторизуемся в «Google»-аккаунт (скриншот 5 ( )) и даем все необходимые разрешения (скриншот 6 (https://i.imgur.com/rtsKosl.jpg));
3. Приступаем к добавлению исходников (в моем случае это будет ведущий «FoxNews») — видео должно быть в формате .mp4, а аудио в .wav (ранее мы уже публиковали (https://t.me/Sklad_Shemok/2508) гайд, как сгенерировать text-to-speech нужным нам голосом). Загружаем свои исходники на «Google Disk», который мы подключили ранее (скриншот 7 (https://i.imgur.com/yxTAsmy.jpg));
4. Теперь нам необходимо указать путь к файлам в ячейках. Для этого нажимаем на иконку с папкой (скриншот 8 (https://i.imgur.com/h9aAGB5.jpg)) и проходим путь до вкладки «MyDrive» (скриншот 9 (https://i.imgur.com/Bh5q0bd.jpg)), после чего нажимаем «Скопировать путь» (скриншот 10 (https://i.imgur.com/7kAF8oh.jpg)) и указываем его в меню «Step2: Select Inputs» (скриншот 11 (https://i.imgur.com/qcc7fiW.jpg));
5. Выбираем качество (скриншот 12 (https://i.imgur.com/ELILln1.jpg), советую выбирать «Enhanced»). Выбираем версию нейронки (скриншот 13 (https://i.imgur.com/KD7fS3p.jpg), тут уже индивидуально, рекомендую пробовать для каждого дипа 2 версии сразу);
6. Запускаем генерацию дипфейка (скриншот 14 (https://i.imgur.com/w8XixGv.jpg)) После получения результата смотрим, есть ли какие-нибудь артефакты. Если все нравится, то скачиваем полученный результат (скриншот 15 (https://t.me/mems_skam)). Если нет, то переходим в раздел «Padding» и играемся с настройками (скриншот 16 (https://i.imgur.com/sU1wBun.jpg));
7. Поздравляю, вы великолепны!
Качество дипфейка зависит только от того, какое исходное видео мы выбрали. Крайне желательно использовать исходники, где человек смотрит прямо в камеру и не дергается.
Нихао, скаммерсанты! Перед вами годный мануал, который позволит синхронизировать движение губ на видео с измененным звуком одним из самых простых способов.
1. Переходим по ссылке (https://colab.research.google.com/github/anothermartz/Easy-Wav2Lip/blob/v8.1/Easy_Wav2Lip_v8.1.ipynb) и нажимаем в правом верхнем углу кнопку «Подключиться» (скриншот 1 ( 2. Как только нам выделят видеокарту, приступаем к первой ячейке кода. Далее нажимаем кнопку запуска (скриншот 2 ( )) —> «Выполнить» (скриншот 3 ( )) —> «Подключится к Google диску» (скриншот 4 ( )) —> Авторизуемся в «Google»-аккаунт (скриншот 5 ( )) и даем все необходимые разрешения (скриншот 6 (https://i.imgur.com/rtsKosl.jpg));
3. Приступаем к добавлению исходников (в моем случае это будет ведущий «FoxNews») — видео должно быть в формате .mp4, а аудио в .wav (ранее мы уже публиковали (https://t.me/Sklad_Shemok/2508) гайд, как сгенерировать text-to-speech нужным нам голосом). Загружаем свои исходники на «Google Disk», который мы подключили ранее (скриншот 7 (https://i.imgur.com/yxTAsmy.jpg));
4. Теперь нам необходимо указать путь к файлам в ячейках. Для этого нажимаем на иконку с папкой (скриншот 8 (https://i.imgur.com/h9aAGB5.jpg)) и проходим путь до вкладки «MyDrive» (скриншот 9 (https://i.imgur.com/Bh5q0bd.jpg)), после чего нажимаем «Скопировать путь» (скриншот 10 (https://i.imgur.com/7kAF8oh.jpg)) и указываем его в меню «Step2: Select Inputs» (скриншот 11 (https://i.imgur.com/qcc7fiW.jpg));
5. Выбираем качество (скриншот 12 (https://i.imgur.com/ELILln1.jpg), советую выбирать «Enhanced»). Выбираем версию нейронки (скриншот 13 (https://i.imgur.com/KD7fS3p.jpg), тут уже индивидуально, рекомендую пробовать для каждого дипа 2 версии сразу);
6. Запускаем генерацию дипфейка (скриншот 14 (https://i.imgur.com/w8XixGv.jpg)) После получения результата смотрим, есть ли какие-нибудь артефакты. Если все нравится, то скачиваем полученный результат (скриншот 15 (https://t.me/mems_skam)). Если нет, то переходим в раздел «Padding» и играемся с настройками (скриншот 16 (https://i.imgur.com/sU1wBun.jpg));
7. Поздравляю, вы великолепны!
Качество дипфейка зависит только от того, какое исходное видео мы выбрали. Крайне желательно использовать исходники, где человек смотрит прямо в камеру и не дергается.