Авторы Cyberpunk 2077 применили нейросеть для синхронизации речи и анимации губ персонажей игры

[james_sun 11 888]

CD Projekt рассказала о том, что применила нейросеть для создания липсинка в русской версии Cyberpunk 2077.

---

CD Projekt рассказала о том, что применила нейросеть для создания липсинка в русской версии Cyberpunk 2077.

Впрочем, других языков это тоже касается. 

Ведущий технический директор персонажей проекта Матеуш Поплавский рассказал, что для этой цели разработчики выбрали нейрость Jali. Последняя анализирует сказанные слова, учитывая тон и любые другие мельчайшие подробности, и соответствующем образом подгоняет анимацию мимики и лица.

Сообщается, что в ролике-примере липсинк для всех языков был создан исключительно Jali.

Напомним, что Cyberpunk 2077 выходит 19 ноября.

[Celeir 2 360]

Ну вот и дошли технологии до уровня, когда я не могу отличить “ущербную старую анимацию” от “прогрессивной анимации от ИИ”

[OakSorcerer 66]

Так вроде у вальвов такое было с релиза сурса, для разных языков и без ИИ всяких. Кстати, отлично все работало, хз почему с них пример никто так и не взял. Много отличных локализаций пришлось пропустить из-за потраченного липсинка.

[Egor007 906]

@OakSorcererПросто технология анимации лиц работает на уровне движка, а source мало кто использует. Там используется автоматическая генерация анимаций речи персонажей на основе аудиофайлов.

[DexEx 408]

Где-то там тихо в углу плачет Андромеда..

[h1pp0 1 233]

@OakSorcerer нужно делать видео сравнение, в памяти у тебя все круто и красиво, а потом запускаешь и думаешь — да какого... все такое странное?!? =)

@DexEx  там использовались технологии которые опередили свое время… слишком =)

[DarkHunterRu 3 319]

Прикольно, такое внимание к мелочам брови, глаза и даже движение головы