Авторы Cyberpunk 2077 применили нейросеть для синхронизации речи и анимации губ персонажей игры

[james_sun 12 401]

CD Projekt рассказала о том, что применила нейросеть для создания липсинка в русской версии Cyberpunk 2077.

---

CD Projekt рассказала о том, что применила нейросеть для создания липсинка в русской версии Cyberpunk 2077.

Впрочем, других языков это тоже касается. 

Ведущий технический директор персонажей проекта Матеуш Поплавский рассказал, что для этой цели разработчики выбрали нейрость Jali. Последняя анализирует сказанные слова, учитывая тон и любые другие мельчайшие подробности, и соответствующем образом подгоняет анимацию мимики и лица.

Сообщается, что в ролике-примере липсинк для всех языков был создан исключительно Jali.

Напомним, что Cyberpunk 2077 выходит 19 ноября.

[Celeir 2 360]

Ну вот и дошли технологии до уровня, когда я не могу отличить “ущербную старую анимацию” от “прогрессивной анимации от ИИ”

[OakSorcerer 74]

Так вроде у вальвов такое было с релиза сурса, для разных языков и без ИИ всяких. Кстати, отлично все работало, хз почему с них пример никто так и не взял. Много отличных локализаций пришлось пропустить из-за потраченного липсинка.

[Egor007 925]

@OakSorcererПросто технология анимации лиц работает на уровне движка, а source мало кто использует. Там используется автоматическая генерация анимаций речи персонажей на основе аудиофайлов.

[DexEx 467]

Где-то там тихо в углу плачет Андромеда..

[h1pp0 1 341]

@OakSorcerer нужно делать видео сравнение, в памяти у тебя все круто и красиво, а потом запускаешь и думаешь — да какого... все такое странное?!? =)

@DexEx  там использовались технологии которые опередили свое время… слишком =)

[DarkHunterRu 3 986]

Прикольно, такое внимание к мелочам брови, глаза и даже движение головы