Спецэффекты в кино добавляют зрелищности и в целом творят чудеса. Благодаря технологии дипфейк создатели «Форсажа» «воскресили» Пола Уокера. Клип на трек «See You Again» со сценой прощания пересмотрели более 5,5 миллиардов раз. А в октябре 2022 состоялась премьера первого российского дипфейк-сериала «ПМЖейсон». В нем Джейсон Стэтэм переезжает в русскую деревню на улицу Неудержимых перевозчиков, влюбляется в повариху и пробует оливье.
В статье рассмотрим технологию создания дипфейков и еще 3 визуальных эффекта, которые заставляют нас говорить «вау».
Технология Face swap, или нашумевший дипфейк
При помощи технологии дипфейк можно заменить лицо человека на другое. Это результат соревнования двух нейросетей. Генератор стремится создать максимально реалистичное изображение, а дискриминатор — отличить подделку. Если обман не удался, видео возвращается на доработку. На правдоподобность результата влияют размер и форма лица, пол и возраст, расположение глаз и бровей. Нейросеть оставляет человеку родной лоб, уши и волосы.
В кино дипфейк впервые использовал Джеймс Кэмерон. На фото со съемок «Аватара» мы видим на лице актеров зеленые точки. Они помогали генератору распознать мимику и воссоздать ее на цифровой модели.
Сейчас рисовать точки не требуется, и сама технология стала доступнее. В ролике Сбера Жорж Милославский играет в баскетбол и танцует в клубе, а в рекламе Мегафона Брюс Уиллис поет песню Юрия Антонова.
Алгоритмов множество, ИИ постоянно развивается. Пример «нестандартного» дипфейка — видео для организации Malaria Must Die. В нем Дэвид Бэкхем рассказывает об опасности малярии на 9 языках. Его озвучивали люди, победившие болезнь. Их отсняли, обработали видео отдельно. Затем нейросеть изучила мимику Дэвида, сделала цифровой слепок лица и синхронизировала движения губ.
Том Холланд и Роберт Дауни-младший попали во вселенную фильма «Назад в будущее» с помощью бесплатной программы DeepFaceLab. Что любопытно, ее написал российский разработчик iperov. Цветокоррекция и мимика на уровне. Ошибки заметны, если внимательно присмотреться: на 31 секунде док Браун появляется в кадре, и это все еще Кристофер Ллойд, он становится Дауни-младшим, когда проходит мимо Тома Холланда. Но сравнивать команду профессионалов с огромными бюджетами и обычных пользователей несправедливо.
Теоретически дипфейк подходит для создания игр. BabyZone опубликовал на YouTube кат-сцены из «Spider-Man», где вместо лица каноничного Питера Паркера подставил Тоби Магуайера, Эндрю Гарфилда и Тома Холланда. Он также пользовался DeepFaceLab. Если изучить подобные ролики, то в описании часто упоминается именно эта программа. Она предоставляет полный контроль над процессом.
Насколько реально сделать дипфейк монтажеру-новичку? Автор статьи «DeepFake своими руками» описал свой опыт работы в DeepFaceLab. Он отметил, что параметры моделей нужно подбирать методом проб и ошибок. На трехминутный ролик у него ушло 16 часов.
Есть вариант попроще — воспользоваться Deepfakes Web - нейросеть автоматически генерирует результат. Отличный вариант, если хотите оригинально поздравить родных или друзей. Качество и стоимость конечного ролика зависит от разрешения и длительности материалов. Чтобы не переплачивать, советуем вырезать лишние сцены заранее. Подойдет любой редактор, например ВидеоШОУ. Тут можно заменить фон, добавить текст, визуальные эффекты и переходы, наложить музыку.
Deepfakes Web попросит подтвердить, что вы не нарушаете закон. В России автора дипфейка могут привлечь к ответственности в 4 случаях.
- Материалы использовались без разрешения. За это грозит штраф до 200 тысяч рублей или лишение свободы на срок до двух лет. Сначала необходимо получить согласие на съемку.
- Вымогательство. Статья 163 УК РФ предусматривает до 15 лет лишения свободы.
- Клевета. Нельзя распространять дипфейк, утверждая, что это правда. Тогда автору грозит 150 часов обязательных работ либо штраф в размере 500 тысяч (или в размере дохода за 6 месяцев). За отказ от удаления наказание строже — штраф 50 тысяч или лишение свободы на год.
- Распространение порнографических материалов. Штраф от 100 до 300 тысяч или лишение свободы на срок от 2 до 6 лет.
Делаем вывод: в рамках закона дипфейк — классная штука. С его помощью можно создать собственный шедевр вроде «Ангелов Чарли» с Михаилом Ефремовым в главной роли.
Virtual production и Unreal Engine 5 в кино
Технология Virtual production перемещает человека в другой мир в реальном времени. Это удобнее, чем хромакей. На площадке устанавливают LED-дисплеи, на них отображается задний план в 3D.
Virtual production использовали при производстве фильмов «Свободное падение» и «Сахаров: две жизни». Команда «Мандалорца» построила стену из LED диаметром 23 метра и высотой 6 метров. Чтобы актеры и сцена реалистично смотрелись в кадре, площадку оборудовали прожекторами и тщательно следили за их направлением. Важно, чтобы положение света и тени от актеров соответствовало тому, что происходит на экране.
Декорации рисуют с помощью игрового движка Unreal Engine. Он позволяет создавать впечатляющую 3D-графику. Вспомните Винтерфелл, Красную Крепость и Черный Замок из «Игры престолов» — их нарисовали художники из The Third Floor.
Unreal Engine экономит время и силы на постпродакшн. Режиссер видит, как выглядит сцена и может внести правки в сценарий. При комбинированной съемке актерам проще ориентироваться, они допускают меньше ошибок.
Создание сцены с помощью LED проходит в 5 этапов:
1.Разработка идеи. Специалисты изучают сценарий и раскадровку и прикидывают, где поставить панели. Учитывается ракурс съемки и технические ограничения. Нужно определить, какие элементы будут реальны, а какие должны располагаться на фоне.
2.Драфт (создание локации). Монтажер создает формы и детали, выставляет освещение, добавляет текстуры и делает цветокоррекцию. Параллельно идут тестовые съемки, поправить проблемные места быстрее на ранних этапах.
3.Полишнг или финальная обработка. Монтажер проводит сведение по цвету и композиции фона и реальных декораций.
4.Еще один тест. Проверяется вся техника, работа режиссерской и операторской групп. Последние правки фона.
5.Непосредственно съемки. Вуаля, сцена готова.
При необходимости декорации можно корректировать на месте. Например, изменить цветокор или время суток. Нарисовать целый лес быстро не получится. Придется переносить съемочный день, а это крупные убытки.
В кино Virtual production применяют недавно, и картинка не всегда смотрится реалистично. Зрители «Мандалорца» отметили, что задний фон выглядит плоским. Нужно сделать скидку на молодой возраст технологии и ждать новых работ.
CGI-графика
CGI — изображение, которые сгенерировали с помощью компьютерной графики. Впервые ее использовали в фильме «Мир Дикого Запада». Помните низкополигональный вид из глаз Стрелка? Чтобы добиться пикселизации, видео разбили на блоки и перевели на на 70-мм пленку. Это заняло 4 месяца и стоило $20 тысяч.
CGI в наши дни находится на другом уровне. Взгляните на ролик от Marvel — города, пришельцы и костюмы героев сделаны на компьютере. Бой Железного человека и Человека-паука против Калла Обсидиана полностью состоит из CGI. Классная графика, талантливый каст и мощный саундтрек вызывают мурашки.
Помимо супергеройских фильмов CGI применяют при создании боевиков, комедий, ужасов, романтических историй, драмы. В «Выжившем» Леонардо ДиКаприо дрался с компьютерной моделью медведя.
Эффекты для фильма «Бегущий по лезвию 2049» разрабатывали аж 8 студий. За сцену у бара Биби отвечали специалисты из американской компании Atomic Fiction, а улицы Лас-Вегаса рисовали британцы из Framestore. Режиссер Дени Вильнев и оператор Роджер Дикинс хотели, чтобы кадры выглядели реалистично и соответствовали настроению картины.
Отдельно стоит упомянуть воскрешение Рэйчел. Вильнев задумал вернуть героиню на экран 35 лет спустя. Ее играла актриса Шон Янг, за 35 лет она сильно изменилась. Тогда режиссер поручил Джону Нельсону сделать цифровую копию Рэйчел. Специалист по спецэффектам рассказал, что это была самая трудная задача в его карьере.
Дублером Рэйчел стала актриса Лорен Пита. На нее надели оригинальное платье и нарисовали на лице точки. При обработке модели Нельсон учитывал мельчайшие детали. Он оставил несколько волосинок торчать, чтобы прическа не выглядела идеально.
Может ли CGI полностью заменить актеров? Создание цифровых людей — трудоемкий процесс. Над Рэйчел работали год, а в кадре она появилась на 2 минуты. Если думали идти в театральный — смело поступайте.
Дизайнеры могут пройти обучение по CGI и делать рекламную графику. Сочные эффекты привлекают внимание к продукту, конверсия повышается. Удачный пример — реклама Сбера с Чебурашкой и крокодилом Геной.
Существуютонлайн-курсы по VFX. Вам расскажут, что такое VFX-эффекты, научат работать с композицией и текстурами, поведают о динамике твердых и мягких тел, газов и жидкостей.
Небольшой спойлер. Графику создают в 5 этапов:
1. Моделирование. На полигонной сетке выстраиваем форму объекта.
2. Текстурирование. Добавляем шерсть, волосы, кожа и т.д.
3. Свет. Прорабатываем светотеневой рисунок.
4. Риггинг. Создаем скелет, чтобы управлять анимацией.
5. Композитинг. Объединяет слои и любуемся результатом.
Дроны в кино
Дроны применяются при съемке сцен в движении и с необычных ракурсов. Оператору не нужно лезть на крышу небоскреба или заказывать вертолет, чтобы запечатлеть город сверху. Если в кадре взрывается пиротехника, то находиться рядом небезопасно. В производстве боевика или супергеройского фильма беспилотники — незаменимая вещь. Их использовали при создании «Неудержимых», «Дэдпула», «Безумного Макса» с Томом Харди и много где еще.
Какие приемы можно встретить в кино:
- Следящая съемка. Эффектно смотрится в гонках и сценах побега. Дрон движется параллельно машине или герою либо следует по пятам. Этот прием можно встретить в «Сиянии» Стэнли Кубрика.
- Раскрытие перспективы. Дрон пролетает над горой, и зрителю открывается восхитительный вид на долину либо медленно приближается к движущемуся объекту.
- Эффект Хичкока. Фон движется вперед, камера отъезжает назад либо наоборот. В первом случае пространство расширяется, во втором — сужается. Если хотите добиться эффекта головокружения, нужно изменить наклон камеры.
Профессиональные квадрокоптеры отличаются от любительских длительностью работы, габаритами и стоимостью. «Мстителей» снимали с помощью Aerigon MK II. Полный комплект стоит более 3 млн рублей. Эта махина оснащена 6 рамами, с батареями весит 11 кг и может поднять до 13 кг. На дроне закрепили камеру RED Dragon и отправили его «гулять» по улицам Великобритании. За управление отвечали 3 человека.
Команда Netflix при съемках «Красного уведомления» пользовалась гоночным беспилотником. Они быстрее и легко маневрируют в воздухе, но могут поднимать только компактные камеры вроде RED Komodo. Гоночный дрон также помог Майклу Бэю отснять «Скорую помощь».
Первая сцена выглядит потрясающе: квадрокоптер пролетает над мостом, затем мы переключается на ракурс с обычной камеры. Она расположена на уровне глаз Дуэйна Джонсона.
Резюме
- Технологии развиваются. Режиссерам приходится креативить, чтобы удивить зрителя.
- Технологии становятся доступнее. Это плюс для тех, кто хочет снять собственный фильм со спецэффектами и покорить мир кинематографа. Если есть необычная идея для дипфейк-короткометражки, можете ее бесплатно реализовать.
- Технологии пока не могут заменить человека. Режиссеры, операторы, монтажеры, актеры и остальные члены съемочной команды по-прежнему нужны.
Спецэффекты в кино добавляют зрелищности и в целом творят чудеса. Благодаря технологии дипфейк создатели «Форсажа» «воскресили» Пола Уокера. Клип на трек «See You Again» со сценой прощания пересмотрели более 5,5 миллиардов раз. А в октябре 2022 состоялась премьера первого российского дипфейк-сериала «ПМЖейсон». В нем Джейсон Стэтэм переезжает в русскую деревню на улицу Неудержимых перевозчиков, влюбляется в повариху и пробует оливье. В статье рассмотрим технологию создания дипфейков и еще 3 визуальных эффекта, которые заставляют нас говорить «вау». Технология Face swap , или нашумевший дипфейк При помощи технологии дипфейк можно заменить лицо человека на другое. Это результат соревнования двух нейросетей. Генератор стремится создать максимально реалистичное изображение, а дискриминатор — отличить подделку. Если обман не удался, видео возвращается на доработку. На правдоподобность результата влияют размер и форма лица, пол и возраст, расположение глаз и бровей. Нейросеть оставляет человеку родной лоб, уши и волосы. В кино дипфейк впервые использовал Джеймс Кэмерон. На фото со съемок «Аватара» мы видим на лице актеров зеленые точки. Они помогали генератору распознать мимику и воссоздать ее на цифровой модели. Сейчас рисовать точки не требуется, и сама технология стала доступнее. В ролике Сбера Жорж Милославский играет в баскетбол и танцует в клубе, а в рекламе Мегафона Брюс Уиллис поет песню Юрия Антонова. Алгоритмов множество, ИИ постоянно развивается. Пример «нестандартного» дипфейка — видео для организации Malaria Must Die. В нем Дэвид Бэкхем рассказывает об опасности малярии на 9 языках. Его озвучивали люди, победившие болезнь. Их отсняли, обработали видео отдельно. Затем нейросеть изучила мимику Дэвида, сделала цифровой слепок лица и синхронизировала движения губ. Том Холланд и Роберт Дауни-младший попали во вселенную фильма «Назад в будущее» с помощью бесплатной программы DeepFaceLab. Что любопытно, ее написал российский разработчик iperov. Цветокоррекция и мимика на уровне. Ошибки заметны, если внимательно присмотреться: на 31 секунде док Браун появляется в кадре, и это все еще Кристофер Ллойд, он становится Дауни-младшим, когда проходит мимо Тома Холланда. Но сравнивать команду профессионалов с огромными бюджетами и обычных пользователей несправедливо. Теоретически дипфейк подходит для создания игр. BabyZone опубликовал на YouTube кат-сцены из «Spider-Man», где вместо лица каноничного Питера Паркера подставил Тоби Магуайера, Эндрю Гарфилда и Тома Холланда. Он также пользовался DeepFaceLab. Если изучить подобные ролики, то в описании часто упоминается именно эта программа. Она предоставляет полный контроль над процессом. Насколько реально сделать дипфейк монтажеру-новичку? Автор статьи «DeepFake своими руками» описал свой опыт работы в DeepFaceLab. Он отметил, что параметры моделей нужно подбирать методом проб и ошибок. На трехминутный ролик у него ушло 16 часов. Есть вариант попроще — воспользоваться Deepfakes Web - нейросеть автоматически генерирует результат. Отличный вариант, если хотите оригинально поздравить родных или друзей. Качество и стоимость конечного ролика зависит от разрешения и длительности материалов. Чтобы не переплачивать, советуем вырезать лишние сцены заранее. Подойдет любой редактор, например ВидеоШОУ . Тут можно заменить фон, добавить текст, визуальные эффекты и переходы, наложить музыку. Deepfakes Web попросит подтвердить, что вы не нарушаете закон. В России автора дипфейка могут привлечь к ответственности в 4 случаях. Материалы использовались без разрешения. За это грозит штраф до 200 тысяч рублей или лишение свободы на срок до двух лет. Сначала необходимо получить согласие на съемку. Вымогательство. Статья 163 УК РФ предусматривает до 15 лет лишения свободы. Клевета. Нельзя распространять дипфейк, утверждая, что это правда. Тогда автору грозит 150 часов обязательных работ либо штраф в размере 500 тысяч (или в размере дохода за 6 месяцев). За отказ от удаления наказание строже — штраф 50 тысяч или лишение свободы на год. Распространение порнографических материалов. Штраф от 100 до 300 тысяч или лишение свободы на срок от 2 до 6 лет. Делаем вывод: в рамках закона дипфейк — классная штука. С его помощью можно создать собственный шедевр вроде «Ангелов Чарли» с Михаилом Ефремовым в главной роли. Virtual production и Unreal Engine 5 в кино Технология Virtual production перемещает человека в другой мир в реальном времени. Это удобнее, чем хромакей. На площадке устанавливают LED-дисплеи, на них отображается задний план в 3D. Virtual production использовали при производстве фильмов «Свободное падение» и «Сахаров: две жизни». Команда «Мандалорца» построила стену из LED диаметром 23 метра и высотой 6 метров. Чтобы актеры и сцена реалистично смотрелись в кадре, площадку оборудовали прожекторами и тщательно следили за их направлением. Важно, чтобы положение света и тени от актеров соответствовало тому, что происходит на экране. Декорации рисуют с помощью игрового движка Unreal Engine. Он позволяет создавать впечатляющую 3D-графику. Вспомните Винтерфелл, Красную Крепость и Черный Замок из «Игры престолов» — их нарисовали художники из The Third Floor. Unreal Engine экономит время и силы на постпродакшн. Режиссер видит, как выглядит сцена и может внести правки в сценарий. При комбинированной съемке актерам проще ориентироваться, они допускают меньше ошибок. Создание сцены с помощью LED проходит в 5 этапов: 1.Разработка идеи. Специалисты изучают сценарий и раскадровку и прикидывают, где поставить панели. Учитывается ракурс съемки и технические ограничения. Нужно определить, какие элементы будут реальны, а какие должны располагаться на фоне. 2.Драфт (создание локации). Монтажер создает формы и детали, выставляет освещение, добавляет текстуры и делает цветокоррекцию. Параллельно идут тестовые съемки, поправить проблемные места быстрее на ранних этапах. 3.Полишнг или финальная обработка. Монтажер проводит сведение по цвету и композиции фона и реальных декораций. 4.Еще один тест. Проверяется вся техника, работа режиссерской и операторской групп. Последние правки фона. 5.Непосредственно съемки. Вуаля, сцена готова. При необходимости декорации можно корректировать на месте. Например, изменить цветокор или время суток. Нарисовать целый лес быстро не получится. Придется переносить съемочный день, а это крупные убытки. В кино Virtual production применяют недавно, и картинка не всегда смотрится реалистично. Зрители «Мандалорца» отметили, что задний фон выглядит плоским. Нужно сделать скидку на молодой возраст технологии и ждать новых работ. CGI-графика CGI — изображение, которые сгенерировали с помощью компьютерной графики. Впервые ее использовали в фильме «Мир Дикого Запада». Помните низкополигональный вид из глаз Стрелка? Чтобы добиться пикселизации, видео разбили на блоки и перевели на на 70-мм пленку. Это заняло 4 месяца и стоило $20 тысяч. CGI в наши дни находится на другом уровне. Взгляните на ролик от Marvel — города, пришельцы и костюмы героев сделаны на компьютере. Бой Железного человека и Человека-паука против Калла Обсидиана полностью состоит из CGI. Классная графика, талантливый каст и мощный саундтрек вызывают мурашки. Помимо супергеройских фильмов CGI применяют при создании боевиков, комедий, ужасов, романтических историй, драмы. В «Выжившем» Леонардо ДиКаприо дрался с компьютерной моделью медведя. Эффекты для фильма «Бегущий по лезвию 2049» разрабатывали аж 8 студий. За сцену у бара Биби отвечали специалисты из американской компании Atomic Fiction, а улицы Лас-Вегаса рисовали британцы из Framestore. Режиссер Дени Вильнев и оператор Роджер Дикинс хотели, чтобы кадры выглядели реалистично и соответствовали настроению картины. Отдельно стоит упомянуть воскрешение Рэйчел. Вильнев задумал вернуть героиню на экран 35 лет спустя. Ее играла актриса Шон Янг, за 35 лет она сильно изменилась. Тогда режиссер поручил Джону Нельсону сделать цифровую копию Рэйчел. Специалист по спецэффектам рассказал, что это была самая трудная задача в его карьере. Дублером Рэйчел стала актриса Лорен Пита. На нее надели оригинальное платье и нарисовали на лице точки. При обработке модели Нельсон учитывал мельчайшие детали. Он оставил несколько волосинок торчать, чтобы прическа не выглядела идеально. Может ли CGI полностью заменить актеров? Создание цифровых людей — трудоемкий процесс. Над Рэйчел работали год, а в кадре она появилась на 2 минуты. Если думали идти в театральный — смело поступайте. Дизайнеры могут пройти обучение по CGI и делать рекламную графику. Сочные эффекты привлекают внимание к продукту, конверсия повышается. Удачный пример — реклама Сбера с Чебурашкой и крокодилом Геной. Существуютонлайн-курсы по VFX. Вам расскажут, что такое VFX-эффекты, научат работать с композицией и текстурами, поведают о динамике твердых и мягких тел, газов и жидкостей. Небольшой спойлер. Графику создают в 5 этапов: 1. Моделирование. На полигонной сетке выстраиваем форму объекта. 2. Текстурирование. Добавляем шерсть, волосы, кожа и т.д. 3. Свет. Прорабатываем светотеневой рисунок. 4. Риггинг. Создаем скелет, чтобы управлять анимацией. 5. Композитинг. Объединяет слои и любуемся результатом. Дроны в кино Дроны применяются при съемке сцен в движении и с необычных ракурсов. Оператору не нужно лезть на крышу небоскреба или заказывать вертолет, чтобы запечатлеть город сверху. Если в кадре взрывается пиротехника, то находиться рядом небезопасно. В производстве боевика или супергеройского фильма беспилотники — незаменимая вещь. Их использовали при создании «Неудержимых», «Дэдпула», «Безумного Макса» с Томом Харди и много где еще. Какие приемы можно встретить в кино: Следящая съемка. Эффектно смотрится в гонках и сценах побега. Дрон движется параллельно машине или герою либо следует по пятам. Этот прием можно встретить в «Сиянии» Стэнли Кубрика. Раскрытие перспективы. Дрон пролетает над горой, и зрителю открывается восхитительный вид на долину либо медленно приближается к движущемуся объекту. Эффект Хичкока. Фон движется вперед, камера
