딥 비디오 인물 사진

블로그

비디오 초상화(즉, 사람의 머리와 상체를 보여주기 위해 프레임된 비디오)를 합성 및 편집하는 것은 비디오 편집 및 영화 후반 작업, 시각 효과, 시각 더빙, 가상 현실 및 텔레프레즌스의 응용 프로그램과 함께 컴퓨터 그래픽에서 중요한 문제입니다. .

원본 배우의 행동을 모방하는 대상 배우의 사실적인 비디오 초상화를 합성하는 문제, 특히 원본 배우와 대상 배우가 다른 주제일 수 있는 경우에는 여전히 미해결 문제입니다.

대상 배우의 뻣뻣한 머리 자세, 얼굴 표정 및 눈 움직임을 완전히 제어할 수 있는 접근 방식은 없었습니다. 얼굴 아이덴티티도 어느 정도 수정할 수 있습니다. 지금까지.

이번 포스팅에서는 리뷰할 딥 비디오 인물 사진 , 입력 비디오만을 사용하여 인물 비디오의 사실적인 재애니메이션을 가능하게 하는 새로운 접근 방식을 제시합니다.

이 게시물에서는 두 가지를 다룰 것입니다. 첫째, DeepFake의 짧은 정의입니다. 둘째, 저자의 말로 Deep Video Portraits 논문의 개요.


2.1 개요

논문에서 제시한 핵심 방법은 헤드를 완벽하게 제어합니다. 대상 배우 대상의 정체성과 외모를 유지하면서 _소스 배우의 뻣뻣한 머리 포즈, 얼굴 표정, 눈 움직임을 전송합니다.

k 개의 등가 부분집합으로 분할

게다가 풀영상은 표적 일관된 상체 자세, 머리카락 및 배경을 포함하여 합성됩니다.

게시물용 이미지

그림 1. DVP의 얼굴 재연 결과. 소스의 표정은 대상 배우의 시선뿐만 아니라 머리 포즈(회전 및 번역)를 유지하면서 소스에서 대상 배우로 전송됩니다.

논문 프레임워크의 전체 아키텍처는 아래 그림 2에 나와 있습니다.

첫째, 단일 이미지에서 최첨단 얼굴 재구성 접근 방식을 사용하여 소스 및 대상 배우를 추적하고 소스 및 대상 배우에 가장 적합한 3DMM(3D morphable model)을 도출합니다.

저차원 매개변수 벡터의 결과 시퀀스는 모든 비디오 프레임에 대한 배우의 신원, 머리 포즈, 표정, 시선 및 장면 조명을 나타냅니다.

그런 다음 소스의 머리 포즈, 표정 및/또는 시선 매개변수를 가져와 대상의 조명 및 식별 매개변수와 혼합합니다. 이를 통해 네트워크는 배우의 정체성과 외모를 유지하면서 전면 재연을 생성할 수 있습니다.

다음으로, 혼합된 매개변수를 기반으로 대상 액터의 새로운 합성 렌더링이 생성됩니다. 이러한 렌더링은 합성 입력을 사실적인 출력으로 변환하도록 훈련된 논문의 새로운 렌더링-비디오 번역 네트워크에 대한 입력입니다.

게시물용 이미지

수치. 2. 딥 비디오 초상화를 사용하면 소스 배우가 대상 비디오 초상화를 완전히 제어할 수 있습니다. 먼저, 단안 얼굴 재구성을 사용하여 두 비디오의 저차원 매개변수 표현(let)을 얻습니다. 이제 머리 포즈, 표정 및 시선을 매개변수 공간(가운데)에서 전송할 수 있습니다. 마지막으로 대상 배우(오른쪽)의 사실적인 비디오 초상화로 변환되는 컨디셔닝 입력 이미지를 렌더링합니다. 오바마 비디오 제공 백악관(퍼블릭 도메인)

2.2 단일 이미지에서 얼굴 재구성

3D 얼굴의 고유한 속성이 포즈 및 조명과 같은 개인 내 변화에 영향을 받지 않는 표현을 제공하기 때문에 3D 변형 가능 모델이 얼굴 분석에 사용됩니다. 단일 얼굴 입력 이미지가 주어지면 3DMM은 피팅 프로세스를 통해 3D 얼굴(모양 및 질감)과 장면 속성(포즈 및 조명)을 복구할 수 있습니다.

저자는 얼굴의 파라메트릭 모델과 각 비디오 프레임에 조명을 맞추는 최첨단 조밀한 얼굴 재구성 접근 방식을 사용합니다. 입력 비디오 시퀀스가 ​​주어지면 소스와 대상 모두에 대해 의미 있는 파라메트릭 얼굴 표현을 얻습니다.

#심장박동 #머신러닝 #컴퓨터비전 #딥페이크 #딥러닝 #딥러닝

heartbeat.fritz.ai

딥 비디오 인물 사진

입력 비디오만을 사용하여 인물 비디오의 사실적인 재애니메이션. 비디오 인물 합성 및 편집(즉, 사람의 머리가 보이도록 구성된 비디오).