Paper Study

최대 1 분 소요

CVPR 2019: Dense Intrinsic Appearance Flow for Human Pose Transfer

Problem Def.

  • Human Pose Transfer
    • 사람 포즈를 변형하는 잡
    • Typical flow
      • ref. imag의 pose를 esetimate
      • 그 이후에 그 스켈레톤을 바탕으로 새로운 이미지 렌더링
    • 기존 기법
      • 여러가지 방식이 제안되어 왔음
      • 점 단위로 하는 방법
      • 하나 흥미로운 거는 특정 sub-pixel들을 묵어서 (masking-based) 묶은 애들에 대해서만 따로 affine? 하ㄴ는 방법도 있는듯.

Method

task: ref. pose, tar. pose, ref. image => tar. image

논문의 핵심1: Intrinsic Appreance FLOW

Flow regression module: 두개의 포즈를 받아서 F와 V를 만드느데, F와 V는 그라운드 트루스가 필요함.

  • 이를 위해 3D 휴먼 모델을 이용하여 직접 뽑음. vertex matching과 visibility analysis. 등의 기술 이용
    • 레퍼런스와 타겟 쓰리디 모델을 만들고, 이거를 바탕으로 Flow map과 Visibility Map을 뽑음.
    • F: ref. 이미지에서 각 픽셀이 tar. 이미지에서 어디에서 나타났는지. 즉 대응하는 부분이 어디에 있는지 그 이동 vector를 담고 있음. 아마 각 픽셀당 2차원이겠지?
    • V: 기존 레퍼런스에서 없엇던 부분이 발견될 수 있다. 그림에서 나타나는 빨간부분은 레퍼런스에서 없었던 부분임

논문의 핵심2: Muti-path U-net을 사용하는 듯함. 인코더는 여러개고 디코더는 하나, 이 하나에서 여러개의 인코딩 아웃풋을 concat해서 받는 듯함.

카테고리:

업데이트: