[Image to Image Translation] 얼렁뚱땅 PFA-GAN : Progressive Face Aging with Generative Adversarial Network 리뷰

얼렁뚱땅 논문리뷰 2022. 3. 8. 15:00

이 논문을 리뷰하는데 일주일 넘게 걸릴줄 몰랐다 .....

갑자기 졸업요건 영어가 쓰나미처럼 지나가서 ....

영어때매 쌩고생하고 마음아프고 안정이 되고 제대로 다시 읽음 >_<

ㅇ우앙 졸령

본 연구는 face aging 그러니까 나이변화에 따른 얼굴 예측을 하는 논문이다.

내가 참고하기 좋다고 생각하는 쪽이 바로 face aging 쪽 논문이어서 읽어보아따.

Introduction

- 사람의 나이 변화에 따른 얼굴 예측은 법의학 및 보안 쪽에서 넓게 활용 가능함

- 나이변화 예측에 가장 중요한 3요소 : Image quality, Aging accuracy, Identity preservation

-> 기존 연구들이 이 3가지를 동시에 가져가는 것을 잘 못하였음

- 기존 연구들의 한계

CNN 아키텍처 활용 시 거대한 Paired faces 데이터를 요구함 -> 실질적으로 구축 힘듦
cGAN or GAN Based 연구들은 Unpaired한 데이터 셋으로도 나이대별 특징 등을 이용해 가능
conditional adversarial autoencoder을 이용한 연구의 경우 나이 변화에 따른 예측 시 identity 보존 못하며, blurry한 이미지를 생성하는 경향을 보임
Pyramid architecture discriminator를 사용하여 high-level age-related details를 본 연구 그리고 generator와 dirscriminator에 모두 facial attributes를 함께 넣어준 연구에서는 두 그룹사이의 얼굴 변화를 한번에 예측함
위의 연구의 경우 그렇게 되면 매끄러운 노화 결과를 보장 할 수 없다는 한계가 존재함 또한 나이의 차이 GAP이 너무 커지면 이상한게 생성되거나 혹은 Blurry하게 생성하는 경향이 있음
그리고 가장 큰 문제는 인종이나, 표정 등의 나이외의 다른 attribution 때문에 얼굴의 smooth한 나이변화를 보는 것은 사실 어려운 문제임

- Motivated & rationale : 나이에 따른 얼굴 변화는 점진적으로 이루어진다

본 논문에서 제안하는 모델은 한번에 나이에 따른 변화를 예측하는 것이 아닌, 점진적으로 나이 변화에 따른 예측을 함
따라서, 나이대에 따라 sub-networks들이 존재하며, 오직 인접한 나이대들 사이에 관계만 다룸
노화에 따른 변화는 나이대에 따라 다르게 나타남 ex) 50->60이 흰머리 생기는 경우 많음 20->30보다
아래 사진을 보면, 나이대에 따라 주된 변화가 일어나는 aging effect가 다른 것을 알 수 있음

Huang, Z., Chen, S., Zhang, J., &amp;amp;amp;amp;amp; Shan, H. (2020). PFA-GAN: Progressive face aging with generative adversarial network.&amp;amp;amp;amp;nbsp; IEEE Transactions on Information Forensics and Security ,&amp;amp;amp;amp;nbsp; 16 , 2031-2045.

- 점진적인 방법으로 face aging을 학습하는 것에 대한 장점

PFA-GAN은 점진적으로 변화를 예측하기 때문에, 여러개의 sub-network를 이용하여 인접한 연령대의 나이 변화를 차근차근 봄 -> 급작스런 나이 변화 예측으로 이상한거 생기고 Blurry한거 생기는 기존 연구들의 한계 극복
end-to-end로 학습하여 smooth한 나이에 따른 변화 예측이 가능하며, identity 보존 가능
연령대의 서수 관계(10 -> 20 -> ..)를 이용하기 때문에 연령층 간의 급작스러운 변화가 아닌 점진적 변화 예측 가능
이러한 장점으로 연령대를 뛰어넘은 사람 찾기가 가능함

- Main Contribution

a pregressive face aging framework based on generative adversarial network(PFA-GAN) -> 점진적
기존 연구들이, age를 conditional value로 넣고 본 것과 달리, 본 연구에서는 novel age encoding schema를 제안함으로써, aging flow에 따라 binary gate를 사용해 다음 연령대로 갈것인지 이런 것들을 봄
연령 분포를 고려한 age loss를 도입함
피어슨 상관관계를 face aging이 smooth하게 변화는지에 대해 평가 matric로 사용
정량/정성적 평가를 이용하여 본 제안 모델의 identity를 유지하며 face aging의 effectiveness와 robustness를 증명함

Related work

- 전통적인 face aging 방법론

physical model : 근육이나 피부 등의 얼굴 외형의 변화를 시뮬레이션 함. 연산량적으로 매우 많고, 특정 노화 메커니즘이 존재하기 때문에 일반화하지 못함
prototype-based method : 연령대별로 평균 외모 변화를 봄. 따라서, identity를 보존할 수 없이 그냥 이 나이대가 되면 이렇게 바뀔 것이다하는 평균된 사진만 보여줌

- 딥러닝이 발전하면서 supervised 방법들을 이용해(RNN 등) 한 기존 연구들이 존재하는데, 이는 Paired한 데이터가 있을 때에만 가능하다는 한계가 존재함

- Unsupervised cGAN based

서로 다른 나이그룹간에 Mapping 시켜주는 느낌으로 감
대부분 나이를 conditional value로 사용하기에 여러 나이대를 한번에 사용 가능 : Flexible
한 연구에서는 conditional adversarial autoencoder를 이용했으나, identity 지키지 못함
Identity perseved cGAN(IPCGAN)은 Perceptual loss 사용으로 identity 정보 지킴
extended dual GAN 을이용해, face aging과 face regression을 수행
위를 더 확장시켜 attention까지 함꼐 활용하여 이상한 인공물들이 나오는 것을 막고 identity를 보존

- GAN based

서로 다른 두 그룹간의 face aging을 한번에 예측
즉, 여러 연령대를 사용하기 위해서는 여러 모델을 사용해야함
PAG-GAN : high level로 나이와 관련있는 특징들을 잡아내기 위해 pretrained된 network 사용
Liu et al : 기존 논문들에서, 인종, 표정 등 다른 attribute에 의해 이상하게 예측되기도 한다는 것을 발견하고, attribute vector를 미리 정의하고 이를 Generator와 Discriminator에 함께 넣어 수행

- cGAN이 Flexible하다는 장점이 존재하지만, GAN기반이 더 정확도가 높음

- 본 논문에서 제안하는 것은 cGAN의 Flexible 장점과 GAN의 정확도 측면 장점 두개를 쏙쏙 뽑아서 장점만 모은 것

- GAN Based로 인해 인접한 그룹대간의 예측을 수행하지만 이러한 subnetwork를 여러개 두어 novel한 연령대에 대해 다양하게 적용이 가능하다는 장점이 존재함

- 또한 퀄리티가 좋고 3요소(Image quality, Aging accuracy, Identity preservation)를 잘 수행함

Methodology

- 아래 사진은 특정 차원으로 이미지를 manifold하였을 때, 연령대별로 바뀌는 방향을 볼 수 있음

- 만약 이것을 Directly하게 바로 예측하게 되면, 인종과 성별같은 특징들 때문에 차원을 더 복잡하게 만들어서 제대로 예측을 못할 가능성이 존재함

- 또한, Identity 또한 잃을 수도 있음

- 가까운 나이 변경의 경우 비교적 괜찮지만 GAP이 커지면 제대로 예측 안되는 기존 연구들의 한계도 존재함

- 본 연구에서는 인접한 나이대 변환만 하는 subnetwork를 여러 사용하여, 모델을 구성함

- 인접한 두 연령대 사이의 변화는 Linear하게 유클리드거리 등으로 변환이 가능함

- 본 연구에서는 4개의 그룹으로 나눔 ( ~30 / 31~40 / 41~50 / 51+ )

- confusing되지 않기 위해 간단한 index 표현으로 바꾸어서 사용함

Progressive Face Agin Framework

- 넓게 보면 cGAN based로 묘사할 수 있음(나이대 : Conditional value)

- Conditional value 변환 방법

우선, N개의 연령 그룹으로 나눈다고 하면 1*N차원으로 One-hot encoding 수행
만약 이미지의 차원이 (w x h x 3)이라면 one hot encoding vector를 padding 하여, (w x h x N)차원으로 변경함
그리고 이미지와 차원을 channel dimension으로 concatenate시킴
아래 그림은 만약 연령그룹은 4개를 사용하고, 이미지가 (4 x 4 x 3(RGB)) 일 때 예시임

input은 최종적으로 Xt로 표현하며 Xs는 image, Ct는 Conditional value를 변환한 것을 의미함
이러한 방법으로 확장한 것은 매우 편리함 하지만 단일 네트워크시 고품질 얼굴 생성 불가함

- 따라서 본 연구에서는, 여러개의 Gn subnetwork를 이용함

- 각 서브네트워크는 진짜 딱 인접한 그룹으로만 변환을 해줌

- 따라서 최종 네트워크는 Xt의 형태를 보임 즉, 여러 연령대의 subnets들을 합성한 형태임

- input 이미지에 대한 identity를 보존하기 위해서 skip connection 방법을 사용함

- 람다는 0~1까지의 가중치를 의미하는 것이 아닌 다음게이트로 이동할 것인지에 대한 True/False임(1 : True)

- 즉, 람다가 의미하는 바는 binary gate vector이며, s(Start) < i < t(Target)일 때, 람다i는 1임 그외 0

- 밑의 식을 보면 알 수 있 듯, 한 나이대에서 다른 나이대로 이동할 때, 들어온 입력 값을 더해주는 형태를 취함

- 아래는 특정 그룹에서 4로 갈 때, 어떻게 계산되는지 보여줌

- 이러한 방법으로 하기때문에 flexible하게 여러 나이대에 대해 계산 할 수 있음

- 본 논문에서 제안하는 방법은 end-to-end 방법으로 cGAN과 GAN의 특징 두개를 모두 사용한 모델로 (c)GAN-based Model이라고 부름

- 아래의 cGAN과 GAN의 단점을 보안한 최적의 네트워크 PFA-GAN을 제안함

cGAN의 중간과정에 생성된 얼굴을 볼 수 없으며, GAP이 커질수록 인공물을 생성시킨다는 단점
GAN의 서로 다른 나이대를 따로 학습시킴으로써, 연속적인 예측이 불가능하다는 단점
기존 (c)GAN-based-model의 경우 end-to-end가 아니어서 각각 sub network에서 누적 error가 생기는 단점

Network Architecture

- GAN 모델을 기반으로 하기 때문에 크게 Generator와 Discriminator로 구성됨

- 하지만 본 논문에서는 인접한 나이대변환을 예측하는 Sub Network로 구성되어 있음

- 따라서, Generator의 경우 각 Sub-Network 마다 존재함. 따라서 Sub-Generator, Sub-network라고 부름

- Generator는 sub-network로 구성되어 있으며, Discriminator를 속일정도로 Real한 이미지를 생성하는 것을 목표로 함

- Discriminator는 진짜 데이터와 가짜 데이터를 판별하는 역할을 함

- Age estimation Network의 경우, 기존 GAN에는 없지만, 본 논문에 목적에 맞게 새롭게 추가된 아키텍처임 나이 연령대를 Classification 및 Regression으로 데이터를 학습할 때, 목표 나이 및 연령대에 맞는 데이터 생성을 위한 학습 네트워크임

- Generator

N개의 age Group이 주어졌을 때, N-1개의 sub-generator로 구성됨
각 Sub Generator는 input과 output이 256x256x3을 이용함
Residual Block을 사용하며, 본 논문에서는 4개의 Residual block을 사용함
크게 Encoder와 Decoder로 구성되어 있는데, Encoder와 Decoder의 차원이 유사하게 축소 및 확대됨
Input 이미지에 대한 특징을 최대 한 잃지 않기 위해 Residual을 이용해 Skip connection을 수행함
마지막 Layer를 빼고는 모두 Activation Function을 Leaky ReLU로 사용하며 slope는 0.2로 설정함
대부분의 기존 연구에서는 보통 마지막 Layer를 Tanh 활성함수를 사용함. 그런데, 본 연구의 아키텍처에서는 Tanh를 사용할 경우, 다음 Sub network에 전달해 줄 때 너무 이르게 업데이트를 제한함. 따라서 본 연구에서의 마지막 layer에서는 아무런 활성함수도 사용하지 않음

- Discriminator

Patch Discriminator를 사용하여, 각 패치당 True/False를 확인함
6개의 Convolutional layer로 구성되어 있으며, Filter는 4x4를 사용함
Leaky ReLu를 사용하며 slope는 0.2로 사용함
I2I Translation Pix2Pix의 경우, input 이미지와 output(fake/real) image를 이용하여 채널차원으로 차원을 합친다음 Discriminator에 들어가는데, 본 논문에서는 입력이미지를 Discriminator에 따로 이용하지는 않음
본 연구에서의 Discriminator Input 데이터는 Output(fake/real) image와 Target Age Group에 대한 정보임
첫번째 Conv2D에서는 Output Image(fake/real)만 이용함 그 후 두번째 Conv2D 들어가기 전 첫번째 나온 Feature map과 Target Age를 위에 Conditional value 변환 방법에서 한 것처럼 차원변경해서 Concatenate해서 사용함

- Age Estimation Network

각 나이대의 분포의 특징을 더 잘 잡기위한 네트워크임
6개의 Conv2D와 1개의 Fully Connect<Age Regression/AgeGroup Classification 별도 FC 사용>로 구성됨
Conv2D까지는 가중치를 공유하고 마지막에 Regression이냐 Classifacation이냐에 따라 갈래가 나뉨 즉 Multitask Framework라고 할 수 있음
보통 기존의 논문들의 경우 Age_regression or AgeGroup_classification 둘 중 하나만 적용하는데, 본 논문에서는 이렇게 하나만 사용하는 것은 나이대의 특징을 잡기에 불충분한 정보일 수도 있기 때문에, 두가지를 모두 사용함
Regression을 위한 Fully의 Output차원이 101인데, 이는 0세부터 100세까지의 Regression을 위한 것임
Age Estimiation을 통과하여 101차원이 있을 때, 이를 Softmax에 넣어 101개의 확률로 표현함 그리고 이를 i 즉 나이와 곱해서 이를 쭉 더해서 나이를 추정함 (아래 식 참고)
아래 식에서 X는 Input Image를 의미하며, 본 논문에서는 Output Image(Fake/Real) 이미지를 이용하여 target 나이를 예측하는 것을 목표로 하는 것임
이러한 과정을 DEX라고 부르는데 이는 "DEX: Deep EXpectation of apparent age from a single image" 기존 연구에서 있는 것을 차용해서 사용한 것임
"DEX: Deep EXpectation of apparent age from a single image" 논문은 얼굴 이미지를 기반으로 특정한 Landmark 없이 이미지만으로 이미지의 나이를 추정하는 네트워크로, 다른 연구들에서도 이를 사용하여 Pretrained된 Age Regression을 수행함 본 논문에서는 Pretrained된 것을 그대로 가져와서 사용하는 것이 아니라 본 논문에서 사용하는 Train 데이터 셋과 본 논문에서 사용한 아키텍처를 이용해 Pretrained한 다음에 가중치 Fix시켜서 Loss 추정
Classification을 위한 FC의 경우 N(age Group의 수) 차원을 Output으로 사용함

- 각 모듈에 대한 상세 아키텍처는 아래와 같음

Loss Function

- 크게 3가지로 나뉨 : Adversarial loss, Age estimation loss, Identity consistency loss

- Adversarial Loss

더 Realitic한 데이터 생성을 위한 Loss임
기존 GAN의 경우 Discriminator loss 계산을 위해 sigmoid하고 그 다음 crossentropy 사용하는데, 이는 Gredient vanishing을 야기한다는 기존 연구(Least Squares Generative Adversarial Networks)에 따라 LSGAN을 사용하여, 오차 계산시 최소제곱손실을 사용함

- Age Estimation Loss

Target Age에 맞는 이미지 생성을 위한 Loss임
따라서, Target Age와 생성한 이미지의 예측 Age와 오차를 최소한으로 하는 것이 목표임
Training Dataset을 이용해 Pretrained시키고, 이를 Fix하고 이것을 이용해서 Loss를 계산함
아래 식의 왼쪽은 Age regression, 오른쪽은 Classification loss임

- Identity Cosistency Loss

입력 이미지의 itentity를 보존한채로 Target Age에 대해 이미지를 예측하는 것이 중요하기 때문에 해당 Loss를 정의함
본 논문에서는 Identity consistancy loss를 위해 여러개의 loss를 합쳐서 사용함
Pixel 단위 Loss를 위한 L1 Loss와 Structural Similarity를 뉘한 SSIM Loss 그리고 마지막으로 Perceptual Loss를 위한 Feature Loss 이렇게 세개를 결합하여 사용함
Feature Loss를 위해 사용한 딥러닝 아키텍처는 VGG-Face를 이용하며, φ는 10번째 활성함수에서 도출된 Feature를 이용한다는 의미임 MAE를 이용해 계산함
VGGFace를 이용하여, 얼굴 이미지의 ID(Identity)와 관련해서 의미론적 표현 추출이 가능함
Feature Loss의 경우, Identity와 무관한 정보가 무작위로 바뀔 수도 있기 때문에, MAE Loss로 Pixel 단위 로스를 봄
또한, Pixel 단위의 로스와 Feature 로스의 발란스를 위해 SSIM Loss를 이용함
SSIM Loss는 Local 구조의 유사성과 MAE 수준의 Pixel 단위 오차 둘다 보기 때문에, 절충으로 적합함

따라서, 최종 Identity Consistency Loss는 아래와 같이 구성됨

- 최종 Loss

인접한 두 연령대간의 I2I Translation은 두 연령대간의 주요 패턴을 학습하고 이를 변환 시키는 것인데, 최대한 연령변경의 GAP을 줄이기 위해 인접한 연령대를 한 것 이지만, 그럼에도 불구하고 제대로 예측이 안되는 얼굴이 존재할 수 있음
하지만, 이는 어쩔 수 없는 불가피한 것으로 간주함
본 연구에서는 end to end로 누적오류를 사용하지 않기때문에, 만약 앞 단계에서 이상한 인공물들을 생성하면, 다음 생성기가 이렇게 이상한 것을 감지하고 하위 생성기의 역전파를 이용해, 더 만족스러운 얼굴을 생성하게 하는 유기적인 관계를 가질 수 있음.

Huang, Z., Chen, S., Zhang, J., &amp;amp; Shan, H. (2020). PFA-GAN: Progressive face aging with generative adversarial network.&amp;nbsp; IEEE Transactions on Information Forensics and Security ,&amp;nbsp; 16 , 2031-2045

Experiments

Data Collection

- MORPH : face aging 데이터 셋중 가장 유명한 데이터셋, 55134개 사진, 거의 정면인 사진이며 보통 표정이며 배경이 간단함

- CACD : 2000명의 연예인에 대해 163446개의 이미지를 가지고 있음. 이는 Google Image로 구축한 것임, Pose나 표정 등이 고정되어 있지않고 다양하게 있음.

- 전처리

얼굴 부분을 탐지(Face++ API 사용)하고 주변에 margin을 20%정도 남김
이미지의 크기를 256x256으로 사이즈 조절함
이미지의 범위를 [-1,1]로 정규화함
나이대를 30- / 31-40 / 41-50 / 50+ 로 총 4개의 범위를 사용함
랜덤으로 80% 데이터를 학습 데이터로 사용하고 나머지를 테스트 데이터로 사용함

Implementation Detail

- 학습환경 설명(GPU, Decay, LR 등 설명 생략)

Qualitative Evaluations

- 성별, 포즈, 메이크업, 표정 등 다양한 상황에서의 예측이 가능함을 보여줌

- 나이가 변함에 따라, 피부, 근육, 주름 등이 추가되는 것을 볼 수 있음

- 그리고 수염이나 머리의 색깔이 회색으로 변하는 것을 볼 수 있음

- 그렇지만, 변함에도 불구하고 Identity가 보존됨을 알 수 있음

- 아래는 CACD 결과 아아래는 MORPH 결과

- 아래 사진은 다른 아키텍처들과 비교한 것임

- cGAN-based 모델인 GLCA-GAN, ldGAN, IPCGAN, CAAE와 비교해서 보았을 때, PFA-GAN은 2배 더 고화질로 수행함

- PAG-GAN, Dual AcGAN, A3GAN은 인공물이 포함되어 있고, 별로 안바뀌었으면 좋겠는 배경 등도 바뀐것을 볼 수 있음

- PAG-GAN은 특히 배경의 색깔을 지켜내는 것을 실패함 그리고 옷에도 이상한거 생김

- age GAP이 커질 때, PFA-GAN은 우수하게 예측하며 이상한 것들도 안생기는걸 확인 할 수 있음

- 본 논문에서는 나이가 먹는쪽으로 학습을 시켰지만, 반대로 회춘하는 방향으로도 적용 가능함

- 나이가 점점 젋어지며, 피부가 좋아지고 머리카랑은 풍성해지는 것을 확인 가능함

- 아래는 표정에 적용한 것임

- 숫자가 커질수록 더 활~짝 웃는 거를 예측하는 것임

- 다양한 Application이 가능한것을 확인 가능함

Quantitative Evaluations

- Aging Accuracy, Aging Smoothness, Inception Score, Identity Perservation 총 4가지로 평가함

- Aging Accuracy와 Identity Perservation을 평가하기 위해 Face++를 채택해서 사용함

- Face++는 Face Detection, Face Comparing 등을 수행할 수 있음

- 기존 연구들과 비교함 기존 연구들은 최대한 논문에 적혀있는대로 구현하려고 노력하였음

- IPCGAN에서는 기존에 Alexnet, WGLCA-GAN에서는 LightCNN을 사용하는데, 공정한 비교를 위하여 본 논문에서 사용한 VGG-Face로 수정하여 사용함

- CAAE, PAG-GAN은 기존 논문에서 제안한 방법 그대로 사용함

- Aging Accuracy

Face++ API를 이용하여, 실제 얼굴과 가짜 얼굴의 나이를 추정함
CAAE의 경우, 큰 GAP이 존재하여도 바로 예측하기 때문에 지나치게 Smoothing 되는 경향이 있어 오차가 큰 것을 확인 가능함
IPCGAN은 PAG-GAN보다는 우수한 성능을 보이는 것을 확인 가능함
하지만 본 논문에서 제안한 PFA-GAN이 가장 우수한 성능임

- Aging Smoothness

Aging Accuracy는 노화가 연속적으로 부드럽게 변화되는지를 파악하지 못함 따라서 따로 평가함
입력 이미지와 입력 이미지의 노화 변화에 따른 흐름은, 각 Age group에 속하는 데이터들의 분포 평균과 비슷한 방향으로 가야지 제대로 예측 되었다고 할 수 있음
즉, 한사람의 연령에 따른 변화는 전체 데이터의 연령의 대한 변화와 선형관계를 가져야 함
본 논문에서는 이를 평가하기 위해 Pearson correlation coefficient(PCC)를 이용해서 평가하고자 함
1에 가까울수록 양의 선형상관관계를 가짐을 알 수 있음 -> 양의 선형관계를 가져야 우수하다고 평가함
CAAE는 연속적으로 스무싱하게 예측하지 못함을 알 수 있음
PFA-GAN에서 최고 성적을 보임

- Inception score

IS는 이미지 품질과 다양성을 평가할 수 있는 지표로 Generative Model에 많이 사용함
MORPH 데이터셋의 겨우, 다양한 데이터가 아닌 어느정도 제한된 데이터 형태를 보이기 때문에 IS 점수가 낮게 시작하는 것을 알 수 있음
PFA-GAN이 모두 우수함을 확인 가능함

- Identity Preservation

Face++를 이용하여, 두개의 사진이 같은 사람인지 판별하는 것을 수행함
Face++은 우수한 성과를 낸다고 기존 연구에서 언급하여, 이를 사용함

- Double Blinded User Study

무작위의 20명 사진을 고르고 이를 통해 50+를 예측함
50명의 사람이 실제 젊은 사진을 가지고 나이가 먹었을 시 어떻게 될 지 뽑음
입력이미지와 같은 사람인거 같은지? 자연스러운 노화 변화가 보이는지? 이상한 그림이 없는지? 세가지로 주된 평가를 해달라고 부탁함
PFA-GAN이 44.4%로 가장 우수하게 뽑임

Comparison with Sequential (c)GANs

- (c)GAN의 아키텍처를 사용하며 End-to-end로 표현한 본 논문의 우수성을 보여주기 위함임

- #이 붙어있는것은 순차적으로 인접한 연령대 예측을 수행하였을 때를 의미함

- 기존 연구의 경우 흐리고 만족스러운 결과를 예측 하지 못함을 알 수 있음

- PFA-GAN가 Identity를 더 잘 유지하며, 중간 과정내에서 제대로 예측을 못할 때에도 end to end로 Backpropogation하기 때문에 개선의 여지가 존재함을 알 수 있음

Ablation Study

- DEX(나이 Regression)의 중요성과 PFA(Progressive face aging framework)의 중요성을 보기 위함임

- DEX를 뺀 것을 보면, 머리색이나 턱수염 등이 나이가 먹음에 따라 하얗게 변해 가는 것을 반영하지 못함

- PFA가 없는 것은 일부 이상한 것이 생성되는 것을 볼 수 있음(? 어디 ?)

- 이것을 DEX는 나이에 대한 특징을 잡는데 유용한 것을 알 수 있음

- PFA는 나이갭이 커지더라도 어색하지 않은 이미지 합성이 가능함

- 수치적으로는 위에 표에도 적혀 있음

Robustness Analysis

- 위에 포즈, 표정 등에도 다양하게 적용 된 것을 확인 가능함

- 또한, 쥬얼리, 안경 등 얼굴에 다른 것들이 있어도 그것을 보존하며 Face aging에 성공함을 볼 수 있음

- 아래 사진을 보면, IPCGAN과 같은 cGAN 기반의 경우, 나이 차이에 따른 부드로운 노화예측이 불가하여 강건하지 않음

- PFA-GAN의 경우, 중간 과정에서 Ghost가 생성된다고 해도, 그 이후 단계에서 역전파로 인한 후처치가 가능한 것이 무척 로버스트한 장점임

Generalization Ability

- CelebA 등 타 데이터 셋에 대해서도 잘 예측함

- 특히 악세사리 이런거 특징도 잘 보존함

'얼렁뚱땅 논문리뷰' 카테고리의 다른 글

[Image to Image Translation] 얼렁뚱땅 Bicycle GAN : Toward Multimodal Image to Image translation 리뷰 (0)	2022.03.16
[Action Recognition] 얼렁뚱땅 Revisiting Skeleton-based Action Recognition 완전 간단 리뷰 (0)	2022.03.10
[Image to Image Translation] 얼렁뚱땅 Perceptual loss for real-time style transfer and super-resolution 리뷰 (0)	2022.02.28
[Using Medical Image/CycleGAN for augmentation] 얼렁뚱땅 Toward automated severe pharyngitis detection with smartphone camera using deep learning networks 리뷰 (0)	2022.02.23
[Image to Image Translation] 얼렁뚱땅 A generative adversarial network approach to predicting postoperative appearance after orbital decompression surgery for thyroid eye disease 리뷰 (2)	2022.02.16

ABOUT ME

MOSTAR의 얼렁뚱땅 공부 이야기 MOSTAR의 얼렁뚱땅 공부 이야기

Introduction

Related work