1. 네트워크 구조

제안하는 기법은 오토 인코더 구조로 구성되며 인코더와 디코더, 특징 분해 모듈(feature decomposition module)과 나이 특징 CNN(age feature CNN)으로 이루어진다. 인코더에서는 입력된 얼굴 영상을 통과시켜 특징을 추출한다. 추출한 특징은 이전 연구^[3]에서 영감을 받아, 특징 분해 모듈에서 나이 관련 특징과 나이 관련하지 않은 특징을 분리한다. 분리는 주의 기반 방법을 이용하며 자기주의(self-attention)로 집중되는 정도에 따라 인코더에서 추출된 특징에서 집중된 특징과 되지 않은 특징을 분리하는 방식을 사용한다. 분리된 나이 관련 특징은 완전 연결 레이어(fc)를 통과해 나이를 분류하며 교차 엔트로피를 이용하여 나이 관련 특징을 학습할 수 있도록 한다. 나이 관련하지 않은 특징은 디코더에 직접 전달됨과 동시에, 합성하고자 하는 목표 나이와 합쳐져 조건부 배치 정규화가 포함된 나이 특징 CNN을 통해 디코더의 각 레이어에 전달된다. 이 방식으로 나이 관련 특징이 분리된 특징에서 최적의 나이 인식 특징을 학습한다. 디코더에서 출력된 목표 나이로 수정한 얼굴은 입력된 영상과 비교하여 손실 함수를 얻는다.

2. 학습방법

제안하는 네트워크의 학습은 이전 연구^[2]의 방법을 따르며, 나이 분류와 얼굴 합성이 한 번에 진행된다. 손실 함수는 사실적인 합성에 초점을 맞추도록 구성하였다.

그림 1.

제안하는 네트워크 구조

Fig. 1. Proposed network architecture

첫 번째와 두 번째 항은 재구성 손실과 순환 손실로, 평균 절대 오차를 기본으로 하며 재구성 손실은 모델에 얼굴을 합성할 목표 나이로 원래의 나이를 입력해 준 다음, 출력된 영상과 입력된 영상의 차이를 줄이는 방식으로 계산한다. 이는 목표 나이로 원래의 나이를 입력하면 입력 영상과 합성 영상이 같아야 한다는 것을 이용한 것이다. 순환 손실은 입력된 영상을 무작위의 나이로 합성한 다음, 이를 다시 원래의 나이로 합성하여 출력된 영상을 입력 영상과 비교하는 식으로 계산한다. 세 번째 항은 적대적 손실로 사실적인 결과를 위하여 여러 합성 연구에서 많이 사용되는 손실이며 본 기법에서도 사용한다. 네 번째 항은 나이 손실로 입력 영상에 대한 나이 분류를 교차 엔트로피 손실로 계산한다. 마지막 항은 합성된 영상의 세부사항을 살리기 위하여 많이 사용되는 지각 손실 함수인 VGG 손실이다. VGG19 네트워크를 통과한 특징으로 계산하며, 재구성 손실을 계산하기 위해 합성된 영상을 이용하여 계산한다. 순환 손실을 계산하기 위해 모델을 두 번 통과하여 합성된 영상을 지각 손실 계산에 사용하면 학습에 악영향을 주는 것이 확인되어 사용하지 않는다. 하이퍼 파라미터는 λ_rec = 10, λ_cyc = 1, λ_adv = 1, λ_age = 0.01, λ_vgg = 0.01 을 사용하며 이는 경험적으로 설정되었다.

1. 정성적 결과

본 논문에서 제안하는 기법을 이용하여, 목표 나이로 입력 얼굴 영상을 합성하는 작업을 평가한다. 평가는 이전 연구인 HRFAE^[1], RAGAN^[2] 논문과 비교하며 HRFAE는 공개된 가중치를 이용, RAGAN은 제안하는 기법과 조건을 같게 학습하여 비교한다. 그 예시를 그림 2에 보인다.

그림 2.

정성적 결과 비교

Fig. 2. Qualitative comparison between our proposed methods and prior works

중간 나이 (20-60)의 결과는 각 논문들의 결과가 큰 차이가 없어 그림에 보이지 않았다. 하지만 목표 나이가 아이나 노인일 때 합성된 결과에 대해서는 차이를 보인다. HRFAE의 결과는 입력 영상과 크게 바뀌지 않는 것을 볼 수 있으며, RAGAN 논문의 결과는 대체로 이전보다 나이 특징이 더 고려되어 아이나 노인에서 더 적합해 보이는 영상을 합성하지만, 목표 나이로 보이지 않는 경우도 있었다.

제안하는 기법의 결과에서는 아이나 노인에서 더 적합해 보이는 영상을 합성하는 것을 확인할 수 있다.

2. 정량적 결과

먼저, 나이 분류 결과는 각 나이 클래스로 분류하였을 때 약 60%의 정확도를 보이며 인접한 클래스로 분류하는 비율이 95% 이상으로 확인되었다. 따라서 나이 관련 특징이 충분히 분리되고 있음을 확인할 수 있다.

표 1의 결과는 모델의 입력으로 목표 나이를 원래의 나이로 입력 후 합성한 결과 비교이다. 차이는 합성 모델에서 많이 사용되는 L1과 LPIPS를 이용하여 계산하며, 합성한 영상이 입력 영상과 차이가 작을수록 좋은 결과이다.

표 1.

원래 나이를 입력으로 합성한 영상의 정량적 결과 비교

Table 1. Quantitative comparison with previous work for synthesizing an image using its original age

표 2는 입력 영상의 나이를 무작위로 수정한 영상을 다시 원래의 나이로 합성한 결과이다. 제안하는 기법이 RAGAN보다 차이가 적다는 것을 확인할 수 있다.

표 2.

영상의 나이를 무작위로 수정 후 원래의 나이로 합성한 결과

Table 2. Quantitative comparison for cycle generation evaluation. synthesize a novel image with random age, and then synthesize the original image and compare

표 3은 합성된 얼굴 영상이 다른 데이터셋에서 학습된 나이 분류 네트워크를 통해 목표 나이로 분류되는지를 확인한다. 분류가 잘 될수록 성능이 좋은 것이며, 제안하는 방법이 더 좋은 결과를 보여주는 것을 확인할 수 있다.

표 3.

합성된 영상이 나이 분류 모델에서 분류되는 정확도

Table 3. Comparison of age classification accuracy for age-controlled synthesized images between our method and prior works