cGAN (Conditional GAN)

요약: G와 D에 condition을 적용한다. multi-modal 모델에 적용되는 방법을 설명하고 설명태그가 어떻게 생성되는지 예시를 제공한다.

1. 소개

모델에 추가적 정보로 condition을 주는 것으로 인해 데이터 생성과정에 직접 영향을 주는 것이 가능해진다.

이런 컨디셔닝은 class label, 복원을 위한 데이터의 어떤 부분, 다른 양식modal의 데이터을 기반으로 한다.

논문에서는 2개의 실험을 하는데, 하나는 MNIST에 class label이 들어간 것이고, 

다른 하나는 multi-modal learning을 위한 MIR Flickr 데이터이다.

2. Conditional Adversarial Nets

GAN의 G와 D에 추가적 정보 y를 조건부로 준다. y는 class label도 될 수 있고 다른 형태의 데이터도 될 수 있다.

G에서 input noise z와 y가 결합된다.

D에서 x와 y과 input이 된다.

3. 실험 결과

3.1 단일형태

MNIST에 one-hot vector로 encode한 class label을 조건부로 학습한다.

G에서 100차원의 noise z는 unit hypercube 내에서 단일분포로 그려진다.

z와 y는 ReLU가 적용되는 숨겨진 레이어에 연결된다. 이때 사이즈 200과 1000이 된다.

이후에 1200 차원의 ReLU 레이어에 연결된다.

마지막에는 784차원의 MNIST 샘플을 생성하는 sigmoid 레이어가 있다.

D는 x를 240 units maxout 레이어에 연결하고, 또한 y도 50 units maxout 레이어에 연결한다.

이 2개 레이어는 다시 240 units maxout 레이어에 결합되고 다음에 sigmoid 레이어에 연결된다.

모델은 SGD로 학습한다.

0.5에서 0.7까지 증가하는 momentum이 사용되고, 0.5 확률의 dropout이 G와 D에 각각 적용된다.

그리고 validation set에 대한 log-likelihood의 best 측정치는 중지시점으로 사용된다.

그 결과로 효율성이 좋다.

...

4.2 복수형태

유저가 생성한 태그가 붙은 Flickr 이미지를 사용한다.

유저에 따라 다른 어휘로 같은 컨셉을 표현할 수 있으므로 정규화가 중요하다.

이 실험에선 자동화된 이미지 태깅에서 cGAN으로 이미지 특성에 조건부인 tag-vector 분포를 생성하는 것을 증명한다.

이미지와 태그 속성을 convolution model과 language modeld을 사용하여 추출한다.

평가를 위해서 각 이미지에서 100개 샘플을 뽑고 상위 20개를 단어 벡터의 코사인 유사도를 사용하여 찾는다.

이후 100개 샘플 중에서 일반적인 top 10 태그를 뽑는다.

모델은 SGD로 학습하며 momentum과 dropout은 단일형태와 동일하다.

hyper-parameter와 구조적 선택은 CV를 통해서, 그리고 random grid search와 직접 선택의 혼합을 통해서 정해진다.

5. Future Work

결과는 cGAN의 가능성을 증명한다.

이 실험에서는 단지 각 태그를 개별적으로 사용하였다.

그러나 멀티 태그를 동시에 사용하면 더 좋은 성과가 있을 것이라 믿는다.

향후 연구방향의 다른 하나는 training scheme을 언어 모델을 학습하기 위해 만드는 것이다.