[Using RGB/medical Image] 얼렁뚱땅 Progressive Transfer Learning and Adversarial Domain Adaptation for Cross-Domain Skin Disease Classification 리뷰

자소서의 늪에 빠져, 일주일 간 논문하나도 제대로 읽지 않은 나 반성합니다

다 핑계입니다 

쪕 ...

 

오늘 읽을 논문은 IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS 저널에 논문을 살짝 내볼까하고

논문의 구조나 어떤 논문이 있나 보고싶어서 읽게 된 논문

 

논문 선정 기준은 구조 파악을 빠르게 하고 싶어서 ...

그냥 pix2pix나 cycle gan 나오는 논문 읽을려고 해따 ㅎ_ㅎ

 

 

Introduction

 

- 악성 흑색종 진단의 중요성

• 피부암은 사람들이 많이 걸리는 암 중 하나임
• 그중 악성 흑색종의 경우 피부암 범주에 있는 암인데, 그냥 흑색종보다는 걸리는 사람의 수가 매우 적음
• 하지만, 치사율은 높아서 주의해야 함
• 이는 조기진단을 통해 빨리 발견하면 치료할 수 있는 가능성이 매우 높아짐
• 이에 따라, 자동 탐지 시스템 연구가 많아짐

 

- 자동 진단 시스템은 크게 Machine Learning 방법과 Deep neural Network(DNN) 방식으로 나뉨

 

• Machine Learning Based

• Preprocessing, segmentation, feature extraction, classfication의 단계로 주로 수행됨
• 각 단계는 모두 전문가와 함께 수동작업 해야함
• 특히 특징 도출하는 것에는 hand-crafted feature extraction 방식 사용함
• 새로 들어온 이미지에 대해 적용하기가 힘듦

 

• DNN

• 이 방식이 기존 Machine learning 방식의 대안책으로 불리며 기존 연구들에서 ML 방식보다 성공적이었음
• Single modality 방식과 Multi modality 방식으로 나뉘는데 Multi modality 방식이 성능 더 높음
• 여기서 말하는 Multi modality는 RGB + medical image 이런 형식을 의미함

 

- 그런데 DNN 방식도 한계가 존재함

• 대표적인 한계는, 한 데이터셋으로 학습한 다음에 다른 데이터셋으로 Test하면 제대로 탐지 안됨
• 즉, 하나의 Dataset으로 학습시킨 것은 다른 Dataset이 들어왔을 때 탐지를 못해 일반화 되지 않았다고 표현 가능함
• 아래 표를 보면 하나의 데이터 셋으로 학습하고, 다른 데이터셋으로 결과 보았더니 95->31%까지 성능이 떨어지는 것을 확인 가능함
• 두 데이터셋을 합쳐서 학습 시킨 것은, 한개로 학습시키고 다른 도메인 보는 것보다는 성능이 나오지만, 하나로 학습시키고 같은 도메인으로 Test한 것을 보면 성능이 오히려 하락함

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

- 왜 이러한 현상이 일어나는가?

• 아래 그림에서 확인 가능 하 듯, 두 Dataset은 서로 다른 환경에서 수집된 것임(MoleMap : 피부경+RGB, HAM : 피부경)
• Labeling한 기준이 다름(질병일 가능성있다 vs 확실하게 질병이다)
• 이런 이유는, 도메인의 차이로 샘플분포가 이동되어서 성능이 저하됨

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

- 본 연구에서 무엇을 하려고 하는가

• 한 Dataset으로 학습시키고 다른 Dataset에도 가능하도록 일반화 시켜보자
• Source Domain -> Immediate -> Target Domain 이렇게 점진적인 Transfer Learning 수행
• Source Domain -> Target Domain 하는 Cycle GAN을 통한 변환 후 Classification 수행
• 두가지를 동시에 수행하는 것은 아니고 하나하나 결과 도출함

 

Related Work

 

- 기존의 문제

• CNN으로 한 데이터셋으로 학습시키면 다른 데이터셋으로 잘 안됨
• 이를 해결하기 위해서는 공동의 Domain을 찾거나, 다른 도메인으로 바꾸거나는 Domain Adaptation(도메인 적응)을 수행하여야 함
• 도메인 적응은 하나의 데이터 셋에서 학습한 게 다른 데이터셋에서도 적응이 가능하도록 하는 것을 의미함

 

- Domain Adaptation and Transfer Learning

• 크게 3가지의 Loss 사용
• Classification Loss : Transfer Learning 중 네트워크를 최적화 할 때 사용

 

• Adversarial Loss : Generative model vs non-Generative model

• Generative model : 데이터의 분포에 따라 새로운 데이터 생성(GAN)
• non Generative model : 한 domain에서 다른 domain으로 변화시키는데 Adversarial loss(domain-confusion loss)(I2I)

 

• Discrepancy loss(불일치 로스) : source/target으로 reconstruction 할 때 loss를 보는 것임

• Stacking AE or Generative adversarial reconstruction loss등으로 가능
• Adversarial과 다른 점은 Adversarial은 도메인간의 이동이 잘 되는지를 보는 것이고 Discrepancy는 두 도메인간의 공통 특징(Feature)공간을 잘 잡는데 목적이 있음

 

Transfer Learning

- Transfer Learning은 데이터셋이 충분하지 않을 때 주로 사용됨

- 주로 앞쪽 층에서는 일반적인 특징을 학습하고, 뒤쪽 부분에서는 구체적인 특징을 학습함

- 따라서 데이터셋이 적을 때, 앞쪽의 일반적인 특징은 다른 데이터셋으로 학습된 일반적인 학습으로 대체함

- 그리고 뒷 부분에 세밀한 부분을 Fine tuning 하면서, 학습 데이터셋에 맞도록 Transfer Learning 함

 

Adversarial Domain Adaptation

- Pix2Pix : Paired 한 데이터 필요

- Cycle GAN : Paired하지 않아도 됨. Domain간의 강한 의존성이 있다라는 가정이 있어야함. 왜냐하면 구조적 변화는 잘 탐지하지 못하기 때문임

- Recycle GAN : Cycle GAN의 한계 극복(구조적 변화 관찰 가능)

- 본 연구에서는 구조적 변화를 야기하는 것은 아니기 때문에 Cycle GAN을 사용하여 도메인 바꾸겠음

 

 

Dataset

MoleMap

- 임상에서 수집한 데이터임

- 102,450개의 image로 이뤄져 있으며 22개의 일반 질병, 3개의 암 질병으로 구성

- 10cm 내외로 가깝게 촬영한 사진(RGB)와 피부경으로 촬영한 데이터 2개가 존재함

- 확실한 병리학적 확인이 있지는 않음

- 이 데이터를 사용한 이유

1) 각 질병에 대한 이미지가 명확하게 존재함

2) 각 질병마다 100개 이상의 이미지가 존재함

3) 이미지 퀄리티가 괜찮음

4) 주변에 별 다른 거 없이 딱 질병 부위만 잘 잡음

- ma/mi 는 RGB/피부경 비율임

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

HAM10000(HAM)

- 10,015개의 데이터와 5개의 질병 카테고리 3개의 암 카테고리

- 20년동안 오스트리아와 호주에서 수집한 데이터임

- 피부경으로 촬영한 데이터만 존재함(mi/ma 1로 표현함)

- 확실하게 병리학적 확인까지 수행함

 

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

Method

Progressive Transfer Learning

- 작은 데이터셋을 가지고 있을 경우 제대로 특징 학습이 잘 안될 수 있음

- 따라서, 데이터셋이 적을시 Transfer Learning으로 많이 접근함

- 대표적으로, Imagenet으로 Pretrained시키고 Pascal로 fine tuning하여 더 성능을 개선시킴

- 이를 어떻게 보면 Source Domain으로 학습시킨걸 Target Domain으로 가져와서 더 학습시킨 것임

- 이러한 방법으로 VGG, Resnet, Densenet 등 좋은 성적을 냄을 증명함

 

- Source Domain으로 미리 학습 시키고 Target으로 가는 것은 Source Domain에서 학습한 경험적 추정을 바탕으로 Target Domain에 더 맞게 학습시킨다고 볼 수 있음

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

- 여기서 더 확장시켜 Multi Step으로 하면 아래와 같이 표현 가능함

- 본 논문에서는 Intermediate Domain과 Target Domain의 Domain은 같게 하여 진행함

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

Generative Adversarial Networks

- transfer learning을 대체할 것으로 이미지를 합성하여 Target Domain에 적응시키는 방법이 존재함

- 본 논문에서는 GAN Based Model(Cycle GAN)을 이용하여 Multi domain adaption을 수행함

- GAN Based 모델의 경우 Loss Function이 아래와 같음

- 왼쪽 Loss로 더 리얼한 이미지 생성을 위해 힘쓰고, 오른쪽 Loss로 Target Image에 맞는 이미지 생성에 힘씀

 

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

- 하지만 이는 Paired한 데이터 셋으로만 해야한다는 단점이 존재함

- 따라서 본 논문에서는 unpair하여도 Domain간의 특징을 학습하여 Domain Adaption이 가능하도록 Cycle GAN을 사용함

- Cycle GAN은 왼쪽 Cycle consistancy Loss를 사용하여, 입력 이미지와 상응하는 Translation을 수행하였는지 봄

- Cycle GAN은 Source와 Target이 매우 의존적이어야 함

- 구조적인 변화에 대해서는 잘 하지 못함

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

Synthesizing Domain Adaption

- Transfer Learing -> 매개변수 기반 교차데이터 적응임

- 반면에 Cycle GAN을 이용하였을 때 서로 다른 Data Domain과 Modality 데이터를 합성하고 그 데이터를 사용함으로써, 서로 다른 도메인간의 이해를 수행가능 함

 

- 즉 합성을 통해 데이터 Augmetnation을 수행한 다음에 그것도 같이 Train Dataset으로 활용한다는 의미임

 

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

Dataset Domain Adaption

- HAM과 MoleMap은 서로 다른 환자 집단이므로 데이터의 분포가 다름

- 따라서 두 데이터 셋에 일반화된 모델을 만들기 위하여 ModleMap -> HAM으로 이미지 변환함

- MoleMap to HAM은 합리적으로 보임

- CycleGAN을 사용함으로써, 기존의 Traditional augmenation보다 다양한 입력 옵션을 제어하고 가질 수 있음

 

Modality Domation Adaption

- MoleMap 데이터 셋 내에 두가지의 서로 다른 형태가 존재함

- 카메라에서는 반사나 조명이 있는데 피부경에서는 그런 것이 없음

- 따라서 RGB to 피부경을 통해, 반사 조명 등을 제거 가능함 그리고, 피부경이 보다 확대 되어있는 형태여서 약간 확대하는 경향도 존재함

 

Gu, Y., Ge, Z., Bonnington, C. P., & Zhou, J. (2019). Progressive transfer learning and adversarial domain adaptation for cross-domain skin disease classification. IEEE journal of biomedical and health informatics, 24(5), 1379-1393.

 

Learning with Synthetic Sets

- Target Dataset 원본이미지와 Source에서 Target으로 변환한 Augmentation한 모델을 함께 사용하여 분류 모델 훈련

 

 

 

 

 

ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ

뒤에 검증이랑 다 읽긴 했는데, 진짜 너무 표 많고 복잡해서 ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ

여기까지만 정리하겠음 ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ