[220509] Refined Network 정리 좀 해보자고

BRRNet : A Fully Convolutional Neural Network for automatic building extraction form high-resolution remote sensing Image

 

- 기존 연구의 문제점

• 건물 Segmentation을 하는데 불완전한 건물 추출 + 불완전한 건물 면적 추출이 한계임
• 본 연구에서 기존 연구의 한계는 U-Net에서 넓은 Receptive Field를 보지 못하여 그런 것이라고 함
• (사실 Pooling이 적게 되어있기 때문이라고 써 있는데, Maxpooling을 말하는 건지, 아니면 차원이 작아지는 것을 의미하는 것인지 잘 모르겠음)
• (근데 단순 Maxpooling만 생각한다면, Unet과 Maxpooling 쓴 수가 같고, Unet과 Latent space 부분만 다르기 때문에, 나는 갠적으로 차원이 작아지는걸 다 pooling으로 표현한게 아닌가 하고 생각함)

 

- 본 연구에서 그래서 어떻게 바뀌었는데 ? 

• 일단 Predict Module과 Residual Refinement Module 두가지 모듈로 구성 됨
• 앞의 Predict Module의 경우 UNet에서 착안한 것임

Shao, Z., Tang, P., Wang, Z., Saleem, N., Yam, S., & Sommai, C. (2020). BRRNet: A fully convolutional neural network for automatic building extraction from high-resolution remote sensing images. Remote Sensing, 12(6), 1050.

 

• Predict Module

• 기존의 UNet은 4단으로 크게 줄어드는데(maxpooling 4번), 본 논문에서는 연산량 때문에 3단까지만 밑으로 내려감
• (32x32x256)을 출발로 dilation convolution을 아래 숫자에 따라 비율을 다르게 해서 적용함
• 그리고 add를 통해서 하나의 뿅하는 Global feature(Latent space)를 구함
• Encoder와 Decoder의 형태는 Unet과 동일함 그 저기 global feature 부분만 다른 것임

 

• Why Dilation convolution?

• 본 논문에서 말하는 것은 큰 건물이나 그런 것들이 있는데 수용필드가 너무 작기 때문에 제대로 특징 추출이 되지 않는 것이라고 말함
• 그래서 수용필드를 다양하게 그리고 넓게 함으로써 Global Feature를 더 잘 추출 가능하다고 말함
• diliation convolution은 넓은 View가 필요하고, 여러 Conv를 사용하고나 수용 필드를 키우기위해 큰 커널을 사용하기 힘들 때 주로 사용함
• Filter 내부에서 zero padding을 해서 수용 영역을 넓힘
• 정보 손식이 적고, Weight가 0이 되는 부분이 많아 연산 효율에 좋음
• 공간적 특징을 유지하는 Segmentation에서 주로 사용함

 

• Residual Refinement Module

• 대부분 위에 Predict Module 만 사용하는 One step 방법을 사용함
• 그런데, 실제 해보면, 정답과 다름
• 그래서, 우리는 더 정확하게 하기 위해서 Residual Refinement Module을 정의하고자 함
• Predict Module의 output을 인풋으로 사용함
• 기존 논문([37])에서는 (a)와 같이 정의하였는데 (Refined module) 우리는 오른쪽처럼 하겠음
• 근데 기존 논문은 너무 layer가 적기 때문에 deeper한 feature를 추출해서 사용하는데 한계가 존재하며 수용필드가 증가하거나 하지 않아서, global feature를 더 의미있게 뽑을 수 없음
• 우린 b처럼 dilation rate를 서로 다르게 해서(더 넓은 범위를 한번에 볼 수 있다) global feature를 더 잘 뽑을 수 있음

Shao, Z., Tang, P., Wang, Z., Saleem, N., Yam, S., & Sommai, C. (2020). BRRNet: A fully convolutional neural network for automatic building extraction from high-resolution remote sensing images. Remote Sensing, 12(6), 1050.