안녕하세요. Plain Network(단순히 Layer을 깊게 쌓음)에서 발생하는 Vanishing Gradient(기울기 소실), Overfitting(과적합) 등의 문제를 해결하기 위해 ReLU, Batch Nomalization 등 많은 기법이 있습니다. ILSVRC 대회에서 2015년, 처음으로 Human Recognition보다 높은 성능을 보인 것이 ResNet입니다. 그 위용은 무지막지한 논문 인용 수로 확인할 수 있습니다. 그렇기 때문에 ResNet은 딥러닝 이미지 분야에서 바이블로 통하고 있습니다. Plain Network는 단순히 Convolution 연산을 단순히 쌓는다면, ResNet은 Block단위로 Parameter을 전달하기 전에 이전의 값을 더하는 방식입니다. F(x) : w..

글의 가독성을 위해 아래 링크에 다시 정리함. https://blog.naver.com/younjung1996/223413266165 [딥러닝] Depth-wise Separable Convolution Depth-wise Separable Convolution은 합성곱 신경망(CNN:Convolution Neural Network)의 효율성과... blog.naver.com 안녕하세요. 오늘은 CNN에서 Depth-wise Separable Convolution에 대해 이야기해보겠습니다. Depth-wise separable Convolution을 가장 잘 표현한 그림이라고 생각합니다. 하지만 CNN에 대해 자세한 이해가 없으면 이 그림을 보더라도 이해가 잘 가지 않습니다. 위 그림을 이해하기 위해서는..

안녕하세요. 오늘은 Deep Learning 분야에서 CNN의 BottleNeck구조에 대해 알아보겠습니다. 대표적으로 ResNet에서 BottleNeck을 사용했습니다. ResNet에서 왼쪽은 BottleNeck 구조를 사용하지 않았고, 오른쪽은 BottleNeck 구조를 사용했습니다. BottleNeck을 설명하기 전, Convolution의 Parameters을 계산할 줄 알아야 합니다. 이 부분은 다른 글에서 자세히 설명하겠습니다. Convolution Parameters = Kernel Size x Kernel Size x Input Channel x Output Channel BottleNeck의 핵심은 1x1 Convolution입니다. ( Pointwise Convolution 이라고도 합..