안녕하세요. 오늘은 RNN을 Pytorch로 직접 구현해보고, Tanh(hyperbolic tangent) 대신, Sigmoid나 ReLU를 사용하면 어떻게 되는지 실험을 한 번 해보겠습니다. www.youtube.com/watch?v=tlyzfIYvMWE&list=PLSAJwo7mw8jn8iaXwT4MqLbZnS-LJwnBd&index=26 제가 Pytorch를 처음 공부할 때 위 영상을 많이 참고 했습니다. Pytorch를 처음 공부하시는 분이시라면, 위 딥러닝 홀로서기 Pytorch Kist 영상을 보시는 걸 추천드립니다. 자료도 아낌없이 GIt에 올라와 있고, 라이브 코딩을 하면서 수업이 진행되기 때문에 접근하는 노하우를 기를 수 있다고 생각합니다. 코드는 위 영상 GIthub의 자료를 수정한 내..

안녕하세요. 오늘은 LSTM을 이용해서 삼성전자 주가를 예측해보겠습니다. 큰 Dataset은 따로 필요하지 않으니 부담 갖지 않고 하시면 될 것 같습니다. 아래는 본문 글입니다. cnvrg.io/pytorch-lstm/?gclid=Cj0KCQiA6t6ABhDMARIsAONIYyxsIXn6G6EcMLhGnPDxnsKiv3zLU49TRMxsyTPXZmOV3E-Hh4xeI2EaAugLEALw_wcB LSTM이 어떻게 동작을 하는지 자세히 아시고 싶으시면 아래 블로그를 추천드립니다. dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr Long Short-Term Memory (LSTM) 이해하기 이 글은 Christopher Olah..

글의 가독성을 위해 아래 링크에 다시 정리함. https://blog.naver.com/younjung1996/223413266165 [딥러닝] Depth-wise Separable Convolution Depth-wise Separable Convolution은 합성곱 신경망(CNN:Convolution Neural Network)의 효율성과... blog.naver.com 안녕하세요. 오늘은 CNN에서 Depth-wise Separable Convolution에 대해 이야기해보겠습니다. Depth-wise separable Convolution을 가장 잘 표현한 그림이라고 생각합니다. 하지만 CNN에 대해 자세한 이해가 없으면 이 그림을 보더라도 이해가 잘 가지 않습니다. 위 그림을 이해하기 위해서는..

안녕하세요. 오늘은 Deep Learning 분야에서 CNN의 BottleNeck구조에 대해 알아보겠습니다. 대표적으로 ResNet에서 BottleNeck을 사용했습니다. ResNet에서 왼쪽은 BottleNeck 구조를 사용하지 않았고, 오른쪽은 BottleNeck 구조를 사용했습니다. BottleNeck을 설명하기 전, Convolution의 Parameters을 계산할 줄 알아야 합니다. 이 부분은 다른 글에서 자세히 설명하겠습니다. Convolution Parameters = Kernel Size x Kernel Size x Input Channel x Output Channel BottleNeck의 핵심은 1x1 Convolution입니다. ( Pointwise Convolution 이라고도 합..

안녕하세요. 제가 평소에 자주 즐겨보는 빵형의 개발도상국에서 재미있는 딥러닝 예제가 있어서 가져 왔습니다. www.youtube.com/watch?v=VxRCku4Bkgg 평소에는 눈으로만 보다가 재밌어 보여서, 실제로 저도 한 번 해보기로 했습니다. 댓글을 보니, 많은 사람들이 데이터 프로세싱 부분에서 힘들어 하십니다. 저도 따라해보았더니, 학습이 진또배기가 아니라 데이터 전처리 부분이 이 동영상의 꽃이란걸 알게 됐습니다. (역시 딥러닝은 데이터가 문제...) 1. 데이터셋 받기 www.kaggle.com/jessicali9530/celeba-dataset CelebFaces Attributes (CelebA) Dataset Over 200k images of celebrities with 40 bin..

안녕하세요. 오늘은 딥러닝에서 가장 많이 사용되는 ReLU를 통해 비선형함수와 선형함수의 차이점을 알아보겠습니다. 머신러닝에서 선형함수를 통해 회귀문제를 해결할 수 있게 되었고, 더 복잡한 문제를 풀기 위해 비선형 함수 Sigmoid, Tanh, ReLU를 나오기 시작합니다. 현재까지 복잡한 문제를 딥러닝 분야에서 ReLU를 사용하는 것은 당연시 되고 있습니다. 바로, 본론으로 들어가겠습니다. TesorFlow, Keras, Pytorch를 통해 ReLU를 사용하는 것은 굉장히 간단합니다. 신호 및 시스템의 개념적 이야기로 가보겠습니다. ReLU는 왜 비선형 함수일까요? 선형 시스템과 비선형 시스템의 차이 선형성을 가지고 있으면 선형 시스템이고, 그 외는 비선형 시스템입니다. 선형성을 가지는 조건은 무엇..

안녕하세요. 오늘은 Xception 리뷰 세번 째 시간입니다. 1. The Xception architecture in particular the VGG-16 architecture , which is schematically similar to our proposed architecture in a few respects. 특히 VGG-16계층은 몇 가지 측면에서 Xception 계층과 개략적으로 유사합니다. The Inception architecture family of convolutional neural networks, which first demonstrated the advantages of factoring convolutions into multiple branches operating..

https://openaccess.thecvf.com/content_cvpr_2017/papers/Chollet_Xception_Deep_Learning_CVPR_2017_paper.pdf 안녕하세요. Xception 논문 리뷰 2회차입니다. 1회차 논문리뷰로 An Extreme version of Inception module이 Depthwise Separable Convolution까지 소개했습니다. 아래 전 편의 글을 읽는 것을 추천드립니다. https://coding-yoon.tistory.com/78?category=825914 [딥러닝 논문 리뷰] Xception: Deep Learning with Depthwise Separable Convolutions (feat.Pytorch)(1) 안녕..

안녕하세요. 저번 Depthwise Separable Convolution 기법에 대해 글을 올렸습니다. 오늘은 이 기법을 사용한 Xception 논문에 대해 리뷰하도록 하겠습니다. https://openaccess.thecvf.com/content_cvpr_2017/html/Chollet_Xception_Deep_Learning_CVPR_2017_paper.html CVPR 2017 Open Access Repository Francois Chollet; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 1251-1258 We present an interpretation of In..

글의 가독성을 위해 아래 링크에 정리해둠. https://blog.naver.com/younjung1996/223413266165 [딥러닝] Depth-wise Separable Convolution Depth-wise Separable Convolution은 합성곱 신경망(CNN:Convolution Neural Network)의 효율성과... blog.naver.com 안녕하세요. Google Coral에서 학습된 모델을 통해 추론을 할 수 있는 Coral Board & USB Accelator 가 있습니다. 저는 Coral Board를 사용하지 않고, 라즈베리파이4에 USB Accelator를 연결하여 사용할 생각입니다. 딥러닝을 위해 나온 제품이라 할지라도 아직 부족한 부분이 많습니다. 이런 고성..