Lecture/딥러닝9 [Dropbox] 코랩에서 Dropbox 사용해서 사진 불러오기 ~ 미루고 미루다가 드디어 작성하는 글! 원래 Dropbox 사용해서 하려다가 눈에 안 보여서 포기했는데, 그래도 혹시 필요한 사람 있을 수도 있으니 쓰는 글~ 팀플을 편하게 하기위해서, 데이터를 dropbox에 올려두고 사용하기로 했다. (근데 하다가 그냥 하기로 결정! ) 1. 폴더 참여 클릭 2. 링크 복사 클릭 3. 코랩에서 실행 !wget https://www.dropbox.com/s/g1acls0cycvn4hg/kaggle_1.zip?dl=1 -O kaggle_1.zip !unzip kaggle_1.zip 여기서 wget이란, 웹 서버로부터 콘텐츠를 가져오는 컴퓨터 프로그램이다. 이 후 입맛에 맞게 잘 쓰면 된다 2023. 7. 14. [딥러닝] CNN Architectures AlexNetVGGGoogLeNetResNetAlexNet기존으로 non-딥러닝 모델을 능가하는 성능을 보여주었다.최초로 딥러닝과 conv net을 적용하여 CNN으로 눈에 뛸 만한 성과를 낸 첫 CNN이다.구조적으로 LeNet-5와 비슷하나 조금 더 많은 layer를 가진다는 차이가 있다.2개로 분할하여 2개의 GPU에서 학습하였다.(GTX 580 GPU 2개, 각각 3GB의 메모리 첫번째 레이어(conv1)의 output size는? filter가 64개이므로 output의 channel도 64개이다. H/W = (227-11+2*2)/4+1 = 56 H/W =(W-K+2P)/S+1 첫번째 레이어(conv1)의 memory(KB)는? output의 개수 : 64*56 * 56 = 200,704 C*H.. 2023. 5. 18. [딥러닝] Backpropagation Matrix Operation Better Idea: Computational Graphs복잡한 함수의 Analytic gradient을 쉽게 계산하기 위해서 computation graph을 그린다. sigmoid function을 통해 좀더 간편하고 효율적으로 gradient를 계산하는 것을 보여준다. 이와같이 computational graph의 최종 loss를 통해 input단의 original parameter들의 gradient를 계산하는 backpropagation과정에서 나타나는 몇개의 pattern을 볼 수 있다. Patterns in Gradient Flowadd function(add gate) : gradient distributor 역할mul function(mul gate): swap multiplier 역할.. 2023. 5. 18. [딥러닝] Evaluation Metrics & Training Neural Networks, Part I 1. Evaluation Metrics 2. How to Train Neural Network in a Better Way?Data PreprocessingUse ReLU or its variants (due to Vanishing Gradient)Batch NormalizationWeight InitializationRegularization (+Dropout) Data Augmentation + Learning rate schedules, Hyperparameter optimization, Model ensemblesSimple Binary Classification Confusion matrixTraining을 통한 Prediction 성능을 측정하기 위해 예측 value와 실제 value를 비교하.. 2023. 5. 18. [딥러닝] Convolutional Neural Network(CNN) convolution이란 합성곱을 의미한다. 앞으로 CNN에서 Convolutional layer를 입력데이터가 지나면서, 이 합성곱이라는 과정을 거치게함수를 쭉 더해나가서 변형하는 형태로 쓰이게 되는 것이다. 그리고 0보다 작은건 0이고, 0보다 크면 그대로 쓰는 ReLU를 사용한다. MAX pooling은 모아서 하나로 묶는 것이다. 저번 강좌에서 배웠던 Fully Connected Layer을 다시 불러와 보자. 32*32*3의 이미지가 있으면, 그것을 3072*1의 크기로 변환시킨 것을 input값으로 했었다. 그리고, Wx값들은 (클래스 개수인) 10 * 3072로 만들어 둔 뒤에, input과 Weight를 곱하여 10개의 output 값들을 만들어 내는 layer가 바로 Fully conne.. 2023. 5. 18. [딥러닝] Backpropagation, Optimization 지난시간까지 loss를 정의를 했다.Optimizaion손실 함수 값을 최소화하는 파라미터 값이다. 최적화 된 w를 찾아서 예측하려는 것이다. 기울기를 따라서 w를 최적화하는 방법이다. 즉 optimization은 산속에서 눈을 가리고 최저점을 향해 헤매는 과정이라 보면 된다. w를 찾아 나가는 것이 loss, 즉 기울기가 줄어드는 곳이다. 많은 경우에 랜덤하게 정한다. Gradient Descent최적화 방법 중 하나로 손실 함수의 크기를 최소화시키는 파라미터이다. 학습 데이터 입력을 변경할 수 없기 때문에, 손실 함수 값의 변화에 따라 가중치(weight) 혹은 편향(bias)을 업데이트해야 한다. Stochastic Gradient Descent(SGD)현실적으로 많이 사용하는 방법은 mini-ba.. 2023. 5. 18. 이전 1 2 다음
