갱스터의 블로그

느낀점 아직 코드가 완성되지 않은 상태이다. 하지만 레이어에 패딩을 메기고 어떻게 계산을 하는지에 대해 더욱 깊이 고민할 수 있는 계기가 되었다. 이론을 학습하는 것은 어렵지 않았지만 코드로 구현하는 것은 어려운 것 같다.

,

https://coding-saving-012.tistory.com/106 [ML/머신러닝] ConvNet ConvNet 우리가 지금껏 학습한 network는 forward network 또는 fully network라고도 한다. 또, 입력이 여러 개인 경우 하나로 합치고 하나의 출력으로 만들어 낼 수 있는데 이는 Convolutional Neural Network의 기본 coding-saving-012.tistory.com

목표

https://coding-saving-012.tistory.com/105 느낀점 학습 시 모델에서 모든 레이어를 사용해야 한다는 편견을 깨주었다. Dropout을 통해 필요없는 레이어를 과감하게 없애는 방법이 어쩌면 굉장히 효율적이라고 생각하였다. 또한 앙상블을 통해 여러 모델을 합쳐 더 나은 시너지를 낼 수 있는 것이 굉장히 편리하지만 어떻게 보면 잘 어울리는 모델을 찾으려면 어려울 것 같다는 생각을 하였다.

.

ConvNet 우리가 지금껏 학습한 network는 forward network 또는 fully network라고도 한다. 또, 입력이 여러 개인 경우 하나로 합치고 하나의 출력으로 만들어 낼 수 있는데 이는 Convolutional Neural Network의 기본적인 아이디어이다. Convolutional Neural Network의 기본 아이디어는 고양이 실험으로부터 왔다. 고양이에게 어떠한 그림을 보여주었을 때 그림의 일부를 보고 뉴런의 일부만 반응한다는 사실을 깨닫게 되었다. 이는 입력을 일부만 받아오게 된다는 의미로 받아들이고 이러한 아이디어를 발전해 나가게 된다. 입력으로 들어온 왼쪽의 이미지를 작게 조각내고 각 조각을 입력으로 넣는다. 이때 작은 조각들은 convolution layer라고..

Dropout과 Ensemble 이전에 우리는 Overfitting라는 것을 학습하였다. overfitting이란 학습 데이터에 대해 100%의 정확도를 내어 오히려 test data set에 대해 낮은 정확도를 보이는 경우를 말한다. 우리는 이러한 overfitting 문제를 해결하기 위해 regularization이라는 것을 학습하였다. 이해하기 쉽기 이야기 하자면, 꼬불꼬불하고 복잡하게 그어진 그래프를 일부 weight를 없앰으로써 평탄하게 만들어주는 것이다. 더 자세한 내용은 아래의 링크를 참고하기 바란다. https://coding-saving-012.tistory.com/90 [ML/머신러닝] Learning Rate, Data Preprocessing, Overfiting Learning R..

ReLU 딥러닝은 여러 개의 레이어를 통해 학습이 진행된다. 이때 입력을 받는 레이어는 input layer, 출력을 만들어내는 레이어는 output layer라고 한다. 그렇다면 레이어의 개수가 많을 때, input layer와 output layer를 연결해 주는 중간 레이어가 존재할 것이다. 우리는 이러한 중간 레이어를 hidden layer라고 한다. 하지만 레이어의 개수가 늘어나도 cost나 accuracy는 거의 그대로이다. 이는 backpropagation을 통해 적은 개수의 레이어를 사용할 때에는 weight값이나 bias값을 잘 찾아냈다. 하지만 레이어의 개수가 많아진 경우(9개 이상) 적절한 weight, bias값을 찾지 못한다. hidden layer의 노드를 거칠 때 우리는 wei..

https://coding-saving-012.tistory.com/104 [ML/머신러닝] ReLU와 Weight 초기화 ReLU 딥러닝은 여러 개의 레이어를 통해 학습이 진행된다. 이때 입력을 받는 레이어는 input layer, 출력을 만들어내는 레이어는 output layer라고 한다. 그렇다면 레이어의 개수가 많을 때, input layer와 o coding-saving-012.tistory.com 느낀 점 지난번 학습했었던 시그모이드와의 차이점을 비교하며 ReLU가 훨씬 나은 방법이라는 사실을 알게 되었다. ReLU가 더 나은 이유에 대해 납득하였지만 아직 직접 학습시켜보지 않아 알쏭달쏭하다.