갱스터의 블로그

Deep Neural networks (DNN) Neural Network에 Deep을 붙인 이유는 hidden layer의 수를 많이 두었기 때문이다. hidden layer를 많이 둬 더 많은 최적화 업데이트 대상이 되는 파라미터를 두고 더 복잡한 형태로 input과의 관계를 모델링하는 것이 목적이다. 따라서 깊은 네트워크의 구조를 가져서 DNN이라고 부르며 DNN 기반의 어떤 ML 작업을 Deep Learning라고 한다. Architecture design 여러 개의 hidden layer를 두는 이유는 capacity를 높이기 위함이다. 즉, input과 output의 관계를 잘 나타낼 수 있다. Universal approximation theorem은 하나의 hidden layer와 여러 개..

Neural networks (NN) Neuron은 우리 몸의 신경 전달 물질이다. NN은 이러한 뉴런을 모방하여 입력이 들어왔을 때, 입력이 각각의 뉴런을 통과하는데 통과하면서 어떤 weight를 곱하게 되고, 곱한 값이 일정 값(threshold) 이상인 경우 node가 activate되어 다음으로 값을 전달하고 작은 값은 무시한다. Classification problem 이진분류 문제를 통해 예를 들어보자. 위 사진과 같이 어떤 선을 기준으로 두 개의 클래스를 분류할 수 있으면 linear seperate를 가진다고 한다. 따라서 이러한 어떤 linear 함수를 통해 두 클래스가 쉽게 분리되는 문제에 대해 함수를 어떻게 둘 것인지에 대한 고민을 할 수 있다. 함수를 g라고 하면 이 g는 x1과 x..