갱스터의 블로그

Bias-variance dilemma 어떤 하나의 문제를 풀이할 때 여러 가지 모델을 사용할 수 있다. 여러 가지 모델을 사용할 때 기본적으로 트레이닝 데이터를 핸덤하게 추출하여, 각 모델을 학습시킬 수 있다. 즉, 1,000개의 데이터에서 랜덤하게 300개의 데이터를 추출하여 하나의 모델을 만들고, 또 랜덤하게 300개의 데이터를 추출하여 두 번째 모델을 만드는 랜덤한 샘플링을 해주면 작은 데이터를 보지만 더 많은 모델을 만들어 줄 수 있다. 어떤 데이터가 선택되느냐에 따라 다른 모델이 학습이 되는데, 이러한 관점으로 deterministic한(결정적인) 알고리즘이 아니라, Stochastic한(확률적인) 알고리즘의 형태를 띨 수 있다. - Bias 실제값과 예상값의 차이로 아래의 식으로 나타낼 수 ..

Decision Tree introduction Decision Tree는 나무 결정 트리, 또는 DT라고 한다. 어떤 결정 분류 문제에서 분류에 대한 결정을 내리기 위해 나무 모양에서 계속해서 분기를 진행한다. 가장 쉽게 분류를 할 수 있는 방법은 if문이다. 일반적인 프로그램에서는 if문의 조건을 프로그래머가 설정해주지만, DT는 데이터에 대한 feature를 계산하며 조건을 학습한다. 프로그램과 DT의 차이점은 위와 같다. 하지만 기본적으로는 IF-THEN 규칙을 적용한다고 생각하면 된다. DT의 특징 - Recursive partitioning 위 사진과 같이 반복적으로 partitioning을 수행한다. 각 feature에 대해 조건을 설정하고 해당 조건을 충족하면 x1, 충족하지 않으면 x2라..