ok-lab

모수통계 방법을 사용할 수 없을 때 비모수통계와 permutation test를 많이 이용하지만, permutation test는 경험적 분포를 만들어 내기 때문에 p-value를 구해낼 수는 있지만 신뢰구간을 추정하는 작업은 쉽지 않다. 왜냐하면 신뢰구간은 검정통계량이 아니라 모집단 평균의 추정치인 표본평균에 대해서 계산되어야하기 때문이다. 이때 bootstrapping 을 사용해 신뢰구간 추정에 있어 적합한 비모수검정 기법을 제공해준다. bootstrapping은 원래의 데이터로부터 표본을 반복적으로 무작위 추출(random sampling with replacement)하여 검정통계량의 경험적 분포를 생성한다는 것이 permutation test와 큰 차이점이다. ( permutation은 samp..

최적화에서도 여러가지 방법이 있지만 여기서는 머신러닝, 딥러닝에서 활용되는 최적화 기법과 기본적인 모델에 대해서 다뤄볼 것이다. 우리는 모델의 Generalization 성능을 높이는 것이 목표다. 하지만 우리가 무조건적인 일반화를 하는 것이 좋은 모델인가? iteration을 반복하게되면 학습데이터에 대해서 계속 학습을 하기 때문에 training error는 지속적으로 줄어들게 된다. training error가 0이 되었다고 해서 모델의 일반화가 되었다고는 말할 수 없다. 왜냐하면 너무 training data에 적합한 모델이 되어버려서 일반화가 되지 않아, training 되지 않은 새로운 dataset에서는 모델이 적절하지 않기 때문이다. 너무 과적합 되어버리면 test set에서는 오히려 er..