모델과 비용함수(Model and Cost Function)

모델이란

머신러닝은 주어진 학습 데이터셋에서 구조를 학습하고, 이후 데이터가 주어지면 학습한 구조를 바탕으로 예측을 수행하는 것이라고 말할 수 있다. 이때 '데이터가 어떤 구조를 가졌을 것이다'라는 가정을 모델이라고 한다.

모델을 정하고, 모델을 학습한 후, 실제 정답과의 오차를 바탕으로 모델을 평가하여 다시 수정하는 과정을 반복하면서 최적의 모델을 만들어 나가는 것이 머신러닝의 핵심이다.

이때 모델을 평가하는 과정에서 등장하는 개념이 비용함수(Cost Function) 이다

 

---

비용함수(Cost Function)

가설함수

비용함수를 말하기 전에, 가설함수(Hypothesis Function)이라는 개념이 등장하는데, 가설함수는 어떤 데이터 X에 대하여 정답은 h(x)일 것이라고 예상하는 함수를 말한다. 모델과 유사한 개념이다.

h(x) = ax + b

h(x)를 위와 같이 가정했을 때 목표는 최적의 a와 b의 값을 찾아내는 것이다. 이때 어떤 최적의 a,b값은 h(x) - y(의 제곱)가 최소가 될 때 찾을 수 있을 것이다. 이때 a,b를 파라미터라고 부르고 파라미터는 θ로 표현한다.

비용함수는 어떤 h(x)에 대하여 실제 정답과 얼마나 큰 오차가 발생하는지(얼마나 예측이 정확한지)를 수치화하는 함수라고 할 수 있다. 최적의 모델은 비용함수가 최소화 되는 지점에서 찾을 수 있다. 비용함수는 J(θ)라고 표현한다.

비용함수의 일반화

비용함수가 최소일 때 최적의 파라미터