기계 학습 알고리즘 대다수는 초매개변수를 가지며, 이는 알고리즘의 행동을 제어하는 설정입니다. 하지만 이 값들은 학습 알고리즘이 직접 조절하지 않습니다.
모델 검증을 위한 예비 시험 집합 활용
학습 알고리즘이 학습하지 않는 설정 중에는 최적화하기 어려운 것들을 초매개변수로 설정하는 경우가 종종 있습니다. 그러나 더 흔한 접근 방식은 훈련 데이터에 적합하지 않은 설정을 초매개변수로 설정하는 것입니다. 모델의 용량을 제어하는 모든 초매개변수가 해당됩니다. 이러한 초매개변수를 훈련 데이터를 통해 학습하면 모델은 최대 용량을 가진 초매개변수를 선택하게 되어 과적합이 발생할 수 있습니다. 이러한 문제를 극복하기 위해 관측하지 않은 데이터로 이루어진 검증 세트가 필요합니다.
훈련 및 검증 집합의 구성과 초매개변수 선택
학습 과정이 끝난 후 모델의 일반화 오차를 추정하는 방법으로 훈련 집합과 비슷한 분포에서 비롯된 견본들로 이루어진 예비 시험 집합을 사용하는 것을 알아봤습니다. 이때 중요한 점은 모델 선택 및 결정 과정에서 이러한 시험 견본들을 사용하지 않는다는 것입니다. 이 선택에 초매개변수가 관여하므로 검증 집합에는 시험 집합의 견본이 들어가지 않아야 합니다. 따라서 검증 집합은 항상 훈련 데이터에서 추출된 보기들로 구성됩니다. 보통 훈련 데이터를 겹치지 않는 두 부분집합으로 나누어 하나는 매개변수를 학습하는 데 사용하고, 다른 하나는 훈련 이후 일반화 오차를 추정하기 위한 검증 집합으로 사용합니다. 이를 통해 개별적인 검증 집합을 사용하여 초매개변수를 적절히 조정할 수 있습니다. 훈련에 사용되는 부분집합을 흔히 "훈련 집합"이라고 합니다. 초매개변수를 선택할 때 사용되는 부분집합은 "검증 집합"이라고 합니다. 일반적으로 연구자들은 전체 훈련 데이터의 약 80%를 훈련에 사용하고 나머지 20%를 검증에 사용합니다. 검증 집합은 초매개변수의 훈련에 사용되므로 일반화 오차를 과소평가하는 경향이 있지만 훈련 오차보다는 작습니다. 모든 초매개변수를 최적화한 후에는 시험 집합을 사용하여 일반화 오차를 추정할 수 있습니다.
벤치마크와 시험 집합의 한계
실제 응용에서는 수년간 여러 알고리즘의 성능을 동일한 시험 집합을 사용하여 반복적으로 평가해 왔습니다. 이에 따라 과학 커뮤니티는 해당 시험 집합에 대한 최고 성능을 넘어설 수 있는 다양한 방법을 시도해 왔습니다. 결과적으로 시험 집합에 대한 낙관적인 평가가 발생하고, 벤치마크가 실제 응용에서의 성능을 정확하게 반영하지 못할 정도로 지루해졌습니다. 다행히도 이러한 문제를 극복하기 위해 공동체는 새로운 벤치마크 시험 집합으로 이동하고 있습니다.
자료 집합을 고정된 훈련 집합과 시험 집합으로 나눌 때, 시험 집합이 너무 작으면 문제가 될 수 있습니다. 작은 시험 집합은 평균 시험 오차에 대한 통계적 불확실성을 야기할 수 있으며, 이는 한 알고리즘이 다른 알고리즘보다 우수하다는 결론을 내리게 어렵게 만듭니다.
시험 집합 크기와 평가 불확실성 관리
자료 집합이 많은 보기로 이루어진 경우에는 이러한 문제가 덜 심각해집니다. 그러나 자료 집합이 작을 때는 문제가 심해질 수 있으므로, 모든 보기를 평균 시험 오차의 추정에 사용하는 대안적인 방법을 사용할 수 있습니다. 이 방법은 원래의 자료 집합에서 무작위로 선택한 서로 다른 부분집합 또는 무작위로 분할한 부분들에 대해 훈련과 시험을 반복하는 아이디어에 기반합니다. 이 중 가장 흔히 사용되는 것이 k 중 교차 검증 절차입니다. 이 방법은 자료 집합을 겹치지 않는 k개의 부분집합으로 나눈 다음, 각각의 시행에서 하나의 부분집합을 시험 집합으로 사용하고 나머지를 훈련 집합으로 사용하여 평균 시험 오차를 계산합니다. 이 방법의 한 가지 문제는 평균 오차 추정량의 분산에 대한 편향 없는 추정량이 없다는 것인데, 이 문제는 보통 근사를 사용하여 해결됩니다.
학습 모델의 일반화와 과적합을 이해하는 도구
통계학은 기계 학습이 훈련 데이터에 대해 잘 작동할 뿐만 아니라 새로운 데이터에도 일반화되는 데 필요한 다양한 도구를 제공합니다. 매개변수 추정이나 편향, 분산과 같은 통계학의 기본 개념들은 학습 모델의 일반화, 과소적합, 과대적합 등을 공식적으로 정의하는 데 유용합니다.
결론
따라서, 기계 학습에서 모델의 일반화와 과적합을 이해하고 관리하기 위해서는 초매개변수 선택 및 검증에 신중한 접근이 필요합니다. 이를 위해 훈련 집합과 검증 집합을 적절히 구성하고, 시험 집합의 크기와 평가 불확실성을 고려하여 다양한 방법을 활용해야 합니다. 또한, 통계학의 기본 개념을 활용하여 모델의 성능을 평가하고 개선하는 것이 중요합니다.