기계 학습 알고리즘의 성능을 평가하기 위해서는 수치로 표현된 측정 지표를 개발해야 합니다. 이러한 성과 측정 지표는 주로 시스템이 수행하는 작업에 따라 다양하게 변할 수 있습니다.
성과 측정 지표의 다양성
분류나 결과 입력이 있는 자료의 분류, 전사와 같은 과제에서는 주로 모형의 정확도를 성과 측도로 사용합니다. 정확도는 모형이 올바른 결과를 출력한 보기들의 비율을 의미하며, 오류율은 모형이 틀린 결과를 출력한 보기들의 비율을 나타냅니다. 이러한 오류율은 종종 기대 손실로 표현되며, 각 보기에 대한 손실은 올바르게 분류되면 0이고 그렇지 않으면 1입니다. 그러나 밀도 추정과 같은 과제에서는 정확도나 오류율과 같은 측도가 유용하지 않습니다. 이러한 경우에는 각 보기에 연속 값 점수를 부여하는 성과 측정 방법이 필요하며, 이를 위해 일반적으로 학습 모형이 부여한 평균 로그 확률이 사용됩니다.
성능 평가를 위한 테스트 데이터 세트
일반적으로 우리의 관심은 이전에 입력한 적이 없는 자료에 대한 기계 학습 알고리즘의 성능에 있습니다. 이러한 성능은 알고리즘을 현실 세계에 적용했을 때 얼마나 효과적으로 작동할지를 나타내기 때문입니다. 이를 위해 학습된 모델의 성능을 평가하기 위해 학습 시에 사용되지 않은 독립적인 테스트 데이터 세트를 사용하여 성능을 측정합니다.
성과 측도 선택의 어려움
성과 측도를 선택할 때는 때로 어려움이 있을 수 있습니다. 몇몇 경우에는 쉽게 선택할 수 있고 객관적일 수 있지만, 시스템의 목적과 바람직한 행동을 반영하는 적합한 측도를 선택하기는 어려울 수 있습니다.
측정 항목의 실제 측정 어려움
성과 측도를 선택하기가 어려울 때가 있습니다. 예를 들어 전사 과제를 수행하는 시스템의 경우, 전체 문장의 정확도를 측정할지, 아니면 일부 요소의 처리를 기준으로 부분 점수를 주는 것이 더 나은지 결정해야 합니다. 회귀 과제에서는 중간 크기의 실수를 자주 틀릴 때는 높은 점수를 주는 방법도 있고, 아주 큰 실수를 적게 틀 때는 가산점을 주는 방법도 있습니다. 이러한 설계상의 고려는 응용에 따라 다를 수 있습니다.
측정할 수 있는 측정 항목은 명확할 수 있지만, 실제 측정이 현실적으로 어려울 때가 있습니다. 예를 들어, 밀도 추정에서는 이러한 상황이 자주 발생합니다. 최상의 확률 모형 중에는 확률 분포를 암묵적으로만 표현하는 것들이 많기 때문에, 이러한 모델에서는 특정 지점에 대한 실제 확률을 계산하는 것이 불가능합니다. 이런 경우에는 여전히 설계 목표에 부합하는 다른 기준을 고려하거나, 원하는 기준을 근사하는 방법을 고안해야 합니다.
비지도 학습과 지도 학습
기계 학습 알고리즘은 학습 과정에서 허용되는 경험의 종류에 따라 주로 비지도 학습과 지도 학습으로 나뉩니다.
통계학자와 기계 학습 연구자들이 공통으로 사용하는 가장 오래된 자료 집합 중 하나는 Iris 자료 집합입니다. 이 자료 집합은 150개의 서로 다른 붓꽃 식물에서 측정된 여러 특징으로 구성되어 있습니다. 각 식물은 하나의 보기를 나타내며, 각 보기는 해당 식물의 특징들을 포함합니다. 이 자료 집합에는 세 가지 서로 다른 종의 붓꽃에 대한 정보가 포함되어 있습니다.
비지도 학습 알고리즘은 다양한 특징을 가진 자료 집합을 경험하고 그 구조에서 유용한 성질을 배우는 데 중점을 둡니다. 딥러닝에서 비지도 학습 알고리즘의 목표는 주어진 자료 집합을 생성한 원래의 확률분포를 명시적으로 학습하는 것입니다. 또한, 비지도 학습 알고리즘은 군집화와 같은 다른 작업도 수행할 수 있습니다. 군집화는 자료 집합의 보기들을 유사한 것끼리 그룹화하여 무리를 형성하는 작업을 의미합니다.
지도 학습 알고리즘 또한 다양한 특징을 가진 자료 집합을 경험하지만, 이 경우 각 보기에는 이름표나 목표가 연관됩니다. 예를 들어, Iris 자료 집합에는 각 붓꽃 식물의 종에 대한 이름이 부여되어 있습니다. 이러한 자료 집합에 지도 학습 알고리즘을 적용하면, 알고리즘은 각 보기의 특징들을 기반으로 그 보기가 세 종 중 어떤 종에 속하는지 분류할 수 있습니다.
지도 학습과 비지도 학습의 구분
개략적으로 말하자면, 비지도 학습은 한 확률 벡터의 여러 보기를 관측하여 확률 분포의 구조나 특성을 암묵적이거나 명시적으로 학습하는 것입니다. 반면에, 지도 학습에서는 확률 벡터 x와 이에 연결된 값 또는 벡터 y의 여러 보기를 관측하여 x로부터 y를 예측하는 방법을 배우려고 합니다. 주로 p(x|y)를 추정하여 y를 예측합니다. 지도 학습에서는 감독 학습이라는 용어가 사용되며, 이는 기계 학습 시스템의 학습 과정에서 지도자나 교사가 목푯값 y를 제공하고 시스템이 이를 학습한다는 개념에서 비롯됩니다. 반면에 비지도 학습에서는 이러한 지도자나 교사가 없으며, 알고리즘이 스스로 데이터를 이해하고 학습해야 합니다.
다양한 기계 학습 패러다임
기계 학습에서는 비지도 학습과 지도 학습 외에도 다양한 학습 패러다임이 가능합니다. 예를 들어, 준지도 학습은 학습 데이터에 일부에만 레이블이 달린 자료 집합을 사용합니다. 다중 인스턴스 학습은 학습 알고리즘에 특정 클래스의 샘플이 있는지를 알려주지만, 개별 샘플에는 레이블이 없는 자료 집합을 사용합니다.
또한, 경험하는 자료 집합이 고정되지 않은 기계 학습 알고리즘도 있습니다. 예를 들어, 강화 학습 알고리즘은 환경과 상호작용하면서 학습합니다. 즉, 학습 시스템과 경험 사이에 되먹임 루프가 존재합니다.
대부분의 기계 학습 알고리즘은 고정된 학습 데이터를 경험합니다. 학습 데이터를 서술하는 방법은 다양하지만, 대부분의 경우 데이터는 보기로 이루어져 있고, 각 보기는 특징으로 구성됩니다.
결론
기계 학습 알고리즘의 성능을 평가하는 데는 다양한 성과 측정 지표가 필요합니다. 성과 측정 방법은 작업의 특성에 따라 달라지며, 정확도, 오류율, 평균 로그 확률 등이 사용될 수 있습니다. 이러한 성과 측정은 학습 시 사용되지 않은 독립적인 테스트 데이터 세트를 통해 이루어져야 합니다. 그러나 성과 측정 방법을 선택할 때는 시스템의 목적과 바람직한 행동을 반영하는 적합한 측도를 선택하는 어려움이 있을 수 있습니다. 또한, 실제 측정이 어려운 경우가 있을 수 있으며, 이를 위해 다양한 기준을 고려하거나 근사 방법을 사용해야 할 수 있습니다. 마지막으로, 비지도 학습과 지도 학습은 각각 확률 분포의 구조를 학습하거나 값을 예측하는 방식으로 다양한 패러다임을 제시합니다.