전통적인 알고리즘들이 인공지능 과제에 부적합하다는 사실은 일부분으로 딥러닝의 개발을 촉발했습니다.
차원의 저주와 기계 학습
고차원 자료를 다룰 때 학습 모형을 새로운 데이터에 일반화하는 것은 지수적으로 어려워집니다. 이는 전통적인 기계 학습에서 사용되는 일반화 메커니즘이 고차원 공간의 복잡한 함수를 학습하기에 부족하다는 문제점과 관련이 있습니다.
기계 학습에서는 자료의 차원이 높아질수록 문제 해결이 어려워지는 경우가 많습니다. 이를 "차원의 저주"라고 합니다. 특히 변수의 개수가 증가함에 따라 변수들의 특정 값으로 이루어진 서로 다른 구성의 개수가 지수적으로 증가하는 현상이 발생합니다. 이러한 차원의 저주는 컴퓨터 과학 전반에 걸쳐 나타나지만, 특히 기계 학습에서는 큰 문제가 됩니다.
차원의 저주로 인해 훈련 보기의 가능한 개수가 훈련 보기의 수보다 훨씬 크면 통계적 난제가 발생합니다. 이는 입력 공간이 격자 형태로 조직화하여 있는 경우를 예로 설명할 수 있습니다. 저차원 공간에서는 격자의 칸에 자료가 대부분 들어 있기 때문에 학습 모형을 새로운 자료점에 일반화할 때는 간단히 같은 칸에 속하는 훈련 보기들을 새로운 입력으로 간주하여 처리할 수 있습니다. 하지만 고차원 공간에서는 훈련 보기를 담은 격자 칸보다 훈련 보기가 하나도 없는 격자 칸이 훨씬 많기 때문에 새로운 구성에 대한 정보를 추론하게 어려워집니다. 따라서 일부 전통적인 기계 학습 알고리즘들은 새로운 자료점에 대한 출력을 가장 가까이 있는 훈련 자료점에 대한 출력과 근사적으로 동일하다고 가정합니다.
사전 믿음과 학습 알고리즘
기계 학습 알고리즘이 잘 일반화되려면 알고리즘이 배워야 할 함수의 종류에 대한 사전 믿음을 제공해야 합니다. 이전에 살펴본 예제들에서는 이러한 사전 믿음을 모형의 매개변수에 관한 확률분포의 형태로 명시적으로 지정했습니다. 또한 매개변수와 함수의 관계로 인해 이러한 사전 믿음이 함수 자체에 직접적인 영향을 미치고 매개변수에는 간접적인 영향을 미친다는 것을 다소 비공식적으로 언급했습니다. 더 나아가서, 특정 부류의 함수를 선호하도록 알고리즘을 편향되게 구현함으로써 사전 믿음을 암묵적으로 지정할 수도 있습니다. 이러한 편향은 여러 함수에 대한 믿음의 정도를 나타내는 확률분포의 형태로 표현되기도 하지만 항상 그렇지는 않습니다.
평활성 사전분포와 기계 학습
평활성 사전분포 또는 국소 불변성 사전분포는 함수가 작은 영역 안에서 아주 크게 변하지 않아야 한다는 제약을 나타내는 암묵적인 사전 믿음으로 가장 널리 사용됩니다.
평활성 가정과 관련된 비매개변수적 알고리즘들은 대부분의 봉우리 지점에서 큰 값을 관측하고 대부분의 계곡 지점에서는 작은 값을 관측한다면 잘 작동합니다. 이러한 조건은 함수가 충분히 매끄럽고 차원이 매우 적은 경우에 충족됩니다. 그러나 차원이 높을 때는 매우 매끄러운 함수도 문제가 될 수 있습니다. 이는 함수가 각 차원에서 서로 다른 방식으로 변할 수 있기 때문입니다. 함수가 다양한 영역에서 서로 다른 특성을 보인다면 하나의 훈련 집합으로 그 함수를 설명하는 것이 극도로 복잡해집니다.
다행히도, 복잡한 함수를 효율적으로 표현하는 것과 추정된 함수가 새 입력들에 잘 일반화되는 것은 모두 가능합니다. 핵심은 O(k)개의 표본들로 그보다 훨씬 많은 영역 (예를 들면 O(2^k)개의 영역)을 정의할 수 있다는 것입니다. 그러나 이를 위해서는 바탕 자료 생성 분포에 관한 추가적인 가정들을 도입하여 영역들 사이에 일정한 의존성을 부여해야 합니다. 이렇게 하면 비국소적인 일반화가 가능해집니다. 딥러닝 알고리즘 중에서는 광범위한 인공지능 과제들에 적합한 암묵적 또는 명시적 가정들을 도입하여 이러한 장점들을 취하는 것이 가능합니다.
강력한 가정과 특정 과제
기계 학습 접근 방식 중에는 보다 강력하고 특정 과제에 맞춘 가정들을 사용하는 방법도 있습니다. 예를 들어, 체스와 같은 과제는 대상 함수가 주기적인 특성을 가진다는 가정을 두면 상대적으로 쉽게 풀릴 수 있습니다. 일반적으로, 이러한 강력하고 특정 과제에 맞춘 가정들을 도입하는 목적은 신경망을 다양한 구조로 일반화시키는 것이 아니라, 해당 과제에 특화된 속성을 활용하여 문제를 해결하는 것입니다. 인공지능 과제들은 너무 복잡한 구조가 있어 단순하고 사람이 명시적으로 설정한 속성으로 제한하기에는 어렵습니다. 따라서 이러한 접근 방식보다는 보다 범용적인 가정들을 학습 알고리즘에 내포시키는 것이 더 효과적입니다.
딥러닝의 핵심 개념과 범용적인 가정
딥러닝의 핵심 개념은 자료가 인자들의 조합을 통해 생성된다는 것입니다. 이러한 조합은 어떤 계층구조의 여러 수준에서 발생할 수 있습니다. 이와 유사한 다른 여러 범용적인 가정들을 딥러닝 알고리즘에 도입함으로써 이를 더욱 개선할 수 있습니다. 이러한 명백하고 온건한 가정들 덕분에 구분할 수 있는 영역의 개수를 보기 개수의 몇 배수 수준으로 증가시킬 수 있습니다.
결론
딥러닝은 전통적인 기계 학습 알고리즘들이 고차원 데이터와 다양한 함수 형태를 다루는 데 제한되어 있음을 인식하여 발전했습니다. 이러한 발전은 학습 알고리즘에 일반적인 사전 믿음과 평활성 가정을 내포시키는 것을 중요시하는 추세를 보여줍니다. 또한, 딥러닝은 자료 생성의 다양한 수준에서 범용적인 가정을 활용하여 보다 효과적인 학습을 가능케 합니다. 따라서, 딥러닝은 다양한 인공지능 과제에 적합한 강력하고 범용적인 학습 방법으로 자리매김하고 있습니다.