합성곱 신경망은 기계 학습 시스템을 개선하는 데 세 가지 주요한 개념을 활용합니다: 희소 상호작용, 매개변수 공유, 그리고 등변 표현입니다. 또한, 합성곱은 가변적인 크기의 입력을 효과적으로 처리할 수 있는 수단을 제공합니다.
희소 상호작용의 효율성
전통적인 신경망은 모든 입력 단위와 모든 출력 단위 간의 상호작용을 나타내는 매개변수의 행렬 곱을 수행합니다. 그러나 합성곱 신경망은 희소 상호작용의 성질로 인해서 효율적입니다. 이미지 처리에서 작고 의미 있는 핵을 사용하여 수의 매개변수만 저장하면서 모형의 메모리 사용량과 연산의 수를 줄일 수 있습니다. 입력 단위가 m개, 출력 단위가 n개일 때, 희소 연결 접근 방식은 k x n개의 매개변수와 O(k x n)의 실행 시간 복잡도를 가집니다. 심층 합성곱 신경망에서는 깊은 층들의 단위들이 간접적으로 상호작용할 수 있어, 합성곱 신경망은 희소한 상호작용을 효율적으로 표현하여 복잡한 상호작용을 간단한 구성요소로 효율적으로 서술합니다.
매개변수 고유의 원리와 장점
매개변수 공유는 신경망의 두 개 이상의 함수에서 같은 매개변수를 사용하는 것을 의미합니다. 전통적인 신경망에서는 한 층의 출력 계산 시 가중치 행렬의 각 성분은 한 번만 사용됩니다. 이런 특성을 "가중치를 묶었다"라고 표현하며, 한 입력에 곱해진 가중치 값이 다른 모든 곳에서도 동일하게 적용됩니다.
합성곱 신경망에서는 핵의 각 성분이 입력의 모든 위치에 적용됩니다. 따라서, 합성곱 연산의 매개변수 공유는 위치마다 개별적인 매개변수 집합을 학습하는 대신 하나의 집합만을 학습합니다. 이러한 방식은 순전파의 실행 시간에는 영향을 주지 않지만, 필요한 매개변수의 수를 줄여줍니다. 일반적으로 k는 입력 단위 m보다 훨씬 작습니다. 그러므로 합성곱은 조밀한 행렬 곱셈보다 메모리 요구량과 통계적 효율성 면에서 훨씬 효율적입니다.
등변 표현의 중요성
합성곱의 특정 형태로 인해 합성곱 신경망의 층은 이동에 대한 등변성이라는 특성을 가집니다. 등변성이란 입력이 변하면 출력도 같은 방식으로 변한다는 것을 의미합니다. 예를 들어, 함수 f와 g에 대해 f(g) = g(f)가 성립하면 f는 g에 대해 등변이라고 할 수 있습니다.
합성곱 연산에서, 만약 g가 입력을 이동하는 함수라면 합성곱 연산은 g에 대한 등변입니다. 예를 들어, I가 정수 좌표에서 이미지의 밝기를 나타내는 이미지 함수이고, g가 I의 모든 픽셀을 오른쪽으로 한 단위 이동하는 함수라면, I’=g(I)는 I’=I(x-1,y)를 만족하게 됩니다.
이러한 특성은 시계열 데이터나 이미지 처리에서 매우 유용합니다. 합성곱은 입력에서 서로 다른 특징이 나타난 시점이나 위치를 보여주는 2차원 지도를 제공합니다. 예를 들어, 이미지에서 어떤 대상을 이동하면 출력에서 해당 표현도 동일하게 이동하게 됩니다.
이 특성은 특히 이미지 처리에서 중요합니다. 첫 번째 합성곱 층에서는 윤곽선을 검출하는 것이 일반적으로 바람직합니다. 이유는 이미지 전체에 걸쳐 윤곽선이 나타나기 때문에, 매개변수를 이미지 전체에서 공유하는 것이 효율적입니다. 그러나, 이미지에서 특정 영역을 잘라낸 후 처리할 때는 서로 다른 특징을 추출하는 것이 더 효과적일 수 있습니다. 예를 들어, 얼굴 이미지에서는 얼굴의 상단에서는 눈썹, 하단에서는 턱을 감지하는 것이 적절합니다.
합성곱 연산의 한계와 다양한 데이터 처리
합성곱 연산은 이동에 대해서는 등변성을 가지지만, 이미지의 비례 변경이나 회전과 같은 다른 유형의 변환에 대해서는 자동으로 등변성을 가지지 않습니다. 이러한 유형의 변환을 처리하려면 추가적인 메커니즘이 필요합니다.
또한, 고정된 형태의 행렬을 사용하는 행렬 곱셈으로 정의되는 전통적인 신경망은 특정 종류의 데이터를 처리하는 데 제한적일 수 있습니다. 반면, 합성곱 연산은 다양한 유형의 데이터, 특히 이미지나 비디오와 같은 공간적인 데이터를 효과적으로 처리할 수 있습니다.
결론
합성곱 신경망은 희소 상호작용, 매개변수 공유, 그리고 등변 표현의 개념을 활용하여 효율적으로 기계 학습 시스템을 개선할 수 있습니다. 특히 이미지 처리와 같은 공간적 데이터에 대한 처리에서 우수한 성능을 보여줍니다. 그러나 이동에 대해서는 등변성을 가지지만, 비례 변경이나 회전과 같은 다른 유형의 변환에는 자동으로 등변성을 가지지 않습니다. 이러한 한계를 극복하기 위해 추가적인 메커니즘이 필요하며, 다양한 유형의 데이터를 처리하는 데 전통적인 신경망보다 훨씬 효과적입니다.