순방향 신경망은 딥러닝 모형의 핵심이며, 함수 근사를 위해 설계되었습니다. 이는 다층 퍼셉트론이라고도 불립니다. 주어진 입력을 범주에 대응하는 분류기와 같은 함수를 학습하며, 이를 위해 매개변숫값을 조정합니다.
순방향 신경망의 정보 전달 구조
순방향 신경망이라는 이름은 이 모형에서 정보가 단방향으로만 전달되기 때문입니다. 입력은 네트워크를 통해 전달되어 함수를 통과한 후 중간 계산을 거쳐 출력으로 이어집니다. 이 모델에서는 출력이 다시 입력으로 향하는 순환 연결이 없습니다. 이와는 달리 순환 신경망은 출력이 다시 자신의 입력으로 돌아가는 되먹임 연결이 있는 구조를 가지고 있습니다.
순방향 신경망의 응용과 발전
순방향 신경망은 기계 학습 분야에서 매우 중요합니다. 많은 주요 응용 프로그램이 이를 기반으로 하고 있습니다. 예를 들어, 사진에서 물체를 인식하는 데 사용되는 합성곱 신경망은 순방향 신경망의 특수한 형태입니다. 또한, 순방향 신경망은 자연어 처리 응용 프로그램의 핵심 기술인 순환 신경망으로 나아가는 개념적인 출발점입니다.
순방향 신경망의 구조와 역할
순방향 신경망은 서로 다른 함수들이 연결된 그물 형태를 반영한 구조입니다. 이 모델은 자료 구조 관점에서 함수 간의 연결을 유향 비순환 그래프로 나타냅니다. 예를 들어, 여러 함수를 연쇄적으로 적용하여 하나의 함수 사슬을 형성할 수 있습니다. 이러한 사슬 구조는 신경망에서 가장 흔히 사용되는 구조이며, 각 함수는 신경망의 층(layer)으로 표현됩니다. 사슬의 길이는 모형의 깊이(depth)를 나타냅니다. 딥러닝이라는 용어는 이러한 용어들에서 유래되었습니다.
신경과학에서 영감을 받은 순방향 신경망
순방향 신경망이라는 이름은 이 모델이 신경과학에서 영감을 받아 만들어졌기 때문에 붙었습니다. 일반적으로 순방향 신경망의 각 은닉층은 벡터를 입력으로 받아 다른 벡터를 출력하는 함수로 볼 수 있습니다. 이 벡터의 차원은 신경망의 너비를 결정합니다. 은닉층은 뇌의 뉴런들이 작동하는 방식을 모방한다고 비유할 수 있습니다. 하나의 은닉층을 하나의 벡터 대 벡터 함수로 보는 대신, 병렬로 작동하는 여러 단위로 구성되어 있으며, 각각의 단위는 하나의 벡터 내 스칼라 함수를 나타냅니다. 이러한 단위는 입력받아 자신의 활성화를 계산하는 점에서 뉴런과 유사합니다. 이러한 아이디어는 신경과학에서 영감을 받은 것입니다. 함수를 적절히 선택하는 방법 또한 신경과학의 연구 결과에서 영감을 받았습니다. 하지만 현대적인 신경망 연구는 신경과학뿐만 아니라 수학과 공학의 다양한 분야에서 영향을 받고 있습니다. 또한, 신경망의 목표는 생물학적 뇌를 완벽하게 모방하는 것이 아니라 통계적 일반화를 위한 함수 근사 기계로 간주하는 것입니다. 때로는 뇌에 관한 연구 결과에서 영감을 받지만, 뇌의 기능을 완벽하게 모방하는 것이 목표는 아닙니다.
선형 모델의 한계와 비선형 확장
순방향 신경망을 이해하는 한 가지 방법은 선형 모델의 한계를 극복하는 방법에 대해 고민해 보는 것입니다. 로지스틱 회귀나 선형 회귀와 같은 선형 모델은 닫힌 형식이거나 볼록 함수 최적화를 통해 효율적이고 신뢰성 있게 적합할 수 있습니다. 그러나 선형 모델은 선형 함수들로만 모델링 되므로 한계가 있습니다. 이에 따라 선형 모델은 임의의 두 입력 변수 간의 상호작용을 이해하지 못합니다.
선형 모델을 비선형 함수로 확장하는 한 가지 방법은 입력에 비선형 변환을 적용하는 것입니다. 이러한 변환을 통해 모델은 더 복잡한 패턴을 학습할 수 있습니다. 또는 암묵적으로 입력 사상을 적용하는 비선형 학습 알고리즘을 만들어도 됩니다. 이러한 사상은 입력을 특징들의 집합으로 설명하거나 새로운 표현을 제공합니다.
그러나 주요 문제는 어떤 함수를 사용할 것인가입니다.
1. 한 가지 접근 방식은 핵 기계에서 사용되는 아주 일반적인 입력을 선택하는 것입니다. 이러한 입력은 무한 차원 같은 것으로, 모델이 항상 훈련 집합에 적합할 수 있도록 충분한 수용력을 제공합니다. 그러나 이러한 일반적인 특징 사상은 일반화 성능이 낮을 수 있습니다.
2. 다른 접근 방식은 사람이 직접 고안하는 특화된 입력을 사용하는 것입니다. 이는 이전에 주도적인 방법으로 사용되었습니다. 이러한 방법은 각각의 과제에 맞춰 사람이 노력하여 특화된 입력을 설계해야 합니다.
3. 딥러닝은 입력을 학습하는 방법을 사용합니다. 이러한 전략은 다양한 함수로부터 입력을 배우고 출력과 관련된 매개변수를 학습합니다. 이것은 심층 순방향 신경망의 한 예시로 볼 수 있습니다. 이 모델은 입력을 하나의 은닉층으로 정의하며, 이를 통해 입력의 특징을 자동으로 추출하고 학습합니다.
결론
순방향 신경망은 딥러닝의 핵심이며, 다층 퍼셉트론으로도 알려져 있습니다. 이 모델은 주어진 입력을 범주에 대응하는 함수를 학습하고, 이를 위해 매개변수를 조정합니다. 주요 응용 분야로는 이미지 인식이나 자연어 처리가 있으며, 이 모델은 순환 신경망으로 이어지는 개념적인 출발점이기도 합니다. 순방향 신경망은 입력에서 출력으로의 단방향 정보 전달 구조를 가지며, 이는 신경과학에서 영감을 받아 만들어졌습니다. 선형 모델의 한계를 극복하기 위해 비선형 함수로 확장되며, 입력을 학습하는 방식을 통해 다양한 함수로부터 특징을 추출하고 학습합니다.