합성곱 신경망은 생물학에서 영감을 받은 인공지능의 주요 성공 사례로, 그 핵심 설계 원리는 신경과학에서 비롯된 것입니다.
합성곱 신경망의 역사와 초기 연구
합성곱 신경망의 역사는 신경과학자 데이비드 허블과 토르스텐 비셀의 포유류 시각체계 연구로 시작되었습니다. 이들은 고양이의 시각 뉴런 반응을 통해 뇌의 초기 시각체계 뉴런들이 특정 빛 패턴에 강하게 반응하는 것을 발견하였습니다. 이러한 연구가 현재의 딥러닝에 큰 영향을 미쳤습니다.
시각체계와 V1의 중요성
만화 관점에서 1차 시각피질 또는 V1은 뇌의 시각 입력을 처리하는 중심 부분입니다. 사물에서 반사된 빛이 눈의 망막을 자극하고, 망막의 뉴런들은 이미지를 전처리 하지만 크게 변경하지 않습니다. 이 이미지는 시신경을 통해 V1로 전달되며, 그 두 영역의 주된 역할은 눈에서의 신호를 V1로 전송하는 것입니다.
합성곱 신경망의 V1의 성질 반영
합성곱 신경망의 설계는 V1의 세 가지 주요 성질을 반영하고 있습니다
1. V1은 2차원의 공간적 지도 형태로 구성되어 있으며, 망막의 이미지 구조를 반영합니다. 이와 유사하게, 합성곱 신경망은 2차원 지도 형태로 특징을 정의하도록 설계되었습니다.
2. V1은 다수의 단순세포로 이루어져 있으며, 작은 국소 공간 수용 영역의 이미지에 대한 단순한 선형 함수로 간주할 수 있습니다. 합성곱 신경망의 검출기 단위는 이러한 단순세포의 특성을 모방하도록 설계되었습니다.
3. V1에는 다수의 복합세포도 포함되어 있으며, 단순세포가 검출하는 특징에 반응하면서도 특징의 위치 변화에 대한 불변성을 가지고 있습니다. 이러한 특성은 합성곱 신경망의 풀링 단위와 채널 간 풀링 전략의 영감을 제공하였습니다.
시각체계의 다른 부분의 유사성
시각체계에서 V1이 가장 잘 연구된 영역이지만, 이와 유사한 기본 원리가 시각체계의 다른 부분에서도 적용된다는 것이 일반적으로 받아들여지는 견해입니다. 시각체계의 만화 관점에서의 검출 후 풀링 전략은 뇌의 깊은 영역에서도 반복적으로 사용됩니다. 뇌의 다양한 해부학적 층을 지나면서, 특정 개념에 반응하고 입력의 여러 변환에 대해 불변한 세포들, 일명 '할머니 세포'에 도달합니다. 이는 사람이 사진에서 자신의 할머니를 볼 때 특정 뉴런이 활성화되는 것을 관찰하여 이론화된 용어입니다.
실제로 연구를 통해 사람의 뇌에는 '할머니 세포' 또는 할리베리 뉴런과 같은 특정 뉴런들이 존재한다는 것이 밝혀졌습니다. 이 뉴런들은 내측두엽이라는 뇌 영역에 자리 잡고 있습니다. 연구자들은 이러한 뉴런이 유명인사인 할리 베리의 사진에 반응하는지를 실험하여 할리베리 뉴런이라는 것을 발견하였습니다. 이 뉴런은 할리 베리의 사진, 캐리커처, 그리고 '할리 베리'라는 단어를 보았을 때 활성화됩니다. 그러나 이 뉴런이 할리 베리와 직접적인 관련이 있는 것은 아닙니다.
합성곱 신경망과 뇌의 물체 인식 메커니즘
현대의 합성곱 신경망은 사물을 이름으로 식별하는 데에는 제한이 있어 자동으로 일반화되지 않는 반면, 내측두엽의 뉴런들은 이러한 일반화 과정에서 좀 더 일반적인 특성을 보입니다. 합성곱 신경망의 마지막 특징 층과 유사한 뇌의 영역은 하측두피질입니다. 물체를 볼 때 망막을 통해 들어온 시각 정보는 LGN을 거쳐 V1로 전달되며, 이후 V2와 V4를 거쳐 IT 피질에 도달합니다. 이 과정은 물체를 짧게 본 시점에서 100ms 이내에 완료됩니다. 물체를 더 오래 관찰하면 뇌는 하향식 되먹임 과정을 통해 하위 수준의 뇌 영역의 활성화를 갱신합니다. 즉, 정보가 역방향으로 흐르기 위해 시작합니다. 그러나 사람이 처음 100ms 동안 물체를 보다가 방해를 받아 시선을 다른 곳으로 돌리면, 이 시간 동안 관측된 신호는 주로 순방향 활성화에 의한 것입니다. 이러한 경우에는 합성곱 신경망이 IT 피질과 유사한 방식으로 작동한다고 볼 수 있습니다. 합성곱 신경망은 IT 피질의 활성화 속도를 예측하여 인간의 물체 인식과 유사한 작업을 수행할 수 있습니다.
포유류 시각체게와 합성곱 신경망의 차이점 및 문제점 분석
포유류의 시각체계와 합성곱 신경망 간의 차이점 및 문제점을 정리하면 다음과 같습니다
1. 해상도 및 주의 메커니즘
사람의 눈은 대체로 해상도가 낮습니다. 중심와라는 작은 구역을 제외하고는 저해상도로 작동합니다. 반면, 합성곱 신경망은 고해상도의 이미지를 입력으로 받습니다. 사람의 뇌는 단속운동을 통해 중요한 부분을 빠르게 파악하는 반면, 딥러닝 모델에 이러한 주의 메커니즘을 도입하는 것은 아직 연구 중입니다.
2. 다중 감각 통합 및 감정의 영향
사람의 시각체계는 다른 감각과 통합되어 있으며, 감정이나 생각 같은 다른 요인들이 영향을 미칩니다. 현재 합성곱 신경망은 시간만을 다루고, 감정과 같은 요인은 고려되지 않습니다.
3. 물체 인식 및 공간 정보 처리
사람은 물체를 인식하고 그들 사이의 관계를 이해할 수 있으며, 풍부한 3차원 기하 정보를 처리합니다. 합성곱 신경망은 일부 이러한 문제를 처리할 수 있지만, 아직 초기 단계에 있습니다.
4. 되먹임의 영향
V1 같은 단순한 뇌 영역도 높은 수준의 되먹임에 크게 영향을 받습니다. 신경망 모델에 대한 연구에서도 이러한 되먹임을 연구하고 있지만 큰 발전은 없습니다.
5. 활성화 함수 및 풀링 함수
사람의 뇌는 합성곱 신경망과 다른 활성화 함수와 풀링 함수를 사용할 가능성이 있습니다. 단순세포와 복합세포의 구분도 명확하지 않으며, 뉴런당 여러 개의 이차 필터가 관여한다는 최근의 연구 결과도 있습니다.
결론적으로, 포유류의 시각체계와 합성곱 신경망은 많은 유사점이 있지만, 여전히 많은 차이점과 해결되지 않은 문제들이 존재합니다. 따라서 뇌의 작동 방식을 더 잘 모방하기 위한 연구가 계속되고 있습니다.
합성곱 신경망의 훈련 방법과 신경과학의 뇌 작동 방식 차이
합성곱 신경망의 훈련 방법은 신경과학에서의 연구와는 다른 방식을 사용합니다. 실제 뇌의 뉴런은 학습 과정에서 경사 하강법과 같은 알고리즘을 사용하지 않고, 복잡한 비지도 학습 및 감독 학습의 혼합을 통해 정보를 처리하고 학습합니다.
따라서, 합성곱 신경망은 신경과학에서의 뇌의 작동 방식을 완벽하게 모방하지는 않습니다. 그러나 이러한 차이점에도 불구하고, 합성곱 신경망은 다양한 컴퓨터 비전 및 자연어 처리 작업에서 뛰어난 성과를 보입니다.
결론
합성곱 신경망은 생물학적으로 영감을 받은 주요 인공지능 모델로, 신경과학의 핵심 원리를 반영하고 있습니다. 하지만 포유류의 시각체계와의 차이와 해결되지 않은 문제들이 여전히 존재합니다. 그러나 이러한 차이에도 불구하고, 합성곱 신경망은 컴퓨터 비전 및 자연어 처리 분야에서 우수한 성과를 거두고 있습니다.