딥러닝은 원본 자료의 추상적인 특징을 추출하여 복잡한 개념을 구축하는 데 사용됩니다. 이는 자료를 간단한 표현을 이용하여 표현함으로써 이루어집니다.
다층 퍼셉트론과 수학 함수
딥러닝의 대표적인 형태는 다층 퍼셉트론인데, 이는 입력값을 출력값으로 대응하는 수학 함수입니다. 이 함수는 여러 간단한 함수들로 구성되며, 각 함수는 입력의 새로운 표현을 만들어냅니다.
깊게 학습된 모델의 복잡성
딥러닝에 대한 또 다른 관점은 학습이 깊게 이루어지면 컴퓨터가 다단계 프로그램을 배울 수 있다는 것입니다. 이 관점에서는 표현의 각 층이 일련의 병렬 명령을 실행한 후의 컴퓨터 메모리 상태로 생각됩니다. 신경망이 깊어질수록 더 많은 명령이 순차적으로 실행되며, 층별 명령 실행 방식은 이전 층의 결과를 참조하여 강력한 모델을 형성합니다. 이 관점에 따르면, 한 층에서 활성화된 정보 중 일부는 변동 인자를 부호화하지 않을 수 있으며, 표현은 입력을 설명하고 이해하는 데 도움이 되는 상태 정보를 저장합니다. 이 상태 정보는 전통적인 컴퓨터 프로그램의 카운터나 포인터와 유사하며, 입력 내용과는 관련이 없지만 학습 모델이 입력 처리를 구조화하는 데 도움을 줍니다.
모델 구조 평가: 명령어 수에 기반한 방법
딥러닝 모델의 깊이를 측정하는 방법의 하나는 순차적으로 실행되어야 하는 명령어의 수에 기반하는 것입니다. 이 방법은 모델의 각 출력을 계산하기 위해 필요한 명령어 수를 고려하여 구조를 평가합니다. 이를 흐름도에서 가장 긴 경로의 길이로 생각할 수 있습니다. 프로그래밍 언어나 내부 함수의 선택에 따라 동일한 작업을 수행하는 함수라도 흐름도의 단계 수가 달라질 수 있기 때문에 이러한 방법은 모델의 구조를 비교할 때 유용합니다.
계산 그래프의 깊이와 개념 간 관계
둘째 방법은 개념 간의 관계를 나타내는 그래프의 깊이를 모델의 깊이로 간주하는 것입니다. 이 방법은 주로 깊이 확률 모델에서 사용됩니다. 개념들의 그래프에서 각 개념의 표현을 계산하는 데 필요한 계산의 흐름도 깊이가 개념들의 그래프보다 더 깊을 수 있습니다. 이는 보다 복잡한 개념에 대한 정보를 주면 더 단순한 개념들에 대한 시스템의 이해가 더 정교해지기 때문입니다. 예를 들어, 한쪽 눈이 그림자에 가려진 얼굴 이미지를 처리하는 AI 시스템은 먼저 하나의 눈만을 인식할 수 있지만, 이미지에서 얼굴을 감지한 후에는 다른 눈도 있을 것이라고 추론할 수 있습니다. 이 경우 개념들의 그래프는 두 층으로만 이루어져 있지만 계산 그래프는 2n 개의 층으로 이루어집니다.
모델 깊이에 대한 다양한 관점
계산 그래프의 깊이를 사용하는 방법과 확률 모형 그래프의 깊이를 사용하는 방법 중 어느 것이 더 타당한지는 항상 명확하지 않습니다. 또한 각자의 관점에 따라 그래프의 최소 구성 요소를 선택하는 방법도 다를 수 있습니다. 따라서 주어진 모델의 깊이에 대해 단일한 정답이 있는 것은 아닙니다. 이는 주어진 컴퓨터 프로그램의 길이를 측정하는 유일한 정확한 방법이 없는 것과 비슷합니다. 또한, 딥러닝 모델이 얼마나 깊어야 "깊은" 모델 또는 딥러닝 모델로 간주할 수 있는지에 대한 합의된 기준이 없습니다.
딥러닝의 기계 학습과의 비교
그러나 대부분의 사람은 딥러닝이 전통적인 기계 학습보다 학습된 함수나 개념들의 조합에 더 많이 의존하는 모델을 연구하는 분야라는 점에 동의합니다.
딥러닝의 세계적 구조와 유연성
딥러닝은 인공지능의 한 접근 방식입니다. 구체적으로 말하자면, 딥러닝은 기계 학습의 한 형태로, 컴퓨터 시스템이 경험과 데이터를 통해 스스로를 개선하는 기술입니다. 이는 세계를 내재한 개념들의 계층 구조로 표현하여 뛰어난 능력과 유연성을 제공합니다. 이러한 구조에서 각 개념은 더 간단한 개념들과의 관계로 정의되며, 모델은 더 추상적인 표현을 계산하기 위해 이러한 관계를 사용할 수 있습니다.
데이터와 컴퓨팅 자원의 발전으로 인한 성과 향상
딥러닝은 예전에는 기술보다는 예술에 가깝게 여겨졌지만, 최근에는 더 큰 데이터 세트와 더 강력한 컴퓨팅 자원으로 인해 발전했습니다. 이제는 인간 수준의 성과를 내는 학습 알고리즘들이 이전에는 장난감 수준의 문제를 다루던 알고리즘과 비슷한 수준으로 복잡한 과제를 해결합니다. 이러한 발전은 디지털 활동과 빅데이터 시대의 도래로 기록된 데이터가 증가함에 따라 가능해졌습니다. 이제는 적은 양의 자료로부터 일반화하는 작업도 쉬워졌으며, 이는 딥러닝과 기계 학습이 더 쉬워졌다는 것을 의미합니다.
뉴런 간 연결의 중요성과 모델의 크기 증가
1980년대에는 신경망이 상대적으로 작은 성과를 거두었지만, 오늘날에는 충분한 계산 자원을 가지고 더 큰 모델을 실행할 수 있게 되었습니다. 이는 연결주의의 중요한 통찰 중 하나로, 많은 수의 뉴런이 함께 작동할 때 지능적인 행동을 나타낸다는 것입니다. 개별 뉴런이나 적은 수의 뉴런만으로는 유용하지 않습니다. 기계 학습 모델의 뉴런 간 연결 수는 생물학적 뉴런보다 훨씬 많았고, 시간이 지나면서 CPU와 GPU의 발전, 네트워크 속도 향상, 분산 컴퓨팅 소프트웨어의 개선으로 모델의 크기가 증가하였습니다.
결론
딥러닝은 복잡한 개념을 구축하기 위해 원본 자료의 추상적인 특징을 추출하는 데 사용되며, 이는 간단한 표현을 통해 자료를 표현함으로써 이루어집니다. 딥러닝은 다층 퍼셉트론과 같은 형태를 가지며, 이는 입력값을 출력값으로 대응하는 수학 함수입니다. 또한, 딥러닝 모델의 깊이를 측정하는 방법은 여러 가지가 있으며, 그중에는 순차적으로 실행되어야 하는 명령어의 수나 개념 간의 관계를 나타내는 계산 그래프의 깊이를 사용하는 것이 있습니다. 딥러닝은 기계 학습의 한 형태로, 컴퓨터 시스템이 경험과 데이터를 통해 스스로를 개선하는 기술을 제공하며, 이는 세계를 내재한 개념들의 계층 구조로 표현하여 뛰어난 능력과 유연성을 제공합니다. 최근의 발전은 더 큰 데이터 세트와 더 강력한 컴퓨팅 자원으로 가능해졌으며, 이는 딥러닝과 기계 학습이 더 쉬워졌다는 것을 의미합니다.