전체 글52 인공지능 신경망 아키텍처 선택의 고려 사항 신경망 설계에서 또 다른 중요한 고려 사항은 아키텍처 선택이다. 아키텍처는 신경망의 전체적인 구조를 결정하는 것으로, 예를 들어 단위 개수나 단위들의 연결 방식 등을 포함한다. 층 기반 아키텍처와 깊이 너비 선택대부분의 신경망은 층(layer)이라고 불리는 단위들의 집합으로 구성됩니다. 이들 층은 일반적으로 사슬(chain) 구조를 이루며, 각 층은 이전 층의 결과를 입력으로 받아들이는 함수로 작용합니다. 이는 신경망 아키텍처의 일반적인 형태입니다. 사슬 기반 아키텍처에서 신경망의 구조를 결정하는 주된 고려 사항은 신경망의 깊이와 각 층의 너비를 선택하는 것입니다. 보통은 은닉층이 하나만 있어도 훈련 집합에 적합하게 만들 수 있습니다. 그러나 더 깊거나(층이 더 많은) 넓은 신경망은 더 적은 단위와 매.. 2024. 3. 18. 인공지능 선형 단위의 선택과 특성 정류 선형 단위는 기본적으로 적합한 출력 단위이지만, 다른 단위도 있으며 선택이 어려울 수 있습니다. 직관은 선택을 돕지만 예측이 어려울 때가 많습니다. 신경망 설계는 시행착오의 과정이며, 직관적으로 선택한 출력 단위를 사용하여 신경망을 훈련하고 성능을 평가하는 과정을 반복합니다. 정류 선형 단위의 특성과 이점정류 선형 단위는 활성화 함수를 사용하며, 선형 단위와 유사하지만 최적화하기 쉽습니다. 이 단위는 정의역의 절반에서 항상 0을 출력하여 미분값이 크고 일관된 값임. 또한, 정류 연산의 이차도함수는 대부분의 점에서 0이고 도함수는 활성화된 점에서 항상 1이므로 학습에 유용합니다. 실제 응용에서, 어파인 변환의 매개변수를 초기화할 때 모든 성분을 작은 양수로 설정하는 것이 일반적으로 권장됩니다. 이렇.. 2024. 3. 17. 인공지능 신경망 훈련과 비용 함수 선택 신경망을 설계하고 훈련하는 것은 경사 하강법을 사용하여 다른 기계 학습 모델을 훈련하는 것보다 매우 어렵지 않습니다. 비선형과 비용 함수 선택신경망과 선형 모형 간의 가장 큰 차이점은 신경망이 비선형성을 갖기 때문에 블록 함수를 손실 함수로 사용하기에 적합하지 않을 때가 많다는 것입니다. 일반적으로 신경망에서는 선형 회귀 모델의 훈련에 사용되는 연립 방정식 해법이나 로지스틱 회귀 또는 지지 벡터 머신(SVM)의 훈련에 사용되는 전역 수렴을 보장하는 볼록 함수 최적화 알고리즘 대신, 비용 함수를 최소화하기 위한 반복적인 기울기 기반 최적화 절차를 사용합니다. 볼록 함수 최적화 대신 이러한 절차는 비용 함수를 아주 낮은 값으로 이끄는 역할만 하며, 임의의 초기 매개변수에서 시작하여 반드시 수렴하는 것은 아.. 2024. 3. 16. 인공지능 딥러닝의 핵심 순방향 신경망 순방향 신경망은 딥러닝 모형의 핵심이며, 함수 근사를 위해 설계되었습니다. 이는 다층 퍼셉트론이라고도 불립니다. 주어진 입력을 범주에 대응하는 분류기와 같은 함수를 학습하며, 이를 위해 매개변숫값을 조정합니다. 순방향 신경망의 정보 전달 구조순방향 신경망이라는 이름은 이 모형에서 정보가 단방향으로만 전달되기 때문입니다. 입력은 네트워크를 통해 전달되어 함수를 통과한 후 중간 계산을 거쳐 출력으로 이어집니다. 이 모델에서는 출력이 다시 입력으로 향하는 순환 연결이 없습니다. 이와는 달리 순환 신경망은 출력이 다시 자신의 입력으로 돌아가는 되먹임 연결이 있는 구조를 가지고 있습니다. 순방향 신경망의 응용과 발전순방향 신경망은 기계 학습 분야에서 매우 중요합니다. 많은 주요 응용 프로그램이 이를 기반으로 하.. 2024. 3. 15. 인공지능 다양체, 기계 학습의 핵심 개념 기계 학습의 핵심 개념 중 하나는 "다양체"입니다. 다양체의 수학적 정의다양체는 연결된 영역으로, 수학적으로는 각 점 주변의 이웃과 연관된 점들의 집합입니다. 임의의 점에서 볼 때, 다양체는 국소적으로 하나의 유클리드 공간으로 보입니다. 예를 들어, 우리는 이 세상의 표면을 2차원 평면으로 보지만, 실제로는 3차원 공간 안의 한 구면 다양체입니다.다양체의 변화와 구조"각 점 주변의 이웃"이라는 개념은 다양체의 한 위치에서 그에 인접한 위치로 이동할 수 있는 변환이 존재함을 의미합니다. 세상의 표면을 예로 들면, 이러한 다양체에서 사람들은 동서남북으로 이동할 수 있습니다. 이러한 변환은 다양체의 구조를 보존하면서 이루어집니다.다양체의 차원기계 학습에서의 다양체는 수학적인 공식보다는 더 높은 차원의 공간에.. 2024. 3. 15. 인공지능 전통 알고리즘의 한계와 딥러닝의 발전 전통적인 알고리즘들이 인공지능 과제에 부적합하다는 사실은 일부분으로 딥러닝의 개발을 촉발했습니다. 차원의 저주와 기계 학습고차원 자료를 다룰 때 학습 모형을 새로운 데이터에 일반화하는 것은 지수적으로 어려워집니다. 이는 전통적인 기계 학습에서 사용되는 일반화 메커니즘이 고차원 공간의 복잡한 함수를 학습하기에 부족하다는 문제점과 관련이 있습니다. 기계 학습에서는 자료의 차원이 높아질수록 문제 해결이 어려워지는 경우가 많습니다. 이를 "차원의 저주"라고 합니다. 특히 변수의 개수가 증가함에 따라 변수들의 특정 값으로 이루어진 서로 다른 구성의 개수가 지수적으로 증가하는 현상이 발생합니다. 이러한 차원의 저주는 컴퓨터 과학 전반에 걸쳐 나타나지만, 특히 기계 학습에서는 큰 문제가 됩니다. 차원의 저주로 인해.. 2024. 3. 14. 인공지능 확률적 경사 하강법의 역할과 효과 대부분의 딥러닝은 확률적 경사 하강법 알고리즘을 사용하여 진행되며, 이는 매우 중요한 역할을 합니다. 기계 학습에서는 일반화를 위해 훈련 집합이 커야 하지만, 이에 따라 계산 비용이 증가하는 딜레마가 발생합니다. 경사 하강법의 원리와 미니배치확률적 경사 하강법의 핵심은 기울기가 하나의 기댓값이라는 통찰에 깔려 있습니다. 이 기댓값으로서의 기울기는 적은 수의 표본들을 이용하여 근사적으로 구한 추정값입니다. 경사 하강 알고리즘의 각 단계에서는 훈련 집합에서 적은 수의 보기들을 골고루 뽑아서 하나의 미니배치를 만들며, 이 미니배치의 크기는 일반적으로 1에서 몇백 사이의 비교적 작은 수로 설정됩니다. 특히, 학습 과정에서 훈련 집합 크기를 계속 키워도 미니배치는 고정되는 경우가 많습니다. 이를 통해 수십억 개.. 2024. 3. 14. 인공지능 비지도 학습의 이해와 활용 비지도 학습 알고리즘은 지도나 지시를 받지 않고 데이터의 특징을 경험하여 학습하는 것이다. 비지도 학습과 지도 학습의 차이는 엄격하게 정의되지 않는데, 특징이 목표인지 아니면 지도를 줬는지 판단하는 방법이 없기 때문이다. 비지도 학습은 이름표 없이 분포에서 정보를 추출하는 학습 알고리즘을 의미하며, 밀도 추정, 표본 추출, 잡음 제거, 다양체 찾기 등 다양한 응용과 연관된다. 최상의 표현 탐색주어진 자료를 가장 잘 나타내는 최상의 표현을 찾는 과제는 비지도 학습의 고전적인 예 중 하나입니다. 이러한 과제에서 최상의 표현은 일반적으로 훈련 데이터에 관한 정보를 최대한 유지하면서도 단순하고 다루기 쉬운 형태로 만들어집니다. 이를 위해 일반적으로 표현의 단순화나 다루기 쉬운 형태로 변형시키는 제약이나 벌점이 .. 2024. 3. 14. 인공지능 지도 학습과 확률 모델 지도 학습 알고리즘은 입력과 출력을 연결하게 하는 방법을 학습하는데, 종종 사람이 출력을 제공합니다. 그러나 자동으로 수집하는 경우에도 여전히 지도 학습으로 간주합니다. 확률분포 추정과 선형 회귀지도 학습 알고리즘 대부분은 확률분포의 추정에 의존합니다. 이 추정은 주어진 입력에 대한 출력의 확률분포를 모델링하며, 일반적으로 최대가능도 추정을 사용하여 각 매개변수 벡터의 값을 결정합니다. 로지스틱 회귀와 이진 분류선형 회귀는 매개변수적 확률분포 모델에 해당합니다. 그러나 다른 매개변수적 분포를 정의하면 선형 회귀를 분류 문제로 확장할 수 있습니다. 두 개의 클래스가 있는 경우, 각 클래스에 대한 확률을 설정하면 됩니다. 두 클래스의 확률의 합은 1이므로 한 클래스의 확률을 알면 다른 클래스의 확률도 알 수.. 2024. 3. 13. 이전 1 2 3 4 5 6 다음
