본문 바로가기

전체 글52

인공지능 합성곱 신경망과 풀링의 구조 합성곱 신경망의 한 층은 세 단계로 구성됩니다. 첫 번째 단계에서는 병렬로 합성곱을 수행하여 선형 활성화 값을 얻습니다. 두 번째 단계에서는 선형 활성화 값을 비선형 활성화 함수로 처리하여 검출기 단계를 거칩니다. 마지막으로, 세 번째 단계에서는 풀링 함수를 사용하여 출력을 수정합니다.  풀링 함수의 작동 원리풀링 함수는 신경망의 출력을 근처 출력의 요약통계량으로 대체합니다. 최댓값 풀링은 직사각형 영역 내에서 가장 큰 값을 사용하며, 평균이나 노름, 가중 평균 등 다른 풀링 방법도 사용됩니다. 풀링의 불변성과 효율성풀링은 입력의 작은 이동에 대해 근사적으로 불변성을 제공하여 특징의 위치에 대한 불변성을 확보합니다. 이는 입력을 약간 이동해도 풀링된 출력값이 대부분 변하지 않는 것을 의미합니다. 특징의 .. 2024. 4. 6.
인공지능 합성곱 신경망의 핵심 개념 합성곱 신경망은 기계 학습 시스템을 개선하는 데 세 가지 주요한 개념을 활용합니다: 희소 상호작용, 매개변수 공유, 그리고 등변 표현입니다. 또한, 합성곱은 가변적인 크기의 입력을 효과적으로 처리할 수 있는 수단을 제공합니다.  희소 상호작용의 효율성전통적인 신경망은 모든 입력 단위와 모든 출력 단위 간의 상호작용을 나타내는 매개변수의 행렬 곱을 수행합니다. 그러나 합성곱 신경망은 희소 상호작용의 성질로 인해서 효율적입니다. 이미지 처리에서 작고 의미 있는 핵을 사용하여 수의 매개변수만 저장하면서 모형의 메모리 사용량과 연산의 수를 줄일 수 있습니다. 입력 단위가 m개, 출력 단위가 n개일 때, 희소 연결 접근 방식은 k x n개의 매개변수와 O(k x n)의 실행 시간 복잡도를 가집니다. 심층 합성곱 .. 2024. 4. 5.
인공지능 합성곱 신경망 기본 및 특징 합성곱 신경망(CNN, Convolutional Neural Network)은 정해진 격자 형태로 배열된 데이터를 처리하는 데 특화된 신경망입니다. 예를 들어, 시계열 데이터는 일정 시간 간격으로 수집한 표본들을 1차원 격자 형태로 나열한 것이며, 이미지 데이터는 픽셀들이 2차원 격자 형태로 배열됩니다. 합성곱 신경망은 다양한 응용 분야에서 큰 성공을 거두었으며, 그 이름은 이 신경망이 합성곱이라는 수학 연산을 사용하기 때문에 붙여졌습니다. 합성곱은 특별한 종류의 선형 연산으로, 적어도 하나의 층에서 일반적인 행렬 곱셈 대신 합성곱을 사용하는 신경망은 합성곱 신경망이라고 할 수 있습니다.  합성곱의 개념과 응용합성곱은 두 실숫값을 받는 함수에 대한 연산입니다. 합성곱의 정의를 이해하기 위해 간단한 두 함.. 2024. 4. 4.
인공지능 사전훈련과 최적화 전략 모델이 복잡하거나 최적화가 어려운 경우, 직접 복잡한 모델을 훈련하는 것이 부담스러울 수 있습니다. 이런 상황에서는 먼저 간단한 모델을 훈련하여 기본적인 과제를 해결한 후, 이 모델을 복잡하게 확장하는 것이 효과적일 수 있습니다. 또는 먼저 간단한 과제에 대해 모델을 훈련한 후, 이를 최종 과제에 적용하는 것이 효과적일 때도 있습니다. 이렇게 더 간단한 과제에 대해 먼저 간단한 모델을 훈련한 후 실제 과제에 대한 복잡한 모델을 훈련하는 접근법을 '사전훈련'이라고 합니다.  탐욕 알고리즘과 결합 최적화탐욕 알고리즘은 하나의 문제를 여러 구성요소로 분해하여 각 구성요소의 최적 해를 개별적으로 찾습니다. 하지만 이렇게 찾은 최적해들을 합치더라도 원래 문제의 최적 해를 항상 보장하지는 않습니다. 그런데도 탐욕 .. 2024. 4. 3.
인공지능 배치 정규화와 최적화 기법 최적화 기법은 구체적인 알고리즘 자체가 아니라, 구체적인 알고리즘을 만들거나 기존 알고리즘에 적용할 수 있는 일반적인 틀을 의미합니다.  배치 정규화의 중요성배치 정규화는 최근 심층 신경망의 최적화 분야에서 중요한 혁신으로 등장했습니다. 이는 최적화 알고리즘이 아니라 적응적 재매개변수화 방법의 하나로, 깊은 신경망 훈련의 어려움을 극복하기 위해 개발되었습니다. 배치 정규화의 작동 원리아주 깊은 신경망은 여러 층으로 구성되며, 다양한 함수의 합성이 모형에 영향을 미칩니다. 경사 하강법은 모든 다른 층이 변하지 않는다는 가정에 따라 기울기를 기반으로 매개변수를 갱신합니다. 그러나 실제 응용에서는 모든 층을 동시에 갱신하므로, 갱신 과정에서 여러 함수가 동시에 변하게 되어 예상치 못한 결과가 발생할 수 있습니.. 2024. 4. 2.
인공지능 뉴턴법과 최적화 2차 방법은 최적화 개선을 위해 이차미분을 사용하며, 뉴턴법이 가장 대표적입니다. 뉴턴법은 테일러급수를 이용하여 신경망의 목적함수를 근사하며, 특정 점에서 목적함수를 근사하는데 2차 테일러급수를 사용합니다. 국소 이차함수에서 뉴턴법은 헤세 행렬을 활용하여 극소점에 직접 도달하게 됩니다. 볼록함수가 아닌 목적함수에 대해서는 뉴턴법의 갱신 규칙을 여러 번 적용하여 극소점에 점차 접근할 수 있습니다.  헤세 행렬과 뉴턴법의 적용목적함수의 표면이 이차가 아니더라도 헤세 행렬이 양의 정부호이면 뉴턴법을 적용할 수 있습니다. 이를 위해 2단계 반복 절차가 필요하며, 첫 단계에서는 헤세 행렬의 역행렬을 갱신하거나 계산합니다. 뉴턴법의 한계와 정칙화 전략뉴턴법은 헤세 행렬이 양의 정부호 행렬일 때 가장 적합합니다. 그.. 2024. 4. 1.
인공지능 학습 속도와 최적화 알고리즘 신경망 연구자들은 오래전부터 설정하기 어려운 초매개변수 중 하나로 학습 속도를 지목해 왔습니다. 학습 속도 설정의 어려움은 모델의 성능에 큰 영향을 미치기 때문입니다. 비용 함수는 특정 방향에 대해 민감하나 다른 방향에서는 둔감하게 반응합니다. 운동량 알고리즘은 이 문제를 일부 해결할 수 있지만 다른 초매개변수를 도입해야 하는 문제가 있습니다. 이를 해결하기 위해 매개변수마다 개별적인 학습 속도를 설정하고, 학습 과정에서 이를 자동으로 적응시키는 방법이 고려되어야 합니다.  델타-비-델타 알고리즘훈련 도중 개별 학습 속도를 모델 매개변수에 적응시키는 방법으로는 델타-비-델타 알고리즘이 있습니다. 이 알고리즘은 손실 함수의 주어진 모델 매개변수에 대한 편미분의 부호가 바뀌지 않았을 경우 학습 속도를 증가시.. 2024. 3. 31.
인공지능 딥러닝 최적화와 초기화 최적화 알고리즘 중에는 반복적이지 않은 알고리즘이 있으며, 이러한 알고리즘은 해를 직접 찾습니다. 반복적인 알고리즘 중에서도 특정 최적화 문제에 적용하면 초기화와 무관하게 적절한 시간 내에 수렴하는 알고리즘이 있습니다. 하지만 딥러닝 훈련 알고리즘은 일반적으로 반복적이며 사용자는 시작점을 지정해야 합니다. 딥러닝에서는 모델의 초기화가 수렴에 큰 영향을 미치며, 시작점에 따라 수렴 속도와 비용, 일반화 오차가 달라질 수 있습니다.  현대적인 초기화 전략현대적인 초기화 전략은 간단하고 경험적입니다. 신경망의 초기화는 아직 완전히 이해되지 않았기 때문에 개선된 초기화 전략을 개발하기는 어렵습니다. 대부분의 초기화 전략은 신경망이 학습을 시작하기 전에 좋은 속성을 갖도록 하는 것을 목표로 합니다. 그러나 학습이.. 2024. 3. 30.
인공지능 경사 하강법과 운동량 딥러닝에서 자주 사용되는 최적화 알고리즘은 확률적 경사 하강법과 그 변형들입니다. 이 방법은 미니배치에서 추출한 보기들의 평균 기울기를 이용하여 훈련 집합의 기울기를 추정합니다.  학습 속도의 결정과 중요성학습 속도는 시행 오차를 통해 결정할 수 있지만 보통 목적함수의 곡선을 관찰하여 결정하는 것이 더 효과적입니다. 이는 예술적인 요소가 크므로 회의적으로 접근해야 합니다. 초기 학습 속도가 너무 났으면 학습이 느리고, 너무 높으면 학습이 불안정해질 위험이 있습니다. 일반적으로 최적의 초기 학습 속도는 약 100회 반복 후의 성과보다 높습니다. 따라서 알고리즘을 여러 번 반복하여 최적의 학습 속도를 찾아야 하며, 학습이 심각하게 불안정해지지 않도록 주의해야 합니다. 확률적 경사 하강법의 중요한 속성확률적 .. 2024. 3. 29.

티스토리툴바