전체 글52 인공지능 알고리즘 선택과 평가 딥러닝을 성공적으로 활용하기 위해서는 알고리즘 이해와 선택뿐만 아니라 응용 과제에 맞는 알고리즘을 선택하고 실험적으로 모델을 평가하고 분석하여 시스템을 개선하는 능력이 필요합니다. 실무자는 데이터 수집, 모델 용량 조절, 정칙화 특징 추가 또는 제거, 모델 최적화 등 다양한 결정을 내려야 합니다. 이를 위해서는 신중한 판단과 노력이 필요하며, 어떤 활동을 어떻게 진행할지 심사숙고하여 결정하는 것이 중요합니다. 설계 과정에서의 오차 측정과 목표 설정설계 과정의 첫 단계는 오차 측정법과 목표 오차를 결정하여 개발 목표를 정의하는 것입니다. 이는 나중에 이어지는 모든 활동의 지침이 되기 때문에 중요합니다. 또한 원하는 성과가 어느 수준인지 미리 정해두는 것이 필요합니다. 데이터 수집과 훈련 데이터의 한계대부.. 2024. 4. 23. 인공지능 기억망과 지능 지능은 지식에 의존하며, 이는 학습을 통해 얻을 수 있습니다. 대규모 심층 아키텍처의 개발은 이를 촉진했습니다. 지식은 다양한 종류로 나뉘며, 암묵적이고 무의식적인 것부터 언어로 표현하기 어려운 것까지 포함됩니다. 일반 상식부터 구체적인 사실까지 모두 포함됩니다. 신경망의 한계와 발전신경망은 암묵적인 지식을 저장하는 데 우수하지만 구체적인 사실을 기억하는 데는 적합하지 않습니다. 입력이 신경망 매개변수에 저장되려면 반복해서 주입해야 하며, 정확하게 저장되지 않습니다. 2014년 Graves는 신경망이 인간의 작업 기억 시스템과 다른 점을 지적했습니다. 작업 기억 시스템은 명시적으로 정보를 저장하고 조작할 수 있습니다. 이러한 명시적 기억이 있다면 신경망은 특정한 사실을 빠르게 저장하고 검색하며, 순차적.. 2024. 4. 22. 인공지능 모델의 다중 시간 축척 장기 의존성을 처리하는 한 가지 방법은 모델을 몇 시간 축척에서 작동하도록 설계하는 것입니다. 이는 모델의 일부가 조밀한 시간 축척에서 작동하여 작은 세부 사항을 처리하고, 다른 일부가 긴 시간 축척에서 작동하여 미래 정보를 효율적으로 전달하는 것을 의미합니다. 이를 위해 건너뛰기 연결을 추가하거나, 서로 다른 시간 상수를 가진 누출 단위를 통합하거나, 연결을 제거하는 등의 전략을 사용할 수 있습니다. 건너뛰기 연결을 활용한 세밀한 시간 축척모델이 작동하는 시간 축척을 세밀하게 만드는 한 가지 방법은 먼 과거의 변수들이 현재의 변수들에 직접 연결되는 지름길을 만드는 것입니다. 이러한 건너뛰기 연결을 사용하는 개념은 1996년에 제안되었으며, 이는 순방향 신경망에 지연을 도입하는 개념에서 영감을 받았습니.. 2024. 4. 17. 인공지능 양방향 순환 신경망 순환 신경망은 과거와 현재 입력에 의해 결정되는 인과 구조를 갖고 있으며, 이는 현재 상태가 이전 상태에 의해 영향을 받을 수 있다는 것을 의미합니다. 일부 응용에서는 신경망의 출력이 전체 입력 순차열에 의존할 수 있습니다. 예를 들어, 음성 인식에서 현재 음소를 정확히 해석하려면 이후 음소를 고려해야 할 수 있습니다. 때로는 더 나아가 인접한 단어 간의 언어적 의존 관계를 고려하여 미래 입력까지 고려해야 할 수도 있습니다. 따라서 여러 가능한 단어가 있는 경우, 과거뿐만 아니라 미래의 입력도 고려해야 할 수 있습니다. 양방향 순환 신경망은 이러한 요구를 충족시키기 위해 고안되었습니다. 양방향 RNN은 필기 및 음성 인식, 생물정보학 등 여러 응용 분야에서 큰 성과를 거두었습니다. 양뱡향 순환 신경망의.. 2024. 4. 15. 인공지능 순환 신경망의 다양한 종류와 특징 그래프 펼치기와 매개변수 고유 개념을 기반으로 다양한 종류의 순환 신경망을 설계할 수 있습니다. 이 중 자주 볼 수 있는 패턴으로는 각 시간 단계에서 하나의 출력을 산출하며 은닉 단위들 사이에 순환 연결이 있는 신경망, 또는 은닉 단위들 사이에 순환 연결이 있고 순차열 전체를 읽어서 하나의 출력을 산출하는 신경망이 있습니다. 이 중 대표적인 예로 양방향 순환 신경망이 있습니다. 순환 신경망의 이론적 기반과 특징순환 신경망은 튜링 기계로 계산할 수 있는 함수를 모두 유한한 크기의 네트워크로 표현할 수 있는 범용적인 모델입니다. RNN의 출력은 일정 시간 후 함수의 계산 결과이며, 이 시간은 튜링 기계의 계산 시간과 입력의 길이에 선형적으로 관련됩니다. 튜링 기계로 계산할 수 있는 함수는 이산 함수이므로 .. 2024. 4. 12. 인공지능 순환 신경망과 시간적 처리 순환 신경망은 순차적인 데이터를 처리하는 신경망으로, 합성곱 신경망이 이미지와 같은 격자 형태의 입력을 처리하는 것과 유사하게 순차열을 처리하는 데 특화되어 있습니다. 이러한 신경망은 순차열의 길이를 쉽게 확장할 수 있으며, 대부분 가변 길이의 순차열도 처리할 수 있습니다. 순환 신경망의 역사1980년대의 기계 학습과 통계적 모델에서 순환 신경망으로의 전환은 중요한 역할을 했습니다. 이 과정에서 중요한 개념은 신경망의 다양한 부분에서 매개변수를 공유하는 것이었습니다. 이렇게 하면 다층 신경망을 다양한 형태의 데이터에 쉽게 적용하고 일반화할 수 있습니다. 매개변수를 공유하지 않으면 다양한 길이와 시간 지점의 순차열에 대한 일반화가 어려워지며, 특히 여러 위치에서 동일한 정보가 나타날 때 있은 큰 장점이 .. 2024. 4. 11. 인공지능 합성곱 신경망과 뇌의 차이점 합성곱 신경망은 생물학에서 영감을 받은 인공지능의 주요 성공 사례로, 그 핵심 설계 원리는 신경과학에서 비롯된 것입니다. 합성곱 신경망의 역사와 초기 연구합성곱 신경망의 역사는 신경과학자 데이비드 허블과 토르스텐 비셀의 포유류 시각체계 연구로 시작되었습니다. 이들은 고양이의 시각 뉴런 반응을 통해 뇌의 초기 시각체계 뉴런들이 특정 빛 패턴에 강하게 반응하는 것을 발견하였습니다. 이러한 연구가 현재의 딥러닝에 큰 영향을 미쳤습니다. 시각체계와 V1의 중요성만화 관점에서 1차 시각피질 또는 V1은 뇌의 시각 입력을 처리하는 중심 부분입니다. 사물에서 반사된 빛이 눈의 망막을 자극하고, 망막의 뉴런들은 이미지를 전처리 하지만 크게 변경하지 않습니다. 이 이미지는 시신경을 통해 V1로 전달되며, 그 두 영역의.. 2024. 4. 9. 인공지능 합성곱 신경망의 활용과 최적화 전략 합성곱 신경망은 단순히 분류나 회귀를 위한 값만을 출력하는 것이 아니라 고차원의 구조적 객체를 출력할 수도 있습니다. 이 객체는 주로 표준적인 합성곱 층에서 출력되는 텐서로, 각 성분은 입력된 이미지의 픽셀이 특정 분류에 속할 확률을 나타낼 수 있습니다. 이렇게 구성된 모델은 이미지의 모든 픽셀에 표지를 부여하여 정교한 물체의 마스크를 생성하는 등의 다양한 활용이 가능합니다. 합성곱 신경망의 차원 축소 문제이미지에서 물체를 식별할 때 합성곱 신경망에서 자주 발생하는 문제는 출력 평면이 입력 평면보다 작을 수 있다는 것입니다. 이러한 차원 축소는 주로 풀링 층에서 큰 보폭을 사용할 때 발생합니다. 이 문제를 해결하기 위한 방법으로는 풀링을 사용하지 않는 것, 저해상도의 표지 격자를 출력하는 것, 그리고 .. 2024. 4. 8. 인공지능 합성곱 함수와 신경망 구조 합성곱 함수는 수학의 합성곱과 다르게 실제 응용에서 사용됩니다. 신경망에서의 합성곱의 병렬 적용신경망에서의 합성곱은 여러 합성곱을 병렬로 적용하는 연산을 의미하며, 이는 하나의 합성곱이 한 종류의 특징만 추출하기 때문에 필요합니다. 신경망의 각 층에서 여러 위치에서 여러 특징을 추출하는 것이 일반적으로 바람직합니다. 입력의 다양성과 합성곱의 3차원 텐서 표현신경망의 합성곱에서는 입력이 실숫값들의 격자가 아니라 여러 관측값으로 이루어진 벡터들의 격자입니다. 예를 들어, 원색 이미지의 한 픽셀은 빨간색, 녹색, 파란색의 세 가지 값으로 구성됩니다. 다중 합성곱 신경망에서 둘째 층의 입력은 첫 층의 출력이며, 보통 그 출력은 이미지의 각 위치에서 서로 다른 합성곱 연산의 결과로 이루어집니다. 이미지 처리에서.. 2024. 4. 7. 이전 1 2 3 4 5 6 다음
