딥러닝 공부

내키는 대로 쓰는 글이라 두서가 없으며, 딥러닝 프레임워크에서 1줄 짜리 코드를 제공하기 때문에 샘플 코드 또한 없습니다. 2022.11.02 - [Deep Learning] - [Deep Learning] 활성화 함수 지난 글에서는 활성화 함수란 무엇이고 왜 사용하는가에 대해서 작성했습니다. 비선형성 확보를 위해 활성화 함수를 넣는다는 것은 알았으니 그럼 활성화 함수에는 어떤 종류가 있는지를 정리하려고 합니다. 순서는 다음과 같습니다. 시그모이드 함수 (Sigmoid function) 하이퍼볼릭 탄젠트 (tanh function) 소프트맥스 함수 (Softmax function) ReLU (ReLU function) 시그모이드 (Sigmoid function) 가장 먼저 살펴볼 것은 시그모이드 함수다...

내키는 대로 쓰는 글이라 두서가 없습니다. 활성화 함수란 무엇인가? 활성함수는 인공 신경망에서 입력을 변환하는 함수이다. ReLU, Sigmoid, tanh 함수 등이 대표적인 활성함수이다. 출처 : https://ko.wikipedia.org/wiki/%ED%99%9C%EC%84%B1%ED%95%A8%EC%88%98 위키백과에서는 신경망에서 입력을 변환하는 함수라고 정의를 하고 있다. 그렇다면 왜 입력을 변환해야 할까? 그 이유는 비선형성에 있다. 신경망에서 말하는 비선형성은 출력의 변화가 입력의 변화에 비례하지 않는 성질을 말한다. 쉽게 말하면 신경망의 출력이 입력의 상수인가 아닌가로 생각해도 괜찮을 것 같다. 그렇다면 왜 신경망에 비선형성이 필요한가는 간단한 논리연산인 AND, OR, XOR을 살펴..