내키는 대로 쓰는 글이라 두서가 없습니다. 활성화 함수란 무엇인가? 활성함수는 인공 신경망에서 입력을 변환하는 함수이다. ReLU, Sigmoid, tanh 함수 등이 대표적인 활성함수이다. 출처 : https://ko.wikipedia.org/wiki/%ED%99%9C%EC%84%B1%ED%95%A8%EC%88%98 위키백과에서는 신경망에서 입력을 변환하는 함수라고 정의를 하고 있다. 그렇다면 왜 입력을 변환해야 할까? 그 이유는 비선형성에 있다. 신경망에서 말하는 비선형성은 출력의 변화가 입력의 변화에 비례하지 않는 성질을 말한다. 쉽게 말하면 신경망의 출력이 입력의 상수인가 아닌가로 생각해도 괜찮을 것 같다. 그렇다면 왜 신경망에 비선형성이 필요한가는 간단한 논리연산인 AND, OR, XOR을 살펴..
