위와 같은 기본적인 NN의 계산식이 의미하는 바는 다음과 같다.
두 Vector space 사이의 변환
DL는 결국 이런 NN를 여러 층 쌓아서 만들겠다는 것이다.
근데 이런 구조는 결국 여러 개의 행렬을 곱해준다는 건데 이런 구조는 1층 짜리 NN와 별 다를게 없어진다.
은 결국 하나의 행렬로 표현이 가능하기 때문에 다시 1층짜리 선형변환이 된다.
이를 피하기 위해 Non-Linear 함수를 사용해서 이런 선형성을 없애는데 이런 함수에는 Sigmoid, tanh, ReLU 등이 있다