🟨

CNN

카테고리

M&A

세부 카테고리

환경

SAI

작성 상태

앞선 내용

이어지는 내용

파일

DNN(deep neural network)는 FC layer(Fully connected layer)라고 말하는데요.

이는 위의 이미지와 같이 hidden layer(은닉층)의 한 노드가 다음 층의 모든 노드에 연결되어 있는 구조를 말합니다.

그렇다면 그 하나하나의 연결에는 각기 다른 weight와 bias가 있겠죠?

이 말을 다르게 해석해보면 아래의 그림처럼 (0,0)에 있는 입력 노드와 연결된 모든 network에 영향을 끼치게 되는 것을 의미합니다.

너무 많아서 다른 빨간선은 생략하겠습니다.. https://www.youtube.com/watch?v=aircAruvnKk

이것은 Computer Vision(이하 CV)이라는 분야에서 쓰이기에는 큰 단점으로 다가오게 되는데요. 왜일까요?

일단 CV에는 어떤 task가 있는지 확인해보겠습니다.

DNN은 하나의 픽셀 값이 모든 network 값에 영향을 준다고 했습니다.

그렇다면 왼쪽 이미지를 DNN이 ‘9’라고 학습을 했을 경우 오른쪽 이미지를 주게 된다면 과연 ‘9’라고 제대로 판단을 할 수 있을까요?

가능성이야 충분히 있지만 제대로 판단을 하지 못할 것입니다.

DNN은 이 위치에 이런 픽셀 값이 있어야 9라고 학습을 했는데 엉뚱한 위치에 이전과는 다른 픽셀 값이 있다보니 혼돈스러워 하는 것이죠.

여기서 CNN이 빛을 냅니다.

CNN은 kernel이란 것을 사용하게 되는데 이는 원본 이미지에 특정 크기의 필터를 씌워서 다음 네트워크 노드에 다른 부분의 정보만을 전달하게 됩니다.

DNN처럼 모든 값의 정보를 전달하는 것이 아니라 특정 부분의 정보만을 전달하는 것이죠.

이게 뭐가 다른 걸까요?

다시 돌아가서 CNN은 이 이미지의 차이를 극복하고 ‘9’라고 제대로 판단을 할 수 있을까요?

네, 그렇습니다.

DNN (Fully connected layer)와는 다르게 특정 부분들의 정보를 기억하다보니 9의 위치가 이동을 한다고 해도

“어? (x_1, y_1) 좌표 값의 주변 값들은 우상향하는 특징이 있었어!

(x_2, y_2) 좌표 값 주변 값들은 둥글한 특징이 있었고,

(x_3, y_3)의 주변 값들은 기다란 특징이 있었어!”

같은 판단을 통해 9의 위치가 이동했다고 해도 9라고 판단을 내릴 수가 있는 것이죠.

CNN의 정말 중요한 특징 중의 하나가 바로 주변 픽셀들의 특징을 기억한다는 점입니다

그리고 DNN에 비해 parameter(weight, bias) 수가 정말 줄었다는 점입니다.

3채널의 이미지는 어떻게 처리를 할까요?

R, G, B 값들로 이루어진 3X3X3 짜리 이미지가 입력으로 들어오고, 2X2 크기의 커널을 이용한다면

결과로는 2X2크기의 값이 세개가 나오게 될 것입니다.

이 3개의 같은 위치 픽셀 값들을 모두 더해서 하나의 결과를 만들어내게 됩니다.

만약에 이를 DNN으로 표현한다면 3x3x3 총 27개의 노드가 2x2의 총 4개인 다음 layer와 구성되기 위해선 노드 하나하나가 다 연결되어야 하니

총 27x4 = 108개의 파라미터가 필요하게 되는데

CNN은 저 2x2 커널에 있는 총 4개의 파라미터만 있으면 구할 수 있기 때문에 아까 말한 파라미터 수가 줄어든다는 특징을 얻을 수 있습니다.