GoogLeNet

특징

• 22계층으로 이루어졌다.
• • 네트워크의 마지막에 AGP가 FC계층을 대체했다.
• • 8계층인 AlexNet에 비해 22계층의 GoogLeNet의 파라미터 개수가 12배나 적다.
• 그래디언트 소실 문제를 해결하기 위해 만들어진 인셉션 모듈이다.

GoogLeNet

일반계층 13개와 인셉션 모듈(빨간원)로 이뤄진 계층 9개로

모두 합하면 전체 계층은 총 22개이다.

22개 계층 이외에 일반적으로 보조 분류기라고 불리는 계층 2개도 옆쪽에서 확인할 수 있다.

GoogLeNet은 Network In Network(NIN)라는 네트워크에서 다층 퍼셉트론(MLP),1x1콘볼루션층, GAP(Global Average Pooling)의 세 가지 개념을 사용했다.

1. 다층 퍼셉트론(MLP)→인셉션모듈

네트워크 레이어가 깊을수록 많은 파라미터를 가지게 되는 단점이 생긴다.

1. 많은 연산에 의해 오버피팅이 일어날 가능성이 커진다.
2. 레이어의 가중치들이 많은 학습에 의해 0에 가까워지면 그래디언트 소실 문제를 겪는다.

즉, 많은 연산으로 슈퍼컴퓨터 리소스를 과하게 사용하면서도 원하는 성능을 내기가 불가능한 구조가 된다.

GoogLeNet의 개발자는 NIN의 MLP를 참고해 인셉션 모듈(Inception Module)을 개발했는데, 동일한 입력에 대해 서로 다른 크기/유형의 회선을 갖고 모든 출력을 쌓는 것이다.

콘볼루션 연산 후에 풀링, FC로 마무리되는 일련의 과정을 모듈이라고 한다.