[DL] CNN - AlexNet (2012)

📍 AlexNet (2012)

• 2012년 NIPS에 발표된 논문
• 저자의 이름 Alex와 Network를 합친 이름
• 2012 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)에서 우수한 성적을 나타낸 CNN 모델
• 딥러닝 혁명의 시작

 

✅ 구조

출처 : https://velog.io/@ss-hj/AlexNet이란

• LeNet과 크게 다르지 않음
• 병렬 구조
  • 2개의 GPU로 병렬연산을 수행하기 위함
• 8개의 레이어
  • 5개의 Convolution 레이어와 3개의 Fully-Connected 레이어로 구성
  • [Conv1 - Pool1 - Norm1 - Conv2 - Pool2 - Norm2 - Conv3 - Conv4 - Conv5 - Pool5 - FC6 - FC7 - FC8]
  • 제일 마지막 FC 레이어에서는 1000개의 카테고리로 분류하기 위해 ‘softmax’ 사용

✅ 효과

• ReLU
  • 음수는 0, 0 이상은 입력 값 그대로 사용
  • 기울기 소실 방지
  • 학습 속도 개선
  • TanH와 같은 정확도를 유지하지만 속도가 6배 빠름

출처 : https://velog.io/@ss-hj/AlexNet이란

• Overlapping Pooling
  • 일반적으로 max-pooling을 진행할 때는 중복되지 않는 영역에서 진행
  • AlexNet은 조금씩 겹치는 부분이 있도록 pooling하여 과적합 개선

출처 : https://velog.io/@ss-hj/AlexNet이란

• LRN (Local Response Normalization)
  • 정규화 방법
  • 측면 억제 ⇒ 주변 큰 픽셀 값의 영향을 방지
  • ReLU는 양수일 때 입력 값 그대로를 사용하기 때문에 높은 픽셀 값이 존재하면 주변 픽셀에도 영향을 미침
  • 이를 방지하기 위해 같은 위치에 있는 픽셀끼리 정규화
• Dropout
  • FC 레이어의 뉴런 중 일부를 생략하면서 학습
  • 과대적합 방지
• Data Augmentation
  • 과대적합 방지를 위해 데이터를 증가
  • 하나의 이미지를 가지고 여러 장의 비슷한 이미지를 만들어냄
    • 이미지 좌우 반전
    • AlexNet이 허용하는 입력 이미지 크기보다 좀 더 큰 이미지를 조금 씩 다르게 잘라서 해당 사이즈로 여러 장 생성

출처 : https://velog.io/@ss-hj/AlexNet이란

• RGB 채널 값 변화
  • 컬러 채널의 값을 바꾸어 다양한 색상의 이미지 생성

출처 : https://velog.io/@ss-hj/AlexNet이란

• GPU parallelization
  • network를 2개의 GPU로 나눠서 학습
  • AlexNet 이후 CNN은 대부분 GPU를 사용
  • 에러율과 학습시간의 감소

출처 : https://velog.io/@ss-hj/AlexNet이란

📍 참고자료

- https://velog.io/@ss-hj/AlexNet%EC%9D%B4%EB%9E%80

AlexNet이란

- https://www.youtube.com/watch?v=JnsGUS8MhpE