체크포인트에서 MLP 층 구조는 코드 보면서 확인했는데, 평균과 표준편차를 왜 MNIST 데이터에서 직접 구해야 하는지는 아직 이해가 어렵네요
정규화 설명은 이해했는데, 이 코드를 실습에서 직접 써보려니까 뭘 어떻게 해야 하는 건지 막막한 부분이 있어요. 코딩이 아직 익숙하지않아서인지
정규화가 경사 하강법 안정성 때문에 필요하다는 건 이해됐는데, 배치 정규화(배치 놈)이랑은 다른 개념인 건가요? 이름이 비슷해서 계속 헷갈렸거든요
위에 최적 학습률 찾는 방법 관련 질문이 있어서 저도 찾아봤는데요. Adam 같은 최적화 알고리즘이 학습률을 자동으로 조정해준다고 하더라고요. 그게 '자동으로 찾는 방법'에 해당하는 것 같습니다. 저도 확실하지는 않습니다
학습률이 높으면 진동하고 낮으면 느리다는 건 이해했는데, 최적의 학습률을 찾는 게 결국 경험에 의존하는 건가요? 자동으로 찾아주는 방법도 있는 건지
print(model)로 신경망 구조를 이렇게 한눈에 볼 수 있다는 게 편리하네요. 레이어가 이렇게 쌓이는구나 하고 처음으로 실감됐습니다
에포크·배치·이터레이션 관계 정리 명확하네요
학습/검증 손실 그래프로 과적합 여부를 시각적으로 확인하는 방법이 실용적이네요. 실무에서 모델을 운영할 때 이런 모니터링을 어떻게 하는지도 다뤄주면 좋겠다는 생각이 들었어요