Deep Learning (8)_Tensorboard & Tuning Parameter

이번 포스팅은 오래간만에 라이트한 두가지 내용을 정리해보려고 한다.

 

 

◆목차

◎ TensorBoard

모델이 잘 학습되고있는지, Overfitting되고 있지는 않은지 분석하기 위해서,

Loss나 Acccuracy값을 따로 띄워보는 작업이 반드시 필요한데,

그 추이를 보통

matplotlib 패키지를 이용해서 그래프로 띄우는게 일반적이다.

 

그런데 matplotlib 패키지를 굳이 사용하지 않더라도

훨씬더 깔끔하고 편한 방법으로 모델의 학습 추이를 살필 수 있는 방법이 있는데

바로 tensorboard 툴킷이다.

 

자세한 사용법은 아래 링크에 잘 나와있으니 참고.

 

https://tutorials.pytorch.kr/recipes/recipes/tensorboard_with_pytorch.html

PyTorch로 TensorBoard 사용하기

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=rhrkdfus&logNo=221580989557 

[TensorFlow] TensorBoard 사용하기

 

 

 

◎ Hyperparameter tuning

머신러닝 모델에는 학습과정에서 Update되는 Parameter와,

학습과정 외부에서 따로 설정해주는 Hyperparameter가 있다.

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-13-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Parameter%EC%99%80-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Hyper-parameter

머신러닝 - 13. 파라미터(Parameter)와 하이퍼 파라미터(Hyper parameter)

 

DeepLearning model에서 Hyperparameter에 대한 예시는 아래와 같다.

Classic한 Machine Learning까지 따지고 들어가면 이보다 더 다양한 Hyperparameter가 존재한다.

 

 

Cost Function에서 가장 Optimal한 Point를 찾는 과정이 바로 Training이다.

그리고 이런 Hyperparameter를 적절히 설정 해주어야, 즉, Tuning해주어야 Training이 원활하게 성공할 수 있다.

 

 

이런 Tuning 과정, 즉 적절한 Hyperparameter를 찾는 과정은

Grid Search, Random Search, Bayesian Search 등이 있고.. 이에대한 내용은 아래 포스팅에 잘 정리가 되어있다

https://wooono.tistory.com/102

[ML] 베이지안 최적화 (Bayesian Optimization)

https://amber-chaeeunk.tistory.com/83

[Pytorch] Hyper-parameter Tuning , Pytorch Troubleshooting