모델링

[NayeonKeum]

내용

ISSUE 분류를 선택하세요

• Add

작업 내용

• 모델 구현
• 모델 개선

[NayeonKeum]

모델 개선 방식

두 가지 종류의 오버피팅을 해결하였다.

1. 예측 값이 이전의 값과 유사하게 나오는 현상

원인

시계열 딥러닝에서 흔히 보이는 현상으로 오버피팅의 일종이다. 데이터가 시계열 딥러닝에 적합한지, 부족하지는 않은지를 점검해야한다. 링크

해결

1. 모델 깊이와 넓이를 늘린다 -> 실패
2. 모델의 optimizer 및 loss function을 수정한다 -> 일정 부분 성공
3. 데이터가 수치형 univariate 데이터이므로 One-Hot encoding을 통해 multivariate으로 변경하여 학습시킨다 -> 실패

2. 테스트 값이 전부 동일하거나 유사한 값으로 나오는 현상

해결

1. 모델을 단순화한다(깊이와 넓이를 줄인다).
2. dropout을 없앤다(시계열 특성상 사용하지 않는다고 함).
3. Batch Size를 줄인다.
4. 기존의 Multi Step에서 Single Step으로 예측될 수 있도록 한다.

• 여러 단계를 한 번에 예측하면 예측값이 지속적으로 유사하게 나올 수 있다.