[TIL]본캠프 40일차

• 경사하강법
  • 특성이 많고 데이터 갯수가 많을 때 적합한 방법
  • 기울기를 이용해서 파라미터를 학습하며 사이킷런에 내장되어있음
  • 오차를 최소화하는 방향으로 학습
  • learning rate(step size): 학습 시 step의 사이즈로 적당한 값을 가지는게 중요(처음엔 크게, 나중엔 작게)
  • 오차의 종류들: MSE(이상치에 민감), MAE, RMSE(R-squared는 추가적인 지표가 필요할 때 사용)
• 경사하강법의 종류
  • Batch: 학습 데이터 전부 다 기울기를 구하는 것
  • SGD: 랜덤으로 1개만 골라서 기울기를 구하는 것(불안정)
  • Mini-Batch: 학습 데이터 일부에 대해서 묶어 기울기를 구하는 것
• 앙상블기법
  • 여러 모델의 예측을 결합하여 보다 정확한 예측을 도출하는 기법
  • 배깅(Bagging): 훈련 데이터에서 무작위로 뽑아서(중복 허용, 허용하지 않는 것은 페이스팅) 여러 번 학습(예측들의 평균)
  • 부스팅(Boosting): 모델을 여러 개 연결하여 강한 모델을 만드는 것
    →에이다 부스트: 이전에 잘 맞추지 못한 데이터에 대해 가중치
    →그래디언트 부스트: 가중치를 조절하는 것이 아닌 이전 모델의 오차정보를 다음 모델의 input으로
    

---

오늘은 갑자기 컨디션이 안좋아서

크게 집중을 하지 못한 느낌...🤧