본문 바로가기
Data/[스파르타 내일배움캠프]

[TIL]본캠프 40일차

by MIN_JOON 2024. 6. 13.
  • 경사하강법
    • 특성이 많고 데이터 갯수가 많을 때 적합한 방법
    • 기울기를 이용해서 파라미터를 학습하며 사이킷런에 내장되어있음
    • 오차를 최소화하는 방향으로 학습
    • learning rate(step size): 학습 시 step의 사이즈로 적당한 값을 가지는게 중요(처음엔 크게, 나중엔 작게)
    • 오차의 종류들: MSE(이상치에 민감), MAE, RMSE(R-squared는 추가적인 지표가 필요할 때 사용)
  • 경사하강법의 종류
    • Batch: 학습 데이터 전부 다 기울기를 구하는 것
    • SGD: 랜덤으로 1개만 골라서 기울기를 구하는 것(불안정)
    • Mini-Batch: 학습 데이터 일부에 대해서 묶어 기울기를 구하는 것
  • 앙상블기법
    • 여러 모델의 예측을 결합하여 보다 정확한 예측을 도출하는 기법
    • 배깅(Bagging): 훈련 데이터에서 무작위로 뽑아서(중복 허용, 허용하지 않는 것은 페이스팅) 여러 번 학습(예측들의 평균)
    • 부스팅(Boosting): 모델을 여러 개 연결하여 강한 모델을 만드는 것
      →에이다 부스트: 이전에 잘 맞추지 못한 데이터에 대해 가중치
      →그래디언트 부스트: 가중치를 조절하는 것이 아닌 이전 모델의 오차정보를 다음 모델의 input으로

오늘은 갑자기 컨디션이 안좋아서

크게 집중을 하지 못한 느낌...🤧

'Data > [스파르타 내일배움캠프]' 카테고리의 다른 글

[WIL]본캠프 9주차  (0) 2024.06.14
[TIL]본캠프 41일차  (0) 2024.06.14
[TIL]본캠프 39일차  (1) 2024.06.12
[TIL]본캠프 38일차  (1) 2024.06.11
[TIL]본캠프 37일차  (2) 2024.06.10