[TIL]본캠프 64일차

• API
  • 소프트웨어 구성 요소가 서로 통신할 수 있게 하는 방식
  • API를 통해 접근이 허용된 로컬에게만 권한을 부여할 수 있음
  • 키값을 통해 간편한 통신을 지원
  • API를 통해 DB 접근 요청을 표준화
  • API키를 발급받아 HTTP API 통신 혹은 REST API규칙으로 소통
• API 종류
  • Public API: 누구나 사용 가능
  • Private API: 사내에서 사용하는 API
  • Partner API: 미리 정해놓은 사용자들만 쓰는 API
  • Window API: 운영체제 대상 API
• 크롤링과 스크래핑
  • 특정 웹 사이트나 페이지에서 필요한 데이터를 자동으로 추출해 내는 것을 의미
  • 공통점: 원하는 데이터를 수집할 수 있다는 점
  • 차이점: 크롤링은 웹사이트에 대한 정보를 색인화하고 저장, 스크래핑은 분석 및 기타 목적을 위해 데이터를 추출
• 크롤링 주의사항
  • 로봇 배제 표준을 준수하였는가(합법인가) 확인
  • URL 뒤에 robot.txt를 붙여 확인
• 크롤링 라이브러리
  • BeautifulSoup: 웹데이터 크롤링을 위한 기초 라이브러리, HTML 태그를 기반으로 크롤링 진행
  • Selenium: 완전히 크롤링을 위한 라이브러리가 아닌 동적 웹이 제대로 작동하는지 확인하기 위한 테스트 모듈

---

최종프로젝트를 위해서

크롤링을 해야할 것 같은데

잘할 수 있을지😭