[KT 에이블스쿨 4기 DX트랙] 데이터 수집 후기

 

 

# 데이터 수집 이란?

 

웹크롤링

웹 페이지에서 데이터를 수집하는 과정을 말하며,

이렇게 수집된 정보를 활용해 그래프도 작성하고 데이터 분석을 할 수 있습니다.

 

 

# 학습 내용

 

◼️ 크롤링의 종류

	정적 크롤링	동적 크롤링
데이터 소스	정적인 데이터 (한 페이지 안에서 원하는 정보가 모두 드러나는 데이터)	동적인 데이터 (입력, 클릭, 로그인 등과 같이 페이지 이동이 있어야 보이는 데이터)
속도	빠르며 고정된 데이터이므로 안정적	느릴 수 있으며 요청에 따라 데이터가 변경됨
라이브러리	requests, BeautifulSoup	selenium, chromedriver
예시	뉴스 기사 페이지	온라인 쇼핑 웹사이트의 제품 목록 페이지, 실시간 주식 가격 정보

◼️웹크롤링 절차

1. 웹서비스 분석 : url
2. 서버에 데이터 요청 : request(url) > response : json(str)
3. 서버에서 받은 데이터 파싱(데이터 형태를 변경) : json(str) > list, dict > DataFrame


◼️실습내용

- 네이버 증권 사이트에서 주가 데이터 수집
- 다음 금융에서 환율 정보 수집
- 파파고 번역 api
- 공공 데이터 포털에서 카셰어링 정보 수집
- 삼성전자 연관 검색어 수집
- G마켓 베스트 상품 데이터 수집

 

 

# 학습 소감

 

그 전에 배웠던 데이터 분석 과정도 쉽지 않았는데 데이터 수집 과정은 정말 더 쉽지 않았습니다...ㅎㅎㅎ

이 과정을 2일안에 배우려 하니 따라가기가 힘들었습니다....ㅎㅎ

초반에는 열심히 따라가려고 했으나 나중에는 정말 이해가 안돼서 그냥 강사님 따라 코드만 열심히 따라쳤네요...😂

저만 어려운가 했는데 같이 수업을 들었던 다른 에이블러분들도 어려웠다고 하시더라구요.

 

내용을 제대로 이해하지는 못했지만 그래도 데이터 수집 과정 그 자체는 흥미롭고 재밌었습니다!

데이터 수집 파트는 다시 따로 공부해서 실습해봐야겠어요...!!