기록함 기록함

# 데이터 수집 이란? 웹크롤링 웹 페이지에서 데이터를 수집하는 과정을 말하며, 이렇게 수집된 정보를 활용해 그래프도 작성하고 데이터 분석을 할 수 있습니다. # 학습 내용 ◼️ 크롤링의 종류 정적 크롤링 동적 크롤링 데이터 소스 정적인 데이터 (한 페이지 안에서 원하는 정보가 모두 드러나는 데이터) 동적인 데이터 (입력, 클릭, 로그인 등과 같이 페이지 이동이 있어야 보이는 데이터) 속도 빠르며 고정된 데이터이므로 안정적 느릴 수 있으며 요청에 따라 데이터가 변경됨 라이브러리 requests, BeautifulSoup selenium, chromedriver 예시 뉴스 기사 페이지 온라인 쇼핑 웹사이트의 제품 목록 페이지, 실시간 주식 가격 정보 ◼️웹크롤링 절차 1. 웹서비스 분석 : url 2. 서..

# 데이터 분석이란? 수집된 데이터를 조사하고 해석하여 유용한 정보와 인사이트를 추출하는 과정 # 데이터 분석 과정 목표 1. 분석/모델링을 위한 데이터 구조 이해 2. 정보의 종류(숫자, 범주)에 따라 데이터의 분포 확인 및 비즈니스 파악 3. 두 정보를 분석할 때, 적절한 도구를 사용하여 관계 파악 # 학습 내용 ▶ 데이터 분석 방법론 (CRISP-DM) CRISP-DM : 데이터 마이닝 및 머신 러닝 프로젝트를 계획하고 실행하기 위한 프로세스 프레임워크 1. 업무 이해 (Business Understanding) 무엇이 문제인가? - 프로젝트의 목적과 비즈니스 요구 사항을 이해하고 문제를 정의 - 어떤 정보를 얻고자 하는지 이해하고 비즈니스 목표 설정 2. 데이터 이해 (Data Understand..

'데이터 다루기' 이후 5일간 '데이터 다듬기'를 주제로 강의를 수강하였습니다. # 데이터 다듬기란? 데이터 다듬기란, 초기에 수집한 데이터를 깔끔하게 만드는 작업입니다. 이 과정에서 데이터를 정제하고 조작하여 불필요한 정보를 제거하거나 결측치를 처리하는 등의 작업을 수행합니다. 실제 데이터 분석을 시작하기 전에 필수적으로 수행되어야 하는 단계이며, 데이터 다듬기 과정은 데이터의 품질을 향상시키고 분석 결과의 신뢰성을 높이는 역할을 한다고 합니다. # 학습 내용 5일간의 데이터 다듬기 과정에서 아래 내용을 학습하였습니다. 1. 데이터 프레임 생성 엑셀처럼 열과 행으로 이루어진 표 같은 데이터 프레임을 Pandas를 사용하여 CSV 파일, 엑셀 파일 등에서 데이터를 읽어와 생성합니다. 2. 데이터프레임 탐..

본격적으로 KT 에이블 스쿨의 교육이 시작되었습니다. 첫 수업은 '데이터 다루기'라는 주제로 진행되었습니다. # 데이터 다루기 학습내용 데이터 다루기 과정에서는 파이썬의 기초내용들을 학습하였습니다. 자료형 숫자형, 문자형, 리스트, 튜플, 딕셔너리, 집합, 불(Boolean) 등 파이썬 프로그래밍의 기초가 되는 기본 자료형에 대해 학습했습니다. 제어문 if문, while문, for문과 같은 제어문을 통해 프로그램의 흐름을 제어하는 방법을 배웠습니다. 함수 함수를 정의하고 활용하는 방법에 대해 배웠으며, 함수를 통한 입출력 처리도 다뤘습니다. 실전 활용 파이썬으로 이메일 보내기 및 워드클라우드 생성과 같은 실전 활용 방법도 학습했습니다. # 셀프테스트 매 단원 및 미니프로젝트가 끝나면 셀프테스트를 치르게 ..