웹 스크래핑 |웹 크롤링 코스

모든 글들을 연관지어 구성하지는 못했지만  웹 스크래핑 혹은 웹 크롤링을 배우는데 필요한 기초 지식들을 모아 두었습니다. 또한 가능한 필요한 순서 순으로 구성해 두었으니 참고해 주세요. 

웹 스크래핑 기초

웹 스크래핑에 필요한 기본적인 지식들에 관한 글입니다. 

 

• requests로 서버에 요청하기(웹스크래핑)
• 왜 fake_useragent를 쓰는 거야?(웹 스크래핑)
• request 할 때 타입아웃 설정하기(웹 스크래핑)
• Beautifulsoup으로 html 받아오기(Python, 웹스크래핑, 웹크롤링)
• 웹사이트 html문서 가지고 오기(웹 스크래핑 기초, 금융 분석 자동화)
• BeautifulSoup| title 태그 문자열 수정하기| 웹스크래핑
• BeautifulSoup|HTML태그의 자식(children) 요소와 후손(descendants) 요소에 접근하는 방법
• BeautifulSoup|부모 요소에 접근하기 parent|웹스크래핑
• BeautifulSoup| 모든 부모 요소 받아 오기| parents| 웹스크래핑
• next_sibling | 형제 요소 선택하기 | BeautifulSoup
• previous_sibling | 형제 요소 선택하기 | BeautifulSoup

 

파이썬으로 엑셀 다루기

데이터를 다루는데 유용한 엑셀을 파이썬으로 다루는 방법에 관한 글입니다. 

 

• 파이썬으로 엑셀 파일 읽어오기

 

 

파이썬 라이브러리 개념

웹스크래핑이나 웹크롤링에 필요한 라이브러리의 개념을 설명하는 글입니다.  

 

• xlrd란 무엇인가?(파이썬)
• XlsxWriter란 무엇인가? (파이썬)

 

 

 

웹스크래핑에 도움이 되는 파이썬 지식

도움이 되는 파이썬 지식들에 관한 글입니다. 

 

• [Python] 파이썬 리스트란?
• [Python] 파이썬 리스트 랜덤 넘버(무작위 숫자)로 채우기
• [Python] 이중 for문 리스트 컴프리핸션
• [Python] 조건에 맞는 값만 리스트에 넣기(리스트 컴프리헨션)