web crawling 검색 결과
5 개의 검색 결과가 있습니다.
개발 중(자동화)

BeautifulSoup|HTML태그의 자식(children) 요소와 후손(descendants) 요소에 접근하는 방법

특정 웹사이트에서 HTML문서를 받아온 다음 가장 자주하는 작업은 특정 태그에 접근해서 태그 안의 문자열을 가지고 오는 일일입니다. 여기서는 BeautifulSoup을 이용해서 어떻게 특정 태그의 자식 요소 혹은 후손 요소에 접근할 수 있는지 살펴보겠습니다. | 자식 요소와 후손 요소의 차이는 뭐야? 내용 자식과 후손은 의미가 겹치는 유사 단어입니다. 둘 다 부모 요소를 기준으로 그 태그에 속하는 요소를 가리키고 있습니다. 하지만 자식 요소는 바로 안 단계 아래의 태그만 가르키는데 반해 후손 요소는 부모 태그를 기준으로 그 아래에 포함되어 있는 요소를 모두 가리킵니다. 위 HTML 태그를 기준으로 이야기를 하면 라는 태그의 자식 요소라고 하면 태그를 말합니다. 하지만 후손 요소라면 와 태그가 모두 포함이..

2021. 11. 12. 06:44
개발 중(자동화)

웹 스크래핑 |웹 크롤링 코스

모든 글들을 연관지어 구성하지는 못했지만 웹 스크래핑 혹은 웹 크롤링을 배우는데 필요한 기초 지식들을 모아 두었습니다. 또한 가능한 필요한 순서 순으로 구성해 두었으니 참고해 주세요. 웹 스크래핑 기초 웹 스크래핑에 필요한 기본적인 지식들에 관한 글입니다. requests로 서버에 요청하기(웹스크래핑) 왜 fake_useragent를 쓰는 거야?(웹 스크래핑) request 할 때 타입아웃 설정하기(웹 스크래핑) Beautifulsoup으로 html 받아오기(Python, 웹스크래핑, 웹크롤링) 웹사이트 html문서 가지고 오기(웹 스크래핑 기초, 금융 분석 자동화) BeautifulSoup| title 태그 문자열 수정하기| 웹스크래핑 BeautifulSoup|HTML태그의 자식(children) 요소..

2021. 11. 5. 10:22
개발 중(자동화)

Beautifulsoup으로 html 받아오기(Python, 웹스크래핑, 웹크롤링)

#web scriping #web crawling Beautifulsoup이 뭐야? 사이트에 요청을 한 결과로 반환되는 HTML문서를 처리하는데 사용할 수 있는 라이브러리입니다. Beautifulsoup은 HTML문서를 분해하고 비슷한 분류의 데이터 별로 나누어줍니다(parsing). ※HTML문서는 와 같은 태그로 구성되어 있고 웹페이지의 구조를 정하는 역할을 하는 문서입니다. Beautifulsoup을 사용하려면 무엇이 필요해? 기본적으로 Python이 설치되어 있어야 합니다. 또한 Python에 beautifulsoup 라이브러리가 설치되어 있어야 합니다. 설치되어 있지 않은 경우 cmd나 터미널 등에서 아래의 명령를 실행해 설치할 수 있습니다. pip install bs4 이하에서는 간단하게 Be..

2021. 11. 2. 09:59
개발 중(자동화)

request 할 때 타입아웃 설정하기(웹 스크래핑)

왜 타임아웃을 설정해야 해? 웹 스크래핑으로 특정 정보를 수집하기 위해서 코드를 작성할 때 우리는 자연스럽게 서버에 리퀘스트(요청)을 하게 됩니다. 일반적으로는 문제가 일어나지 않지만 특정 사이트에서 특정 상황에서 요청이 처리되지 못하고 멈춰 설 경우가 있습니다. 일반적으로 실제 유저가 그런 문제를 접하게 되면 간단하게 새로고침 버튼을 눌러서 해결할 수 있을 것입니다. 하지만 타임아웃을 설정하지 않으면 우리가 작성한 프로그램은 그 부분에 걸려서 한 발도 내딧지 못하게 될 것입니다. 이런 문제를 미리 예방하기 위해서 요청을 할 때 타임아웃을 설정할 필요가 있습니다. 아래에서는 타임아웃을 설정하는 간단한 예를 살펴보겠습니다. requests 모듈 임포트 하기 요청을 하는데 필요한 requests 모듈을 임포..

2021. 10. 31. 11:59
개발 중(자동화)

fake_useragent 사용방법 | 웹 스크래핑 |웹 크롤링

#web scraping #web crawling fake_useragent가 뭐야? 마치 실제 유저가 브라우저를 통해서 요청을 보내는 것처럼 위장을 하는 기능을 제공해주는 모듈입니다. 왜 fake_useragent를 사용해야 해? 우리가 코드를 작성해 요청을 하는 것을 서버 쪽에서도 파악을 할 수 있습니다. 이렇게 로봇 방식으로 보내는 요청을 모두 받을 경우 쉽게 요청 과부화를 만들 수 있기 때문에 서버를 운영하는 입장에서는 리스크가 큰 방식입니다. 따라서 많은 웹사이트에서 로봇의 요청을 막아두고 있습니다. 따라서 웹스크래핑을 원활히 실행하기 위해서는 우리가 일반 에이전트(예: 크롬 브라우저)를 통해서 요청을 하고 있는 것으로 위장을 할 필요가 있습니다. 아래에는 어떻게 fake_useragent를 사..

2021. 10. 30. 06:38