request 할 때 타입아웃 설정하기(웹 스크래핑)

왜 타임아웃을 설정해야 해?

웹 스크래핑으로 특정 정보를 수집하기 위해서 코드를 작성할 때 우리는 자연스럽게 서버에 리퀘스트(요청)을 하게 됩니다. 일반적으로는 문제가 일어나지 않지만 특정 사이트에서 특정 상황에서 요청이 처리되지 못하고 멈춰 설 경우가 있습니다. 일반적으로 실제 유저가 그런 문제를 접하게 되면 간단하게 새로고침 버튼을 눌러서 해결할 수 있을 것입니다. 

 

하지만 타임아웃을 설정하지 않으면 우리가 작성한 프로그램은 그 부분에 걸려서 한 발도 내딧지 못하게 될 것입니다. 이런 문제를 미리 예방하기 위해서 요청을 할 때 타임아웃을 설정할 필요가 있습니다. 

 

아래에서는 타임아웃을 설정하는 간단한 예를 살펴보겠습니다. 

 

requests 모듈 임포트 하기

요청을 하는데 필요한 requests 모듈을 임포트 합니다. 

import requests

 

요청을 할 때 타임아웃을 설정하기

타임아웃을 설정한다는 것은 설정한 시간 이상이 되면 서버의 응답을 기다리지 않고 다음으로 넘어가도록 하겠다는 것입니다. 이렇게 오류가 발생했을 때 멈추어 서는 것을 예방할 수 있습니다. 

page = requests.get('https://www.google.com',timeout=3)

 

 

전체코드

import requests

page = requests.get('https://www.google.com',timeout=3)

print(page)