fake_useragent 사용방법 | 웹 스크래핑 |웹 크롤링

#web scraping #web crawling fake_useragent가 뭐야? 마치 실제 유저가 브라우저를 통해서 요청을 보내는 것처럼 위장을 하는 기능을 제공해주는 모듈입니다. 왜 fake_useragent를 사용해야 해? 우리가 코드를 작성해 요청을 하는 것을 서버 쪽에서도 파악을 할 수 있습니다. 이렇게 로봇 방식으로 보내는 요청을 모두 받을 경우 쉽게 요청 과부화를 만들 수 있기 때문에 서버를 운영하는 입장에서는 리스크가 큰 방식입니다. 따라서 많은 웹사이트에서 로봇의 요청을 막아두고 있습니다. 따라서 웹스크래핑을 원활히 실행하기 위해서는 우리가 일반 에이전트(예: 크롬 브라우저)를 통해서 요청을 하고 있는 것으로 위장을 할 필요가 있습니다. 아래에는 어떻게 fake_useragent를 사..