개발 중(자동화) 검색 결과
105 개의 검색 결과가 있습니다.
개발 중(자동화)

re란? | 파이썬 | 기본 사용법

여기서는 파이썬의 모듈인 re가 무엇인지 알아보고 간단한 사용 방법을 확인해 보겠습니다. re란? re는 파이썬의 표준 라이브러리에 포함된 모듈입니다. 파이썬으로 정규표현식을 처리를 할 때는 보통 re모듈을 사용합니다. 정규표현식 패턴을 사용해서 문자열을 추출하거나, 치환하거나 분리할 수 있습니다. compile()이란? compile()은 정규표현식 패턴을 컴파일해서 객체를 돌려줍니다. ※컴파일이란 컴퓨터가 읽을 수 있는 언어로 바꾸어준다는 의미입니다. import re regex = re.complie('a') print(regex) #출력 결과⇨ re.compile('a') print(type(regex)) #출력 결과⇨ 위에서 type를 출력한 결과를 보면 객체가 re.Pattern이라는 클래스 ..

2021. 12. 7. 06:48
개발 중(자동화)

previous_sibling | 형제 요소 선택하기 | BeautifulSoup

BeautifulSoup을 이용해서 html문서를 파싱(분류하고 재구성)한 후에는 각 요소에 접근을 할 수 있습니다. 때로는 하나의 요소를 선택한 후 그 앞에 있는 형제 요소에 접근하고 싶을 경우가 있습니다. 그 때 사용하는 메서드가 previous_sibling입니다. 여기서는 간단히 previous_sibling의 사용법에 대해서 살펴보겠습니다. 1. HTML문서 문자열로 만들기 예제를 간단하게 하기 위해서 html 문서를 문자열로 만들어 사용하겠습니다. html_doc = """ 현명한 들쥐 이야기 엤날 옛척에 세 마리의 쥐가 있었습니다. 실리버 , 마리버 그리고 토드 -그들은 모두 넓은 들판의 한 구멍에 살고 있었습니다. -끝- """ 2. BeautifulSoup으로 HTML문서 파싱(분류하고 ..

2021. 11. 21. 10:02
개발 중(자동화)

next_sibling | 형제 요소 선택하기 | BeautifulSoup

BeautifulSoup으로 파싱(분류하고 재구성한) HTML 트리를 다루고 있습니다. 그 트리에서 어떤 특정 요소를 선택하고 때로는 같은 위계에 있는 형제 요소를 선택하고 싶은 경우가 있습니다. 여기서는 어떻게 형제 요소를 선택하는지 확인해 보겠습니다. 1. html 예제 문서 생성 실제로는 특정 사이트에 request(요청)해서 html 문서를 response(응답)해서 활용하겠지만 여기서는 예제를 간단하게 하기 위해서 문자열로 html 문서를 만들어 사용하겠습니다. html_doc = """ 현명한 들쥐 이야기 엤날 옛척에 세 마리의 쥐가 있었습니다. 실리버 , 마리버 그리고 토드 -그들은 모두 넓은 들판의 한 구멍에 살고 있었습니다. -끝- """ 2. BeautifulSoup으로 html문서 파..

2021. 11. 20. 07:21
개발 중(자동화)

BeautifulSoup| 모든 부모 요소 받아 오기| parents| 웹스크래핑

BeautifulSoup으로 파싱한 트리문서에서 어떤 특정 요소의 모든 상위 요소를 확인하고 싶다면 어떻게 해야 할까요? 여기서는 parents 메서드의 사용방법을 확인해 보겠습니다. | 예제를 위한 html 문자열 만들기 parents의 사용 방법 확인에 필요한 간단한 html문서를 문자열로 만들어 보겠습니다. html_doc = """ 현명한 들쥐 이야기 엤날 옛척에 세 마리의 쥐가 있었습니다. 실리버 , 마리버 그리고 토드 -그들은 모두 넓은 들판의 한 구멍에 살고 있었습니다. -끝- """ | BeautifulSoup으로 html 문서 파싱하기 soup = BeautifulSoup(html_doc,'lxml') #lxml이 설치되어 있지 않은 경우는 html.parser를 사용해도 됩니다. #Be..

2021. 11. 16. 07:35
개발 중(자동화)

BeautifulSoup|부모 요소에 접근하기 parent|웹스크래핑

BeautifulSoup을 통해 접근한 요소의 부모 요소에 접근을 하려면 어떻게 해야 할까요? 여기서는 특정 요소의 부모 요소에 접근하는 방법을 알아봅니다. | 부모 요소란? 트리 형식의 데이터에서 특정 요소의 상위에 있는 요소를 의미합니다. 현명한 생쥐 이야기 위의 html문서에서 title의 부모요소는 head가 됩니다. | 웹 사이트에서 html문서 받아오기 여기서는 다음 금융에서 html 문서를 받아와서 파싱(parsing)을 하겠습니다. from bs4 import BeautifulSoup import requests from fake_useragent import UserAgent ua = UserAgent() header = {'user-agent': ua.chrome} finance_pag..

2021. 11. 15. 06:47
개발 중(자동화)

BeautifulSoup| title 태그 문자열 수정하기| 웹스크래핑

여기서는 우리가 BeautifulSoup 라이브러리를 통해서 어떻게 태그의 문자열에 접근을 하고 해당 문자열을 어떻게 수정할 수 있는지 살펴보겠습니다. | 스크래핑 대상 HTML문서 확인 실제로는 requests 등의 모듈을 이용해서 직접 웹사이트에 요청을 해서 html문서를 response(응답) 받습니다. 하지만 여기서는 예제를 간단하게 하기 위해서 아래의 html문서를 python 파일과 동일한 위치(같은 폴더 안)에 두고 예제를 진행하겠습니다. 웹사이트에 요청을 하는 과정이 궁금하신 경우는 아래의 링크를 참고해 주세요. requests로 서버에 요청하기(웹스크래핑) soup_html.html first div second div | BeautifulSoup 라이브러리 임포트하기 시작은 먼저 Bea..

2021. 11. 13. 09:33
개발 중(자동화)

BeautifulSoup|HTML태그의 자식(children) 요소와 후손(descendants) 요소에 접근하는 방법

특정 웹사이트에서 HTML문서를 받아온 다음 가장 자주하는 작업은 특정 태그에 접근해서 태그 안의 문자열을 가지고 오는 일일입니다. 여기서는 BeautifulSoup을 이용해서 어떻게 특정 태그의 자식 요소 혹은 후손 요소에 접근할 수 있는지 살펴보겠습니다. | 자식 요소와 후손 요소의 차이는 뭐야? 내용 자식과 후손은 의미가 겹치는 유사 단어입니다. 둘 다 부모 요소를 기준으로 그 태그에 속하는 요소를 가리키고 있습니다. 하지만 자식 요소는 바로 안 단계 아래의 태그만 가르키는데 반해 후손 요소는 부모 태그를 기준으로 그 아래에 포함되어 있는 요소를 모두 가리킵니다. 위 HTML 태그를 기준으로 이야기를 하면 라는 태그의 자식 요소라고 하면 태그를 말합니다. 하지만 후손 요소라면 와 태그가 모두 포함이..

2021. 11. 12. 06:44
개발 중(자동화)

웹 스크래핑 |웹 크롤링 코스

모든 글들을 연관지어 구성하지는 못했지만 웹 스크래핑 혹은 웹 크롤링을 배우는데 필요한 기초 지식들을 모아 두었습니다. 또한 가능한 필요한 순서 순으로 구성해 두었으니 참고해 주세요. 웹 스크래핑 기초 웹 스크래핑에 필요한 기본적인 지식들에 관한 글입니다. requests로 서버에 요청하기(웹스크래핑) 왜 fake_useragent를 쓰는 거야?(웹 스크래핑) request 할 때 타입아웃 설정하기(웹 스크래핑) Beautifulsoup으로 html 받아오기(Python, 웹스크래핑, 웹크롤링) 웹사이트 html문서 가지고 오기(웹 스크래핑 기초, 금융 분석 자동화) BeautifulSoup| title 태그 문자열 수정하기| 웹스크래핑 BeautifulSoup|HTML태그의 자식(children) 요소..

2021. 11. 5. 10:22
개발 중(자동화)

웹사이트 html문서 가지고 오기(웹 스크래핑 기초, 금융 분석 자동화)

#웹 크롤링 #웹 스크래핑 여기서는 네이버 금융의 웹사이트 html 문서를 받아서 출력해보겠습니다. 웹스크래핑의 기초 개념 연습입니다. ※웹 스크래핑이란 인터넷 상에서 필요한 정보를 가져오는 것을 의미합니다. | 하기 전에 뭐를 컴퓨터에 설치해 둬야 해? 기본적으로 Python이 설치되어 있어야 합니다. 그리고 Python에 웹 스크래핑에 필요한 requests, fake_useragent, bs4(BeautifulSoup) 등이 설치되어 있어야 합니다. 아래에서는 순서대로 코딩을 해보겠습니다. | 필요한 라이브러리들 임포트하기 서버에 request(요청)하기 위해서 필요한 requests 요청의 response(반응)으로 돌아온 html문서를 나누고 분류(parsing)하기 위해 필요한 Beautifu..

2021. 11. 3. 07:40
개발 중(자동화)

Beautifulsoup으로 html 받아오기(Python, 웹스크래핑, 웹크롤링)

#web scriping #web crawling Beautifulsoup이 뭐야? 사이트에 요청을 한 결과로 반환되는 HTML문서를 처리하는데 사용할 수 있는 라이브러리입니다. Beautifulsoup은 HTML문서를 분해하고 비슷한 분류의 데이터 별로 나누어줍니다(parsing). ※HTML문서는 와 같은 태그로 구성되어 있고 웹페이지의 구조를 정하는 역할을 하는 문서입니다. Beautifulsoup을 사용하려면 무엇이 필요해? 기본적으로 Python이 설치되어 있어야 합니다. 또한 Python에 beautifulsoup 라이브러리가 설치되어 있어야 합니다. 설치되어 있지 않은 경우 cmd나 터미널 등에서 아래의 명령를 실행해 설치할 수 있습니다. pip install bs4 이하에서는 간단하게 Be..

2021. 11. 2. 09:59
개발 중(자동화)

request 할 때 타입아웃 설정하기(웹 스크래핑)

왜 타임아웃을 설정해야 해? 웹 스크래핑으로 특정 정보를 수집하기 위해서 코드를 작성할 때 우리는 자연스럽게 서버에 리퀘스트(요청)을 하게 됩니다. 일반적으로는 문제가 일어나지 않지만 특정 사이트에서 특정 상황에서 요청이 처리되지 못하고 멈춰 설 경우가 있습니다. 일반적으로 실제 유저가 그런 문제를 접하게 되면 간단하게 새로고침 버튼을 눌러서 해결할 수 있을 것입니다. 하지만 타임아웃을 설정하지 않으면 우리가 작성한 프로그램은 그 부분에 걸려서 한 발도 내딧지 못하게 될 것입니다. 이런 문제를 미리 예방하기 위해서 요청을 할 때 타임아웃을 설정할 필요가 있습니다. 아래에서는 타임아웃을 설정하는 간단한 예를 살펴보겠습니다. requests 모듈 임포트 하기 요청을 하는데 필요한 requests 모듈을 임포..

2021. 10. 31. 11:59
개발 중(자동화)

fake_useragent 사용방법 | 웹 스크래핑 |웹 크롤링

#web scraping #web crawling fake_useragent가 뭐야? 마치 실제 유저가 브라우저를 통해서 요청을 보내는 것처럼 위장을 하는 기능을 제공해주는 모듈입니다. 왜 fake_useragent를 사용해야 해? 우리가 코드를 작성해 요청을 하는 것을 서버 쪽에서도 파악을 할 수 있습니다. 이렇게 로봇 방식으로 보내는 요청을 모두 받을 경우 쉽게 요청 과부화를 만들 수 있기 때문에 서버를 운영하는 입장에서는 리스크가 큰 방식입니다. 따라서 많은 웹사이트에서 로봇의 요청을 막아두고 있습니다. 따라서 웹스크래핑을 원활히 실행하기 위해서는 우리가 일반 에이전트(예: 크롬 브라우저)를 통해서 요청을 하고 있는 것으로 위장을 할 필요가 있습니다. 아래에는 어떻게 fake_useragent를 사..

2021. 10. 30. 06:38
개발 중(자동화)

requests로 서버에 요청하기(웹스크래핑)

#web scraping #web crawling requests 모듈을 임포트한다 가장 먼저해야 할 일은 requests 모듈을 사용할 수 있도록 임포트하는 것입니다. import requests ※전제조건 python이 설치되어 있어야 합니다. pip install requests 등의 명령으로 모듈이 설치되어 있어야 합니다. get 메서드로 서버에 request 해서 response를 받아오기 url을 인자로 전달해서 서버에서 response(응답)를 받아 옵니다. 이때 사용하는 메소드는 get 메서드입니다. requests.get(url) url부분에 실제 url을 인자로 전달하면 됩니다. 여기서는 구글의 url을 사용해보겠습니다. response = requests.get('https://www..

2021. 10. 29. 07:10
개발 중(자동화)

파이썬으로 엑셀 파일 만들어 값 입력하기

갖추어져야 할 것 파이썬과 XlsxWriter라는 라이브러리가 설치되어 있어야 합니다. XlsxWriter에 대해서 조금 더 확인하고 싶은 경우는 아래 글을 확인해 주세요. [개발 중] - XlsxWriter란 무엇인가? (파이썬) 임포트(import) 하기 Workbook을 임포트 합니다. from xlsxwriter import Workbook 워크북 만들기 'file1'이란 이름의 워크북을 만듭니다. workbook = Workbook('file1.xlsx') 워크북을 닫지 않으면 저장되지 않거나 하는 불상사가 일어나기 쉽기 때문에 워크북을 만들었다면 꼭 닫는 것을 세트로 두는 것을 추천합니다. workbook.close() 워크시트 만들기 worksheet = workbook.add_workshe..

2021. 10. 26. 07:43
개발 중(자동화)

엑셀 파일을 읽고 작성할 수 있는 xlrd, xlwt 사용 방법

파이썬에는 엑셀을 읽어고 작성할 수 있는 라이브러리가 있습니다. 이 라이브러리를 자유자재로 다룰 수 있다면 많은 일들을 자동화할 수 있고 일을 크게 줄일 수 있습니다(하지만 사장님께 걸리면 오히려 일이 늘어날 수 있습니다). xlrd가 뭐야? xlrd란 Excel(xls)의 데이터를 Python으로 읽어 들이기 위한 라이브러리입니다. xlrd은 'excel read'의 축약형이라고 알려져 있습니다. xlrd에서는 Book ⇒Sheet ⇒ Cell이라는 구조로 엑셀 데이터를 추출합니다. xlwt가 뭐야? xlwt는 xls 파일을 작성하는 기능을 갖춘 라이브러리입니다. xlrd, xlwt 설치 방법 xlrd 설치 당연하겠지만 기본적으로 PC 등에 파이썬이 설치되어 있어야 합니다. 그리고 아래와 같이 pip로..

2021. 10. 24. 06:51
개발 중(자동화)

【파이썬】 엑셀 xlsx 작업을 자동화 하는 XlsxWriter 라이브러리

이 글에서는 파이썬 모듈 중 하나인 XlsxWirter에 대해서 살펴보겠습니다. 가벼운 정의부터 설치방법, 그리고 사용방법까지 확인해 봅니다. XlsxWriter를 사용하면 엑셀 업무를 훨씬 편하게 할 수 있으니 전체적으로 살펴보실 것을 추천합니다. 궁금한 내용이 정해져 있으시다면 목차에서 원하는 부분만 선택하셔서 읽으셔도 좋습니다. 목차 XlsxWriter가 뭐야? 그렇구나... 근데 XLSX 파일이 뭐야? XlsxWriter로 어떤 걸 할 수 있어? 어떻게 설치해야 하는 거야? 어떤 식으로 사용하는 거야? 엑셀 워크북을 만들어 시트 추가하기 셀에 값을 입력하기 셀을 병합하고 값 입력하기 열 넓이 설정하기 폰트 설정하기 셀 테두리 그리기 셀 색 설정하기 문자 정렬 설정하기 엑셀 함수 넣기 차트 그리기 ..

2021. 10. 23. 07:30
개발 중(자동화)

【Python】 파이썬 조건에 맞는 값만 리스트에 넣기 | 리스트 컴프리헨션

if문 한 줄로 작성하기 아래의 코드를 동작시키기면 'num은 10이다'가 출력될 것입니다. num = 10 if num == 10: print('num은 10이다') else: print('num은 10이 아니다') 위 코드를 한 줄로 작성해 보겠습니다. num = 10 print('num는 10이다' if a == 10 else 'num은 10이 아니다') 코드를 동작시키면 마찬가지로 'num은 10이다'가 출력될 것입니다. if문을 한 줄로 작성할 때 위 코드는 이런 식으로 구성이 되어 있습니다. print( 【참일 때 결과】 if 【조건】 else 【참 이외일 때 결과】 ) 리스트에 숫자 넣기 리스트 컴프리헨션을 이용해서 리스트에 숫자를 넣겠습니다. num_list = [value for valu..

2021. 10. 22. 07:03
개발 중(자동화)

【Python】 파이썬 이중 for문 + 리스트 컴프리핸션

파이썬 이중 for문으로 2D 리스트 만들기 2D 리스트란 리스트 안에 리스트가 들어가 있는 상태의 리스트를 의미합니다. 예를 들면 아래와 같습니다. [ [0, 1, 2, 3, 4] [5, 6, 7, 8, 9] [10, 11, 12, 13, 14] [15, 16, 17, 18, 19] [20, 21, 22, 23, 24] ] 위와 같은 2D리스트를 우선 이중 for문으로 만들어 보겠습니다. my_list = [] for row in range(0,25,5): inner_list=[] for column in range(row, row + 5): inner_list.append(column) my_list.append(inner_list)​ 우선 한 행을 5단위로 루프를 돌리기 위해서 range에 0부터 ..

2021. 10. 19. 06:40
개발 중(자동화)

【파이썬 랜덤 리스트 생성】 Python 리스트 랜덤 넘버(무작위 숫자)로 채우기

for 문을 사용해서 파이썬 랜덤 리스트 생성 아래와 같은 방식으로 리스트에 무작위 숫자를 넣을 수 있습니다. 리스트에 포함되는 난수 수: 20개(range(0, 20)) 난수가 생성되는 범위: 0에서 100사이(random.randint(0,100)) import random my_list = [] for value in range(0, 20): my_list.append(random.randint(0,100)) 무작위 숫자를 얻기 위해서 random 클래스를 임포트 합니다. 리스트를 만든 후 for문을 사용해서 루프를 돌면서 무작위 숫자를 입력합니다. 리스트 컴프리핸션 사용해서 랜덤 리스트 생성 리스트 컴프리해션을 사용하면 더 깔끔한 코드를 작성할 수 있습니다. 리스트에 포함되는 난수 수: 20개(r..

2021. 10. 18. 07:51
개발 중(자동화)

파이썬 | 리스트(list)란? | 정의 | 사용 방법 |튜플과의 차이

목차 리스트가 뭐야? 리스트에 데이터 담기 리스트는 어디에 사용하는 거야? 리스트의 데이터에는 어떻게 접근해야 해? 인덱스로 접근하기 슬라이스로 접근하기 리스트(list)와 튜플(tuple)의 차이는? 리스트가 뭐야? 파이썬에는 복수의 값이나 요소를 모아서 관리하는 자료형이 4종류 있습니다. ①리스트(list) ②튜플(tuple) ③딕셔너리(dictionary) ④집합(set) :컬렉션, 또는 컨테이너라고 부르기도 함 리스트는 다른 프로그램 언어에서 배열이라고 불리는 데이터 타입과 성격이 유사해서 배열로 사용할 수도 있습니다. 리스트에 보관된 요소는 변경할 수 있어서 유연성과 편리성을 갖춘 데이터 타입입니다. 그 덕분에 컨테이너 중에 가장 많이 쓰이는 데이터 형태입니다. 파이썬 코딩에서는 매우 자주 사용..

2021. 10. 16. 07:12