카테고리 없음

[간단 코딩] 파이썬으로 HTML 데이터 변수에 담기

정보도서관 2023. 3. 11. 22:55

먼저 두 가지를 미리 설치해야 합니다. selenium 과 Chromedriver 입니다.

1. 셀레니움(selenium) 은 파이썬에 설치. 

아나콘다 프롬프트나 CMD 창(명령프롬프트)을 킵니다.

윈도우 검색 ㄱㄱ

저 같은 경우는 파이썬이 아나콘다3라서 아나콘다 프롬프트를 키겠습니다.

아나콘다 프롬프트

여기에 다음과 같이 코드를 칩니다.

먼저 본인이 사용하는 가상환경 이름을 활성화(activate)해줍니다. 이 가상환경 안에 프로그램을 깔아줄 겁니다.

그리고 conda install selenium 을 해줘서 설치합니다.

activate apple
conda install selenium

(혹시 conda install 이 안되면 pip install selenium을 해주세요)

 

그러면 뭐가 좌르륵 내려가면서 "(Y/N) ? " 물으면 y를 타이핑하고 엔터 ㄱ.

 

에러가 없으면 잘 설치된 겁니다.

 

2. 두번째로 Chromedriver 를 깔아주겠습니다. 

 

먼저 내가 기존에 사용하고 있는 Chrome 의 버전을 확인하려 합니다.

확인은 Chrome 오른쪽 위에 ... 을 누르고

크롬창

... -> 도움말 -> Chrome 정보로 들어갑니다.

여기서 빨간색 펜으로 동그라미 해둔 부분의 점(.) 앞자리만 기억해 둡니다.

저같은 경우는 "111" 이네요

 

그 다음, 드라이버를 설치하기 위해

구글에서 제공하는

https://sites.google.com/chromium.org/driver/ 로 가세요.

 

크롬드라이버 공식 사이트

파란색으로 된 Downloads 밑에

버전 두가지가 보일겁니다.

저는 111이었으니까 111을 눌러주겠습니다. 

이런 창이 뜹니다. 여기서 본인의 컴퓨터에 맞는 것을 누르면 됩니다.

저같은 경우 window10 이라서 win32 어쩌구를 다운 받아주겠습니다.

 

압축파일인데요, 이 압축파일을 편한곳에 압축풀기 해주시면 됩니다.

저같은 경우 "C:/Users/User/ " 위치에 놓아주었습니다. 

이제 설치 두 가지를 모두 완료하였습니다!

 

파이썬 스크립트를 열고 다음과 같이 칩니다.

from selenium import webdriver

#크롬 브라우저가 열림
driver = webdriver.Chrome(executable_path = "C:/Users/User/chromedriver_win32/chromedriver.exe")

# URL을 입력해서 들어가(접속해) 보겠음. (크롬 브라우저를 연 상태에서 명령해야 함)
url = 'https://www.naver.com'
driver.get(url)

#변수에 html 데이터 담기
html = driver.page_source

변수 안에 담긴 html data