이 블로그 검색

2018년 7월 10일 화요일

파이썬 초보자의 웹크롤링 - 2. 파이썬을 이용한 웹 크롤링_설치

[파이썬 초보자의 빅데이터 부수기 - 1. 파이썬을 이용한 웹 크롤링_준비]



순서

1. selenium 설치                         

2. selenium?                              

3. 사용하는 브라우저 드라이버 설치





1. selenium 설치

파이썬 3.6 이상 을 설치했으면 아마 pip도 함께 설치가 됐을겁니다.

cmd 창을 열어 확인을 해봅시다.


windows키 + R 을 눌러 실행창에 cmd를 입력 후 pip라고 쳐봅니다.

이런식으로 뭐가 뜨면 설치 된겁니다. 

그럼 pip list 라고 치면 설치된 항목들이 알파벳 순으로 출력 될 것입니다. 




그리고 pip install selenium 이라고 칩니다.

저는 이미 설치가 되서 이런 화면이 뜨는데 아마 설치가 안되신 분들은 
금방 설치가 되실것입니다. 


2. selenium?

그럼 이 selenium이 뭔데 이렇게 설치를 했을까?
나무위키 _ 셀레늄 이게 아닌데

우리는 소프트웨어 셀레늄을 알고싶다.

위키피디아에서는 이렇게 정의한다.

웹 애플리케이션을 위한 이식 가능한 소프트웨어 테스팅 프레임워크 입니다

- Selenium은 테스트 스크립팅 언어 (Selenium IDE) 를 배울 필요없이 제작 테스트를위한 재생 (이전에는 녹음도 포함) 도구를 제공합니다.
- C#, Groovy , Java , Perl , PHP , Python , Ruby 및 Scala를 비롯한 많은 프로그래밍 언어로 테스트를 작성하기 위한 테스트 도메인 관련 언어 (Selenese)를 제공합니다테스트는 대부분의 최신 웹 브라우저 에 대해 실행될 수 있습니다 .
- Windows , Linux 및 macOS 플랫폼에서 다운로드하고 무료로 사용할 수 있습니다.
음.. 그대로 번역기 돌렸다.

무튼 한 마디로 무료면서 우리가 직접 다 만지지 않아도 알아서 탐색하고 찾을 수 있다는 것이다.





3. 사용하는 브라우저 드라이버 설치


나는 chrome을 사용하기 때문에 크롬 드라이버를 다운 받았다.
Chrome:
https://sites.google.com/a/chromium.org/chromedriver/downloads
Edgehttps://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
Firefox:https://github.com/mozilla/geckodriver/releases
Safari:https://webkit.org/blog/6900/webdriver-support-in-safari-10/

다운 받은 후 압축을 해제한 후 놔두면 끝난다~~ 워후~~ 이제 실습하면 끝난당



NOTEPAD++ 와 POWERSHELL 그리고 CHROME을 이용해서 실습을 진행해보겠다.



아!
이렇게 다 다운받고 설치했으면 확인해봐야지.

1. 우선 selenium 모듈에서 웹드라이버를 import해준다.

2. 그 후 [3. 사용하는 브라우저 드라이버 설치] 이 드라이버를 압축 해제해준 경로를 지정해줍니다. 물론 변수명(driver_download_path)은 맘대로 지정하셔도 됩니다. 편하게 d1 하셔도 무방

3. 해당 브라우저 드라이버로 창을 띄웁니다. 저는 크롬이라서 저렇지만 각자 브라우저를 입력해줍니다.

4. 키야.... 떴다... 이거 뜨면 selenium 설치도 되었고 브라우저 드라이버도 설치 되었고 이제 본격적인 실습만 남았습니다. 아쉽지만 바로 창을 꺼버립시다


댓글 없음:

댓글 쓰기

[백준 16236] 아기 상어

[ 백준 16236 : 아기 상어 ] 2018 삼성전자 sw직무 하반기 기출문제입니다. 역대 삼성전자 기출문제가 그렇듯 역시나 BFS,DFS,완탐,DP,단순구현 입니다. 저는 문제를 단순히 BFS로 풀어갔습니다. 조건만 잘 지킨다면 한번에 ...