파이썬 초보자의 웹크롤링 - 2. 파이썬을 이용한 웹 크롤링_설치

[파이썬 초보자의 빅데이터 부수기 - 1. 파이썬을 이용한 웹 크롤링_준비]

순서

1. selenium 설치                         

2. selenium?                              

3. 사용하는 브라우저 드라이버 설치

1. selenium 설치

파이썬 3.6 이상 을 설치했으면 아마 pip도 함께 설치가 됐을겁니다.

cmd 창을 열어 확인을 해봅시다.

windows키 + R 을 눌러 실행창에 cmd를 입력 후 pip라고 쳐봅니다.

이런식으로 뭐가 뜨면 설치 된겁니다. 

그럼 pip list 라고 치면 설치된 항목들이 알파벳 순으로 출력 될 것입니다. 

그리고 pip install selenium 이라고 칩니다.

저는 이미 설치가 되서 이런 화면이 뜨는데 아마 설치가 안되신 분들은 
금방 설치가 되실것입니다. 


2. selenium?

그럼 이 selenium이 뭔데 이렇게 설치를 했을까?

나무위키 _ 셀레늄 이게 아닌데

우리는 소프트웨어 셀레늄을 알고싶다.

위키피디아에서는 이렇게 정의한다.

- 웹 애플리케이션을 위한 이식 가능한 소프트웨어 테스팅 프레임워크 입니다. 
- Selenium은 테스트 스크립팅 언어 (Selenium IDE) 를 배울 필요없이 제작 테스트를위한 재생 (이전에는 녹음도 포함) 도구를 제공합니다.
- C#, Groovy , Java , Perl , PHP , Python , Ruby 및 Scala를 비롯한 많은 프로그래밍 언어로 테스트를 작성하기 위한 테스트 도메인 관련 언어 (Selenese)를 제공합니다. 테스트는 대부분의 최신 웹 브라우저 에 대해 실행될 수 있습니다 .
- Windows , Linux 및 macOS 플랫폼에서 다운로드하고 무료로 사용할 수 있습니다.
음.. 그대로 번역기 돌렸다.

무튼 한 마디로 무료면서 우리가 직접 다 만지지 않아도 알아서 탐색하고 찾을 수 있다는 것이다.




3. 사용하는 브라우저 드라이버 설치

나는 chrome을 사용하기 때문에 크롬 드라이버를 다운 받았다.

Chrome:	https://sites.google.com/a/chromium.org/chromedriver/downloads
Edge	https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
Firefox:	https://github.com/mozilla/geckodriver/releases
Safari:	https://webkit.org/blog/6900/webdriver-support-in-safari-10/

다운 받은 후 압축을 해제한 후 놔두면 끝난다~~ 워후~~ 이제 실습하면 끝난당

NOTEPAD++ 와 POWERSHELL 그리고 CHROME을 이용해서 실습을 진행해보겠다.

아!
이렇게 다 다운받고 설치했으면 확인해봐야지.

1. 우선 selenium 모듈에서 웹드라이버를 import해준다.

2. 그 후 [3. 사용하는 브라우저 드라이버 설치] 이 드라이버를 압축 해제해준 경로를 지정해줍니다. 물론 변수명(driver_download_path)은 맘대로 지정하셔도 됩니다. 편하게 d1 하셔도 무방

3. 해당 브라우저 드라이버로 창을 띄웁니다. 저는 크롬이라서 저렇지만 각자 브라우저를 입력해줍니다.

4. 키야.... 떴다... 이거 뜨면 selenium 설치도 되었고 브라우저 드라이버도 설치 되었고 이제 본격적인 실습만 남았습니다. 아쉽지만 바로 창을 꺼버립시다

파이썬 초보자의 웹크롤링 - 1. 파이썬을 이용한 웹 크롤링_준비

아마 나와 비슷한 나이대의 학생들은 대부분 대학에서 수업을 들으면서

꾸준하게 들었을 것 같다. 물론 내가 그래서 그렇다.

4차산업~ IT의 시대~ 빅데이터~ 데이터 마이닝~

하지만 컴퓨터 관련 전공자가 아니고 더군다나 공학 계열 전공자가 아니라서

프로그래밍에 대해 배우지 않는 전공자들은 이 말을 들어도 그런가보다 한다.

친동생은 경영학을 전공 중인데 

동생 왈 "이런 말을 들어도 써보지도 않았고 뜻만 시험지에 적으면되서 이해할 필요 없다."

라고 한다.

사실 나도 현재 백수라서 할 수 있는것을 다 해보고 있는 중 

유튜브로 파이썬을 배우다가 재미있는 것을 배우게 되서 글을 남겨본다.

다들 "빅 데이터" 라는 말은 많이 들어봤을 것 같다.

무수히 많은 데이터라는 말인데 

이러한 빅데이터에서 정보들을 뽑아 분석하고 계산해서 통계적 패턴, 규칙을 찾아내고

예측하는것. 이것이 "데이터 마이닝(Data Mining)" 이다.

그럼? 이런 데이터 마이닝을 하기 위해서는? 내가 원하는! 데이터를 뽑고 모아야한다.

우리가 많이 쓰고있는 구글이나 네이버 같은 사이트가 "데이터 크롤링" 을 해서 

우리에게 보여주는 것이다.

나도 아직 파이썬 초보자이고 더군다나 이런 공부를 해보지 않았는데 

이 글을 보는 여러분과 함께 공부해보고자 한다.

일단 요리조리 고수가 되기 위해서 기초 단계를 함께 연습해보자.

일단 준비물이 필요하다.

내 노트북os는 windows 10이고 맥이나 리눅스가 아니므로 

windows 기반으로 설명하도록 하겠습니다.

준비물(windows)

1. 파이썬(https://www.python.org/)

링크를 클릭해 들어간 후 Downloads 탭에서 3.6~이상 버전을 다운 받아 설치해주세요.

설치 중 

빨간 박스에 꼭 체크해주세요. 하지않으면 귀찮게 따로 경로를 설정해줘야합니다.

2. notepad++(https://notepad-plus-plus.org/download/v7.5.7.html)

링크를 클릭해 노트패드++를 다운받고 설치해주세요.

cmd창에서 코딩해도 되지만 눈으로 보기 힘들어서...

혹시 어떤 컴파일러를 사용하고 계시다면 안하셔도 됩니다.

일단 이렇게 두 가지를 준비한 후 계속 나가봅시당!