Hoons: 파이썬 초보자의 웹크롤링 - 1. 파이썬을 이용한 웹 크롤링

아마 나와 비슷한 나이대의 학생들은 대부분 대학에서 수업을 들으면서

꾸준하게 들었을 것 같다. ~~물론 내가 그래서 그렇다.~~

4차산업~ IT의 시대~ 빅데이터~ 데이터 마이닝~

하지만 컴퓨터 관련 전공자가 아니고 더군다나 공학 계열 전공자가 아니라서

프로그래밍에 대해 배우지 않는 전공자들은 이 말을 들어도 그런가보다 한다.

친동생은 경영학을 전공 중인데

동생 왈 "이런 말을 들어도 써보지도 않았고 뜻만 시험지에 적으면되서 이해할 필요 없다."

라고 한다.

사실 나도 현재 백수라서 할 수 있는것을 다 해보고 있는 중

유튜브로 파이썬을 배우다가 재미있는 것을 배우게 되서 글을 남겨본다.

다들 "빅 데이터" 라는 말은 많이 들어봤을 것 같다.

무수히 많은 데이터라는 말인데

이러한 빅데이터에서 정보들을 뽑아 분석하고 계산해서 통계적 패턴, 규칙을 찾아내고

예측하는것. 이것이 "데이터 마이닝(Data Mining)" 이다.

그럼? 이런 데이터 마이닝을 하기 위해서는? 내가 원하는! 데이터를 뽑고 모아야한다.

우리가 많이 쓰고있는 구글이나 네이버 같은 사이트가 "데이터 크롤링" 을 해서

우리에게 보여주는 것이다.

나도 아직 파이썬 초보자이고 더군다나 이런 공부를 해보지 않았는데

이 글을 보는 여러분과 함께 공부해보고자 한다.

일단 요리조리 고수가 되기 위해서 기초 단계를 함께 연습해보자.

일단 준비물이 필요하다.

내 노트북os는 windows 10이고 맥이나 리눅스가 아니므로

windows 기반으로 설명하도록 하겠습니다.

준비물(windows)

링크를 클릭해 들어간 후 Downloads 탭에서 3.6~이상 버전을 다운 받아 설치해주세요.

설치 중

빨간 박스에 꼭 체크해주세요. 하지않으면 귀찮게 따로 경로를 설정해줘야합니다.

링크를 클릭해 노트패드++를 다운받고 설치해주세요.

cmd창에서 코딩해도 되지만 눈으로 보기 힘들어서...

혹시 어떤 컴파일러를 사용하고 계시다면 안하셔도 됩니다.

일단 이렇게 두 가지를 준비한 후 계속 나가봅시당!

Hoons